Linear Regression - 1

 

Regression의 종류

Regression의 종류인데, Linear Regression은 Simple-Linear, Multiple-Linear 이렇게 두가지를 말한다.

 

Simple Linear regression은 간단하다. independent 변수(input 변수) x와 depedent 변수(output 변수) y를 포함하고, 기울기와 y절편을 포함한다. 

w0와 w1은 트레이닝 데이터에 의해 최적화된다.

 

Multiple Linear Regression

multiple 변수에 대해 linear regression을 하는 방법은 w1x1+w2x2+---이렇게 계속 연속 되어있는 형태이다. X가 vector꼴이 될 것이다! 그래서 자세히 보면 X1 이렇게 대문자로 써져 있는 걸 볼 수 있다.

먼저 input data의 X에서 label을 떼낸다. 그걸 다시 X라 한다. (맨 왼쪽 column에 1이 있는 이유는 나중에 설명) 그래서 이 X를 계수행렬 B와 곱하면 y햇이 등장한다.

d: feature의 갯수라고 하면

d+1: feature + y절편 을 표현함을 알 수 있다.

행렬의 사이즈를 잠시 살펴보자면 X는 n*(d+1) 사이즈이고, B는 (d+1)*1 사이즈이다. 그래서 y햇은 n*1사이즈가 나오게 된다. 여기서 X에서 왜 1이 채워져 있냐가 나오게 되는데 B0와 그대로 곱하려고 1이 있는 것이다. B가 차례대로 B0, B1, B2,---이기 때문에 B0 값 그대로 살리려고 1이 채워져 있다는 것으로 이해하면 된다. 

 

Linear Regression의 Closed-Form Solution

optimal solution이 한방에 나오는 과정을 증명해놓은 식이다. 

차근차근 따라가보자. 

먼저 X가 n*(d+1)이고, y가 n*1이고, B가 (d+1)*1인 건 아까 슬라이드에서 봤을 것이다. 

E(X)는 y-XB의 제곱 꼴이다. (여기서 시그마가 없다는 게 궁금했었는데 각각의 element가 아니라 벡터로 써놓은 것이기 때문에 식을 풀어헤치면 어차피 element의 차의 제곱의 합이 된다.)

 

이런느낌...

E 전개

에러함수를 전개하면 이렇게 된다. 저기서 y^TXB햇을 Transpose해도 된다는게 포인트이다.

B에 대해 E를 편미분을 해보자

B에 대해 E를 편미분을 하면 B가 closed-form solution으로 바로 튀어나오게 된다. 

행렬 미분에 관련된 Appendix

위의 미분을 할 때는 2,4번째 성질이 사용되었다. 이 성질들을 잘 알고 있어야 한다. 

Closed-form solution

그래서 우리가 풀려는 식의 해는 이렇게 된다.