Linearity

선형대수학에서 배운 Linearity를 만족하기 위해서는 additivity, scalar multiplication이 성립해야 한다.

즉, $f(ax_1 + bx_2) = af(x_1) + bf(x_2)$를 만족해야 한다.

 

그런데, ML에서 다루는 Polynomial regression의 경우는 2가지 성질을 만족하지 않는 것으로 보인다.

 

하지만, 잘생각해보면 중요한 것은 X와 y 사이의 대응관계이지 X가 liearity를 만족하는지 여부가 중요한 것이 아니다.

즉, 관계를 매개하는 변수가 B 즉 가중치가 변수라고 할 수 있다.

 

해당 변수에 대해서는 Linearity를 만족하고 있으므로 linear라고 할 수 있다.

 

바라보는 변수의 시각이 Linear mathematics와 ML이 조금 상이하기 때문에, 이러한 혼동이 발생한 것으로 보인다.

잘 정리해두도록 하자.

 

추가적으로 잘 생각해보면 일반적으로 X는 각 data가 row vector 형태로 제공되는 것이 일반적이다.

따라서, 가중치 벡터는 column vector가 각 input value에 대응되게끔 설계하는 것이 고민을 줄이고 처리할 수 있는 방법이라고 할 수 있겠다. (결과적으로 가중치 벡터는 모델 구현자가 크기와 초기값을 설정하기 때문에 이 점을 고려해서 크기를 잡아주면 된다.)

 

참고

https://brunch.co.kr/@gimmesilver/18