✍️ Q4 : Two-Layer Neural Network Affine layer : fowrad / backword 문제를 해결하기에 앞서, Affine layer가 어떤 식으로 구성되어 있는지 확인해보자. 위 사진에서 볼 수 있는 것처럼, Affine 계층은 여러개의 input값을 받아서, 여러개의 output값을 출력하는 양상을 띄고 있다. 해당 layer를는 intput, weight, bias로 구성되어있고 각각이 선형결합된 결과로 output이 출력된다. 수식으로 나타내면 다음과 같다. $$Y = XW + b$$ 이때 $X$는 input으로 N x D matrix, $W$는 weight로 D x M matrix, $b$는 bias로 dimension이 M인 vector로 가정하자. foward..

Writting

Writting

Writting..

신경망 강의 중 가장 유명한 Stanford University의 CS231n : Convolucional Neural Networks for Visual Recognition 강의를 학회 스터디에서 총 6주동안 진행하게 된다. 해당하는 내용을 정리해두는 목적으로 포스팅을 작성하도록 하겠다. 📖 강의 링크 / 과제 CS231n Syllabus(2020) - http://cs231n.stanford.edu/2020/syllabus.html CS231n 강의영상(2017) - https://youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv 강의 영상 자체는 2017년 버젼이 가장 최신이나, Assignment의 경우 2020으로 가장 최신 버젼을 활..

선형대수학에서 배운 Linearity를 만족하기 위해서는 additivity, scalar multiplication이 성립해야 한다. 즉, $f(ax_1 + bx_2) = af(x_1) + bf(x_2)$를 만족해야 한다. 그런데, ML에서 다루는 Polynomial regression의 경우는 2가지 성질을 만족하지 않는 것으로 보인다. 하지만, 잘생각해보면 중요한 것은 X와 y 사이의 대응관계이지 X가 liearity를 만족하는지 여부가 중요한 것이 아니다. 즉, 관계를 매개하는 변수가 B 즉 가중치가 변수라고 할 수 있다. 해당 변수에 대해서는 Linearity를 만족하고 있으므로 linear라고 할 수 있다. 바라보는 변수의 시각이 Linear mathematics와 ML이 조금 상이하기 때문에..

Linear equation Linear equation은 $$\hat{y} = \theta_0 + \theta_1x_1 + \theta_2x_2+ \cdots +\theta_nx_n$$로 나타낼 수 있다. (단, $\hat{y}$는 예측값, $n$은 특성의 수, $x_i$는 i번재 특성값, $\theta_j$는 j번째 모델 파라미터) 수식이 표현된 형태를 잘 보면, 2개의 vector의 dot product형태로 표현할 수 있음을 쉽게 관찰할 수 있다. 따라서 조금 더 간단하게 해당 수식을 표현하면 다음과 같다. $$\hat{y} = h_{\theta}(x) = \theta \cdot x$$ 그런데, $\theta$와 $x$는 모두 열벡터끼리의 dot product이므로 Linear mathematic..

Linear Regression 특성이 하나인 경우 어떤 직선을 학습하는 알고리즘이다. KNN의 경우 새로운 샘플이 훈련 세트의 범위를 벗어나면 엉뚱한 값을 예측할 수 있었는데, Linear Regression의 경우 만족하는 직선을 학습하는 것이므로 해당 문제를 해결할 수 있다. 사용 방법은 다음과 같다. from sklearn.linear_model import LinearRegression # Fitting lr = LinearRegression() lr.fit(train_input, train_target) # Model evaluation target_score = lr.score(train_input, train_target) test_score = lr.score(test_input, tes..