9. Backpropagation

Back-propagation

Downstream gradient를 upstream gradient와 local gradient를 활용해서 구할 수 있다.

Computational Graph

복잡한 함수를 small function으로 쪼갠다는 것이 핵심

기본적으로 upstream gradient와 local gradient를 곱해서 downstream gradient를 구한다.

💡

local gradient를 구하는 방법은 함숫값을 이용할 수도 있고, input값을 이용할 수도 있다. 두가지 방법 모두 다 적용해서 해볼 것.

추가적으로 Sigmoid 단위로 묶으면 좀 더 편할 수 있다.

💡

local gradient는 함숫값을 이용해서 쉽게 구할 수 있다. 여기에서는 $0.73 \times 0.27$이다. 따라서 downstream gradient는 $(0.73 \times 0.27) \times 1$이다.

추가적으로 위에서 나와있는 것처럼 Computational graph representation은 유일하지 않다

→ local gradient를 쉽게 표현할 수 있는 방향으로 computation al graph를 짜는 것이 유리하다.