밑바닥부터 시작하는 딥러닝 1 - 4 신경망에서의 기울기

신경망 학습에서 가중치 매개변수에 대한 손실함수의 기울기를 구해야 합니다.

가중치가 W, 손실함수가 L, 형상이 2by3인 신경망을 생각해 봅시다.

W  $= \begin{pmatrix} w_{11} & w_{12} & w_{13} \\ w_{21} & w_{22} & w_{23} \end{pmatrix}$

 

일 때 경사는 $\frac{\partial{L}}{\partial{W}}$로 나타낼 수 있습니다.

 

$\frac{\partial{L}}{\partial{W}} = \begin{pmatrix} \frac{\partial{L}}{\partial{w_{11}}} & \frac{\partial{L}}{\partial{w_{12}}} & \frac{\partial{L}}{\partial{w_{13}}} \\ \frac{\partial{L}}{\partial{w_{21}}} & \frac{\partial{L}}{\partial{w_{22}}} & \frac{\partial{L}}{\partial{w_{23}}} \end{pmatrix}$