밑바닥부터 시작하는 딥러닝 3 - ch1

수치 미분의 한계 : "자리 수 누락"에 의한 오차, 많은 계산량

 

자리수 누락: 중앙차분 등 차이를 구하는 계산은 비슷한 값들을 다루므로 계산결과에서 자리수 누락이 생겨서 유효자리수가 줄어들 수 있습니다. 유효자리수가 줄어들게 되면 오차가 발생되기 쉽습니다.

 

또한 수치 미분은 계산량이 많습니다. 신경망에서 매개변수를 수백만 개 이상 사용하므로 모두를 수치 미분을 사용하여 계산하는 것은 계산량이 비현실적으로 많습니다.

 

이를 해결하기 위해 역전파가 등장합니다.

하지만 역전파는 알고리즘이 복잡하여 버그가 있기 쉽습니다. 그래서 비교적 쉽고 정확한 수치 미분을 이용하여 역전파 계산 결과를 확인합니다. 이를 기울기 확인(gradient checking)이라고 합니다.