[딥러닝/인공지능] 오차역전파(Back Propagation)

이전에 배운 MNIST 알고리즘은 학습시간 평균 20시간 이상이다.

결코 좋은 알고리즘이 아니다..

수치미분을 통해 수행한 MNIST는 은닉층 노드개수를 정확도높이기위해 증가할수록 학습시간이 엄청나게 소요된다. 

이 단점을 해결하기 위해 나온 알고리즘이 바로 오차역전파다.

오차역전파는 딥러닝의 꽃이다.

 

체인룰에 의해서 분해되어 1,2,3 등 국소적인미분의 곱셈 형태로 나타낼 수 있다. 

즉, 편미분식을 그대로 계산하는 것이 아니라 체인룰을 적용하여 국소미분으로 분리한 다음,

분리된 국소미분을 계산하기 쉬운 형태의 수학공식으로 나타내는 것을 오차역전파라고 한다. 

은닉층 오차역전파공식은 (E1나 E2중 하나에게만 영향받는) 출력층과 다르게 E1와 E2에게 모두 영향을 받는다.