순전파Forwardpass는 신경망에서 입력값이 입력층과 은닉층을 거쳐 출력층에 도달하기 까지의 계산 과정을 말합니다.
역전파Backwardpass는 순전파의 반대 개념으로, 신경망 훈련에서 가장 중요한 내용입니다.
신경망 훈련 절차
-
순전파를 진행하여 입력값으로 부터 출력값을 계산합니다. 여기서 출력값은 우리가 구하고자 하는 타깃 예측값입니다.
-
순전파로 구한 타깃 예측값과 실제 타깃값의 차이(손실)을 구합니다.
-
손실값을 줄이는 방향으로 가중치의 기울기를 구합니다.(경사하강법)
-
기울기를 바탕으로 가중치를 갱신합니다. 이때 출력층-> 입력층 방향으로 차례로 가중치를 갱신합니다. (이 과정을 역전파라고합니다)
-
갱신된 가중치를 바탕으로 1~4단계를 반복합니다. 반복할 수록 타깃 예측값이 실제 타깃값과 가까워집니다. 다시말해. 손실값이 줄어듭니다.
==> 합성곱 신경망