드롭아웃
드롭아웃은 과대 적합을 방지하기 위해서 신경망 훈련에서 무작위로 일부 뉴런을 제외하는 기법입니다.
배치 정규화
배치 정규화는 과대적합 방지와 훈련 속도 향상을 위한 기법입니다. '배치'단위로 '정규화'합니다.
이때 배치는 미니배치이며, 정규화nomalization는 데이터가 정규분포(평균0, 분산1)을 따르도록 분포를 변환하는 작업니다.
옵티마이저
신경망의 최적 가중치를 찾아주는 알고리즘을 옵티마이저라고합니다. 확률적 경사하강법의 대표적인 예입니다.
모멘텀
물리학의 관성 개념을 추가합 옵티마이저
Adagrad
최적 파라미터에 도달할 수록 학습률을 낮추도록 한 옵티마이저
RMSProp
최근 기울기만 고려해 학습률을 낮춥니다.
Adam
딥러닝 모델 설계할 때 가장 많이 사용하는 옵티마이저. 모멘텀과 RMSProp를 합친것
전이학습
전이학습이란 한 영역에서 사전 훈련된 모델에 약간의 추가 학습을 더해 유사한 다른 영역에서도 활용되는 기법입니다.
