Adam Optimizer

아래 내용은 인프런 [처음하는 딥러닝과 파이토치(Pytorch) 부트캠프] 강의를 듣고 공부한 내용입니다. Adam(Adaptive Moment Estimation) Optimizer 가장 많이 사용하는 optimizer, 결국 Adam optimizer를 이해하기 위해 기존의 optimizer를 설명하는 것. ** Optimizer = 확률적 경사하강법의 파라미터 변경 폭이 불안정한 문제를 해결하기 위해 학습 속도와 운동량을 조정하는 옵티마이저 적용 Adam : Momentum과 RMSProp의 장점을 결합한 경사하강법으로, RMSProp의 특징인 기울기의 제곱을 지수평균한 값과 모멘텀 특징인 v(i)를 수식에 활용함. 즉, 알엠에스프롭의 G함수와 모멘텀의 v(i)를 사용하여 가중치를 업뎃함. opti..