Classification 문제를 위한 softmax 핵심 이해

아래 내용은 인프런 [처음하는 딥러닝과 파이토치(Pytorch) 부트캠프] 강의를 듣고 공부한 내용입니다. Classification (분류) 분류 문제는 출력 결과가 다르므로, 분류 타입에 따라 다른 activation function을 사용하는 것이 일반적임 예측 문제 Regression (숫자 예측, 예 : 키) Binary Classification (이진 분류) Multi-Class(Multi-Label) Classification (다중 분류) Final Action None Sigmoid Softmax (또는 Log-Softmax) Loss Function MSE Loss BCE Loss Cross Entropy Loss (또는Negative Log Likelihood Loss) Softma..

• format_list_bulleted Deep Learning & AI/DNN
• · 2024. 2. 2.
• textsms

Adam Optimizer

아래 내용은 인프런 [처음하는 딥러닝과 파이토치(Pytorch) 부트캠프] 강의를 듣고 공부한 내용입니다. Adam(Adaptive Moment Estimation) Optimizer 가장 많이 사용하는 optimizer, 결국 Adam optimizer를 이해하기 위해 기존의 optimizer를 설명하는 것. ** Optimizer = 확률적 경사하강법의 파라미터 변경 폭이 불안정한 문제를 해결하기 위해 학습 속도와 운동량을 조정하는 옵티마이저 적용 Adam : Momentum과 RMSProp의 장점을 결합한 경사하강법으로, RMSProp의 특징인 기울기의 제곱을 지수평균한 값과 모멘텀 특징인 v(i)를 수식에 활용함. 즉, 알엠에스프롭의 G함수와 모멘텀의 v(i)를 사용하여 가중치를 업뎃함. opti..

• format_list_bulleted Deep Learning & AI/DNN
• · 2024. 2. 2.
• textsms

DNN Pytorch 실습 (당뇨병 환자 데이터셋, fashion mnist 데이터셋)

목차 1) 당뇨병 환자의 데이터 기반 실습 2) fashion mnist 데이터 실습 [딥러닝 파이토치 교과서]와 [인프런 '처음하는 딥러닝과 파이토치(Pytorch) 부트캠프[데이터과학 Part3]'] 를 바탕으로 공부한 내용을 정리한 글입니다. DNN pytorch 실습 pytorch 모델 용어 정리 계층(layer): 모듈 또는 모듈을 구성하는 한 개의 계층을 의미함 (예: 선형 계층, Linear Layer) 모듈(module): 한 개 이상의 계층이 모여 구성된 것. 모듈이 모여서 새로운 모듈 구성 가능 모델(model): 최종적인 네트워크. 한 개의 모듈이 모델이 될 수도 있고, 여러 개의 모듈이 하나의 모델이 될 수도 있음 torch.nn과 nn.Module torch.nn 네임스페이스는 신..

• format_list_bulleted Deep Learning & AI/DNN
• · 2023. 12. 29.
• textsms

Neural Network and Backpropagation

학부 '머신러닝과 데이터사이언스' 수업과, [딥러닝 파이토치 교과서]를 바탕으로 공부한 내용을 정리한 글입니다. Neural Network and Backpropagation forward : input → output (input 넣어 모델을 통해 output 도출해내는 과정) backward : output → input (구한 output을 가지고 gradient 등을 사용하여 가중피치 업데이트) threshold logic unit 여러 step function을 통해서 binary한 출력값을 갖도록함. + 퍼셉트론에서, sign 함수 써서 잘못된 샘플에 한해서 부호만 바꿔서 weight에 더해나가는 방식으로 cost를 줄여나갔음. 퍼셉트론의 이슈 1 → 가중치 업데이트 할 때 경사하강법을 도입하..

• format_list_bulleted Deep Learning & AI/DNN
• · 2023. 12. 29.
• textsms