[파이썬 머신러닝 가이드] 분류 - XGBoost

XGBoost GBM의 단점인 느린 수행시간 및 과적합 규제 부재 등의 문제를 해결해서 매우 각광 받는중. -뛰어난 예측 성능, GBM에 비해 빠른 수행시간(병렬수행), 과적합 규제, tree pruning(나무 가지치기)-긍정 이득 없는 분할을 가지치기 해서 분할 수 더 줄임, 자체 내장된 교차 검증(+최적화 되면 반복 중간에 멈출 수 있는 조기중단기능), 결손값 자체 처리, 피처 중요도 시각화(plot_importace) 주요 부스터 파라미터(하이퍼 파라미터) 학습 태스크 파라미터 - eval_metric : 검증에 사용되는 함수. 기본값은 회귀인 경우 rmse, 분류일 경우 error - logloss = negative log likelihood, - objective : 최솟값을 가져야 할 손실..

• format_list_bulleted Machine Learning/분류
• · 2023. 12. 22.
• textsms

[파이썬 머신러닝 가이드] 분류 - Random Forest

랜덤포레스트 결정 트리를 기본 모델로 이용하는 앙상블 기법 여러 개의 결정 트리 분류기가 전체 데이터에서 배깅 방식으로 각자의 데이터를 샘플링해 개별적으로 학습을 수행한 뒤 최종적으로 모든 분류기가 보팅을 통해 예측 결정을 하게 됨. bootstrapping(샘플을 여러개 뽑음) + aggregating(각 모델을 학습시킨 결과물 집계) +OOB(Out-Of-Bag) : 샘플링 과정에서 선택되지 않은 데이터 → 모델 검증에 이용 가능 → OOB 샘플 (전체의 36.8%)로 모델 검증 어떤 한 샘플이 추출되지 않을 확률 = 36.8% 학습 도중 생성한 tree에 OOB 데이터를 넣고 accuracy나 error rate 등을 측정하면 학습이 잘 진행되고 있는지, overfitting은 없는지 등의 여부를 ..

• format_list_bulleted Machine Learning/분류
• · 2023. 12. 22.
• textsms