[파이썬 머신러닝 가이드] 회귀 - 회귀 소개

목차 1. 회귀 소개 2. 단순 선형 회귀를 통한 회귀 이해 1. 회귀 소개 = 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법 독립변수 X = 피처 다른 변수에 영향 받지 않고 독립적으로 변화하는 수. 입력변수, 설명변수라고도 함. 종속변수 Y = 결정값 독립변수의 영향을 받아 값이 변화하는 수로 분석의 대상이 되는 변수를 의미. 반응변수, 출력변수라고도 함. 회귀변수 W0, W1 독립변수의 값에 영향을 미치는 회귀계수 잔차 실제 값과 회귀 모델의 차이에 따른 오류값. → 최적의 회귀 모델을 만든다는 건, 바로 전체 데이터의 잔차 합이 최소가 되는 모델을 만든다는 것. 오류 값 합이 최소가 될 수 있는 최적의 회귀계수를 찾는다. ⇒ 주어진 피처와 결정 값 데이터 기반에서 학습을 ..

• format_list_bulleted Machine Learning/회귀
• · 2023. 12. 23.
• textsms

[파이썬 머신러닝 가이드] 분류 - 베이지안 최적화 기반의 HyperOpt를 이용한 하이퍼 파라미터 튜닝

목차 1. 베이지안 최적화 2. 언더 샘플링과 오버 샘플링 3. 이상치 데이터 제거 베이지안 최적화 기반의 HyperOpt를 이용한 하이퍼 파라미터 튜닝 Grid Search 단점 하이퍼 파라미터의 개수가 많을 경우 최적화 수행 시간이 오래 걸림 1. 베이지안 최적화 목적 함수 식을 제대로 알 수 없는 블랙 박스 형태의 함수에서 최대 또는 최소 함수 반환 값을 만드는 최적 입력값을 가능한 적은 시도를 통해 빠르고 효과적으로 찾아주는 방식 f 반환 값은 최대/최소로 하는 x,y 값을 찾아내는 것. 함수 식 복잡, 입력값 개수 많거나 범위 넓으면 순차적으로 입력값 대입해서는 짧은 시간 안에 최적 입렵값 찾을 수 X → 베이지안 최적화 베이지안 확률에 기반을 두고 있는 최적화 기법. 베이지안 추론은 ,, 추론..

• format_list_bulleted Machine Learning/분류
• · 2023. 12. 22.
• textsms

[파이썬 머신러닝 가이드] 분류 - XGBoost

XGBoost GBM의 단점인 느린 수행시간 및 과적합 규제 부재 등의 문제를 해결해서 매우 각광 받는중. -뛰어난 예측 성능, GBM에 비해 빠른 수행시간(병렬수행), 과적합 규제, tree pruning(나무 가지치기)-긍정 이득 없는 분할을 가지치기 해서 분할 수 더 줄임, 자체 내장된 교차 검증(+최적화 되면 반복 중간에 멈출 수 있는 조기중단기능), 결손값 자체 처리, 피처 중요도 시각화(plot_importace) 주요 부스터 파라미터(하이퍼 파라미터) 학습 태스크 파라미터 - eval_metric : 검증에 사용되는 함수. 기본값은 회귀인 경우 rmse, 분류일 경우 error - logloss = negative log likelihood, - objective : 최솟값을 가져야 할 손실..

• format_list_bulleted Machine Learning/분류
• · 2023. 12. 22.
• textsms