Gradient Boosting Machine1 [Machine Learning] Gradient Boosting Machine (GBM) Dr.Trillion Dr.Trillion Dr.Trillion Dr.Trillion Dr.Trillion저번 포스팅에서는 AdaBoost에 대해서 알아보았고 이번에는 GBM에 대해서 알아보겠습니다. AdaBoost에서는 앞 단계의 모델이 잘 맞추지 못하는 데이터가 다음단계 모델 training에 선택될 확률을 높이는 방향이었다면 GBM은 loss function의 Gradient에 영향을 줍니다.GBM은 overfitting 방지를 위해서 1) 학습 데이터의 일부분만 비복원추출 방식으로 subsampling해서 사용합니다. 2) 다음 모델을 결합할 때 작은 가중치를 사용합니다. 1. GBM의 알고리즘초기 모델 생성:\[ F_0(x) = \arg \min_{\gamma} \sum_{i=1}^{n}.. 2024. 11. 14. 이전 1 다음 반응형
