목록GBM 이론 (1)

하마가 분석하마

[boosting] 2. GBM

[Gradient Boosting Machine] 1. Gradient boosting = Boosting with gradient decent 2. 첫 번째 단계의 모델 tree1을 통해 Y를 예측하고 Residual을 다시 두 번째 단계 모델 tree2를 통해 예측하고, 여기서 발생한 Residual을 모델 tree3로 예측 3. 점차 residual이 작아짐 4. Gradient boosted model = tree1 + tree2 + tree3 => residual을 계속 모델링하여 나오는 아이디어를 모으는 것 [gradient 의미] - 미분이라 생각 - Loss function에 gradient는 손실함수를 f(x)로 미분한 값 => residual이 결국 gradient를 의미 따라서 처음 ..
알고리즘 2021. 3. 8. 00:35
이전 Prev 1 Next 다음