알고리즘 작동 방식 SageMaker XGBoost

XGBoost 는 그라데이션 부스팅 트리 알고리즘의 인기 있고 효율적인 오픈 소스 구현입니다. 그라디언트 부스팅은 더욱 단순하고 약한 모델 세트의 추정치를 결합하여 대상 변수를 정확하게 예측하려 시도하는 지도 학습 알고리즘입니다.

회귀에 그라데이션 부스팅을 사용하는 경우 약한 학습자는 회귀 트리이고 각 회귀 트리는 입력 데이터 포인트를 연속 점수가 포함된 잎 중 하나에 매핑합니다. XGBoost 는 볼록 손실 함수(예측된 출력과 대상 출력 간의 차이에 기반)와 모델 복잡성에 대한 페널티 용어(즉, 회귀 트리 함수)를 결합하는 정규(L1 및 L2) 목표 함수를 최소화합니다. 훈련은 반복적으로 진행되어 이전 트리의 잔차 또는 오류를 예측하는 새 트리를 추가하고 앞선 트리들과 결합하여 최종 예측을 생성합니다. 경사 하강 알고리즘을 사용하여 새 모델을 추가할 때 손실을 최소화하기 때문에 이를 그라디언트 부스팅이라고 합니다.

아래는 그래디언트 트리 부스팅의 작동 방식에 대한 간략한 그림입니다.

에 대한 자세한 내용은 다음을 XGBoost참조하세요.