アルゴリズムの SageMaker XGBoost仕組み

XGBoost は、勾配ブーストツリーアルゴリズムの一般的で効率的なオープンソース実装です。勾配ブースティングは教師あり学習アルゴリズムで、より単純で弱いモデルのセットの推定を組み合わせることで、ターゲット変数の正確な予測を試行します。

回帰に勾配ブーストを使用する場合、弱い学習者は回帰ツリーであり、各回帰ツリーは入力データポイントを連続スコアを含むリーフの 1 つにマッピングします。XGBoost は、凸状損失関数 (予測出力とターゲット出力の差に基づく) とモデル複雑さのペナルティ用語 (つまり、回帰ツリー関数) を組み合わせた正規化 (L1 と L2) 目的関数を最小限に抑えます。トレーニングは反復的に進行し、前のツリーの残差やエラーを予測する新しいツリーを追加して、それを前のツリーと組み合わせることで最終的な予測を出します。これは、新しいモデルを追加するときに勾配降下アルゴリズムを使用して損失を最小限に抑えるため、勾配ブースティングと呼ばれます。

以下の図に、勾配ツリーブースティングの仕組みを簡単に示します。

の詳細についてはXGBoost、以下を参照してください。