演算法的運作方式 SageMaker XGBoost

XGBoost 是漸層增強型樹狀目錄演算法的熱門且高效率的開放原始碼實作。梯度提升是受監管的學習演算法，會藉由結合一組較簡單、較脆弱的模型預估值來嘗試精確預測目標變數。

使用梯度提升進行迴歸時，弱型學習者是迴歸樹，每個迴歸樹都會將輸入資料點映射到包含連續分數的其中一個樹葉。XGBoost 將規則化（L1 和 L2）目標函數最小化，該目標函數結合了凸面損失函數（根據預測輸出和目標輸出之間的差異）和模型複雜性的懲罰性術語（換言之，迴歸樹函數）。訓練將反覆執行，加入預測舊樹的殘差或錯誤的新樹狀，接著將舊樹與新樹結合以執行最終預測。這便稱為梯度提升，因為它使用梯度下降演算法來降低新增模型時造成的遺失。

下面是關於梯度樹提升如何運作的簡要說明。