SageMaker XGBoost算法的工作原理

XGBoost是梯度提升树算法的一种流行且高效的开源实现。梯度提升是一种指导式学习算法，它尝试将一组较简单、较弱的模型的估计值结合在一起，从而准确地预测目标变量。

使用梯度提升进行回归时，弱学习者是回归树，每棵回归树都将一个输入数据点映射到其中一个包含连续分数的叶子。XGBoost最小化正则化（L1 和 L2）目标函数，该函数结合了凸损失函数（基于预测输出和目标输出之间的差异）和模型复杂度的惩罚项（换句话说，回归树函数）。训练以迭代的方式进行，从而添加新树来预测先前树的残差或错误，然后再与先前树结合，做出最后的预测。这称为梯度提升，因为它使用梯度下降算法来最小化添加新模型时的损失。

下面是关于梯度树提升工作原理的简要说明。