Comment fonctionne l' XGBoost algorithme d' SageMaker IA

XGBoostest une implémentation open source populaire et efficace de l'algorithme des arbres boostés par le gradient. Le boosting de gradient est un algorithme d'apprentissage supervisé, qui tente de prédire avec précision une variable cible en combinant les estimations d'un ensemble de modèles plus simple et plus faibles.

Lorsque vous utilisez l'amplification du gradient pour la régression, les élèves les plus faibles sont les arbres de régression, et chaque arbre de régression fait correspondre un point de données d'entrée à l'une de ses feuilles contenant un score continu. XGBoost minimise une fonction objectif régularisée (L1 et L2) qui combine une fonction de perte convexe (basée sur la différence entre les sorties prévues et cibles) et un terme de pénalité pour la complexité du modèle (en d'autres termes, les fonctions de l'arbre de régression). L'entraînement se poursuit de façon itérative, en ajoutant de nouveaux arbres qui prédisent les résidus ou les erreurs des arbres antérieurs qui sont ensuite combinés avec les arbres précédents pour effectuer la prédiction finale. Il est appelée boosting de gradient, parce qu'il utilise un algorithme de descente de gradient pour minimiser la perte lors de l'ajout de nouveaux modèles.

Voici une brève illustration du fonctionnement du boosting de l'arborescence de gradient.

Pour plus de détails XGBoost, voir :