Come funziona l' XGBoost algoritmo SageMaker AI

XGBoostè un'implementazione open source popolare ed efficiente dell'algoritmo Gradient Boosted Trees. Il gradient boosting è un algoritmo di apprendimento supervisionato che tenta di prevedere con precisione una variabile di destinazione combinando le stime di un insieme di modelli più semplici e deboli.

Quando si utilizza il gradient boosting per la regressione, gli studenti più deboli sono alberi di regressione e ogni albero di regressione mappa un punto dati di input su una delle sue foglie che contiene un punteggio continuo. XGBoost minimizza una funzione obiettivo regolarizzata (L1 e L2) che combina una funzione di perdita convessa (basata sulla differenza tra gli output previsti e quelli target) e un termine di penalità per la complessità del modello (in altre parole, le funzioni dell'albero di regressione). L’addestramento procede in modo iterativo, aggiungendo nuovi alberi che prevedono i valori residuali o gli errori degli alberi antecedenti, che vengono quindi combinati con gli alberi precedenti per la previsione finale. Questa tecnica viene chiamata gradient boosting (potenziamento del gradiente) poiché utilizza un algoritmo di discesa del gradiente per ridurre al minimo le perdite durante l'aggiunta di nuovi modelli.

Di seguito è riportata una breve illustrazione di come funzionano gli alberi con boosting a gradiente.

Per maggiori dettagli su, vedi: XGBoost