Bagaimana XGBoost algoritma SageMaker AI bekerja

XGBoostadalah implementasi sumber terbuka yang populer dan efisien dari algoritma pohon yang ditingkatkan gradien. Peningkatan gradien adalah algoritma pembelajaran yang diawasi, yang mencoba memprediksi variabel target secara akurat dengan menggabungkan perkiraan serangkaian model yang lebih sederhana dan lebih lemah.

Saat menggunakan peningkatan gradien untuk regresi, peserta yang lemah adalah pohon regresi, dan setiap pohon regresi memetakan titik data input ke salah satu daunnya yang berisi skor kontinu. XGBoost meminimalkan fungsi objektif regularisasi (L1 dan L2) yang menggabungkan fungsi kerugian cembung (berdasarkan perbedaan antara output yang diprediksi dan target) dan istilah penalti untuk kompleksitas model (dengan kata lain, fungsi pohon regresi). Pelatihan berlangsung secara berulang, menambahkan pohon baru yang memprediksi residu atau kesalahan pohon sebelumnya yang kemudian digabungkan dengan pohon sebelumnya untuk membuat prediksi akhir. Ini disebut peningkatan gradien karena menggunakan algoritma penurunan gradien untuk meminimalkan kerugian saat menambahkan model baru.

Di bawah ini adalah ilustrasi singkat tentang cara kerja peningkatan pohon gradien.

Untuk detail lebih lanjut XGBoost, lihat: