Gambaran Umum

Tidak ada definisi yang diterima secara universal untuk apa model yang dapat ditafsirkan, atau informasi apa yang memadai sebagai interpretasi model. Panduan ini berfokus pada gagasan yang umum digunakan tentang pentingnya fitur, di mana skor kepentingan untuk setiap fitur input digunakan untuk menafsirkan bagaimana hal itu memengaruhi keluaran model. Metode ini memberikan wawasan tetapi juga membutuhkan kehati-hatian. Skor kepentingan fitur dapat menyesatkan dan harus dianalisis dengan cermat, termasuk validasi dengan ahli materi pelajaran jika memungkinkan. Secara khusus, kami menyarankan Anda untuk tidak mempercayai skor kepentingan fitur tanpa verifikasi, karena salah tafsir dapat menyebabkan keputusan bisnis yang buruk.

Dalam ilustrasi berikut, fitur terukur dari iris diteruskan ke dalam model yang memprediksi spesies tanaman, dan pentingnya fitur terkait (atribusi SHAP) untuk prediksi ini ditampilkan. Dalam hal ini, panjang kelopak, lebar kelopak, dan panjang sepal semuanya berkontribusi positif terhadap klasifikasi Iris virginica, tetapi lebar sepal memiliki kontribusi negatif. (Informasi ini didasarkan pada dataset iris dari [4].)

Skor kepentingan fitur dapat bersifat global, menunjukkan bahwa skor tersebut valid untuk model di semua input, atau lokal, yang menunjukkan bahwa skor tersebut berlaku untuk output model tunggal. Skor kepentingan fitur lokal sering diskalakan dan dijumlahkan untuk menghasilkan nilai keluaran model, dan dengan demikian disebut atribusi. Model sederhana dianggap lebih dapat ditafsirkan, karena efek fitur input pada output model lebih mudah dipahami. Misalnya, dalam model regresi linier, besaran koefisien memberikan skor kepentingan fitur global, dan untuk prediksi tertentu, atribusi fitur lokal adalah produk dari koefisien dan nilai fitur. Dengan tidak adanya skor kepentingan fitur lokal langsung untuk prediksi, Anda dapat menghitung skor kepentingan dari serangkaian fitur input dasar untuk memahami bagaimana fitur berkontribusi relatif terhadap baseline.