Spiegabilità del modello

Amazon SageMaker Clarify fornisce strumenti che aiutano a spiegare come i modelli di machine learning (ML) generano previsioni. Questi strumenti possono aiutare i progettisti e gli sviluppatori di machine learning e altre parti interessate interne a comprendere le caratteristiche complessive del modello prima della distribuzione e ad eseguire il debug delle previsioni fornite dal modello dopo la sua implementazione.

La trasparenza sul modo in cui i modelli di machine learning giungono alle loro previsioni è fondamentale anche per i consumatori e le autorità di regolamentazione. Devono fidarsi delle previsioni dei modelli se intendono accettare le decisioni basate su di esse. SageMaker Clarify utilizza un approccio di attribuzione delle funzionalità indipendente dal modello. È possibile utilizzarlo per capire perché un modello ha effettuato una previsione dopo l'addestramento e per fornire una spiegazione per istanza durante l'inferenza. L'implementazione include un'implementazione scalabile ed efficiente di. SHAP Questo si basa sul concetto di un valore di Shapley, tratto dal campo della teoria cooperativa dei giochi, che assegna a ciascuna caratteristica un valore di importanza per una particolare previsione.

Clarify produce grafici di dipendenza parziale (PDPs) che mostrano l'effetto marginale delle caratteristiche sul risultato previsto di un modello di apprendimento automatico. La dipendenza parziale aiuta a spiegare la risposta mirata in base a una serie di funzionalità di input. Supporta inoltre la spiegabilità sia della visione artificiale (CV) che dell'elaborazione del linguaggio naturale (NLP) utilizzando lo stesso algoritmo Shapley values (SHAP) utilizzato per le spiegazioni tabulari dei dati.

Qual è la funzione di una spiegazione nel contesto del machine learning? Una spiegazione può essere considerata come la risposta a una domanda sul perché che aiuta gli esseri umani a comprendere la causa di una previsione. Nel contesto di un modello di machine learning, potresti essere interessato a rispondere a domande come:

Puoi utilizzare queste spiegazioni per verificare e soddisfare i requisiti normativi, creare fiducia nel modello, supportare il processo decisionale umano, eseguire il debug e migliorare le prestazioni del modello.

La necessità di soddisfare le esigenze di comprensione umana della natura e dei risultati dell'inferenza ML è fondamentale per il tipo di spiegazione necessaria. Ricerche nel campo della filosofia e delle scienze cognitive hanno dimostrato che le persone si preoccupano soprattutto delle spiegazioni contrastive, o delle spiegazioni del perché si è verificato un evento X invece di un altro evento Y che non si è verificato. Qui, X potrebbe essere un evento inaspettato o sorprendente accaduto e Y corrisponde a un'aspettativa basata sul loro modello mentale esistente, denominata linea di base. Tieni presente che, per lo stesso evento X, persone diverse potrebbero cercare spiegazioni diverse a seconda del loro punto di vista o del modello mentale Y. Nel contesto dell'intelligenza artificiale spiegabile, puoi pensare a X come l'esempio che viene spiegato e Y come una linea di base che viene in genere scelta per rappresentare un esempio non informativo o medio nel set di dati. A volte, ad esempio nel caso della modellazione ML di immagini, la linea di base potrebbe essere implicita, dove un'immagine i cui pixel sono tutti dello stesso colore può fungere da linea di base.

Notebook di esempio

Amazon SageMaker Clarify fornisce il seguente notebook di esempio per la spiegabilità del modello:

È stato verificato che questo notebook funzioni solo in Amazon SageMaker Studio. Se hai bisogno di istruzioni su come aprire un notebook in Amazon SageMaker Studio, consultaCrea o apri un notebook Amazon SageMaker Studio Classic. Se ti viene richiesto di scegliere un kernel, scegli Python 3 (Data Science).