Report di spiegabilità - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Report di spiegabilità

Amazon SageMaker Autopilot fornisce un rapporto di spiegabilità per aiutare a spiegare in che modo il miglior modello candidato fa previsioni per problemi di classificazione del testo. Questo report può aiutare gli ingegneri del machine learning, i product manager e altri stakeholder interni a comprendere le caratteristiche del modello. Sia i consumatori che le autorità di regolamentazione si affidano alla trasparenza del machine learning per fidarsi e interpretare le decisioni prese sulla base delle previsioni dei modelli. Puoi utilizzare queste spiegazioni per verificare e soddisfare i requisiti normativi, creare fiducia nel modello, supportare il processo decisionale umano, eseguire il debug e migliorare le prestazioni del modello.

La funzionalità esplicativa Autopilot per la classificazione del testo utilizza il metodo di attribuzione assiomatica Gradienti integrati. Questo approccio si basa su un'implementazione dell’Attribuzione assiomatica per Deep Network.

Autopilot genera il rapporto di spiegabilità come file. JSON Il report include dettagli di analisi basati sul set di dati di convalida. Ogni esempio utilizzato per generare il report contiene le seguenti informazioni:

  • text: spiegazione del contenuto del testo di input.

  • token_scores: l'elenco dei punteggi per ogni token nel testo.

    • attribution: il punteggio che descrive l'importanza del token.

    • description.partial_text: la sottostringa parziale che rappresenta il token.

  • predicted_label: la classe di etichetta prevista dal miglior modello candidato.

  • probability: la sicurezza con cui predicted_label è stato previsto.

Puoi trovare il prefisso Amazon S3 per gli artefatti di spiegabilità generati per il miglior candidato nella risposta a DescribeAutoMLJobV2 in BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability.

Di seguito è riportato un esempio di contenuto di analisi che è possibile trovare negli artefatti di spiegabilità.

{
    "text": "It was a fantastic movie!",
    "predicted_label": 2,
    "probability": 0.9984835,
    "token_scores": [
        {
            "attribution": 0,
            "description": {
                "partial_text": "It"
            }
        },
        {
            "attribution": -0.022447118861679088,
            "description": {
                "partial_text": "was"
            }
        },
        {
            "attribution": -0.2164326456817965,
            "description": {
                "partial_text": "a"
            }
        },
        {
            "attribution": 0.675,
            "description": {
                "partial_text": "fantastic"
            }
        },
        {
            "attribution": 0.416,
            "description": {
                "partial_text": "movie!"
            }
        }
    ]
}

In questo esempio del JSON report, la funzionalità esplicativa valuta il testo It was a fantastic movie! e assegna un punteggio al contributo di ciascuno dei relativi token all'etichetta complessiva prevista. L'etichetta prevista è 2, che rappresenta un forte sentiment positivo, con una probabilità del 99,85%. L'JSONesempio descrive quindi in dettaglio il contributo di ogni singolo token a questa previsione. Ad esempio, il token fantastic ha un'attribuzione più forte rispetto al token was. È il token che ha contribuito maggiormente alla previsione finale.