Rapport d'explicabilité - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Rapport d'explicabilité

Amazon SageMaker Autopilot fournit un rapport explicatif pour expliquer comment le meilleur modèle candidat fait des prédictions en cas de problèmes de classification de texte. Ce rapport peut aider les ingénieurs ML, les chefs de produit et d'autres intervenants internes à comprendre les caractéristiques du modèle. Les consommateurs et les régulateurs s'appuient sur la transparence du machine learning pour approuver et interpréter les décisions prises sur la base des prédictions du modèle. Vous pouvez utiliser ces explications pour auditer et appliquer les exigences réglementaires, renforcer la confiance dans le modèle, soutenir la prise de décisions humaines, ainsi que déboguer et améliorer les performances du modèle.

La fonctionnalité explicative d'Autopilot pour la classification de texte utilise la méthode d'attribution axiomatique des gradients intégrés. Cette approche repose sur une implémentation d'une attribution axiomatique pour les réseaux profonds (langue française non garantie).

Autopilot génère le rapport d'explicabilité sous la forme d'un fichier JSON. Le rapport inclut des détails d'analyse basés sur le jeu de données de validation. Chaque échantillon utilisé pour générer le rapport contient les informations suivantes :

  • text : contenu du texte d'entrée expliqué.

  • token_scores : liste des scores pour chaque jeton dans le texte.

    • attribution : score illustrant l'importance du jeton.

    • description.partial_text : sous-chaîne partielle qui représente le jeton.

  • predicted_label : classe d'étiquettes prédite par le meilleur modèle candidat.

  • probability : confiance avec laquelle l'étiquette predicted_label a été prédite.

Vous trouverez le préfixe Amazon S3 des artefacts d'explicabilité générés pour le meilleur candidat dans la réponse à DescribeAutoMLJobV2, dans BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability.

Voici un exemple de contenu d'analyse que vous pouvez trouver dans les artefacts d'explicabilité.

{
    "text": "It was a fantastic movie!",
    "predicted_label": 2,
    "probability": 0.9984835,
    "token_scores": [
        {
            "attribution": 0,
            "description": {
                "partial_text": "It"
            }
        },
        {
            "attribution": -0.022447118861679088,
            "description": {
                "partial_text": "was"
            }
        },
        {
            "attribution": -0.2164326456817965,
            "description": {
                "partial_text": "a"
            }
        },
        {
            "attribution": 0.675,
            "description": {
                "partial_text": "fantastic"
            }
        },
        {
            "attribution": 0.416,
            "description": {
                "partial_text": "movie!"
            }
        }
    ]
}

Dans cet échantillon du rapport JSON, la fonctionnalité explicative évalue le texte It was a fantastic movie! et note la contribution de chacun de ses jetons à l'étiquette prédite globale. L'étiquette prédite est 2, ce qui correspond à un fort sentiment positif, avec une probabilité de 99,85 %. L'échantillon JSON détaille ensuite la contribution de chaque jeton individuel à cette prédiction. Par exemple, le jeton fantastic a une attribution plus forte que le jeton was. C'est le jeton qui a le plus contribué à la prédiction finale.