説明可能性のレポート

Amazon SageMaker Autopilot は、最適なモデル候補がテキスト分類の問題をどのように予測するかを説明するのに役立つ説明可能性レポートを提供します。このレポートは、ML エンジニア、プロダクトマネージャー、その他の内部ステークホルダーがモデルの特性を理解するのに役立ちます。モデル予測に基づく決定を信頼して解釈するために、消費者も規制当局も機械学習の透明性を必要としています。これらの説明は、監査や規制要件への適合、モデルへの信頼の構築、人間の意思決定のサポート、モデルのパフォーマンスのデバッグと改善に使用できます。

テキスト分類用の Autopilot 説明機能は、公理的な属性を用いた積分勾配を使用しています。このアプローチは、ディープネットワークの公理的な属性の実装に依存しています。

Autopilot は説明可能性レポートをJSONファイルとして生成します。レポートには、検証データセットに基づく分析の詳細が含まれます。レポートを生成するために使用されるそれぞれの例には、次の情報が含まれます。

DescribeAutoMLJobV2 へのレスポンスにある BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability で、最適な候補に対して生成された説明可能性アーティファクトへの Amazon S3 プレフィックスを確認できます。

説明可能性アーティファクトに含まれる分析コンテンツの例を次に示します。

{
    "text": "It was a fantastic movie!",
    "predicted_label": 2,
    "probability": 0.9984835,
    "token_scores": [
        {
            "attribution": 0,
            "description": {
                "partial_text": "It"
            }
        },
        {
            "attribution": -0.022447118861679088,
            "description": {
                "partial_text": "was"
            }
        },
        {
            "attribution": -0.2164326456817965,
            "description": {
                "partial_text": "a"
            }
        },
        {
            "attribution": 0.675,
            "description": {
                "partial_text": "fantastic"
            }
        },
        {
            "attribution": 0.416,
            "description": {
                "partial_text": "movie!"
            }
        }
    ]
}

JSON レポートのこのサンプルでは、説明機能はテキストを評価しIt was a fantastic movie!、そのトークンの全体的な予測ラベルへの寄与度をスコアします。予測ラベルは 2 で、99.85% の確率で強い肯定的な感情を示しています。次にJSON、サンプルは、この予測に対する個々のトークンの寄与について詳しく説明します。例えば、トークン fantastic の方がトークン was よりも強い属性を持っています。最終的な予測に最も貢献したトークンです。