コンテキストグラウンディングチェックを使用して、レスポンスのハルシネーションをフィルタリングする

Amazon Bedrock のガードレールは、リファレンスソースとユーザークエリが提供されたとき、モデルレスポンスのハルシネーションを検出してフィルタリングするためのコンテキストグラウンディングチェックに対応しています。サポートされているユースケースは、検索拡張生成 (RAG) の取得パスやエージェントが会話を根拠にした会話の履歴など、リファレンスソースに依存する RAG、要約、言い換え、または会話エージェントにまたがります。

コンテキストグラウンディングチェックでは、処理された各チャンクの関連性をチェックします。1 つのチャンクが関連していると見なされる場合、ユーザーのクエリに対する回答があると、レスポンス全体が関連していると見なされます。ストリーミング API の場合は、無関係なレスポンスがユーザーに返され、レスポンス全体がストリーミングされた後にのみ無関係としてマークされるシナリオが発生する可能性があります。

コンテキストグラウンディングチェックでは、次の 2 つのパラダイム全体でハルシネーションを評価します。

リファレンスソースに「ロンドンは英国の首都である。東京は日本の首都である。」が含まれ、ユーザークエリが「日本の首都は何ですか？」である例について考えてみましょう。「日本の首都はロンドンである」などのレスポンスは根拠がなく、事実上正しくないと見なされ、「英国の首都はロンドンである」などのレスポンスは、正しく、ソースに基づいていても無関係と見なされます。

信頼スコアとしきい値

コンテキストグラウンディングチェックでは、提供されたソースとユーザークエリに基づいて処理された各モデルレスポンスのグラウンディングと関連性に対応する信頼スコアを生成します。しきい値を設定すると、生成されたスコアに基づいてモデルレスポンスをフィルタリングできます。フィルタリングしきい値により、生成 AI アプリケーションで根拠に基づき、関連性があると見なすことができるモデルレスポンスの最小許容信頼スコアを決定できます。例えば、グラウンディングしきい値と関連性しきい値がそれぞれ 0.7 に設定されている場合、グラウンディングスコアまたは関連性スコアが 0.7 未満のすべてのモデルレスポンスはハルシネーションとして検出され、アプリケーションでブロックされます。フィルタリングのしきい値が増加するにつれて、根拠のないコンテンツや無関係なコンテンツをブロックする可能性が高くなり、ハルシネーションであるコンテンツがアプリケーションで表示される可能性は低下します。グラウンディングと関連性の各しきい値は、0～0.99 の範囲で設定できます。しきい値 1 は、すべてのコンテンツがブロックされるため、無効です。

コンテキストグラウンディングチェックでは、グラウンディングソース、クエリ、保護するコンテンツ (またはモデルレスポンス) の 3 つのコンポーネントでチェックを実行する必要があります。これらは、Invoke API、Converse API、ApplyGuardrail のどれを直接使用しているかによって設定が異なります。

根拠のない例

この例では、保護するコンテンツはクエリに関連していますが、グラウンディングソースを正しく使用していないため、根拠づけされていません。これにより、グラウンディングスコアが低くなります。

無関係な例

この例では、保護するコンテンツは根拠づけされていますが、関連性はありません。このコンテンツはグラウンディングソースからの情報を使用しますが、クエリには応答しません。これにより、関連性スコアが低くなります。

根拠がなく無関係な例

この例では、保護するコンテンツは根拠づけされておらず、関連性もありません。このコンテンツはグラウンディングソースからの情報もクエリへの回答も使用しません。これにより、グラウンディングスコアと関連性スコアが低くなります。

その他の例

料金や請求金額に関連する質問に答えるように設計された銀行アプリケーションについて検討します。

ソース:

上記のソースに基づくと、ユーザーのクエリに応じて 4 つのシナリオが考えられます。

グラウンディングおよび関連性

根拠はないが関連性がある

根拠はあるが、関連性がない

根拠がなく、関連性もない

Invoke API を使用したコンテキストグラウンディングチェックの呼び出し

入力内のグラウンディングソースとクエリをマークするには、入力タグと同じ方法で機能する 2 つのタグを指定します。これらのタグは amazon-bedrock-guardrails-groundingSource_xyz と amazon-bedrock-guardrails-query_xyz であり、タグのサフィックスが xyz であることを前提としています。例:

{
    "text": """
<amazon-bedrock-guardrails-groundingSource_xyz>London is the capital of UK. Tokyo is the capital of Japan. </amazon-bedrock-guardrails-groundingSource_xyz>

<amazon-bedrock-guardrails-query_xyz>What is the capital of Japan?</amazon-bedrock-guardrails-query_xyz>
""",
    "amazon-bedrock-guardrailConfig": {
        "tagSuffix": "xyz",
    },
}    
        

コンテキストグラウンディングチェックを実行するにはモデルレスポンスが必要であるため、チェックは、プロンプトではなく出力に対してのみ実行されます。

これらのタグは、guardContent タグと一緒に使用できます。guardContent タグを使用しない場合は、ガードレールは、グラウンディングソースやクエリを含むすべての設定済みポリシーをデフォルトで入力全体に適用します。guardContent タグが使用された場合は、コンテキストグラウンディングチェックポリシーにより、グラウンディングソース、クエリ、およびレスポンスのみが調査され、残りのポリシーにより、guardContent タグ内のコンテンツが調査されます。

Converse API を使用したコンテキストグラウンディングチェックの呼び出し

Converse API のグラウンディングソースとクエリにマークを付けるには、各ガードコンテンツブロックの修飾子フィールドを使用します。例:

[
    {
        "role": "user",
        "content": [
            {
                "guardContent": {
                    "text": {
                        "text": "London is the capital of UK. Tokyo is the capital of Japan",
                        "qualifiers": ["grounding_source"],
                    }
                }
            },
            {
                "guardContent": {
                    "text": {
                        "text": "What is the capital of Japan?",
                        "qualifiers": ["query"],
                    }
                }
            },
        ],
    }
]
        

コンテキストグラウンディングチェックを実行するにはモデルレスポンスが必要であるため、チェックは、プロンプトではなく出力に対してのみ実行されます。

どのコンテンツブロックにも guard_content 修飾子が付いていない場合は、コンテキストグラウンディングチェックポリシーにより、グラウンディングソース、クエリ、およびレスポンスのみが調査されます。残りのポリシーは、デフォルトの調査動作に従います。デフォルトで、システムプロンプトは調査されず、メッセージが調査されます。ただし、コンテンツブロックに guard_content 修飾子が付いている場合は、コンテキストグラウンディングチェックポリシーによりグラウンディングソース、クエリ、レスポンスのみが調査され、残りのポリシーにより guardContent タグでマークされたコンテンツが調査されます。

ApplyGuardrail API を使用したコンテキストグラウンディングチェックの呼び出し

ApplyGuardrail を使用したコンテキストグラウンディングチェックは、Converse API を使用したコンテキストグラウンディングチェックと似ています。ApplyGuardrail のグラウンディングソースとクエリにマークを付けるには、各コンテンツブロックの修飾子フィールドを使用します。ただし、モデルは ApplyGuardrail で呼び出されないため、保護するコンテンツを含む追加のコンテンツブロックも提供する必要があります。このコンテンツブロックは、オプションで guard_content で修飾でき、Invoke* または Converse* API のモデルレスポンスと同等です。例:

[
    {
        "text": {
            "text": "London is the capital of UK. Tokyo is the capital of Japan",
            "qualifiers": [
                "grounding_source"
            ]
        }
    },
    {
        "text": {
            "text": "What is the capital of Japan?",
            "qualifiers": [
                "query"
            ]
        }
    },
    {
        "text": {
            "text": "The capital of Japan is Tokyo."
        }
    }
]
        

コンテキストグラウンディングチェックを実行するにはモデルレスポンスが必要であるため、チェックは、プロンプトではなく出力に対してのみ実行されます。

どのコンテンツブロックにも guard_content 修飾子が付いていない場合は、コンテキストグラウンディングチェックポリシーにより、グラウンディングソース、クエリ、およびレスポンスのみが調査されます。残りのポリシーは、デフォルトの調査動作に従います。デフォルトで、システムプロンプトは調査されず、メッセージが調査されます。ただし、コンテンツブロックに guard_content 修飾子が付いている場合は、コンテキストグラウンディングチェックポリシーによりグラウンディングソース、クエリ、レスポンスのみが調査され、残りのポリシーにより guardContent タグでマークされたコンテンツが調査されます。

コンテキストグラウンディングチェックの詳細については、「コンテキストグラウンディングチェックを使用する」を参照してください。