推論モデルと考慮事項のレスポンス生成を設定する

特定の基盤モデルでは、モデル推論を実行できます。モデル推論では、より大きく複雑なタスクを取り、より小さくてシンプルなステップに分割します。このプロセスは、多くの場合、思考連鎖 (CoT) 推論と呼ばれ、モデルが応答する前に考える機会を与えることで、モデルの精度を向上させることができます。モデル推論は、複数ステップ分析、数学の問題、複雑な推論タスクなどのタスクに最も役立ちます。詳細については、「モデル推論によるモデルレスポンスの強化」を参照してください。

モデル推論を有効にすると、引用結果が改善され、精度が向上しますが、レイテンシーが増加する可能性があります。以下は、Amazon Bedrock ナレッジベースで推論モデルを使用してデータソースをクエリし、レスポンスを生成する際の考慮事項です。

Amazon Bedrock ナレッジベースでのモデル推論の使用

モデル推論は、 RetrieveAndGenerate API の additionalModelRequestFieldsパラメータを使用して有効または無効にできます。このパラメータは、すべてのキーと値のペアを受け入れます。例えば、次に示すように、 reasoningConfigフィールドを追加し、typeキーを使用して推論を有効または無効にできます。

{
   "input": { 
      "text": "string",
      "retrieveAndGenerateConfiguration": { 
      "knowledgeBaseConfiguration": { 
         "generationConfiguration": { 
            "additionalModelRequestFields": {
                "reasoningConfig" : {
                    "type": "enabled",
                    "budget": INT_VAL, #required when enabled
                }
            }
         },
         "knowledgeBaseId": "string",
      },
      "type": "string"
   },
   "sessionId": "string"
}

一般的な考慮事項

以下は、ナレッジベースの推論モデルを使用する際の一般的な考慮事項です。

API の取得と生成に関する考慮事項

以下は、推論モデルに RetrieveAndGenerate API を使用する場合の考慮事項です。