翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
注記
Amazon Bedrock のインテリジェントプロンプトルーティングはプレビュー中であり、変更される可能性があります。
Amazon Bedrock インテリジェントプロンプトルーティングは、単一のサーバーレスエンドポイントを提供し、同じモデルファミリー内の異なる基盤モデル間でリクエストを効率的にルーティングします。リクエストごとに各モデルのレスポンス品質を動的に予測し、最適なレスポンス品質でモデルにリクエストをルーティングできます。これにより、レスポンスの品質とコストの両方を最適化できます。
トピック
利点
-
レスポンスの品質とコストの最適化： プロンプトをさまざまな基盤モデルにルーティングして、最も低いコストで最高のレスポンス品質を実現します。
-
管理の簡素化： 複雑なオーケストレーションロジックが不要になります。
-
Future-Proof: 利用可能になった新しいモデルを組み込みます。
デフォルトおよび設定されたプロンプトルーター
インテリジェントなプロンプトルーティングを使用する場合は、Amazon Bedrock が提供するデフォルトのプロンプトルーターを使用するか、独自のプロンプトルーターを設定できます。
デフォルトのプロンプトルーターは、Amazon Bedrock が提供する事前設定されたルーティングシステムです。これらのルーターには事前定義された設定があり、特定の基盤モデルでout-of-the-box機能するように設計されています。ルーティング設定を構成することなく、シンプルでready-to-useソリューションを提供します。IPR を開始するときは、Amazon Bedrock が提供するデフォルトのルーターを試すことをお勧めします。プレビュー中に、Anthropic および Meta ファミリーで一部のモデルを使用することを選択できます。
設定されたプロンプトルーターを使用すると、特定のニーズや好みに合わせた独自のルーティング設定を定義できます。リクエストのルーティング方法と使用するモデルをより細かく制御する必要がある場合に適しています。設定済みルーターは、レスポンス品質メトリクスとユースケースに基づいて最適化を可能にします。デフォルトルーターを試したら、アプリケーションに適した独自のルーターを設定し、プレイグラウンドのレスポンス品質を評価し、要件を満たしている場合は本番稼働用アプリケーションに使用できます。
考慮事項と制限事項
Amazon Bedrock でのインテリジェントなプロンプトルーティングに関する考慮事項と制限事項を次に示します。
-
インテリジェントプロンプトルーティングは、英語プロンプトにのみ最適化されています。
-
インテリジェントプロンプトルーティングでは、アプリケーション固有のパフォーマンスデータに基づいてルーティングの決定やレスポンスを調整できません。
-
インテリジェントプロンプトルーティングは、一意または特殊なユースケースに最適なルーティングを提供するとは限りません。ルーティングの有効性は、初期トレーニングデータによって異なります。
プロンプトルーター基準とフォールバックモデル
プロンプトルーターを設定するときは、ルーティング条件を指定できます。ルーティング条件は、レスポンス品質の差に基づいてリクエストを処理するために選択するモデルを決定するために使用されます。この基準を使用して、フォールバックモデルのレスポンスが他のモデルのレスポンスにどれだけ近いかを判断します。
フォールバックモデル
リクエストに適したフォールバックモデルを選択します。このモデルは、信頼性の高いベースラインとして機能します。その後、別のモデルを選択して、フォールバックモデルと比較して精度を向上させるか、コストを削減できます。フォールバックモデルはアンカーとして機能し、ルーティング基準はレスポンス品質の差に基づいて他のモデルに切り替えるタイミングを決定します。
レスポンス品質の差
レスポンス品質の差は、フォールバックモデルと他のモデルのレスポンスの格差を測定します。値が小さいほど、レスポンスが類似していることを示します。値が大きいほど、フォールバックモデルと他のモデル間のレスポンスに大きな違いがあることを示します。
例えば、応答品質の差が 10% の場合、フォールバックモデル Claude Haiku3 の応答品質が 10% の場合、応答が Claude Haiku3 の応答よりも 10% 優れている場合にのみ、ルーターは別のモデル Claude Sonnet3 に切り替えます。 Haiku3
インテリジェントなプロンプトルーティングの仕組み
-
モデルの選択とルーターの設定
アプリケーションに使用するモデルのファミリーを選択します。デフォルトのプロンプトルーターを使用している場合は、Anthropic または Meta ファミリーのモデルから選択できます。設定されたプロンプトルーターを使用している場合は、追加のモデルから選択し、ルーティング条件を設定できます。詳細については、「インテリジェントなプロンプトルーティングの使用方法」を参照してください。
-
受信リクエストの分析
受信リクエストごとに、システムはプロンプトを分析してその内容とコンテキストを理解します。
-
レスポンス品質予測
Amazon Bedrock は、プロンプトに基づいて、選択したファミリー内の指定された各モデルのレスポンス品質を予測します。プロンプトルーターを設定した場合、応答品質の違いであるルーティング条件が考慮され、条件が満たされない場合にリクエストが指定されたフォールバックモデルにルーティングされます。
-
モデルの選択とリクエストの転送
レスポンス品質の予測に基づいて、Amazon Bedrock は特定のリクエストのレスポンス品質とコストの最適な組み合わせを提供するモデルを動的に選択します。その後、リクエストは選択したモデルに転送され、処理されます。
-
レスポンス処理
選択したモデルからのレスポンスが取得され、ユーザーに返されます。レスポンスには、リクエストの処理に使用されたモデルに関する情報が含まれます。
インテリジェントなプロンプトルーティングの使用方法
インテリジェントなプロンプトルーティングを開始するには、Amazon Bedrock コンソール AWS CLI、または AWS SDK を使用します。
注記
インテリジェントなプロンプトルーティングを最大限に活用するには、定期的にパフォーマンスを確認して新しいモデルを活用する必要があります。使用量を最適化するには、使用可能なパフォーマンスとコストのメトリクスをモニタリングします。
以下のセクションでは、 コンソールと CLI からこの機能を使用する方法を示します。プロンプトルーターを設定すると、Amazon Bedrock は「」で説明されているステップを実行して、選択したルーターのモデルのいずれかからレスポンスインテリジェントなプロンプトルーティングの仕組みを生成します。
からインテリジェントなプロンプトルーティングを使用するには AWS Management Console：
-
Amazon Bedrock コンソールのプロンプトルーター
ハブに移動します。認証情報 AWS を使用して コンソールにログインします。 -
使用するモデルファミリーを選択します。機能を初めて使用する場合は、デフォルトのプロンプトルーターを試すことができます。プレビュー中に、Anthropic または Meta ファミリーのモデルから選択できます。その後、プレイグラウンドを開き、プロンプトを試すことができます。
注記
同じファミリー内で 2 つのモデルのみを選択する必要があります。
-
デフォルトのルーターを試したら、ルーターを設定できます。ルーターの一意の名前とオプションの説明を指定する必要があります。
-
プロンプトを異なるモデルにルーティングするためのルーティングルールを定義します。ルーティングのモデル、ルーティング条件、およびルーティング条件が満たされない場合に使用するフォールバックモデルを指定します。
-
プレイグラウンドを開き、さまざまなプロンプトを試して、プロンプトルーターのパフォーマンスをモニタリングできるようになりました。プロンプトのルーティング方法と各モデルのパフォーマンスを分析することで、必要に応じてルーティング基準とモデルを調整し、パフォーマンスとコストを最適化できます。
