翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
注記
Amazon Bedrock のインテリジェントプロンプトルーティングはプレビュー中であり、変更される可能性があります。
Amazon Bedrock インテリジェントプロンプトルーティングは、同じモデルファミリー内の異なる基盤モデル間でリクエストを効率的にルーティングするための単一のサーバーレスエンドポイントを提供します。レスポンスの品質とコストを最適化するのに役立ちます。単一のサーバーレスエンドポイントを介して複数の AI モデルを管理するための包括的なソリューションを提供し、プロセスを簡素化します。インテリジェントプロンプトルーティングは、各リクエストの各モデルのパフォーマンスを予測し、各リクエストを予測したモデルに動的にルーティングし、最も低いコストで望ましいレスポンスを提供する可能性が最も高いです。インテリジェントなプロンプトルーティングにより、Amazon Bedrock は、基盤モデルの組み合わせを使用して生成 AI アプリケーションを構築し、単一の基盤モデルよりも低コストでパフォーマンスを向上させるのに役立ちます。
インテリジェントなプロンプトルーティングを最大限に活用するには、定期的にパフォーマンスを確認して新しいモデルを活用する必要があります。使用量を最適化するには、使用可能なパフォーマンスとコストのメトリクスをモニタリングします。
インテリジェントなプロンプトルーティングを開始するには、Amazon Bedrock コンソール AWS CLI、または AWS SDK を使用します。
プレビュー中に、Anthropic および Meta ファミリーで一部のモデルを使用することを選択できます。
インテリジェントなプロンプトルーティングには、次の利点があります。
-
プロンプトをさまざまな基盤モデルにルーティングすることで、レスポンスの品質とコストを最適化するのに役立ちます。
-
複数のモデルの長所を活用することで、全体的なパフォーマンスを向上させることができます。
-
複雑なオーケストレーションロジックを必要とせずに管理を簡素化。
-
新しいモデルが利用可能になったときに組み込むことで、将来性を確保します。
インテリジェントなプロンプトルーティングの仕組み
-
使用するモデルファミリーを選択します。
-
インテリジェントプロンプトルーティングは、受信リクエストごとに、指定された各モデルのパフォーマンスを予測します。
-
Amazon Bedrock は、レスポンスの品質とコストの最適な組み合わせを提供すると予測されるモデルを動的に選択します。
-
Amazon Bedrock は、処理のために選択したモデルにリクエストを送信します。
-
Amazon Bedrock が選択したモデルに関する情報を含むレスポンスが返されます。
考慮事項と制限事項
Amazon Bedrock でのインテリジェントプロンプトルーティングに関する考慮事項と制限事項を次に示します。
-
プレビュー中は、事前設定されたルーターからのみ選択できます。
-
現在、インテリジェントプロンプトルーティングは英語プロンプトのみを受け入れます。
-
インテリジェントなプロンプトルーティングでは、アプリケーション固有のパフォーマンスデータに基づいてルーティングの決定やレスポンスを調整できません。
-
インテリジェントプロンプトルーティングは、一意または特殊なユースケースに最適なルーティングを提供するとは限りません。ルーティングの効果は、初期トレーニングデータによって異なります。
