翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
モデル呼び出しで推論プロファイルを使用する
基盤モデルの代わりにクロスリージョン推論プロファイルを使用して、リクエストを複数のリージョンにルーティングできます。モデルのコストと使用状況を追跡するには、1 つ以上のリージョンでアプリケーション推論プロファイルを使用できます。モデル推論の実行時に推論プロファイルを使用する方法については、任意のメソッドのタブを選択し、以下のステップに従います。
- Console
-
コンソールで使用できる推論プロファイルは米国のみです。Anthropic Claude 3 Opus 米国東部 (バージニア北部) リージョンの推論プロファイル。
この推論プロファイルを使用するには、米国東部 (バージニア北部) リージョンに切り替えます。次のいずれかを実行して、Anthropic Claude 3 Opus モデルを選択するステップに到達したときのスループットとしてのモデルとクロスリージョン推論：
-
テキスト生成プレイグラウンドで推論プロファイルを使用するには、「」のステップに従いますGenerate responses in the console using playgrounds。
-
モデル評価で推論プロファイルを使用するには、「Amazon Bedrock で自動モデル評価ジョブを開始する」のコンソールステップに従います。
-
- API
-
推論プロファイルは、次のAPIオペレーションで、そのプロファイルに含まれる任意のリージョンから推論を実行するときに使用できます。
-
InvokeModel または InvokeModelWithResponseStream – モデル呼び出しで推論プロファイルを使用するには、 のステップに従い、
modelIdフィールドに推論プロファイルの Amazon リソースネーム (ARN) を使用して 1 つのプロンプトを送信する InvokeModelを指定します。例については、「Use an inference profile in model invocation」を参照してください。 -
Converse または ConverseStream – でモデル呼び出しで推論プロファイルを使用するには Converse API、との会話を実行する Converse API オペレーション「」のステップに従い、
modelIdフィールドに推論プロファイルARNの を指定します。例については、「Use an inference profile in a conversation」を参照してください。 -
RetrieveAndGenerate – ナレッジベースのクエリの結果からレスポンスを生成するときに推論プロファイルを使用するには、 の APIタブのステップに従い、
modelArnフィールドに推論プロファイルARNの クエリとレスポンスを使用してナレッジベースをテストするを指定します。詳細については、「Use an inference proflie to generate a response」を参照してください。 -
CreateEvaluationJob – モデル評価用の推論プロファイルを送信するには、 のAPIタブのステップに従いAmazon Bedrock で自動モデル評価ジョブを開始する、
modelIdentifierフィールドに推論プロファイルARNの を指定します。 -
CreatePrompt – プロンプト管理で作成したプロンプトのレスポンスを生成するときに推論プロファイルを使用するには、 の APIタブのステップに従い、
modelIdフィールドに推論プロファイルARNの プロンプト管理を使用してプロンプトを作成するを指定します。 -
CreateFlow – フローのプロンプトノード内で定義したインラインプロンプトのレスポンスを生成するときに推論プロファイルを使用するには、 の APIタブのステップに従いますAmazon Bedrock でフローを作成する。プロンプトノードを定義するには、
modelIdフィールドに推論プロファイルARNの を指定します。 -
CreateDataSource – データソース内の非テキスト情報を解析するときに推論プロファイルを使用するには、 の APIセクションのステップに従い、
modelArnフィールドに推論プロファイルARNの データソースの解析オプションを指定します。
注記
クロスリージョン (システム定義) 推論プロファイルを使用している場合は、 ARNまたは推論プロファイルの ID を使用できます。
-
