Amazon Bedrock リソースでプロビジョンドスループットを使用する - Amazon Bedrock

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Bedrock リソースでプロビジョンドスループットを使用する

プロビジョンドスループットを購入したら、次の機能を使用してスループットを向上させることができます。

  • モデル推論 – Amazon Bedrock コンソールのプレイグラウンドでプロビジョンドスループットをテストできます。プロビジョンドスループットをデプロイする準備ができたら、プロビジョニングされたモデルを呼び出すようにアプリケーションをセットアップします。任意の方法のタブを選択し、ステップに従います。

    Console
    Amazon Bedrock コンソールのプレイグラウンドでプロビジョンドスループットを使用するには

    1. IAM Amazon Bedrock のアクセス許可を持つ ロール AWS Management Console を使用して にサインインし、 で Amazon Bedrock コンソールを開きますhttps://console.aws.amazon.com/bedrock/。

    2. 左側のナビゲーションペインから、ユースケースに応じて、[プレイグラウンド] の [チャット]、[テキスト]、または[イメージ] を選択します。

    3. [モデルを選択] を選択します。

    4. [1.] で。[カテゴリ] 列で、プロバイダーまたはカスタムモデルカテゴリを選択します。次に、[2.] で [モデル] 列で、プロビジョンドスループットが関連付けられているモデルを選択します。

    5. [3.] で [スループット] 列で、プロビジョンドスループットを選択します。

    6. [Apply] を選択します。

    Amazon Bedrock プレイグラウンドの使用方法については、「Generate responses in the console using playgrounds」を参照してください。

    API

    プロビジョンドスループットを使用して推論を実行するには、Amazon Bedrock ランタイムエンドポイントで InvokeModel、InvokeModelWithResponseStream、Converse、または ConverseStreamリクエストを送信します。プロビジョニングされたモデルを modelIdパラメータARNとして指定します。さまざまなモデルのリクエスト本文の要件を確認するには、「Inference request parameters and response fields for foundation models」を参照してください。

    コード例を見る

  • プロビジョンドスループットをエージェントエイリアスに関連付ける – エージェントエイリアスを作成または更新するときに、プロビジョンドスループットを関連付けることができます。Amazon Bedrock コンソールで、エイリアスを設定または編集する際に、プロビジョンドスループットを選択します。Amazon Bedrock でAPI、 CreateAgentAlias または UpdateAgentAlias; リクエストを送信するroutingConfigurationときに、 provisionedThroughputで を指定します。