翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
次のコード例は、 と Python SDK を使用してプロビジョンドスループットを作成する方法と、プロビジョンドスループットを管理 AWS CLI および呼び出す方法を示しています。プロビジョニングされたスループットは、基盤モデルまたは既にカスタマイズしたモデルから作成できます。開始する前に、次の前提条件を実行します。
前提条件
次の例では、Amazon Nova Liteモデル ID が であるモデルを使用しますamazon.nova-lite-v1:0:24k
。まだアクセスしていない場合は、「」の手順に従って へのアクセスをリクエストAmazon Nova LiteしますAdd or remove access to Amazon Bedrock foundation models。
別の基盤モデルまたはカスタムモデルのプロビジョンドスループットを購入する場合は、以下を実行する必要があります。
-
次のいずれかを実行して、モデルの ID (基盤モデルの場合)、名前 (カスタムモデルの場合)、または ARN (いずれかの場合) を見つけます。
-
基盤モデルのプロビジョンドスループットを購入する場合は、次のいずれかの方法でプロビジョニングをサポートするモデルの ID または Amazon リソースネーム (ARN) を見つけます。
-
で テーブルの値を検索しますプロビジョンドスループットでサポートされているリージョンとモデル。
-
ListFoundationModels リクエストを送信し、
byInferenceType
値を指定PROVISIONED
して、プロビジョニングをサポートするモデルのリストを表示します。modelId
またはmodelArn
フィールドの値を見つけます。
-
-
カスタムモデルのプロビジョンドスループットを購入する場合は、次のいずれかの方法でカスタマイズしたモデルの名前または Amazon リソースネーム (ARN) を見つけます。
-
Amazon Bedrock コンソールで、左側のナビゲーションペインからカスタムモデルを選択します。カスタマイズされたモデルの名前をモデルリストで検索するか、モデルを選択してモデルの詳細でモデル ARN を見つけます。
-
ListCustomModels リクエストを送信し、レスポンスでカスタムモデルの
modelName
またはmodelArn
値を見つけます。
-
-
-
以下の例
body
の InvokeModel リクエストの を変更して、モデルの本文の形式に合わせて、 で見つけますInference request parameters and response fields for foundation models。
任意の方法のタブを選択し、ステップに従います。
-
ターミナルで次のコマンドを実行して、CreateProvisionedModelThroughput リクエストを送信し、
MyPT
という非コミットプロビジョンドスループットを作成します。aws bedrock create-provisioned-model-throughput \ --model-units 1 \ --provisioned-model-name
MyPT
\ --model-id amazon.nova-lite-v1:0:24k -
レスポンスは
provisioned-model-arn
を返します。作成が完了するまでしばらく待ちます。ステータスを確認するには、次のコマンドを実行して、GetProvisionedModelThroughput リクエストを送信しprovisioned-model-id
、プロビジョニングされたモデルの名前または ARN を として指定します。aws bedrock get-provisioned-model-throughput \ --provisioned-model-id
${provisioned-model-arn}
-
InvokeModel リクエストを送信して、プロビジョニングされたモデルで推論を実行します。
CreateProvisionedModelThroughput
レスポンスで返されたプロビジョニング済みモデルの ARN を として指定しますmodel-id
。出力は、現在のフォルダのoutput.txt
という名前のファイルに書き込まれます。aws bedrock-runtime invoke-model \ --model-id
${provisioned-model-arn}
\ --body '{ "messages": [{ "role": "user", "content": [{ "text": "Hello" }] }], "inferenceConfig": { "temperature":0.7 } }' \ --cli-binary-format raw-in-base64-out \ output.txt -
次のコマンドを使用して DeleteProvisionedModelThroughput リクエストを送信し、プロビジョンドスループットを削除します。プロビジョンドスループットの料金は発生しなくなります。
aws bedrock delete-provisioned-model-throughput --provisioned-model-id
MyPT