翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon Bedrock のプロビジョニングされたスループットのコードサンプル
以下のコード例は、および Python SDK を使用してプロビジョンドスループットを作成、使用、管理する方法を示しています。 AWS CLI
- AWS CLI
-
ターミナルで次のコマンドを実行して、Anthropic Claude v2.1
MyPT
モデルからカスタマイズされたカスタムモデルに基づいて、MyCustomModel
コミットなしのプロビジョンドスループットコールを作成します。aws bedrock create-provisioned-model-throughput \ --model-units 1 \ --provisioned-model-name MyPT \ --model-id arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel
レスポンスはを返します。
provisioned-model-arn
作成が完了するまでしばらくお待ちください。ステータスを確認するには、次のコマンドのようにプロビジョニングされたモデルの名前または ARN を指定します。provisioned-model-id
aws bedrock get-provisioned-model-throughput \ --provisioned-model-id MyPT
プロビジョンドスループットの名前を変更し、v2.1 からカスタマイズした別のモデルに関連付けます。Anthropic Claude
aws bedrock update-provisioned-model-throughput \ --provisioned-model-id MyPT \ --desired-provisioned-model-name MyPT2 \ --desired-model-id arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel2
次のコマンドを使用して、更新したプロビジョニング済みモデルで推論を実行します。
UpdateProvisionedModelThroughput
レスポンスで返されるプロビジョニング済みモデルの ARN をとして指定する必要があります。model-id
出力は、現在のフォルダーのoutput.txt
という名前のファイルに書き込まれます。aws bedrock-runtime invoke-model \ --model-id
${provisioned-model-arn}
\ --body '{"inputText": "What is AWS?", "textGenerationConfig": {"temperature": 0.5}}' \ --cli-binary-format raw-in-base64-out \ output.txt以下のコマンドを使用して、プロビジョニングされたスループットを削除します。プロビジョニングされたスループットに対して課金されることはなくなります。
aws bedrock delete-provisioned-model-throughput --provisioned-model-id MyPT2
- Python (Boto)
-
以下のコードスニペットを実行して、Anthropic Claude v2.1
MyPT
MyCustomModel
モデルからカスタマイズされたカスタムモデルに基づいて呼び出されるコミットなしのプロビジョンドスループットを作成します。import boto3 bedrock = boto3.client(service_name='bedrock') bedrock.create_provisioned_model_throughput( modelUnits=1, provisionedModelName='MyPT', modelId='arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel' )
レスポンスはを返します。
provisionedModelArn
作成が完了するまでしばらくお待ちください。次のコードスニペットでステータスを確認できます。CreateProvisionedModelThroughputプロビジョニングされたスループットの名前またはレスポンスから返される ARN のいずれかをとして指定できます。provisionedModelId
bedrock.get_provisioned_model_throughput(provisionedModelId='MyPT')
プロビジョンドスループットの名前を変更し、v2.1 からカスタマイズした別のモデルに関連付けます。Anthropic Claude次に、GetProvisionedModelThroughputリクエストを送信し、プロビジョニングされたモデルの ARN を推論に使用する変数に保存します。
bedrock.update_provisioned_model_throughput( provisionedModelId='MyPT', desiredProvisionedModelName='MyPT2', desiredModelId='arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel2' ) arn_MyPT2 = bedrock.get_provisioned_model_throughput(provisionedModelId='MyPT2').get('provisionedModelArn')
以下のコマンドを使用して、更新したプロビジョニング済みモデルで推論を実行します。プロビジョニングされたモデルの ARN をとして指定する必要があります。
modelId
import json import logging import boto3 from botocore.exceptions import ClientError class ImageError(Exception): "Custom exception for errors returned by the model" def __init__(self, message): self.message = message logger = logging.getLogger(__name__) logging.basicConfig(level=logging.INFO) def generate_text(model_id, body): """ Generate text using your provisioned custom model. Args: model_id (str): The model ID to use. body (str) : The request body to use. Returns: response (json): The response from the model. """ logger.info( "Generating text with your provisioned custom model %s", model_id) brt = boto3.client(service_name='bedrock-runtime') accept = "application/json" content_type = "application/json" response = brt.invoke_model( body=body, modelId=model_id, accept=accept, contentType=content_type ) response_body = json.loads(response.get("body").read()) finish_reason = response_body.get("error") if finish_reason is not None: raise ImageError(f"Text generation error. Error is {finish_reason}") logger.info( "Successfully generated text with provisioned custom model %s", model_id) return response_body def main(): """ Entrypoint for example. """ try: logging.basicConfig(level=logging.INFO, format="%(levelname)s: %(message)s") model_id = arn_myPT2 body = json.dumps({ "inputText": "what is AWS?" }) response_body = generate_text(model_id, body) print(f"Input token count: {response_body['inputTextTokenCount']}") for result in response_body['results']: print(f"Token count: {result['tokenCount']}") print(f"Output text: {result['outputText']}") print(f"Completion reason: {result['completionReason']}") except ClientError as err: message = err.response["Error"]["Message"] logger.error("A client error occurred: %s", message) print("A client error occured: " + format(message)) except ImageError as err: logger.error(err.message) print(err.message) else: print( f"Finished generating text with your provisioned custom model {model_id}.") if __name__ == "__main__": main()
次のコードスニペットを使用してプロビジョニングされたスループットを削除します。プロビジョニングされたスループットに対して課金されることはなくなります。
bedrock.delete_provisioned_model_throughput(provisionedModelId='MyPT2')