選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

批次推論的程式碼範例

焦點模式
批次推論的程式碼範例 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本章中的程式碼範例示範如何建立批次推論任務、檢視相關資訊,以及停止。選取語言以查看其程式碼範例:

Python

建立名為 abc.jsonl 的 JSONL 檔案,其中包含至少最低數量的記錄 (請參閱 Amazon Bedrock 的配額)。您可以使用下列內容做為第一行和輸入:

{ "recordId": "CALL0000001", "modelInput": { "anthropic_version": "bedrock-2023-05-31", "max_tokens": 1024, "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Summarize the following call transcript: ..." } ] } ] } }

建立名為 amzn-s3-demo-bucket-input 的 S3 儲存貯體,並將檔案上傳至其中。然後建立名為 amzn-s3-demo-bucket-output 的 S3 儲存貯體,以寫入輸出檔案。執行下列程式碼片段以提交任務,並從回應中取得 jobArn

import boto3 bedrock = boto3.client(service_name="bedrock") inputDataConfig=({ "s3InputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl" } }) outputDataConfig=({ "s3OutputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-output/" } }) response=bedrock.create_model_invocation_job( roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole", modelId="anthropic.claude-3-haiku-20240307-v1:0", jobName="my-batch-job", inputDataConfig=inputDataConfig, outputDataConfig=outputDataConfig ) jobArn = response.get('jobArn')

傳回任務的 status

bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status']

列出失敗的批次推論任務。

bedrock.list_model_invocation_jobs( maxResults=10, statusEquals="Failed", sortOrder="Descending" )

停止您開始的任務。

bedrock.stop_model_invocation_job(jobIdentifier=jobArn)

建立名為 abc.jsonl 的 JSONL 檔案,其中包含至少最低數量的記錄 (請參閱 Amazon Bedrock 的配額)。您可以使用下列內容做為第一行和輸入:

{ "recordId": "CALL0000001", "modelInput": { "anthropic_version": "bedrock-2023-05-31", "max_tokens": 1024, "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Summarize the following call transcript: ..." } ] } ] } }

建立名為 amzn-s3-demo-bucket-input 的 S3 儲存貯體,並將檔案上傳至其中。然後建立名為 amzn-s3-demo-bucket-output 的 S3 儲存貯體,以寫入輸出檔案。執行下列程式碼片段以提交任務,並從回應中取得 jobArn

import boto3 bedrock = boto3.client(service_name="bedrock") inputDataConfig=({ "s3InputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl" } }) outputDataConfig=({ "s3OutputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-output/" } }) response=bedrock.create_model_invocation_job( roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole", modelId="anthropic.claude-3-haiku-20240307-v1:0", jobName="my-batch-job", inputDataConfig=inputDataConfig, outputDataConfig=outputDataConfig ) jobArn = response.get('jobArn')

傳回任務的 status

bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status']

列出失敗的批次推論任務。

bedrock.list_model_invocation_jobs( maxResults=10, statusEquals="Failed", sortOrder="Descending" )

停止您開始的任務。

bedrock.stop_model_invocation_job(jobIdentifier=jobArn)
隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。