本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
创建批量推理作业
注意
批量推理目前为预览版,可能会发生变化。Batch 推断目前只能通过。APIAPIs通过以下方式访问批处理SDKs。
我们建议您创建一个虚拟环境来使用SDK。由于批量推理在最新版本中APIs不可用SDKs,因此我们建议您在安装带有批处理推APIs理的版本之前,先SDK从虚拟环境中卸载最新版本的。有关指导性示例,请参阅代码示例。
要创建批量推理作业,请发送 CreateModelInvocationJob
请求。提供以下信息:
-
有权ARN在中运行批量推理的角色的。
roleArn
-
包含中输入JSONL文件的 S3 存储桶
inputDataConfig
以及要在其中写入信息的存储桶的信息outputDataConfig
。 -
在
modelId
中提供用于推理的模型的 ID(请参阅 Amazon Bedrock 基本模型IDs(按需吞吐量) )。 -
在
jobName
中提供作业名称。 -
(可选)在
tags
中提供要附加到作业的任何标签。
响应会返回一个jobArn
,您可以将其用于其他与批量推理相关的API调用。
您可以使用GetModelInvocationJob
或来检查任务status
的执行情况ListModelInvocationJobs
APIs。
作业状态为 Completed
后,您可以从您在 outputDataConfig
的请求中指定的 S3 存储桶中的文件中提取批量推理作业的结果。S3 存储桶包含以下文件:
-
包含模型推理结果的输出文件。
-
如果输出为文本,Amazon Bedrock 会为每个输入JSONL文件生成一个输出JSONL文件。输出文件包含模型针对每个输入的输出,格式如下。在推理出现错误的任何行中,
error
对象都会替换modelOutput
字段。modelOutput
JSON对象的格式与您在InvokeModel
响应中使用的模型body
字段相匹配。有关更多信息,请参阅 根基模型的推理参数。{ "recordId" : "
11 character alphanumeric string
", "modelInput":{JSON body}
, "modelOutput":{JSON body}
}以下示例显示了可能的输出文件。
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
-
如果输出的是图像,Amazon Bedrock 会为每张图像生成一个文件。
-
-
包含批量推理作业摘要的
manifest.json.out
文件。{ "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTextTokenCount": number, // For embedding/text to text models "outputTextTokenCount" : number, // For text to text models "outputImgCount512x512pStep50": number, // For text to image models "outputImgCount512x512pStep150" : number, // For text to image models "outputImgCount512x896pStep50" : number, // For text to image models "outputImgCount512x896pStep150" : number // For text to image models }