本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
创建批量推理作业
设置包含用于运行模型推理的文件的 Amazon S3 存储桶后,您可以创建批量推理作业。
注意
要使用提交批量推理作业VPC,必须使用。API选择该API选项卡以了解如何包含VPC配置。
要了解如何创建批量推理作业,请选择与您选择的方法相对应的选项卡,然后按照以下步骤操作:
- Console
-
创建批量推理作业
-
AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录,然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/
-
在左侧导航窗格中,选择 Batch 推理。
-
在 Batch 推理作业部分,选择创建作业。
-
在任务详细信息部分,为批量推理作业指定一个任务名称,然后选择选择模型来选择用于批量推理作业的模型。
-
在输入数据部分,选择浏览 S3,然后选择包含批处理推理作业文件的 S3 位置。检查文件是否符合中描述的格式格式化并上传您的批量推理数据。
注意
如果输入数据位于与您提交任务的账户不同的 S3 存储桶中,则必须使用提交批量推理作业。API要了解如何执行此操作,请选择上面的API选项卡。
-
在输出数据部分,选择浏览 S3,然后选择一个 S3 位置来存储批处理推理作业的输出文件。默认情况下,输出数据将由加密 AWS 托管式密钥。要选择自定义KMS密钥,请选择 “自定义加密设置(高级)”,然后选择一个密钥。有关加密 Amazon Bedrock 资源和设置自定义KMS密钥的更多信息,请参阅数据加密。
注意
如果您计划将输出数据写入属于与您提交任务的账户不同的账户的 S3 存储桶,则必须使用API提交批量推理作业。要了解如何执行此操作,请选择上面的API选项卡。
-
在 “服务访问权限” 部分,选择以下选项之一:
-
使用现有服务角色 — 从下拉列表中选择一个服务角色。有关设置具有相应权限的自定义角色的更多信息,请参阅批量推理所需的权限。
-
创建和使用新的服务角色 — 输入服务角色的名称。
-
-
(可选)要将标签与批量推理作业相关联,请展开标签部分,为每个标签添加键和可选值。有关更多信息,请参阅 标记 Amazon Bedrock 资源。
-
选择创建批量推理作业。
-
- API
-
要创建批量推理作业,请使用 Amazon Bedrock 控制平面终端节点发送CreateModelInvocationJob请求(有关请求和响应格式以及字段详情,请参阅链接)。
以下字段是必填字段:
字段 应用场景 jobName 为作业指定名称。 roleArn 指定有权创建和管理任务的服务角色的 Amazon 资源名称 (ARN)。有关更多信息,请参阅 为批量推理创建服务角色。 modelId 指定要在推理中使用的模型的 ID 或ARN。 inputDataConfig 指定包含要提交给任务的提示和配置的 S3 位置。有关更多信息,请参阅 格式化并上传您的批量推理数据。 outputDataConfig 指定要写入模型响应的 S3 位置。 以下字段为可选字段:
字段 应用场景 timeoutDurationIn时长 以小时为单位指定任务将超时的持续时间。 标签 指定要与作业关联的任何标签。有关更多信息,请参阅 标记 Amazon Bedrock 资源。 vpcConfig 指定用于在作业期间保护数据的VPC配置。有关更多信息,请参阅 使用保护批量推理作业 VPC。 clientRequestToken 用于确保API请求只完成一次的标识符。 响应会返回 a
jobArn
,在执行其他与批量推理相关的API调用时,您可以使用它来引用该作业。