创建批量推理作业 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建批量推理作业

设置包含用于运行模型推理的文件的 Amazon S3 存储桶后,您可以创建批量推理作业。

注意

要使用提交批量推理作业VPC,必须使用。API选择该API选项卡以了解如何包含VPC配置。

要了解如何创建批量推理作业,请选择与您选择的方法相对应的选项卡,然后按照以下步骤操作:

Console
创建批量推理作业
  1. AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录,然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

  2. 在左侧导航窗格中,选择 Batch 推理

  3. Batch 推理作业部分,选择创建作业

  4. 任务详细信息部分,为批量推理作业指定一个任务名称,然后选择选择模型来选择用于批量推理作业的模型。

  5. 输入数据部分,选择浏览 S3,然后选择包含批处理推理作业文件的 S3 位置。检查文件是否符合中描述的格式格式化并上传您的批量推理数据

    注意

    如果输入数据位于与您提交任务的账户不同的 S3 存储桶中,则必须使用提交批量推理作业。API要了解如何执行此操作,请选择上面的API选项卡。

  6. 输出数据部分,选择浏览 S3,然后选择一个 S3 位置来存储批处理推理作业的输出文件。默认情况下,输出数据将由加密 AWS 托管式密钥。要选择自定义KMS密钥,请选择 “自定义加密设置(高级)”,然后选择一个密钥。有关加密 Amazon Bedrock 资源和设置自定义KMS密钥的更多信息,请参阅数据加密

    注意

    如果您计划将输出数据写入属于与您提交任务的账户不同的账户的 S3 存储桶,则必须使用API提交批量推理作业。要了解如何执行此操作,请选择上面的API选项卡。

  7. 在 “服务访问权限” 部分,选择以下选项之一:

    • 使用现有服务角色 — 从下拉列表中选择一个服务角色。有关设置具有相应权限的自定义角色的更多信息,请参阅批量推理所需的权限

    • 创建和使用新的服务角色 — 输入服务角色的名称。

  8. (可选)要将标签与批量推理作业相关联,请展开标签部分,为每个标签添加键和可选值。有关更多信息,请参阅 标记 Amazon Bedrock 资源

  9. 选择创建批量推理作业

API

要创建批量推理作业,请使用 Amazon Bedrock 控制平面终端节点发送CreateModelInvocationJob请求(有关请求和响应格式以及字段详情,请参阅链接)。

以下字段是必填字段:

字段 应用场景
jobName 为作业指定名称。
roleArn 指定有权创建和管理任务的服务角色的 Amazon 资源名称 (ARN)。有关更多信息,请参阅 为批量推理创建服务角色
modelId 指定要在推理中使用的模型的 ID 或ARN。
inputDataConfig 指定包含要提交给任务的提示和配置的 S3 位置。有关更多信息,请参阅 格式化并上传您的批量推理数据
outputDataConfig 指定要写入模型响应的 S3 位置。

以下字段为可选字段:

字段 应用场景
timeoutDurationIn时长 以小时为单位指定任务将超时的持续时间。
标签 指定要与作业关联的任何标签。有关更多信息,请参阅 标记 Amazon Bedrock 资源
vpcConfig 指定用于在作业期间保护数据的VPC配置。有关更多信息,请参阅 使用保护批量推理作业 VPC
clientRequestToken 用于确保API请求只完成一次的标识符。

响应会返回 ajobArn,在执行其他与批量推理相关的API调用时,您可以使用它来引用该作业。