运行批量推理 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

运行批量推理

注意

批量推理目前为预览版，可能会发生变化。批量推理目前只能通过 API 使用。通过以下 SDK 访问批处理 API。

我们建议您创建一个虚拟环境来使用 SDK。由于最新的软件开发工具包中没有批量推理 API，因此我们建议您在安装带有批量推理 API 的版本之前，先从虚拟环境中卸载最新版本的 SDK。有关指导性示例，请参阅代码示例。

通过批量推理，您可以异步运行多个推理请求，通过对存储在 S3 存储桶中的数据运行推理来高效处理大量请求。您可以使用批量推理来提高对大型数据集的模型推理性能。

注意

预配置模型不支持批量推理。

要查看批量推理的配额，请参阅批量推理配额。

Amazon Bedrock 支持对以下模式进行批量推理。

  • 文本到嵌入

  • 文本到文本

  • 文本到图像

  • 图像到图像

  • 图像到嵌入式

您可以将数据存储在 Amazon S3 存储桶中，以便为批量推理做好准备。然后，您可以使用 ModelInvocationJob API 来执行和管理批量推理作业。

您必须先获得调用批量推理 API 的权限，才能执行批量推理。然后，您可以配置 IAM Amazon Bedrock 服务角色，并为其分配执行批量推理作业的权限。

您可以通过下载并安装以下 AWS SDK 包之一来使用批量推理 API。

主题