本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
运行批量推理
注意
批量推理目前为预览版,可能会发生变化。批量推理目前只能通过 API 使用。通过以下 SDK 访问批处理 API。
-
AWS 适用于 Java 的 SDK
。
我们建议您创建一个虚拟环境来使用 SDK。由于最新的软件开发工具包中没有批量推理 API,因此我们建议您在安装带有批量推理 API 的版本之前,先从虚拟环境中卸载最新版本的 SDK。有关指导性示例,请参阅代码示例。
通过批量推理,您可以异步运行多个推理请求,通过对存储在 S3 存储桶中的数据运行推理来高效处理大量请求。您可以使用批量推理来提高对大型数据集的模型推理性能。
注意
预配置模型不支持批量推理。
要查看批量推理的配额,请参阅批量推理配额。
Amazon Bedrock 支持对以下模式进行批量推理。
-
文本到嵌入
-
文本到文本
-
文本到图像
-
图像到图像
-
图像到嵌入式
您可以将数据存储在 Amazon S3 存储桶中,以便为批量推理做好准备。然后,您可以使用 ModelInvocationJob
API 来执行和管理批量推理作业。
您必须先获得调用批量推理 API 的权限,才能执行批量推理。然后,您可以配置 IAM Amazon Bedrock 服务角色,并为其分配执行批量推理作业的权限。
您可以通过下载并安装以下 AWS SDK 包之一来使用批量推理 API。
-
AWS 适用于 Java 的 SDK
。