使用批量推理处理多个提示
使用批量推理，您可以提交多个提示并异步生成响应。批量推理通过发送单个请求并在 Amazon S3 存储桶中生成响应，帮助您高效地处理大量请求。在您创建的文件中定义模型输入后，您需要将相应文件上传到 S3 存储桶。然后，您需要提交批量推理请求并指定 S3 存储桶。作业完成后，您可以从 S3 检索输出文件。您可以使用批量推理来提高对大型数据集的模型推理性能。
注意
预置模型不支持批量推理。
有关批量推理的一般信息，请参阅以下资源：
-
要查看批量推理的定价，请参阅 Amazon Bedrock 定价
。 -
要查看批量推理的配额，请参阅AWS 一般参考中的 Amazon Bedrock endpoints and quotas。
