使用 Amazon Bedrock 中的预配置吞吐量增加模型调用容量 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Amazon Bedrock 中的预配置吞吐量增加模型调用容量

吞吐量是指模型处理和返回的输入和输出的数量和速率。您可以购买预配置吞吐量，以固定成本为模型预置更高的吞吐量。如果您自定义了模型，则必须购买预配置吞吐量才能使用它。

您购买的预配置吞吐量按小时计费。有关定价的详细信息，请参阅 Amazon Bedrock 定价。每小时的价格取决于以下因素：

  1. 您选择的型号（对于自定义型号，定价与其定制的基本型号相同）。

  2. 您为预配置吞吐量指定的模型单位数 (MUs)。MU 为指定模型提供特定的吞吐量级别。MU 的吞吐量级别指定了以下内容：

    • MU 在一分钟内可以在所有请求中处理的输入令牌数量。

    • MU 在一分钟内可以在所有请求中生成的输出令牌的数量。

    注意

    有关 MU 指定内容的更多信息，请联系您的 AWS 账户 经理。

  3. 您承诺保持预配置吞吐量的持续时间。承诺期限越长，每小时价格的折扣就越多。您可以在以下承诺级别之间进行选择：

    • 无需承诺 — 您可以随时删除预配置吞吐量。

    • 1 个月 — 在一个月的承诺期限结束之前，您无法删除预配置吞吐量。

    • 6 个月 — 在六个月的承诺期限结束之前，您无法删除预配置吞吐量。

    注意

    在您删除预配置吞吐量之前，计费将继续。

以下步骤概述了设置和使用预配置吞吐量的过程。

  1. 确定MUs您要为预配置吞吐量购买的数量，以及您要承诺使用预配置吞吐量的时间。

  2. 为基本型号或自定义型号购买预置吞吐量。

  3. 创建预配置模型后，您可以使用它来运行模型推理。

主题