本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量
吞吐量是指模型处理和返回的输入和输出的数量和速率。您可以购买预调配吞吐量,以固定成本为模型预调配更高级别的吞吐量。如果您自定义了一个模型,则必须购买预调配吞吐量才能使用它。
您购买的预调配吞吐量按小时计费。有关定价的详细信息,请参阅 Amazon Bedrock Pricing
-
您选择的模型(对于自定义模型,其定价与自定义所基于的基础模型相同)。
-
您为预配置吞吐量指定的模型单位数 (MUs)。MU 为指定模型提供了特定的吞吐量级别。MU 的吞吐量级别指定了以下各项:
-
MU 在一分钟内可以针对所有请求处理的输入词元数量。
-
MU 在一分钟内可以针对所有请求生成的输出词元数量。
注意
有关 MU 指定的内容的更多信息,请联系您的 AWS 账户 经理。
-
-
您承诺保持预调配吞吐量的时长。承诺期限越长,每小时价格的折扣就越大。您可以从以下承诺级别中进行选择:
-
无承诺 – 您可以随时删除预调配吞吐量。
-
1 个月 – 在一个月的承诺期限结束之前,您无法删除预调配吞吐量。
-
6 个月 – 在六个月的承诺期限结束之前,您无法删除预调配吞吐量。
注意
计费将持续到您删除预调配吞吐量为止。
-
以下步骤概述了设置和使用预调配吞吐量的过程。
-
确定MUs您要为预配置吞吐量购买的数量,以及您要承诺使用预配置吞吐量的时间。
-
为基础模型或自定义模型购买预调配吞吐量。
-
创建预调配模型后,您可以使用它来运行模型推理。