为您的代理模型配置额外的吞吐量 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

为您的代理模型配置额外的吞吐量

要提高代理在模型推理期间可以处理的代币的速率和数量,请将您为代理正在使用的模型购买的预配置吞吐量关联起来。要了解有关预配置吞吐量及其购买方式的更多信息,请参阅使用 Amazon Bedrock 中的预配置吞吐量增加模型调用容量

创建更新代理别名时,您可以关联预配置吞吐量。在 Amazon Bedrock 控制台中,您可以在设置别名或编辑别名时选择预配置吞吐量。在 Amazon Bedrock provisionedThroughput 中API,您可以在发送CreateAgentAliasUpdateAgentAlias; 请求routingConfiguration时在中指定。