本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
为您的代理模型配置额外的吞吐量
要提高代理在模型推理期间可以处理的代币的速率和数量,请将您为代理正在使用的模型购买的预配置吞吐量关联起来。要了解有关预配置吞吐量及其购买方式的更多信息,请参阅使用 Amazon Bedrock 中的预配置吞吐量增加模型调用容量。
在创建或更新代理别名时,您可以关联预配置吞吐量。在 Amazon Bedrock 控制台中,您可以在设置别名或编辑别名时选择预配置吞吐量。在 Amazon Bedrock provisionedThroughput
中API,您可以在发送CreateAgentAlias或 UpdateAgentAlias; 请求routingConfiguration
时在中指定。