本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
要提高代理在模型推理期间能够处理的令牌数量和速率,请将您为代理使用的模型购买的预调配吞吐量关联起来。要了解关于预调配吞吐量及其购买方式的更多信息,请参阅 利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量。
您可以在创建或更新代理别名时关联预调配吞吐量。在 Amazon Bedrock 控制台中,您可以在设置别名或编辑别名时选择预调配吞吐量。在 Amazon Bedrock API provisionedThroughput
中,您可以在发送CreateAgentAlias或 UpdateAgentAlias; 请求routingConfiguration
时在中指定。