為您的代理程式模型佈建額外的輸送量 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

為您的代理程式模型佈建額外的輸送量

若要增加代理程式在模型推論期間可處理的 Token 速率和數量,請將您為代理程式所使用的模型購買的佈建輸送量建立關聯。若要深入了解佈建輸送量以及如何購買,請參閱使用 Amazon Bedrock 中的佈建輸送量提高模型調用容量

您可以在建立或更新代理程式別名時建立關聯佈建輸送量。在 Amazon 基岩主控台中,您可以在設定或編輯別名時選擇佈建輸送量。在 Amazon 基岩中API,您可以provisionedThroughput在發送CreateAgentAliasUpdateAgentAlias; 請求routingConfiguration時在中指定。