本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon Bedrock 的配額
您 AWS 帳戶 擁有 Amazon 基岩的預設配額 (以前稱為限制)。若要檢視 Amazon 基岩的服務配額,請按照檢視服務配額中的步驟操作,並選取 Amazon 基岩作為服務。部分配額因型號而異。除非另有指定,否則配額會套用至模型的所有版本。
為了維持服務效能並確保適當使用 Amazon Bdrock,指派給帳戶的預設配額可能會根據區域因素、付款歷史記錄、詐欺性用量和/或配額增加請求的核准而更新。
您可以按照以下步驟為您的帳戶申請增加配額:
-
如果在下表的「透過 Service Quotas 調整」欄中將配額標示為是,您可以按照 Service Quotas 使用者指南中「Service Quotas 使用者指南」中「要求增加配額」中的步驟進行調整。
-
如果下表的「透過 Service Quotas 調整」欄中的配額標示為否,您可以透過下列其中一種方式要求增加配額:
-
若要要求提高 Runtime 配額的配額,請聯絡您的 AWS 帳戶 管理員。如果您沒有 AWS 帳戶 管理員,目前無法增加配額。
-
若要要求增加其他配額,請透過提高限額表格提
交要求,以考慮提高配額。
注意
由於需求不斷增加,產生消耗現有配額配額的流量的客戶將獲得優先順序。如果您不符合此條件,您的請求可能會被拒絕。
-
選取主題以進一步瞭解該主題的預設全域配額。除非另有說明,否則所有全域和區域配額均相同。
執行模型推論時,套用下列配額。這些配額會考慮 Converse、ConverseStreamInvokeModel、和InvokeModelWithResponseStream請求的總和。推論延遲因模型而異,與當時所有客戶的輸入和輸出 Token 數量以及正在進行的隨需請求總數成正比。為了保證輸送量,我們建議您嘗試佈建輸送量。
模型 | 每分鐘處理的請求數 | 每分鐘處理的記號數 | 區域 | 可透過 Service Quotas 調整 |
---|---|---|---|---|
AI21 Labs Jurassic-2 Mid | 400 | 300,000 | us-east-1 | 否 |
AI21 Labs Jurassic-2 Ultra | 100 | 300,000 | 全部 | 否 |
AI21 Jamba-Instruct | 100 | 300,000 | 全部 | 否 |
Amazon Titan Embeddings G1 - Text | 2,000 | 300,000 | 全部 | 否 |
Amazon Titan Text Embeddings V2 | 2,000 | 300,000 | 全部 | 否 |
Amazon Titan Image Generator G1 | 60 | N/A | 全部 | 否 |
Amazon Titan Multimodal Embeddings G1 | 2,000 | 300,000 | 全部 | 否 |
Amazon Titan Text G1 - Express | 400 | 300,000 | 全部 | 否 |
Amazon Titan Text G1 - Lite | 800 | 300,000 | 全部 | 否 |
Amazon Titan Text Premier | 100 | 300,000 | 全部 | 否 |
Anthropic Claude Instant | 1,000 | 1,000,000 | 美國東部 (維吉尼亞北部) (us-east-1)、美國西部 (奧勒岡) (us-west-2) | 否 |
400 | 300,000 | 其他地區 | ||
AnthropicClaude2.x | 500 | 500,000 | 美國東部 (維吉尼亞北部) (us-east-1)、美國西部 (奧勒岡) (us-west-2) | 否 |
100 | 200,000 | 其他地區 | ||
Anthropic Claude 3 Sonnet | 500 | 1,000,000 | 美國東部 (維吉尼亞北部) (us-east-1)、美國西部 (奧勒岡) (us-west-2) | 否 |
100 | 200,000 | 其他地區 | ||
Anthropic Claude 3 Haiku | 1,000 | 2,000,000 | 美國東部 (維吉尼亞北部) (us-east-1)、美國西部 (奧勒岡) (us-west-2) | 否 |
400 | 300,000 | 其他地區 | ||
Anthropic Claude 3.5 Sonnet | 50 | 400,000 | 全部 | 否 |
Anthropic Claude 3 Opus | 50 | 400,000 | 全部 | 否 |
Cohere Command R | 400 | 300,000 | 全部 | 否 |
Cohere Command R+ | 400 | 300,000 | 全部 | 否 |
Cohere Command | 400 | 300,000 | 全部 | 否 |
Cohere Command Light | 800 | 300,000 | 全部 | 否 |
CohereEmbed(英文) | 2,000 | 300,000 | 全部 | 否 |
CohereEmbed(多語言) | 2,000 | 300,000 | 全部 | 否 |
MetaLlama 2 | 800 | 300,000 | 全部 | 否 |
MetaLlama 270B | 400 | 300,000 | 全部 | 否 |
Meta Llama 3 8b Instruct | 800 | 300,000 | 全部 | 否 |
Meta Llama 3 70b Instruct | 400 | 300,000 | 全部 | 否 |
Mistral AI Mistral 7B Instruct | 800 | 300,000 | 全部 | 否 |
Mistral AI Mixtral 8X7B Instruct | 400 | 300,000 | 全部 | 否 |
Mistral AI Mistral Large | 400 | 300,000 | 全部 | 否 |
Mistral AI Mistral Small | 400 | 300,000 | 全部 | 否 |
Stable Diffusion XL | 60 | N/A | 全部 | 否 |
下表顯示 Amazon 基岩中不同 API 操作每秒允許的最大 API 請求數量:
功能 | API 操作 | 每秒要求數上限 |
---|---|---|
N/A | DeleteModelInvocationLoggingConfiguration | 1 |
GetFoundationModel | 10 | |
GetModelInvocationLoggingConfiguration | 10 | |
ListFoundationModels | 10 | |
ListTagsForResource | 20 | |
PutModelInvocationLoggingConfiguration | 1 | |
TagResource | 20 | |
UntagResource | 20 | |
代理程式 | AssociateAgentKnowledgeBase | 6 |
CreateAgent | 6 | |
CreateAgentActionGroup | 12 | |
CreateAgentAlias | 2 | |
DeleteAgent | 2 | |
DeleteAgentActionGroup | 2 | |
DeleteAgentAlias | 2 | |
DeleteAgentVersion | 2 | |
DisassociateAgentKnowledgeBase | 4 | |
GetAgent | 15 | |
GetAgentActionGroup | 20 | |
GetAgentAlias | 10 | |
GetAgentKnowledgeBase | 15 | |
GetAgentVersion | 10 | |
ListAgents | 10 | |
ListAgentActionGroups | 10 | |
ListAgentAliases | 10 | |
ListAgentKnowledgeBases | 10 | |
ListAgentVersions | 10 | |
PrepareAgent | 2 | |
UpdateAgent | 4 | |
UpdateAgentActionGroup | 6 | |
UpdateAgentAlias | 2 | |
UpdateAgentKnowledgeBase | 4 | |
自訂模型 | CreateModelCustomizationJob | 1 |
DeleteCustomModel | 10 | |
GetCustomModel | 10 | |
GetModelCustomizationJob | 10 | |
ListModelCustomizationJobs | 10 | |
StopModelCustomizationJob | 10 | |
護欄 | CreateGuardrail | 1 |
CreateGuardrailVersion | 1 | |
DeleteGuardrail | 1 | |
GetGuardrail | 10 | |
ListGuardrails | 10 | |
UpdateGuardrail | 1 | |
知識庫 | CreateDataSource | 2 |
CreateKnowledgeBase | 2 | |
DeleteDataSource | 2 | |
DeleteKnowledgeBase | 2 | |
GetDataSource | 10 | |
GetIngestionJob | 10 | |
GetKnowledgeBase | 10 | |
ListDataSources | 10 | |
ListIngestionJobs | 10 | |
ListKnowledgeBases | 10 | |
擷取 | 5 | |
RetrieveAndGenerate | 5 | |
StartIngestionJob | 0.1 | |
UpdateDataSource | 2 | |
UpdateKnowledgeBase | 2 | |
模型評估 | CreateEvaluationJob | 5 |
GetEvaluationJob | 10 | |
ListEvaluationJobs | 10 | |
StopEvaluationJob | 5 | |
佈建輸送量 | CreateProvisionedModelThroughput | 1 |
DeleteProvisionedModelThroughput | 1 | |
GetProvisionedModelThroughput | 10 | |
ListProvisionedModelThroughputs | 10 | |
UpdateProvisionedModelThroughput | 1 |
選取索引標籤以查看提示的模型特定配額。
執行批次推論時,套用下列配額。配額取決於輸入和輸出資料的模式。
模式 | 檔案大小下限 | 檔案大小上限 | 可透過 Service Quotas 調整 |
---|---|---|---|
文字轉內嵌項目 | 75 MB | 500 MB | 否 |
文字轉文字 | 20 MB | 150 MB | 否 |
文字/影像轉影像 | 1 MB | 50 MB | 否 |
當您使用護欄時,會強制執行下列配額。
配額 | 描述 | Value |
---|---|---|
每個帳戶的護欄 | 帳戶中護欄的最大數目。 | 100 |
每護欄版本 | 護欄可以擁有的最大版本數。 | 20 |
每個主題護欄的主題 | 跨護欄主題原則可定義的最大主題數目。 | 30 |
每個主題的示例短語 | 主題中可包含的主題範例數目上限。 | 5 |
敏感資訊篩選器中的 Regex 運算式 | 敏感資訊原則中可包含的護欄篩選器正則運算式數目上限 | 10 |
字符正則表達式長度 | 護欄篩選器正則運算式的最大長度 (以字元為單位)。 | 500 |
「每字詞數」政策 | 封鎖字詞清單中可包含的字數上限。 | 10,000 |
字元長度 | 在封鎖的單字清單中,單字的最大長度 (以字元為單位)。 | 100 |
每秒隨選 ApplyGuardrail 要求數 | 每秒允許的最大 ApplyGuardrail API 呼叫數目。 | 25 |
隨選 ApplyGuardrail 拒絕主題原則文字單位每秒。 | 每秒可處理「拒絕」主題策略的文字單元數目上限。 | 25 |
隨選 ApplyGuardrail 內容篩選原則每秒文字單位 | 每秒可針對內容篩選策略處理的文字單位數目上限。 | 25 |
隨選 ApplyGuardrail Word 篩選原則每秒文字單位 | Word 篩選原則每秒可處理的文字單位數目上限。 | 25 |
隨選 ApplyGuardrail 敏感資訊篩選原則文字單位每秒 | 敏感資訊篩選原則每秒可處理的文字單位數目上限。 | 25 |
下列配額適用於 Amazon 基岩的知識庫。
描述 | 最大 | 可透過 Service Quotas 調整 | 描述 |
---|---|---|---|
每個帳戶的知識庫 | 100 | 否 | 每個帳戶的知識庫的最大數量。 |
每個知識庫的資料來源 | 5 | 否 | 每個知識庫的資料來源數目上限。 |
資料來源區塊大小 (Titan文字 G1-嵌入) | 8,192 | 否 | 使用的資料來源大小上限 (以 KB 為單位) Titan Embeddings G1 - Text。 |
資料來源區塊大小 (CohereEmbed英文) | 512 | 否 | 使用CohereEmbed英文的資料來源大小上限 (KB)。 |
資料來源區塊大小 (CohereEmbed多語言) | 512 | 否 | 使用CohereEmbed多語言的資料來源大小上限 (KB)。 |
每個擷取工作要新增或更新的檔案 | 5,000,000 | 否 | 每個擷取工作可擷取的新檔案和更新檔案數目上限。 |
每個擷取工作要刪除的檔案 | 5,000,000 | 否 | 每個擷取工作可刪除的檔案數目上限。 |
擷取工作檔案大小 (來源文件) | 50 MB | 否 | 擷取工作中來源文件檔案的大小上限 (MB)。 |
擷取工作檔案大小 (中繼資料檔案) | 10 KB | 否 | 擷取工作中的中繼資料檔案大小上限 (KB)。 |
擷取工作大小 | 100 GB | 否 | 擷取工作的大小上限 (GB)。 |
每個資料來源的並行擷取工作 | 1 | 否 | 資料來源可同時執行的擷取工作數目上限。 |
每個知識庫並行擷取工作 | 1 | 否 | 知識庫可同時進行的擷取工作數目上限。 |
每個帳戶的並行擷取工作 | 5 | 否 | 帳戶中可同時執行的擷取工作數目上限。 |
使用者查詢大小 | 1,000 | 否 | 使用者查詢的大小上限 (以字元為單位)。 |
下列配額適用於 Amazon 基岩的代理程式。
配額 | 最大 | 可透過 Service Quotas 調整 | 描述 |
---|---|---|---|
每個帳戶的代理程式 | 50 | 是 | 一個帳戶中代理程式的最大數量。 |
每個代理程式的關聯 | 10 | 否 | 可與代理程式建立關聯的別名數目上限。 |
代理指示中的字元 | 4,000 | 是 | 代理程式指示中的字元數目上限。 |
每個代理程式的動作 | 20 | 是 | 可新增至代理程式的動作群組數目上限。 |
每個代理程式啟用的動作 | 11 | 是 | 可在代理程式中啟用的動作群組數目上限。 |
每個代理程式的 API 或函式 | 11 | 是 | 您可以新增至代理程式的 API 數目上限。 |
每個函數的參數 | 5 | 否 | 您可以為動作群組新增至函數的最大參數數目。 |
Lambda 回應承載大小 | 25 KB | 否 | 動作群組 Lambda 回應中有效負載的大小上限。 |
每個代理程式的關聯知識庫 | 2 | 是 | 您可以與代理程式建立關聯的知識庫數目上限。 |
下列配額適用於提示流程。
配額 | 最大 | 可透過 Service Quotas 調整 | 描述 |
---|---|---|---|
每個流程每個節點類型的節點 | 5 | 否 | 您可以為一個流程中每種類型新增的節點數目上限。 |
下列配額適用於模型自訂。
描述 | 最大 | 可透過 Service Quotas 調整 |
---|---|---|
帳戶中匯入模型的最大數目。 | 0 | 是 |
排定的自訂工作數目上限。 | 2 | 否 |
帳戶中自訂模型的最大數目。 | 100 | 是 |
若要查看超參數配額,請參閱自訂模型超參數。
選取索引標籤以查看模型特定配額,這些配額適用於用於自訂不同基礎模型的訓練和驗證資料集。
下列配額適用於佈建的輸送量。
注意
如果配額標示為無法透過「Service Quotas」調整,您可以透過提高限額表單
描述 | 預設 | 可透過 Service Quotas 調整 |
---|---|---|
可在無承諾的佈建輸送量之間分配的模型單位 | 2 | 否 |
可在具有承諾的佈建輸送量之間分配的模型單位 | 0 | 否 |
下列配額適用於模型評估工作:
任務類型 | 描述 | 預設 | 可調整 |
---|---|---|---|
自動化 |
您可以在自動化模型評估工作中指定的資料集數目上限。這包括自訂和內建提示資料集。 |
5 | 否 |
自動化 |
在自動化模型評估工作中,您可以為每個資料集指定的指標數目上限。這包括自訂和內建量度。 |
3 | 否 |
人力 |
您可以在使用人工作者的模型評估工作中指定的自訂指標數目上限。 |
10 | 否 |
自動化 |
您可以在自動化模型評估工作中指定的模型數目上限。 |
1 | 否 |
人力 |
您可以在使用人工作者的模型評估工作中指定的最大模型數目。 |
2 | 否 |
自動化 |
在目前區域中,您可以在此帳戶中同時指定的自動模型評估工作數目上限。 |
20 | 否 |
人力 |
您可以在目前「區域」的此帳戶中同時指定使用人工作程式的模型評估工作數目上限。 |
10 | 否 |
兩者 |
您可以在目前區域的此帳戶中建立的模型評估工作數目上限。 |
500 | 否 |
人力 |
在目前區域中,此帳戶中,您可以在以人為基礎的模型評估工作中指定的自訂提示資料集數目上限。 |
1 | 否 |
兩者 |
自訂提示資料集可包含的提示數目上限。 |
1,000 | 否 |
兩者 |
個別提示的大小上限 (KB) 為自訂提示資料集。 |
4 KB | 否 |
人力 |
Worker 完成工作所需的時間上限 (以天為單位)。 |
30 | 否 |