Amazon Bedrock 的配額 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon Bedrock 的配額

您 AWS 帳戶 擁有 Amazon 基岩的預設配額 (以前稱為限制)。若要檢視 Amazon 基岩的服務配額，請按照檢視服務配額中的步驟操作，並選取 Amazon 基岩作為服務。部分配額因型號而異。除非另有指定，否則配額會套用至模型的所有版本。

為了維持服務效能並確保適當使用 Amazon Bdrock，指派給帳戶的預設配額可能會根據區域因素、付款歷史記錄、詐欺性用量和/或配額增加請求的核准而更新。

您可以按照以下步驟為您的帳戶申請增加配額：

選取主題以進一步瞭解該主題的預設全域配額。除非另有說明，否則所有全域和區域配額均相同。

執行模型推論時，套用下列配額。這些配額會考慮 Converse、ConverseStreamInvokeModel、和InvokeModelWithResponseStream請求的總和。推論延遲因模型而異，與當時所有客戶的輸入和輸出 Token 數量以及正在進行的隨需請求總數成正比。為了保證輸送量，我們建議您嘗試佈建輸送量。

模型 每分鐘處理的請求數 每分鐘處理的記號數 區域 可透過 Service Quotas 調整
AI21 Labs Jurassic-2 Mid 400 300,000 us-east-1 否
AI21 Labs Jurassic-2 Ultra 100 300,000 全部 否
AI21 Jamba-Instruct 100 300,000 全部 否
Amazon Titan Embeddings G1 - Text 2,000 300,000 全部 否
Amazon Titan Text Embeddings V2 2,000 300,000 全部 否
Amazon Titan Image Generator G1 60 N/A 全部 否
Amazon Titan Multimodal Embeddings G1 2,000 300,000 全部 否
Amazon Titan Text G1 - Express 400 300,000 全部 否
Amazon Titan Text G1 - Lite 800 300,000 全部 否
Amazon Titan Text Premier 100 300,000 全部 否
Anthropic Claude Instant 1,000 1,000,000 美國東部 (維吉尼亞北部) (us-east-1)、美國西部 (奧勒岡) (us-west-2) 否
400 300,000 其他地區
AnthropicClaude2.x 500 500,000 美國東部 (維吉尼亞北部) (us-east-1)、美國西部 (奧勒岡) (us-west-2) 否
100 200,000 其他地區
Anthropic Claude 3 Sonnet 500 1,000,000 美國東部 (維吉尼亞北部) (us-east-1)、美國西部 (奧勒岡) (us-west-2) 否
100 200,000 其他地區
Anthropic Claude 3 Haiku 1,000 2,000,000 美國東部 (維吉尼亞北部) (us-east-1)、美國西部 (奧勒岡) (us-west-2) 否
400 300,000 其他地區
Anthropic Claude 3.5 Sonnet 50 400,000 全部 否
Anthropic Claude 3 Opus 50 400,000 全部 否
Cohere Command R 400 300,000 全部 否
Cohere Command R+ 400 300,000 全部 否
Cohere Command 400 300,000 全部 否
Cohere Command Light 800 300,000 全部 否
CohereEmbed(英文) 2,000 300,000 全部 否
CohereEmbed（多語言） 2,000 300,000 全部 否
MetaLlama 2 800 300,000 全部 否
MetaLlama 270B 400 300,000 全部 否
Meta Llama 3 8b Instruct 800 300,000 全部 否
Meta Llama 3 70b Instruct 400 300,000 全部 否
Mistral AI Mistral 7B Instruct 800 300,000 全部 否
Mistral AI Mixtral 8X7B Instruct 400 300,000 全部 否
Mistral AI Mistral Large 400 300,000 全部 否
Mistral AI Mistral Small 400 300,000 全部 否
Stable Diffusion XL 60 N/A 全部 否

下表顯示 Amazon 基岩中不同 API 操作每秒允許的最大 API 請求數量：

功能 API 操作 每秒要求數上限
N/A DeleteModelInvocationLoggingConfiguration 1
GetFoundationModel 10
GetModelInvocationLoggingConfiguration 10
ListFoundationModels 10
ListTagsForResource 20
PutModelInvocationLoggingConfiguration 1
TagResource 20
UntagResource 20
代理程式 AssociateAgentKnowledgeBase 6
CreateAgent 6
CreateAgentActionGroup 12
CreateAgentAlias 2
DeleteAgent 2
DeleteAgentActionGroup 2
DeleteAgentAlias 2
DeleteAgentVersion 2
DisassociateAgentKnowledgeBase 4
GetAgent 15
GetAgentActionGroup 20
GetAgentAlias 10
GetAgentKnowledgeBase 15
GetAgentVersion 10
ListAgents 10
ListAgentActionGroups 10
ListAgentAliases 10
ListAgentKnowledgeBases 10
ListAgentVersions 10
PrepareAgent 2
UpdateAgent 4
UpdateAgentActionGroup 6
UpdateAgentAlias 2
UpdateAgentKnowledgeBase 4
自訂模型 CreateModelCustomizationJob 1
DeleteCustomModel 10
GetCustomModel 10
GetModelCustomizationJob 10
ListModelCustomizationJobs 10
StopModelCustomizationJob 10
護欄 CreateGuardrail 1
CreateGuardrailVersion 1
DeleteGuardrail 1
GetGuardrail 10
ListGuardrails 10
UpdateGuardrail 1
知識庫 CreateDataSource 2
CreateKnowledgeBase 2
DeleteDataSource 2
DeleteKnowledgeBase 2
GetDataSource 10
GetIngestionJob 10
GetKnowledgeBase 10
ListDataSources 10
ListIngestionJobs 10
ListKnowledgeBases 10
擷取 5
RetrieveAndGenerate 5
StartIngestionJob 0.1
UpdateDataSource 2
UpdateKnowledgeBase 2
模型評估 CreateEvaluationJob 5
GetEvaluationJob 10
ListEvaluationJobs 10
StopEvaluationJob 5
佈建輸送量 CreateProvisionedModelThroughput 1
DeleteProvisionedModelThroughput 1
GetProvisionedModelThroughput 10
ListProvisionedModelThroughputs 10
UpdateProvisionedModelThroughput 1

選取索引標籤以查看提示的模型特定配額。

Amazon 泰坦 Text models
描述 Value 可透過 Service Quotas 調整
文字提示長度，以字元表示 42,000 否
Amazon Titan Image Generator G1
描述 Value 可透過 Service Quotas 調整
文字提示長度，以字元表示 1,024 否
輸入影像大小 5 MB 否
輸入圖像高度（以像素為單位）（塗漆/外繪） 1,024 否
輸入圖像寬度（以像素為單位）（塗漆/外繪） 1,024 否
以像素為單位的輸入圖像高度（圖像變化） 4,096 否
以像素為單位的輸入圖像寬度（圖像變化） 4,096 否
輸入圖像總像素 12,582,912 否
Amazon Titan Embeddings G1 - Text
描述 Value 可透過 Service Quotas 調整
文字輸入長度，以字元為單位 50,000 否
Amazon Titan Multimodal Embeddings G1
描述 Value 可透過 Service Quotas 調整
文字輸入長度，以字元為單位 100,000 否
以 BASE64 編碼的圖像字符串，以字符表示 25,000,000 否

執行批次推論時，套用下列配額。配額取決於輸入和輸出資料的模式。

模式 檔案大小下限 檔案大小上限 可透過 Service Quotas 調整
文字轉內嵌項目 75 MB 500 MB 否
文字轉文字 20 MB 150 MB 否
文字/影像轉影像 1 MB 50 MB 否

當您使用護欄時，會強制執行下列配額。

配額 描述 Value
每個帳戶的護欄 帳戶中護欄的最大數目。 100
每護欄版本 護欄可以擁有的最大版本數。 20
每個主題護欄的主題 跨護欄主題原則可定義的最大主題數目。 30
每個主題的示例短語 主題中可包含的主題範例數目上限。 5
敏感資訊篩選器中的 Regex 運算式 敏感資訊原則中可包含的護欄篩選器正則運算式數目上限 10
字符正則表達式長度 護欄篩選器正則運算式的最大長度 (以字元為單位)。 500
「每字詞數」政策 封鎖字詞清單中可包含的字數上限。 10,000
字元長度 在封鎖的單字清單中，單字的最大長度 (以字元為單位)。 100
每秒隨選 ApplyGuardrail 要求數 每秒允許的最大 ApplyGuardrail API 呼叫數目。 25
隨選 ApplyGuardrail 拒絕主題原則文字單位每秒。 每秒可處理「拒絕」主題策略的文字單元數目上限。 25
隨選 ApplyGuardrail 內容篩選原則每秒文字單位 每秒可針對內容篩選策略處理的文字單位數目上限。 25
隨選 ApplyGuardrail Word 篩選原則每秒文字單位 Word 篩選原則每秒可處理的文字單位數目上限。 25
隨選 ApplyGuardrail 敏感資訊篩選原則文字單位每秒 敏感資訊篩選原則每秒可處理的文字單位數目上限。 25

下列配額適用於 Amazon 基岩的知識庫。

描述 最大 可透過 Service Quotas 調整 描述
每個帳戶的知識庫 100 否 每個帳戶的知識庫的最大數量。
每個知識庫的資料來源 5 否 每個知識庫的資料來源數目上限。
資料來源區塊大小 (Titan文字 G1-嵌入) 8,192 否 使用的資料來源大小上限 (以 KB 為單位) Titan Embeddings G1 - Text。
資料來源區塊大小 (CohereEmbed英文) 512 否 使用CohereEmbed英文的資料來源大小上限 (KB)。
資料來源區塊大小 (CohereEmbed多語言) 512 否 使用CohereEmbed多語言的資料來源大小上限 (KB)。
每個擷取工作要新增或更新的檔案 5,000,000 否 每個擷取工作可擷取的新檔案和更新檔案數目上限。
每個擷取工作要刪除的檔案 5,000,000 否 每個擷取工作可刪除的檔案數目上限。
擷取工作檔案大小 (來源文件) 50 MB 否 擷取工作中來源文件檔案的大小上限 (MB)。
擷取工作檔案大小 (中繼資料檔案) 10 KB 否 擷取工作中的中繼資料檔案大小上限 (KB)。
擷取工作大小 100 GB 否 擷取工作的大小上限 (GB)。
每個資料來源的並行擷取工作 1 否 資料來源可同時執行的擷取工作數目上限。
每個知識庫並行擷取工作 1 否 知識庫可同時進行的擷取工作數目上限。
每個帳戶的並行擷取工作 5 否 帳戶中可同時執行的擷取工作數目上限。
使用者查詢大小 1,000 否 使用者查詢的大小上限 (以字元為單位)。

下列配額適用於 Amazon 基岩的代理程式。

配額 最大 可透過 Service Quotas 調整 描述
每個帳戶的代理程式 50 是 一個帳戶中代理程式的最大數量。
每個代理程式的關聯 10 否 可與代理程式建立關聯的別名數目上限。
代理指示中的字元 4,000 是 代理程式指示中的字元數目上限。
每個代理程式的動作 20 是 可新增至代理程式的動作群組數目上限。
每個代理程式啟用的動作 11 是 可在代理程式中啟用的動作群組數目上限。
每個代理程式的 API 或函式 11 是 您可以新增至代理程式的 API 數目上限。
每個函數的參數 5 否 您可以為動作群組新增至函數的最大參數數目。
Lambda 回應承載大小 25 KB 否 動作群組 Lambda 回應中有效負載的大小上限。
每個代理程式的關聯知識庫 2 是 您可以與代理程式建立關聯的知識庫數目上限。

下列配額適用於提示流程。

配額 最大 可透過 Service Quotas 調整 描述
每個流程每個節點類型的節點 5 否 您可以為一個流程中每種類型新增的節點數目上限。

下列配額適用於模型自訂。

描述 最大 可透過 Service Quotas 調整
帳戶中匯入模型的最大數目。 0 是
排定的自訂工作數目上限。 2 否
帳戶中自訂模型的最大數目。 100 是

若要查看超參數配額，請參閱自訂模型超參數。

選取索引標籤以查看模型特定配額，這些配額適用於用於自訂不同基礎模型的訓練和驗證資料集。

Amazon Titan Text Premier
描述 最大值（持續訓練）不可用 最大（微調）僅預覽 可透過 Service Quotas 調整
批次大小為 1 時，輸入和輸出記號數的總和 N/A 4,096 否
批次大小為 2、3 或 4 時，輸入和輸出標記的總和 N/A 不適用 否
資料集中每個範例的字元配額 N/A 記號配額 x 6 否
訓練與驗證記錄的總和 N/A 20,000 是
訓練資料集檔案大小 N/A 1 GB 否
驗證資料集檔案大小 N/A 100 MB 否
Amazon Titan Text G1 - Express
描述 最高（持續培訓前） 最大（微調） 可透過 Service Quotas 調整
批次大小為 1 時，輸入和輸出記號數的總和 4,096 4,096 否
批次大小為 2、3 或 4 時，輸入和輸出標記的總和 2,048 2,048 否
資料集中每個範例的字元配額 記號配額 x 6 記號配額 x 6 否
訓練與驗證記錄的總和 100,000 10,000 是
訓練資料集檔案大小 10 GB 1 GB 否
驗證資料集檔案大小 100 MB 100 MB 否
Amazon Titan Text G1 - Lite
描述 最高（持續培訓前） 最大（微調） 可透過 Service Quotas 調整
批次大小為 1 或 2 時，輸入和輸出標記的總和 4,096 4,096 否
批次大小為 3、4、5 或 6 時，輸入和輸出權杖的總和 2,048 2,048 否
資料集中每個範例的字元配額 記號配額 x 6 記號配額 x 6 否
訓練與驗證記錄的總和 100,000 10,000 是
訓練資料集檔案大小 10 GB 1 GB 否
驗證資料集檔案大小 100 MB 100 MB 否
Amazon Titan Image Generator G1
描述 最小值（微調） 最大（微調） 可透過 Service Quotas 調整
訓練範例中的文字提示長度 (以字元表示) 3 1,024 否
訓練資料集中的記錄 5 10,000 否
輸入影像大小 0 50 MB 否
輸入圖像高度（像素） 512 4,096 否
輸入圖像寬度，以像素為 512 4,096 否
輸入圖像總像素 0 12,582,912 否
輸入圖像縱橫比 1:4 4:1 否
訓練與驗證記錄的總和 N/A 10,000 是
Amazon Titan Multimodal Embeddings G1
描述 最小值（微調） 最大（微調） 可透過 Service Quotas 調整
訓練範例中的文字提示長度 (以字元表示) 0 2,560 否
訓練資料集中的記錄 1,000 500,000 否
輸入影像大小 0 5 MB 否
輸入圖像高度（像素） 128 4096 否
輸入圖像寬度（像素） 128 4096 否
輸入圖像總像素 0 12,528,912 否
輸入圖像縱橫比 1:4 4:1 否
訓練與驗證記錄的總和 N/A 50,000 是
Cohere Command
描述 最大（微調） 可透過 Service Quotas 調整
輸入令牌 4,096 否
輸出令牌 2,048 否
資料集中每個範例的字元配額 記號配額 x 6 否
訓練資料集中的記錄 10,000 否
驗證資料集中的記錄 1,000 否
Meta 美洲駝 2 號
描述 最大（微調） 可透過 Service Quotas 調整
輸入令牌 4,096 否
輸出令牌 2,048 否
資料集中每個範例的字元配額 記號配額 x 6 否
訓練與驗證記錄的總和 10,000 是

下列配額適用於佈建的輸送量。

注意

如果配額標示為無法透過「Service Quotas」調整，您可以透過提高限額表單提交要求，以考慮增加。

描述 預設 可透過 Service Quotas 調整
可在無承諾的佈建輸送量之間分配的模型單位 2 否
可在具有承諾的佈建輸送量之間分配的模型單位 0 否

下列配額適用於模型評估工作：

任務類型 描述 預設 可調整

自動化

您可以在自動化模型評估工作中指定的資料集數目上限。這包括自訂和內建提示資料集。

 5 否

自動化

在自動化模型評估工作中，您可以為每個資料集指定的指標數目上限。這包括自訂和內建量度。

 3 否
人力

您可以在使用人工作者的模型評估工作中指定的自訂指標數目上限。

 10 否

自動化

您可以在自動化模型評估工作中指定的模型數目上限。

 1 否
人力

您可以在使用人工作者的模型評估工作中指定的最大模型數目。

 2 否
自動化

在目前區域中，您可以在此帳戶中同時指定的自動模型評估工作數目上限。

 20 否
人力

您可以在目前「區域」的此帳戶中同時指定使用人工作程式的模型評估工作數目上限。

 10 否
兩者

您可以在目前區域的此帳戶中建立的模型評估工作數目上限。

 500 否
人力

在目前區域中，此帳戶中，您可以在以人為基礎的模型評估工作中指定的自訂提示資料集數目上限。

 1 否
兩者

自訂提示資料集可包含的提示數目上限。

 1,000 否
兩者

個別提示的大小上限 (KB) 為自訂提示資料集。

 4 KB 否
人力

Worker 完成工作所需的時間上限 (以天為單位)。

 30 否