기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon Bedrock의 할당량
Amazon AWS 계정 Bedrock에 대한 기본 할당량 (이전에는 한도라고 함) 이 있습니다. Amazon Bedrock의 서비스 할당량을 보려면 서비스 할당량 보기의 단계를 따르고 Amazon Bedrock을 서비스로 선택하십시오. 일부 할당량은 모델별로 다릅니다. 달리 지정하지 않는 한, 할당량은 모델의 모든 버전에 적용됩니다.
서비스 성능을 유지하고 Amazon Bedrock을 적절하게 사용하기 위해 계정에 할당된 기본 할당량은 지역별 요인, 결제 내역, 부정 사용 및/또는 할당량 증가 요청 승인에 따라 업데이트될 수 있습니다.
아래 단계에 따라 계정의 할당량 증가를 요청할 수 있습니다.
-
다음 표의 Service Quotas를 통해 조정 가능 열에서 할당량이 예로 표시된 경우 Service Quotas 사용 설명서의 Service Quotas 사용 설명서에서할당량 증가 요청의 단계를 수행하여 할당량을 조정할 수 있습니다.
-
다음 표의 Service Quotas를 통해 조정 가능 열에서 할당량이 아니요로 표시된 경우 다음 방법 중 하나로 할당량 증가를 요청할 수 있습니다.
-
런타임 할당량에 대한 할당량 증가를 요청하려면 관리자에게 문의하세요. AWS 계정 AWS 계정 관리자가 없는 경우 지금은 할당량을 늘릴 수 없습니다.
-
다른 할당량 증가를 요청하려면 한도 증가 양식을
통해 요청을 제출하여 증액 검토를 요청하세요.
참고
수요가 너무 많기 때문에 기존 할당량을 소비하는 트래픽을 생성하는 고객에게 우선 순위가 부여됩니다. 이 조건을 충족하지 않으면 요청이 거부될 수 있습니다.
-
주제를 선택하여 기본 글로벌 할당량에 대해 자세히 알아보세요. 달리 명시되지 않는 한 모든 글로벌 및 지역 할당량은 동일합니다.
모델 추론을 수행할 때 다음 할당량이 적용됩니다. 이러한 할당량은 Converse,, ConverseStream및 요청의 합계를 고려합니다. InvokeModelInvokeModelWithResponseStream 추론 지연 시간은 모델마다 다르며 입력 및 출력 토큰 수와 해당 시점에 모든 고객이 진행 중인 온디맨드 요청의 총 수에 정비례합니다. 처리량을 보장하려면 프로비저닝된 처리량을 사용해 보는 것이 좋습니다.
모델 | 분당 처리되는 요청 수 | 분당 처리되는 토큰 수 | 리전 | Service Quotas를 통해 조정 가능 |
---|---|---|---|---|
AI21 Labs Jurassic-2 Mid | 400 | 300,000 | us-east-1 | 아니요 |
AI21 Labs Jurassic-2 Ultra | 100 | 300,000 | 모두 | 아니요 |
AI21 Jamba-Instruct | 100 | 300,000 | 모두 | 아니요 |
Amazon Titan Embeddings G1 - Text | 2,000 | 300,000 | 모두 | 아니요 |
Amazon Titan Text Embeddings V2 | 2,000 | 300,000 | 모두 | 아니요 |
Amazon Titan Image Generator G1 V1 | 60 | N/A | 모두 | 아니요 |
Amazon Titan Image Generator G1 V2 | 60 | N/A | 모두 | 아니요 |
Amazon Titan Multimodal Embeddings G1 | 2,000 | 300,000 | 모두 | 아니요 |
Amazon Titan Text G1 - Express | 400 | 300,000 | 모두 | 아니요 |
Amazon Titan Text G1 - Lite | 800 | 300,000 | 모두 | 아니요 |
Amazon Titan Text Premier | 100 | 300,000 | 모두 | 아니요 |
Anthropic Claude Instant | 1,000 | 1,000,000 |
us-east-1 us-west-2 |
아니요 |
400 | 300,000 | 기타 지역 | ||
AnthropicClaude2.x | 500 | 500,000 |
us-east-1 us-west-2 |
아니요 |
100 | 200,000 | 기타 지역 | ||
Anthropic Claude 3 Sonnet | 500 | 1,000,000 |
us-east-1 us-west-2 |
아니요 |
100 | 200,000 | 기타 지역 | ||
Anthropic Claude 3 Haiku | 1,000 | 2백만 |
us-east-1 us-west-2 |
아니요 |
200 | 200,000 |
ap-northeast-1 ap-southeast-1 |
||
400 | 300,000 | 기타 지역 | ||
Anthropic Claude 3.5 Sonnet | 250 | 2백만 | us-west-2 | 아니요 |
20 | 200,000 |
ap-northeast-1 ap-southeast-1 eu-central-1 |
아니요 | |
50 | 400,000 | 기타 지역 | 아니요 | |
Anthropic Claude 3 Opus | 50 | 400,000 | 모두 | 아니요 |
Cohere Command R | 400 | 300,000 | 모두 | 아니요 |
Cohere Command R+ | 400 | 300,000 | 모두 | 아니요 |
Cohere Command | 400 | 300,000 | 모두 | 아니요 |
Cohere Command Light | 800 | 300,000 | 모두 | 아니요 |
CohereEmbed(영어) | 2,000 | 300,000 | 모두 | 아니요 |
CohereEmbed(다국어) | 2,000 | 300,000 | 모두 | 아니요 |
MetaLlama 213B | 800 | 300,000 | 모두 | 아니요 |
MetaLlama 270B | 400 | 300,000 | 모두 | 아니요 |
Meta Llama 3 8B Instruct | 800 | 300,000 | 모두 | 아니요 |
Meta Llama 3 70B Instruct | 400 | 300,000 | 모두 | 아니요 |
Meta Llama 3.1 8B Instruct | 800 | 300,000 | us-west-2 | 아니요 |
Meta Llama 3.1 70B Instruct | 400 | 300,000 | us-west-2 | 아니요 |
Meta Llama 3.1 405B Instruct | 50 | 400,000 | us-west-2 | 아니요 |
Mistral AI Mistral 7B Instruct | 800 | 300,000 | 모두 | 아니요 |
Mistral AI Mixtral 8X7B Instruct | 400 | 300,000 | 모두 | 아니요 |
Mistral AI Mistral Large | 400 | 300,000 | 모두 | 아니요 |
Mistral AI Mistral Large 2 (24.07) | 400 | 300,000 | us-west-2 | 아니요 |
Mistral AI Mistral Small | 400 | 300,000 | 모두 | 아니요 |
Stable Diffusion XL | 60 | N/A | 모두 | 아니요 |
다음 표는 Amazon Bedrock의 다양한 API 작업에 대해 초당 허용되는 최대 API 요청 수를 보여줍니다.
기능 | API오퍼레이션 | 초당 최대 요청 |
---|---|---|
N/A | 대화하다 | 200 |
ConverseStream | 200 | |
DeleteModelInvocationLoggingConfiguration | 1 | |
GetFoundationModel | 10 | |
GetModelInvocationLoggingConfiguration | 10 | |
InvokeModel | 200 | |
InvokeModelWithResponseStream | 200 | |
ListFoundationModels | 10 | |
ListTagsForResource | 20 | |
PutModelInvocationLoggingConfiguration | 1 | |
TagResource | 20 | |
UntagResource | 20 | |
에이전트 | AssociateAgentKnowledgeBase | 6 |
CreateAgent | 6 | |
CreateAgentActionGroup | 12 | |
CreateAgentAlias | 2 | |
DeleteAgent | 2 | |
DeleteAgentActionGroup | 2 | |
DeleteAgentAlias | 2 | |
DeleteAgentVersion | 2 | |
DisassociateAgentKnowledgeBase | 4 | |
GetAgent | 15 | |
GetAgentActionGroup | 20 | |
GetAgentAlias | 10 | |
GetAgentKnowledgeBase | 15 | |
GetAgentVersion | 10 | |
ListAgents | 10 | |
ListAgentActionGroups | 10 | |
ListAgentAliases | 10 | |
ListAgentKnowledgeBases | 10 | |
ListAgentVersions | 10 | |
PrepareAgent | 2 | |
UpdateAgent | 4 | |
UpdateAgentActionGroup | 6 | |
UpdateAgentAlias | 2 | |
UpdateAgentKnowledgeBase | 4 | |
사용자 지정 모델 | CreateModelCustomizationJob | 1 |
DeleteCustomModel | 10 | |
GetCustomModel | 10 | |
GetModelCustomizationJob | 10 | |
ListModelCustomizationJobs | 10 | |
StopModelCustomizationJob | 10 | |
가드레일 | CreateGuardrail | 1 |
CreateGuardrailVersion | 1 | |
DeleteGuardrail | 1 | |
GetGuardrail | 10 | |
ListGuardrails | 10 | |
UpdateGuardrail | 1 | |
지식 기반 | CreateDataSource | 2 |
CreateKnowledgeBase | 2 | |
DeleteDataSource | 2 | |
DeleteKnowledgeBase | 2 | |
GetDataSource | 10 | |
GetIngestionJob | 10 | |
GetKnowledgeBase | 10 | |
ListDataSources | 10 | |
ListIngestionJobs | 10 | |
ListKnowledgeBases | 10 | |
검색 | 5 | |
RetrieveAndGenerate | 5 | |
StartIngestionJob | 0.1 | |
UpdateDataSource | 2 | |
UpdateKnowledgeBase | 2 | |
모델 평가 | CreateEvaluationJob | 5 |
GetEvaluationJob | 10 | |
ListEvaluationJobs | 10 | |
StopEvaluationJob | 5 | |
프로비저닝된 처리량 | CreateProvisionedModelThroughput | 1 |
DeleteProvisionedModelThroughput | 1 | |
GetProvisionedModelThroughput | 10 | |
ListProvisionedModelThroughputs | 10 | |
UpdateProvisionedModelThroughput | 1 |
탭을 선택하면 프롬프트에 대한 모델별 할당량을 볼 수 있습니다.
배치 추론을 수행할 때 다음 할당량이 적용됩니다. 할당량은 입력 및 출력 데이터의 양식에 따라 달라집니다.
양식 | 최소 파일 크기 | 최대 파일 크기 | Service Quotas를 통해 조정 가능 |
---|---|---|---|
텍스트-임베딩 | 75MB | 500MB | 아니요 |
텍스트-텍스트 | 20MB | 150MB | 아니요 |
텍스트/이미지-이미지 | 1MB | 50MB | 아니요 |
가드레일을 사용할 때는 다음과 같은 할당량이 적용됩니다.
할당량 | 설명 | 값 |
---|---|---|
계정당 가드레일 | 계정 내 최대 가드레일 수. | 100 |
가드레일별 버전 | 가드레일에 포함할 수 있는 최대 버전 수. | 20 |
주제별 주제 (가드레일) | 가드레일 주제 정책에서 정의할 수 있는 최대 주제 수입니다. | 30 |
주제별 예시 문구 | 주제에 포함할 수 있는 주제 예제의 최대 개수. | 5 |
민감한 정보 필터의 정규식 | 민감한 정보 정책에 포함할 수 있는 가드레일 필터 정규 표현식의 최대 수 | 10 |
정규 표현식 길이 (문자) | 가드레일 필터 정규식의 최대 길이 (문자 수). | 500 |
단어당 단어 수 정책 | 차단된 단어 목록에 포함할 수 있는 최대 단어 수 | 10,000개 |
단어 길이 (문자 수) | 차단된 단어 목록에 있는 단어의 최대 길이 (문자 수) | 100 |
초당 온디맨드 ApplyGuardrail 요청 | 초당 허용되는 최대 ApplyGuardrail API 통화 수입니다. | 25 |
온디맨드 ApplyGuardrail 거부 주제 정책 초당 텍스트 단위 | 거부된 주제 정책을 처리할 수 있는 초당 최대 텍스트 단위 수입니다. | 25 |
온디맨드 ApplyGuardrail 콘텐츠 필터 정책 초당 텍스트 단위 | 콘텐츠 필터 정책에 대해 초당 처리할 수 있는 최대 텍스트 단위 수입니다. | 25 |
온디맨드 ApplyGuardrail 워드 필터 정책 초당 텍스트 단위 | Word 필터 정책에 대해 초당 처리할 수 있는 최대 텍스트 단위 수입니다. | 25 |
온디맨드 ApplyGuardrail 민감한 정보 필터 정책 초당 텍스트 단위 | 민감한 정보 필터 정책을 위해 처리할 수 있는 초당 최대 텍스트 단위 수입니다. | 25 |
참고
텍스트 단위는 최대 1,000자까지 가능합니다.
Amazon Bedrock의 지식 기반에는 다음 할당량이 적용됩니다.
설명 | Maximum | Service Quotas를 통해 조정 가능 | 설명 |
---|---|---|---|
계정별 지식 베이스 | 100 | 아니요 | 계정당 최대 지식창고 수. |
지식창고별 데이터 소스 | 5 | 아니요 | 지식창고당 최대 데이터 원본 수. |
데이터 소스 청크 크기 (Titan텍스트 G1 - 임베딩) | 8,192 | 아니요 | 를 사용하는 데이터 원본의 최대 크기 (KB) Titan Embeddings G1 - Text |
데이터 소스 청크 크기 (CohereEmbed영어) | 512 | 아니요 | 데이터 원본의 최대 크기 (KB) (CohereEmbed영어 기준) |
데이터 소스 청크 크기 (CohereEmbed다국어) | 512 | 아니요 | CohereEmbed다국어를 사용하는 데이터 원본의 최대 크기 (KB) |
청크당 데이터 소스 총 메타데이터 필드/속성 | 250 | 아니요 | 청크당 문서 메타데이터 필드/속성의 최대 수 |
데이터 원본: Web Crawler의 총 크롤링된 콘텐츠 항목 수 | 25,000 | 아니요 | 크롤링할 수 있는 최대 웹 페이지 콘텐츠 항목 수 (콘텐츠 항목당 최대 50MB) |
데이터 원본: 총 크롤링된 파일 수 | 250만 | 아니요 | 크롤링할 수 있는 데이터 원본 파일 또는 콘텐츠 항목의 최대 수 (파일/콘텐츠 항목당 최대 50MB) |
고급 파싱 총 데이터 크기 | 100MB | 아니요 | 고급 구문 분석을 사용하여 파싱할 수 있는 데이터의 최대 결합 크기 (MB) |
고급 파싱 (전체 파일 수) | 100 | 아니요 | 고급 구문 분석을 사용하여 파싱할 수 있는 최대 파일 수입니다. |
수집 작업당 추가 또는 업데이트할 파일 | 5,000,000 | 아니요 | 통합 작업당 인제스트할 수 있는 새 파일 및 업데이트된 파일의 최대 수입니다. |
통합 작업당 삭제할 파일 | 5,000,000 | 아니요 | 통합 작업당 삭제할 수 있는 최대 파일 수입니다. |
통합 작업 파일 크기 (소스 문서) | 50MB | 아니요 | 통합 작업에 있는 소스 문서 파일의 최대 크기 (MB) |
통합 작업 파일 크기 (메타데이터 파일) | 10KB | 아니요 | 통합 작업에 있는 메타데이터 파일의 최대 크기 (KB) |
통합 작업 크기 | 100GB | 아니요 | 통합 작업의 최대 크기 (GB). |
데이터 원본별 동시 통합 작업 | 1 | 아니요 | 데이터 원본에 대해 동시에 발생할 수 있는 최대 통합 작업 수입니다. |
지식창고별 동시 수집 작업 | 1 | 아니요 | 지식창고에서 동시에 수행할 수 있는 최대 수집 작업 수입니다. |
계정별 동시 수집 작업 | 5 | 아니요 | 한 계정에서 동시에 발생할 수 있는 최대 통합 작업 수입니다. |
사용자 쿼리 크기 | 1,000 | 아니요 | 사용자 쿼리의 최대 크기 (문자 수). |
Amazon Bedrock용 에이전트에는 다음 할당량이 적용됩니다.
할당량 | Maximum | Service Quotas를 통해 조정 가능 | 설명 |
---|---|---|---|
계정당 에이전트 | 50 | 예 | 한 계정의 최대 상담원 수. |
에이전트별 관련 별칭 | 10 | 아니요 | 상담원과 연결할 수 있는 최대 별칭 수 |
상담원 지침의 문자 수 | 4,000 | 예 | 상담원 지침의 최대 문자 수입니다. |
에이전트별 작업 그룹 | 20 | 예 | 상담원에 추가할 수 있는 최대 작업 그룹 수입니다. |
에이전트당 액션 그룹을 활성화했습니다. | 11 | 예 | 에이전트에서 활성화할 수 있는 작업 그룹의 최대 수입니다. |
APIs또는 에이전트별 기능 | 11 | 예 | 에이전트에 추가할 수 있는 최대 개수 APIs |
함수당 파라미터 | 5 | 예 | 작업 그룹의 함수에 추가할 수 있는 최대 매개 변수 수입니다. |
Lambda 응답 페이로드 크기 | 25KB | 아니요 | 작업 그룹 Lambda 응답의 최대 페이로드 크기. |
에이전트당 관련 지식 기반 | 2 | 예 | 에이전트와 연결할 수 있는 지식베이스의 최대 수. |
프롬프트 관리에는 다음 할당량이 적용됩니다.
할당량 | Maximum | Service Quotas를 통해 조정 가능 | 설명 |
---|---|---|---|
계정별 프롬프트 | 50 | 아니요 | 계정에서 사용할 수 있는 프롬프트 관리의 최대 프롬프트 수입니다. |
프롬프트별 버전 | 10 | 아니요 | 프롬프트 관리에서 프롬프트에 포함할 수 있는 최대 버전 수입니다. |
프롬프트 플로우에는 다음 할당량이 적용됩니다.
할당량 | Maximum | Service Quotas를 통해 조정 가능 | 설명 |
---|---|---|---|
계정별 프롬프트 플로우 | 10 | 아니요 | 한 계정에서 사용할 수 있는 프롬프트 플로우의 최대 수입니다. |
프롬프트당 노드 수 | 20 | 아니요 | 프롬프트 흐름에 포함할 수 있는 최대 노드 수입니다. |
프롬프트 플로우당 버전 | 10 | 아니요 | 프롬프트 흐름에 포함할 수 있는 최대 버전 수. |
프롬프트 흐름별 별칭 | 10 | 아니요 | 프롬프트 흐름에 연결할 수 있는 최대 별칭 수입니다. |
계정당 프롬프트 플로우 | 10 | 아니요 | 한 계정에서 사용할 수 있는 프롬프트 플로우의 최대 수입니다. |
계정당 프롬프트 플로우 | 10 | 아니요 | 한 계정에서 사용할 수 있는 프롬프트 플로우의 최대 수입니다. |
프롬프트 플로우당 플로우 입력 노드 | 1 | 아니요 | 프롬프트 흐름에 추가할 수 있는 흐름 입력 노드의 최대 수입니다. |
프롬프트 흐름당 흐름 출력 노드 수 | 5 | 아니요 | 프롬프트 흐름에 추가할 수 있는 흐름 출력 노드의 최대 수입니다. |
프롬프트 플로우당 조건 노드 | 5 | 아니요 | 프롬프트 흐름에 추가할 수 있는 최대 조건 노드 수입니다. |
프롬프트 흐름당 이터레이터 노드 | 1 | 아니요 | 프롬프트 흐름에 추가할 수 있는 최대 이터레이터 노드 수입니다. |
프롬프트 흐름당 컬렉터 노드 | 1 | 아니요 | 프롬프트 플로우에 추가할 수 있는 컬렉터 노드의 최대 수입니다. |
프롬프트 플로우당 프롬프트 노드 | 5 | 아니요 | 프롬프트 흐름에 추가할 수 있는 최대 프롬프트 노드 수입니다. |
프롬프트 플로우당 Lambda 노드 | 5 | 아니요 | 프롬프트 흐름에 추가할 수 있는 Lambda 노드의 최대 수. |
프롬프트당 Lex 노드 수 | 5 | 아니요 | 프롬프트 흐름에 추가할 수 있는 최대 Lex 노드 수입니다. |
프롬프트 흐름별 노드 유형당 노드 수 | 5 | 아니요 | 프롬프트 흐름의 각 유형에 추가할 수 있는 최대 노드 수입니다. |
조건 노드별 조건 | 5 | 아니요 | 프롬프트 플로우에서 조건 노드에 추가할 수 있는 최대 조건 수입니다. |
다음 할당량은 모델 사용자 지정에 적용됩니다.
설명 | Maximum | Service Quotas를 통해 조정 가능 |
---|---|---|
계정 내 최대 수입 모델 수. | 0 | 예 |
예약된 사용자 지정 작업의 최대 수입니다. | 2 | 아니요 |
계정 내 사용자 지정 모델의 최대 개수. | 100 | 예 |
하이퍼파라미터 할당량을 보려면 을 참조하십시오. 사용자 지정 모델 하이퍼파라미터
탭을 선택하면 다양한 기초 모델을 사용자 지정하는 데 사용되는 훈련 및 검증 데이터세트에 적용되는 모델별 할당량을 확인할 수 있습니다.
다음 할당량이 프로비저닝된 처리량에 적용됩니다.
참고
Service Quotas를 통해 할당량을 조정할 수 없는 것으로 표시된 경우 한도 증가 양식을 통해 요청을 제출하면 증가를
설명 | 기본값 | Service Quotas를 통해 조정 가능 |
---|---|---|
약정 없이 프로비저닝된 처리량에 분산할 수 있는 모델 유닛 | 2 | 아니요 |
약정을 통해 프로비저닝된 처리량 전체에 분산할 수 있는 모델 단위 | 0 | 아니요 |
다음 할당량은 모델 평가 작업에 적용됩니다.
작업 유형 | 설명 | 기본값 | 조정 가능 |
---|---|---|---|
자동 |
자동 모델 평가 작업에서 지정할 수 있는 최대 데이터셋 수입니다. 여기에는 커스텀 프롬프트 데이터세트와 빌트인 프롬프트 데이터셋이 모두 포함됩니다. |
5 | 아니요 |
자동 |
자동 모델 평가 작업에서 데이터세트별로 지정할 수 있는 최대 지표 수입니다. 여기에는 커스텀 메트릭과 빌트인 메트릭이 모두 포함됩니다. |
3 | 아니요 |
인간 |
작업자를 사용하는 모델 평가 작업에서 지정할 수 있는 사용자 지정 지표의 최대 수입니다. |
10 | 아니요 |
자동 |
자동 모델 평가 작업에서 지정할 수 있는 최대 모델 수. |
1 | 아니요 |
인간 |
인간 작업자를 사용하는 모델 평가 작업에서 지정할 수 있는 최대 모델 수입니다. |
2 | 아니요 |
자동 |
현재 지역의 이 계정에서 한 번에 지정할 수 있는 자동 모델 평가 작업의 최대 수입니다. |
20 | 아니요 |
인간 |
현재 지역의 이 계정에서 인간 작업자를 사용하는 최대 모델 평가 작업 수를 한 번에 지정할 수 있습니다. |
10 | 아니요 |
모두 |
현재 지역에서 이 계정으로 생성할 수 있는 모델 평가 작업의 최대 수입니다. |
500 | 아니요 |
인간 |
현재 지역의 이 계정에서 인간 기반 모델 평가 작업에 지정할 수 있는 사용자 지정 프롬프트 데이터세트의 최대 수입니다. |
1 | 아니요 |
모두 |
사용자 지정 프롬프트 데이터세트에 포함할 수 있는 최대 프롬프트 수. |
1,000 | 아니요 |
모두 |
개별 프롬프트의 최대 크기 (KB) 는 사용자 지정 프롬프트 데이터세트입니다. |
4KB | 아니요 |
인간 |
작업자가 작업을 완료할 수 있는 최대 시간 (일수). |
30 | 아니요 |