기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon Bedrock에서 지원하는 엔드포인트
Amazon Bedrock은 추론 작업을 수행하기 위한 다양한 엔드포인트를 지원합니다.
추론 작업
Amazon Bedrock은 프로그래밍 방식으로 추론을 수행하기 위해 다음과 같은 두 가지 기본 엔드포인트를 지원합니다.
| Endpoint | 지원되는 APIs | 설명 |
|---|---|---|
bedrock-mantle.{region}.api.aws |
응답 API / 채팅 완료 API / 메시지 API | OpenAI 호환 엔드포인트 및 Anthropic Messages API를 사용하여 Amazon Bedrock에서 호스팅되는 모델에 대한 추론 요청을 수행하기 위한 리전별 엔드포인트입니다. |
bedrock-runtime.{region}.amazonaws.com |
InvokeModel / Converse / Chat Completions / Messages API | InvokeModel/Converse/Chat Completions/Messages APIs. Amazon Bedrock 런타임 APIs에 대한 자세한 내용은 여기에서 확인하세요. |
새 애플리케이션의 경우 bedrock-mantle 엔드포인트를 사용하는 것이 좋습니다. OpenAI 호환 APIs(응답 및 채팅 완료) 및 Anthropic Messages API를 지원하고, 기본 도구 사용 및 상태 저장 대화 관리를 포함하며, 기본 URL 및 API 키만 변경하여 기존 OpenAI SDK 코드베이스를 Amazon Bedrock으로 가져올 수 있습니다. Bedrock 네이티브 InvokeModel 또는 Converse APIs를 사용하거나에서 원하는 모델을 아직 사용할 수 없는 경우 bedrock-runtime 엔드포인트가 완벽하게 지원되며 올바른 선택입니다bedrock-mantle. 각 모델이 지원하는 엔드포인트를 확인하려면 섹션을 참조하세요모델별 엔드포인트 가용성.
다음 표에서는 각 엔드포인트에서 사용할 수 있는 항목을 비교합니다.
| API | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| InvokeModel |  |
 |
| Converse/ConverseStream | |
|
| 채팅 완료(OpenAI 호환) | |
|
| 응답 API(OpenAI 호환) | |
|
| Messages API(Anthropic-native) | |
|
참고
메시지 API는 두 엔드포인트 모두에서 사용할 수 있지만 두 표면이 동일한 기능 지원을 제공하지는 않습니다. 특히 구조화된 출력(output_config.format파라미터)은에서 지원되지 않습니다. bedrock-mantle를 포함하는 요청은 400 오류와 함께 거부output_config.format됩니다. Anthropic Claude 모델에서 구조화된 출력을 사용하려면에서 Converse 또는 InvokeModel APIsbedrock-runtime.
| 기능 | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| 교차 리전 추론(지리 및 글로벌 프로필) | |
|
| 상태 저장 대화 관리 | |
|
| 비동기(장기 실행) 추론 | |
|
| 클라이언트 측 도구 사용 | |
|
| 서버 측 도구 사용 | |
|
| 사전 구성된 ready-to-use 가능 도구 | |
|
| Projects | |
|
| 워크스페이스 | |
|
| 항목 | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| AWS SigV4 인증 | |
|
| Bedrock API 키(OpenAI SDK에서도 작동) | |
|
| 사용량 속성 | IAM, 요청별 메타데이터 태그 지정 | 프로젝트, Workspace |
| 기능 | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| 가드레일 | |
|
| 프롬프트 캐싱 | |
|
| 지능형 프롬프트 라우팅 | |
|
참고
에 대한 프롬프트 캐싱 지원bedrock-mantle은 특정 모델에 따라 다릅니다. 자세한 내용은 아래의 각 모델 카드를 참조한 눈에 보는 모델하세요.
처리량 및 할당량 접근 방식
각 엔드포인트는 처리량 관리에 다른 접근 방식을 사용합니다.
-
bedrock-runtime- 많은 기존 멀티 테넌트 서비스에서 아키텍처는 공유 리소스에 대한 공정 공유 액세스를 관리하기 위해 계정당 할당량을 중심으로 설계되었습니다. 이는에 사용되는 접근 방식입니다bedrock-runtime. 각 모델에는 증가를 요청할 수 있는 고정 처리량 할당량(RPM 및 TPM)이 있습니다. 자세한 내용은 bedrock-runtime 엔드포인트 할당량을 참조하세요. -
bedrock-mantle-이 엔드포인트는 더 높은 초기 처리량 제한을 지원하면서 공정 공유 배포를 제공하는 고급 예약 및 작업 대기열 메커니즘으로 설계되었습니다. 또한이 설계를 통해는 광범위한 모델을bedrock-mantle호스팅하고 모델 카탈로그에서 사용할 수 있는 모든 기능을 제공할 수 있습니다. 대부분의 경우 요청은 즉시 처리됩니다. 경우에 따라 진행 중인 워크로드가 완료되고 처리량을 사용할 수 있게 되는 동안 요청이 잠시 대기열에 추가될 수 있습니다. 자세한 내용은 bedrock-mantle 엔드포인트 할당량 및 조정 및 처리량 모범 사례 섹션을 참조하세요.
요금
동일한 모델의 토큰당 요금은 bedrock-runtime 및에서 동일합니다bedrock-mantle. 비용이 아닌 필요한 APIs 및 기능을 기반으로 엔드포인트를 선택합니다. 현재 요금은 Amazon Bedrock 요금을
각 엔드포인트를 선택해야 하는 경우
다음을 수행하려는 bedrock-mantle 경우 로 시작합니다.
상태 저장, 멀티턴 대화와 함께 응답 API, 채팅 완료 API 또는 메시지 API를 사용합니다.
기본 URL과 API 키만 변경하여 기존 OpenAI SDK 코드를 Amazon Bedrock으로 가져옵니다.
비동기식 또는 장기 실행 추론 워크로드를 실행합니다.
서버 측 도구 사용 또는 사전 구성된 도구를 사용하여 에이전트 워크플로를 구축합니다.
프로젝트(OpenAI 호환) 또는 Workspaces(Anthropic 호환)를 사용하여 워크로드를 격리하고 애플리케이션 수준에서 비용 및 사용량을 추적합니다.
다음을 수행할 bedrock-runtime 때를 사용합니다.
Bedrock 네이티브 InvokeModel 또는 Converse APIs 계속 사용합니다.
에서 아직 사용할 수 없는 모델을 사용합니다
bedrock-mantle. 모델별 엔드포인트 가용성을(를) 참조하세요.
두 엔드포인트 모두 동일한 애플리케이션에서 함께 사용할 수 있습니다. 사용 사례별로 선택합니다.
VPC 인터페이스 엔드포인트를 사용하여 데이터 송신 비용 절감
VPC 내에서 Amazon Bedrock을 호출하는 경우 VPC 인터페이스 엔드포인트(AWS PrivateLink)를 사용하여 AWS 네트워크 내에서 트래픽을 유지하고 NAT 게이트웨이 또는 인터넷 게이트웨이와 관련된 데이터 송신 요금을 방지하는 것이 좋습니다.
