View a markdown version of this page

Amazon Bedrock에서 지원하는 엔드포인트 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock에서 지원하는 엔드포인트

엔드포인트는 애플리케이션이 Amazon Bedrock에 추론 요청을 보내는 데 사용하는 URL입니다. Amazon Bedrock은 두 개의 추론 엔드포인트를 제공합니다. 선택한 엔드포인트에 따라 사용 가능한 APIs 및 기능이 결정됩니다.

대부분의 새 애플리케이션의 경우 bedrock-runtime 엔드포인트를 사용합니다. 서버 측 및 사전 구성된 도구(웹 검색 포함), 배경 추론, 프로젝트 또는 Workspace와 같이 현재 해당 위치에서만 사용할 수 있는 기능이 특별히 필요한 bedrock-mantle 경우에 사용합니다. 각 모델이 지원하는 엔드포인트를 확인하려면 섹션을 참조하세요엔드포인트 가용성. 다음 표에서는 두 엔드포인트를 비교합니다.

Endpoint 지원되는 APIs 설명
bedrock-runtime.{region}.amazonaws.com(권장) InvokeModel / Converse / Chat Completions / Responses API / Messages API InvokeModel/Converse/Chat Completions/Responses/Messages APIs. Bedrock 네이티브 작업에 대한 자세한 내용은 Amazon Bedrock 런타임 API 작업을 참조하세요. OpenAI 호환 APIs는 SDK를 통하지 않고이 엔드포인트의 /openai/v1 경로에서 호출됩니다. AWS SDKs
bedrock-mantle.{region}.api.aws 응답 API / 채팅 완료 API / 메시지 API OpenAI 호환 엔드포인트 및 Anthropic Messages API를 사용하여 Amazon Bedrock에서 호스팅되는 모델에 대한 추론 요청을 수행하기 위한 리전별 엔드포인트입니다.
참고

두 엔드포인트 모두 동일한 기본 Mantle 추론 엔진을 사용하며 Mantle의 제로 운영자 액세스(ZOA) 설계의 이점을 누릴 수 있습니다. bedrock-mantle 이름은 다른 추론 엔진이 아닌 엔드포인트 표면을 식별합니다.

를 사용하는 기존 애플리케이션은 bedrock-mantle 계속 완벽하게 지원되므로 변경할 필요가 없습니다. 두 엔드포인트 모두 기본 URL과 API 키만 변경하여 기존 OpenAI SDK 코드베이스를 Amazon Bedrock으로 가져올 수 있으며, 둘 다 OpenAI 호환 응답 및 채팅 완료 APIs와 Anthropic Messages API를 지원합니다.

API 지원
API bedrock-runtime bedrock-mantle
InvokeModel supported not-supported
Converse/ConverseStream supported not-supported
채팅 완료(OpenAI 호환) supported supported
응답 API(OpenAI 호환) supported supported
Messages API(Anthropic-native) supported supported
참고

메시지 API는 두 엔드포인트 모두에서 사용할 수 있지만 두 표면이 동일한 기능 지원을 제공하지는 않습니다. 특히 구조화된 출력(output_config.format파라미터)은에서 지원되지 않습니다.를 포함하는 bedrock-mantle 요청은 400 오류와 함께 거부output_config.format됩니다. Anthropic Claude 모델에서 구조화된 출력을 사용하려면에서 Converse 또는 InvokeModel APIsbedrock-runtime.

참고

응답 API는 동일한 기능 지원 없이 두 엔드포인트 모두에서 사용할 수도 있습니다. bedrock-runtime:

  • 요청은 항상 동기식입니다. background=true는 400 오류와 함께 거부됩니다. store 파라미터는 영향을 받지 않으며 기본값인를 유지true하므로 저장된 멀티턴 대화가 정상적으로 작동합니다.

  • 웹 검색을 포함하여 서버 측 도구 사용 및 사전 구성된 도구는 사용할 수 없습니다. 클라이언트 측 도구 사용은 두 엔드포인트 모두에서 작동합니다.

  • 기본 프로젝트만 지원됩니다. 프로젝트(OpenAI 호환)을(를) 참조하세요.

  • 저장된 응답은 해당 응답을 제공한 AWS 리전 에 속합니다. 검색, 취소 또는 삭제하고와 대화를 계속previous_response_id하는 작업은 모두 해당 리전에서 처리됩니다.

추론 기능
기능 bedrock-runtime bedrock-mantle
교차 리전 추론(지리 및 글로벌 프로필) supported not-supported
상태 저장 대화 관리 supported supported
비동기(장기 실행) 추론 not-supported supported
클라이언트 측 도구 사용 supported supported
서버 측 도구 사용 not-supported supported
사전 구성된 ready-to-use 가능 도구 not-supported supported
Projects 기본 프로젝트만 supported
워크스페이스 not-supported supported

인증은 자체적으로 액세스 권한을 부여하지 않습니다. SigV4를 사용하든 Bedrock API 키를 사용하든 관련 IAM 보안 주체는 필요한 작업에 대한 권한이 있어야 합니다. 전체 정책 요구 사항 및 예제는 섹션을 참조하세요모델 추론 실행을 위한 사전 조건.

Operational(작동)
항목 bedrock-runtime bedrock-mantle
AWS SigV4 인증 supported supported
Bedrock API 키(OpenAI SDK에서도 작동) supported supported
추론을 위한 IAM 권한 부여 bedrock:InvokeModel 추론 대상 및 응답 API의 경우 bedrock:InvokeModelWithResponseStream 스트리밍용 기본 프로젝트 bedrock-mantle:CreateInference
사용량 속성 IAM 보안 주체, 요청별 메타데이터 태그 지정, 애플리케이션 추론 프로필 프로젝트, Workspace
참고

에서 응답 APIbedrock-runtime는 IAM 보안 주체에 의해서만 사용량을 속성으로 지정합니다. 요청별 메타데이터 태그 지정 및 애플리케이션 추론 프로필은 사용할 수 없습니다. 애플리케이션 추론 프로필을 추론 대상으로 지정하는 요청은 400 오류와 함께 거부됩니다. 이는 교차 리전 추론에는 영향을 주지 않습니다. 시스템 정의 지리적 및 글로벌 추론 프로필은 정상적으로 작동합니다.

Bedrock 기능 가용성
기능 bedrock-runtime bedrock-mantle
가드레일 supported not-supported
프롬프트 캐싱 supported supported
지능형 프롬프트 라우팅 supported not-supported
참고

에 대한 프롬프트 캐싱 지원bedrock-mantle은 특정 모델에 따라 다릅니다. 자세한 내용은 아래의 각 모델 카드를 참조한 눈에 보는 모델하세요.

처리량 및 할당량 접근 방식

각 엔드포인트는 처리량 관리에 다른 접근 방식을 사용합니다.

  • bedrock-runtime - 많은 기존 멀티 테넌트 서비스에서 아키텍처는 공유 리소스에 대한 공정 공유 액세스를 관리하기 위해 계정당 할당량을 중심으로 설계되었습니다. 이는에 사용되는 접근 방식입니다bedrock-runtime. 각 모델에는 증가를 요청할 수 있는 고정 처리량 할당량(RPM 및 TPM)이 있습니다. 자세한 내용은 bedrock-runtime 엔드포인트 할당량을 참조하세요.

  • bedrock-mantle -이 엔드포인트는 더 높은 초기 처리량 제한을 지원하면서 공정 공유 배포를 제공하는 고급 예약 및 작업 대기열 메커니즘으로 설계되었습니다. 또한이 설계를 통해는 광범위한 모델을 bedrock-mantle 호스팅하고 모델 카탈로그에서 사용할 수 있는 모든 기능을 제공할 수 있습니다. 대부분의 경우 요청은 즉시 처리됩니다. 경우에 따라 진행 중인 워크로드가 완료되고 처리량을 사용할 수 있게 되는 동안 요청이 잠시 대기열에 추가될 수 있습니다. 자세한 내용은 bedrock-mantle 엔드포인트 할당량 및 조정 및 처리량 모범 사례 섹션을 참조하세요.

요금

동일한 모델의 토큰당 요금은 bedrock-runtime 및에서 동일합니다bedrock-mantle. 비용이 아닌 필요한 APIs 및 기능을 기반으로 엔드포인트를 선택합니다. 현재 요금은 Amazon Bedrock 요금을 참조하세요.

각 엔드포인트를 선택해야 하는 경우

다음을 수행하려는 bedrock-runtime 경우 로 시작합니다.

  • OpenAI 호환 응답 또는 채팅 완료 APIs 또는 Anthropic Messages API를 호출합니다.

  • Bedrock 네이티브 InvokeModel 또는 Converse APIs 사용합니다.

  • 가드레일 및 지능형 프롬프트 라우팅과 같이이 엔드포인트에서만 사용할 수 있는 Amazon Bedrock 기능을 사용합니다.

  • 리전 간 추론을 사용하여 리전 간 또는 전역적으로 요청을 라우팅합니다.

다음을 수행할 bedrock-mantle 때를 사용합니다.

  • 서버 측 도구 사용 또는 웹 검색을 포함한 사전 구성된 도구를 사용하여 에이전트 워크플로를 구축합니다.

  • 를 사용하여 응답 요청을 포함하여 비동기식 또는 장기 실행 추론 워크로드를 실행합니다background=true.

  • 프로젝트(OpenAI 호환) 또는를 생성Workspaces(Anthropic 호환)하여 워크로드를 격리하고 애플리케이션 수준에서 비용 및 사용량을 추적합니다.

  • 에서만 사용할 수 있는 모델을 사용합니다bedrock-mantle. 엔드포인트 가용성을(를) 참조하세요.

두 엔드포인트 모두 동일한 애플리케이션에서 함께 사용할 수 있습니다. 사용 사례별로 선택합니다.

VPC 인터페이스 엔드포인트를 사용하여 데이터 송신 비용 절감

VPC 내에서 Amazon Bedrock을 호출하는 경우 VPC 인터페이스 엔드포인트(AWS PrivateLink)를 사용하여 AWS 네트워크 내에서 트래픽을 유지하고 NAT 게이트웨이 또는 인터넷 게이트웨이와 관련된 데이터 송신 요금을 방지하는 것이 좋습니다.