As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Endpoints compatíveis com o Amazon Bedrock
O Amazon Bedrock oferece suporte a vários endpoints para realizar operações de inferência.
Operações de inferência
O Amazon Bedrock oferece suporte aos dois endpoints principais a seguir para realizar inferências de forma programática:
| Endpoint | APIs compatíveis | Descrição |
|---|---|---|
bedrock-mantle.{region}.api.aws |
API de respostas//API de conclusão de bate-papo//API de mensagens | Region-specific endpoints para fazer solicitações de inferência para modelos hospedados no Amazon Bedrock usando os OpenAI-compatible endpoints e a API Anthropic Messages. |
bedrock-runtime.{region}.amazonaws.com |
InvokeModel/Converse/Conclusões de bate-papo/API de mensagens | Region-specific endpoints para fazer solicitações de inferência para modelos hospedados no Amazon Bedrock usando as APIs. InvokeModel/Converse/Chat Completions/Messages Leia mais sobre as APIs do Amazon Bedrock Runtime aqui. |
Para novos aplicativos, recomendamos o bedrock-mantle endpoint. Ele suporta OpenAI-compatible APIs (respostas e conclusão de bate-papo) e a API de mensagens antrópicas, inclui o uso de ferramentas integradas e gerenciamento de conversas com estado, e permite que você traga uma base de código existente do SDK OpenAI para o Amazon Bedrock alterando somente o URL base e a chave da API. O bedrock-runtime endpoint permanece totalmente compatível e é a escolha certa quando você está usando as APIs Bedrock-native InvokeModel ou Converse, ou quando o modelo desejado ainda não está disponível. bedrock-mantle Para ver qual endpoint cada modelo suporta, consulteDisponibilidade de endpoints por modelos.
As tabelas a seguir comparam o que está disponível em cada endpoint.
| solicitações de | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| InvokeModel |  |
 |
| Converse/ ConverseStream | |
|
| Conclusões de bate-papo () OpenAI-compatible | |
|
| API de respostas (OpenAI-compatible) | |
|
| API de mensagens (Anthropic-native) | |
|
nota
A API de mensagens está disponível nos dois endpoints, mas as duas superfícies não têm suporte de recursos idêntico. Em particular, saídas estruturadas (o output_config.format parâmetro) não são suportadas em bedrock-mantle — solicitações que incluem output_config.format são rejeitadas com um erro 400. Para usar saídas estruturadas com modelos Anthropic Claude, chame o Converse ou as APIs ativadas. InvokeModel bedrock-runtime
| Recurso | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Cross-region inferência (perfis geográficos e globais) | |
|
| Gerenciamento de conversas com estado | |
|
| Inferência assíncrona (de longa duração) | |
|
| Client-side uso de ferramentas | |
|
| Server-side uso de ferramentas | |
|
| Pre-configured ferramentas prontas para uso | |
|
| Projetos | |
|
| Espaços de trabalho | |
|
| Item | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Autenticação AWS SigV4 | |
|
| Chave de API Bedrock (também funciona com o OpenAI SDK) | |
|
| Atribuição de uso | IAM, marcação de metadados por solicitação | Projetos, espaços de trabalho |
| Recurso | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Guardrails | |
|
| Cache imediato | |
|
| Roteamento rápido inteligente | |
|
nota
O suporte imediato ao armazenamento em cache bedrock-mantle depende do modelo específico — consulte cada placa de modelo abaixo Visão geral dos modelos para obter detalhes.
Abordagem de produtividade e cotas
Cada endpoint usa uma abordagem diferente para gerenciar a taxa de transferência.
-
bedrock-runtime— Em muitos serviços tradicionais de vários locatários, a arquitetura é projetada com base em cotas por conta para gerenciar o acesso justo a recursos compartilhados. Essa é a abordagem usada combedrock-runtime. Cada modelo tem cotas fixas de taxa de transferência (RPM e TPM) para as quais você pode solicitar aumentos. Para obter detalhes, consulte Cotas para o endpoint de tempo de execução básico. -
bedrock-mantle— Esse endpoint é arquitetado com mecanismos avançados de agendamento e filas de trabalho que oferecem distribuição justa de compartilhamentos e, ao mesmo tempo, suportam limites de taxa de transferência inicial mais altos. Esse design também permitebedrock-mantlehospedar um amplo conjunto de modelos e oferecer toda a gama de recursos disponíveis em todo o catálogo de modelos. Na maioria dos casos, as solicitações são atendidas imediatamente. Em alguns casos, uma solicitação pode ser colocada brevemente na fila enquanto as cargas de trabalho em andamento são concluídas e a taxa de transferência fica disponível. Para obter mais detalhes, consulte Cotas para o endpoint rocho-mantle e Práticas recomendadas de escalabilidade e produtividade.
Preços
Per-token o preço do mesmo modelo é idêntico em bedrock-runtime bedrock-mantle e. Escolha um endpoint com base nas APIs e nos recursos de que você precisa, não nos custos. Para obter os preços atuais, consulte os preços do Amazon Bedrock
Quando escolher cada endpoint
Comece bedrock-mantle quando quiser:
Use a API de respostas, a API de conclusão de bate-papo ou a API de mensagens com conversas com estado e vários turnos.
Traga o código do SDK OpenAI existente para o Amazon Bedrock alterando somente o URL base e a chave da API.
Execute cargas de trabalho de inferência assíncronas ou de longa duração.
Crie fluxos de trabalho agentes com o uso de ferramentas do lado do servidor ou ferramentas pré-configuradas.
Use Projetos (OpenAI-compatible) ou Espaços de trabalho () Anthropic-compatible para isolar cargas de trabalho e monitorar o custo e o uso no nível do aplicativo.
Use bedrock-runtime quando quiser:
Continue usando as APIs Bedrock-native InvokeModelou Converse.
Use um modelo que ainda não esteja disponível no
bedrock-mantle. Consulte Disponibilidade de endpoints por modelos.
Os dois endpoints podem ser usados juntos no mesmo aplicativo — escolha por caso de uso.
Reduza os custos de saída de dados com endpoints de interface VPC
Se você estiver ligando para o Amazon Bedrock de dentro de uma VPC, considere usar endpoints de interface VPC (AWS) para manter o tráfego na rede PrivateLink da AWS e evitar cobranças de saída de dados associadas a gateways NAT ou gateways de internet.
