View a markdown version of this page

API de respuestas en el punto final de Bedrock-Mantle - Amazon Bedrock
Regiones y puntos finales compatiblesRequisitos previosAPI de modelosAPI de respuestas

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

API de respuestas en el punto final de Bedrock-Mantle

Amazon Bedrock proporciona la API de OpenAI respuestas tanto en los puntos finales como en bedrock-runtime los bedrock-mantle terminales. La API le permite utilizar herramientas y OpenAI SDK familiares con los modelos de Amazon Bedrock, de modo que puede migrar las aplicaciones existentes con un mínimo de cambios en el código: basta con actualizar la URL base y la clave de API. Para las aplicaciones nuevas, recomendamos el punto final. bedrock-runtime

Los dos terminales no admiten funciones idénticas. Las solicitudes bedrock-runtime son siempre sincrónicas, las herramientas del servidor no están disponibles y solo se admite el proyecto predeterminado. Para ver la comparación completa, consulteTerminales compatibles con Amazon Bedrock, y para ver los detalles de cada diferencia, consulte. Uso de la API Responses en el punto final de Bedrock-Runtime

importante

Cuando utilice el OpenAI SDK con Amazon Bedrock, debe dirigirlo al punto final de Amazon Bedrock, no al punto final. OpenAI Configure las siguientes variables de entorno y elija la URL base para el punto final que desee:

# bedrock-runtime (recommended)
OPENAI_BASE_URL="https://bedrock-runtime.<your-region>.amazonaws.com/openai/v1"

# bedrock-mantle
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

OPENAI_API_KEY="<your Bedrock API key>"

No utilices tu clave de OpenAI API ni la URL OpenAI base (https://api.openai.com/v1). Estas se conectan OpenAI directamente, no a Amazon Bedrock. Para crear una clave de API de Amazon Bedrock, consulte. Claves de API

También ofrece otras ventajas como las siguientes:

  • Inferencia asincrónica: admite cargas de trabajo de inferencia de larga duración a través de la API de respuestas. Disponible bedrock-mantle solo en.

  • Gestión continua de las conversaciones: reconstruye automáticamente el contexto sin pasar manualmente el historial de conversaciones con cada solicitud

  • Uso simplificado de las herramientas: integración optimizada para los flujos de trabajo de las agencias

  • Modos de respuesta flexibles: admite respuestas en streaming y sin streaming

  • Migración sencilla: compatible con las bases de código de OpenAI SDK existentes

Cada punto final se rige por su propio conjunto de cuotas. En el caso del tráfico de Responsesbedrock-runtime, se aplican las cuotas de fichas por minuto y de fichas por día del modelo, que se comparten con las demás API de inferencia de ese terminal (consulte). Cuotas para el punto final de ejecución básico Para bedrock-mantle, consulte Cuotas para el punto final entre el lecho rocoso y el manto.

Regiones y puntos finales compatibles

En el bedrock-runtime punto final, la API de respuestas está disponible en todos los Región de AWS lugares donde esté disponible ese punto final, incluidas las regiones AWS GovCloud (EE. UU.). Para ver la lista, consulte Disponibilidad regional por puntos finales. En la lista se enumeran los modelos compatibles con la API en cada punto finalDisponibilidad de terminales por modelos.

El bedrock-mantle punto final está disponible en las siguientes AWS regiones:

Nombre de la región Región Punto de conexión
Este de EE. UU. (Ohio) us-east-2 bedrock-mantle.us-east-2.api.aws
Este de EE. UU. (Norte de Virginia) us-east-1 bedrock-mantle.us-east-1.api.aws
Oeste de EE. UU. (Oregón) us-west-2 bedrock-mantle.us-west-2.api.aws
Asia-Pacífico (Yakarta) ap-southeast-3 bedrock-mantle.ap-southeast-3.api.aws
Asia-Pacífico (Bombay) ap-south-1 bedrock-mantle.ap-south-1.api.aws
Asia-Pacífico (Sídney) ap-southeast-2 bedrock-mantle.ap-southeast-2.api.aws
Asia-Pacífico (Tokio) ap-northeast-1 bedrock-mantle.ap-northeast-1.api.aws
Europa (Fráncfort) eu-central-1 bedrock-mantle.eu-central-1.api.aws
Europa (Irlanda) eu-west-1 bedrock-mantle.eu-west-1.api.aws
Europa (Londres) eu-west-2 bedrock-mantle.eu-west-2.api.aws
Europa (Milán) eu-south-1 bedrock-mantle.eu-south-1.api.aws
Europa (Estocolmo) eu-north-1 bedrock-mantle.eu-north-1.api.aws
América del Sur (São Paulo) sa-east-1 bedrock-mantle.sa-east-1.api.aws
AWS () GovCloud US-West us-gov-west-1 bedrock-mantle.us-gov-west-1.api.aws

Requisitos previos

Antes de usar las API, asegúrese de tener lo siguiente: OpenAI

  • Autenticación: puede autenticarse mediante:

    • Clave de API de Amazon Bedrock (requerida para OpenAI el SDK)

    • AWS credenciales (compatibles con las solicitudes HTTP)

  • OpenAISDK (opcional): instale el SDK de OpenAI Python si utiliza SDK-based solicitudes.

  • Variables de entorno: defina las siguientes variables de entorno:

    • OPENAI_API_KEY— Configure su clave de API de Amazon Bedrock

    • OPENAI_BASE_URL— Establezca el punto final de Amazon Bedrock para su región (por ejemplo, https://bedrock-runtime.us-east-1.amazonaws.com/openai/v1 o) https://bedrock-mantle.us-east-1.api.aws/v1

  • Permisos: las acciones que necesita dependen del punto final. Síbedrock-mantle, la inferencia autorizabedrock-mantle:CreateInference. Si está activadabedrock-runtime, autoriza bedrock:InvokeModel tanto el objetivo de la inferencia como el proyecto predeterminado de tu cuenta, y la administración de las respuestas almacenadas autoriza bedrock:GetInvoke y en ese proyecto. bedrock:CancelInvoke bedrock:DeleteInvoke Para ver ejemplos de políticas, consulte Requisitos previos para ejecutar la inferencia de modelos.

API de modelos

La API de modelos le permite descubrir los modelos disponibles en Amazon Bedrock con tecnología de Mantle. Utilice esta API para obtener una lista de modelos que puede usar con la API de respuestas. Para obtener información completa sobre la API, consulta la documentación de OpenAI modelos.

Enumere los modelos disponibles

Para ver una lista de los modelos disponibles, elige la pestaña correspondiente al método que prefieras y, a continuación, sigue los pasos:

OpenAI SDK (Python)
# List all available models using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

models = client.models.list()

for model in models.data:
    print(model.id)
HTTP request

Haz una solicitud GET para/v1/models:

# List all available models
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X GET $OPENAI_BASE_URL/models \
   -H "Authorization: Bearer $OPENAI_API_KEY"

API de respuestas

La API de respuestas proporciona una gestión de conversaciones basada en el estado y admite la transmisión, el procesamiento en segundo plano y las interacciones en varios turnos. Para obtener información completa sobre la API, consulta la documentación de OpenAI Responses.

nota

No todos los modelos son compatibles con la API de respuestas. Para ver qué modelos son compatibles con la API de respuestas, consulteCompatibilidad de API por modelos.

Cómo almacena la API de respuestas el estado de las conversaciones

La API de respuestas puede usar el estado almacenado para habilitar las conversaciones en varios turnos y permitirte hacer referencia a los turnos anteriores mediante el previous_response_id parámetro. El almacenamiento está habilitado de forma predeterminada, pero se puede deshabilitar por solicitud mediante el store parámetro. El alcance de las respuestas almacenadas depende del proyecto. La respuesta de un proyecto no puede usarse como la respuesta anterior ni leerse en un segundo proyecto. Para obtener más información sobre los proyectos, consulteProyectos (OpenAI-compatible).

  • Cuando store es true (valor predeterminado), Amazon Bedrock conserva la respuesta, incluidos los datos de entrada y salida, durante 30 días. Durante este período, puede encadenar las solicitudes de seguimiento pasándolas previous_response_id y recuperar la respuesta con «GET /v1/responses/{id}activadobedrock-mantle» o «GET /openai/v1/responses/{id}activadobedrock-runtime». Transcurridos 30 días, la respuesta se elimina automáticamente y ya no se puede recuperar.

  • En store ese casofalse, Amazon Bedrock no conserva ningún dato de la solicitud o la respuesta. El previous_response_id parámetro no se puede usar para continuar la conversación.

El valor predeterminado coincide con true la especificación de la API de OpenAI respuestas. Los clientes que no deseen que Amazon Bedrock conserve los datos de las conversaciones deben store configurarlo de forma explícita false en cada solicitud o configurar el modo de retención de datos de la cuenta ennone, que rechaza store=true rotundamente una opción explícita. Para obtener más información, consulte Retención de datos.

Los datos almacenados se cifran en reposo y se asignan al recurso de proyecto de la AWS cuenta llamante. Los datos se almacenan únicamente para atender sus solicitudes y no se utilizan ni se conservan para ningún otro propósito. Síbedrock-mantle, se guardan en el lugar Región de AWS al que se envió la solicitud. En caso bedrock-runtime afirmativo, una solicitud que utilice la inferencia interregional se puede procesar en otra y la respuesta se almacena en la región que la procesó Región de AWS, de modo que una solicitud que utilice un perfil de inferencia global puede almacenar datos en cualquier región comercial a la que se dirija el perfil. Si tienes requisitos de residencia de datos, usa un perfil de inferencia geográfica en lugar de uno global.

Solicitud básica

Para crear una respuesta, elige la pestaña de tu método preferido y, a continuación, sigue los pasos:

OpenAI SDK (Python)
# Create a basic response using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
)

print(response)
HTTP request

Haz una solicitud POST para/v1/responses:

# Create a basic response
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
}'

Transmite las respuestas

Para recibir eventos de respuesta de forma incremental, elige la pestaña correspondiente al método que prefieras y, a continuación, sigue estos pasos:

OpenAI SDK (Python)
# Stream response events incrementally using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

stream = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[{"role": "user", "content": "Tell me a story"}],
    stream=True
)

for event in stream:
    print(event)
HTTP request

Realiza una solicitud POST /v1/responses con el valor stream establecido en: true

# Stream response events incrementally
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Tell me a story"}
    ],
    "stream": true
}'

Uso de la API Responses en el punto final de Bedrock-Runtime

La API Responses de on bedrock-runtime usa el mismo formato de solicitud y respuesta que en la versión anteriorbedrock-mantle, por lo que el OpenAI SDK funciona con cualquiera de los dos. Lo que cambia es la URL base, los ID del modelo, los permisos y una pequeña cantidad de comportamientos que se describen en esta sección.

URL y rutas base

Configura tu URL base enhttps://bedrock-runtime.region.amazonaws.com/openai/v1. La API se ofrece en las siguientes rutas:

  • POST /openai/v1/responses— crear una respuesta.

  • GET /openai/v1/responses/{id}— recuperar una respuesta almacenada.

  • POST /openai/v1/responses/{id}/cancel— cancelar una respuesta que aún está en curso.

  • DELETE /openai/v1/responses/{id}— eliminar una respuesta almacenada.

ID de modelo

Nombre un perfil de inferencia interregional como modelo, no como identificador de modelo básico. Los modelos OpenAI GPT utilizan los global. perfiles us. y en las regiones comerciales y los us-gov. perfiles en las regiones AWS GovCloud (EE. UU.), por ejemplo,. us.openai.gpt-5.6-sol In-Region la inferencia no está disponible para estos modelos en este punto final. Para ver el identificador de perfil de cada modelo, consulte su tarjeta de modelo en yModelos de un vistazo, para saber cómo funciona el enrutamiento, consulteDirige las solicitudes de inferencia de modelos Regiones de AWS con inferencia interregional.

Permisos

Al crear una respuesta, se autorizan dos recursos: bedrock:InvokeModel (obedrock:InvokeModelWithResponseStream) en el objetivo de la inferencia, como ocurre con cualquier solicitud de inferencia, y bedrock:InvokeModel en el proyecto predeterminado de tu cuenta. La recuperación, la cancelación y la eliminación de una respuesta almacenada autorizan, y bedrock:DeleteInvoke respectivamente bedrock:GetInvokebedrock:CancelInvoke, a cada uno de ellos en el proyecto. Los ID de respuesta individuales no son recursos de IAM.

Dos claves de condición permiten que una política de un recurso restrinja al otro. La autorización de destino de inferencia incluyebedrock:ProjectArn, y la autorización de proyecto, los valores según el perfil de inferencia o el modelo base que haya nombrado su solicitudbedrock:ModelArn, nunca según los modelos de destino a los que se dirige un perfil interregional. Para ver ejemplos de políticas, consulte Requisitos previos para ejecutar la inferencia de modelos.

Diferencias de comportamiento

  • Las solicitudes son siempre sincrónicas. background=truese rechaza con un error 400. El store parámetro no se ve afectado y mantiene su valor predeterminadotrue, por lo que las conversaciones almacenadas en varios turnos funcionan con normalidad.

  • modeles obligatorio en todas las solicitudes, incluida una que suministre. previous_response_id Esto difiere de la especificación de la API de OpenAI respuestas y de bedrock-mantle aquella en la que el modelo se puede omitir y heredar de la respuesta anterior. El modelo forma parte de lo que está autorizada la solicitud, por lo que debe figurar su nombre en la propia solicitud.

  • Server-side el uso de herramientas y las herramientas preconfiguradas no están disponibles, incluida la búsqueda en la web. Client-side el uso de la herramienta funciona en ambos puntos finales.

  • Solo se admite el proyecto predeterminado. El OpenAI-Project encabezado solo se acepta como su ARN de proyecto predeterminado default o como este; cualquier otro valor se rechaza. Consulte Proyectos (OpenAI-compatible).

  • No se admiten los perfiles de inferencia de aplicaciones. Una solicitud que nombra a uno como objetivo de inferencia se rechaza con un error 400. Los perfiles de inferencia globales, geográficos y del sistema funcionan con normalidad.

  • Las barreras no se aplican a la API de respuestas. Para aplicar una barandilla a un modelo GPT en este punto final, llama a la API de Converse en su lugar.

  • Una respuesta almacenada pertenece a la persona que la Región de AWS envió. Esa región se encarga de recuperarlo, cancelarlo o eliminarlo y continuar la conversación con previous_response_id él. Un identificador de respuesta que no se encuentra (porque nunca existió, pertenece a otra cuenta o nunca se almacenó) devuelve el mismo error 404 en todos los casos.

Supervisión y coste

Como todas las solicitudes son sincrónicas, CloudWatch las métricas y el registro de invocaciones de modelos funcionan para la API de respuestas del mismo modo que para las demás API de inferencia de este punto final, incluidas las solicitudes de streaming. El uso se atribuye al objetivo de la inferencia, exactamente igual que en el caso de Converse InvokeModel : el proyecto predeterminado nunca es el ancla de facturación. Consulte Realice un seguimiento del uso y los costos en Amazon Bedrock.