View a markdown version of this page

Antwort-API auf dem Bedrock-Mantle-Endpunkt - Amazon Bedrock
Unterstützte Regionen und EndpunkteVoraussetzungenModelle (API)API für Antworten

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Antwort-API auf dem Bedrock-Mantle-Endpunkt

Amazon Bedrock stellt die OpenAI Responses API sowohl auf den Endpunkten als auch auf den Endpunkten bedrock-runtime bereit. bedrock-mantle Mit der API können Sie vertraute OpenAI SDKs und Tools mit Amazon Bedrock-Modellen verwenden, sodass Sie bestehende Anwendungen mit minimalen Codeänderungen migrieren können — aktualisieren Sie einfach Ihre Basis-URL und Ihren API-Schlüssel. Für neue Anwendungen empfehlen wir den Endpunkt. bedrock-runtime

Die beiden Endpunkte bieten keine identische Funktionsunterstützung. Anfragen an bedrock-runtime sind immer synchron, serverseitige Tools sind nicht verfügbar und nur das Standardprojekt wird unterstützt. Den vollständigen Vergleich finden Sie unterVon Amazon Bedrock unterstützte Endpunkte. Einzelheiten zu den einzelnen Unterschieden finden Sie unter. Verwenden der Responses API auf dem Bedrock-Runtime-Endpunkt

Wichtig

Wenn Sie das OpenAI SDK mit Amazon Bedrock verwenden, müssen Sie es auf den Amazon Bedrock-Endpunkt verweisen, nicht auf den OpenAI Endpunkt. Legen Sie die folgenden Umgebungsvariablen fest und wählen Sie die Basis-URL für den gewünschten Endpunkt aus:

# bedrock-runtime (recommended)
OPENAI_BASE_URL="https://bedrock-runtime.<your-region>.amazonaws.com/openai/v1"

# bedrock-mantle
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

OPENAI_API_KEY="<your Bedrock API key>"

Verwenden Sie nicht Ihren OpenAI API-Schlüssel oder die OpenAI Basis-URL (https://api.openai.com/v1). Diese stellen eine OpenAI direkte Verbindung zu Amazon Bedrock her, nicht zu Amazon Bedrock. Informationen zum Erstellen eines Amazon Bedrock-API-Schlüssels finden Sie unter. API-Schlüssel

Zu den wichtigsten Vorteilen gehören:

  • Asynchrone Inferenz — Unterstützung für Inferenz-Workloads mit langer Laufzeit über die Responses API. bedrock-mantleNur auf verfügbar.

  • Stateful-Konversationsmanagement — Stellen Sie den Kontext automatisch wieder her, ohne dass der Gesprächsverlauf bei jeder Anfrage manuell übergeben werden muss

  • Vereinfachte Toolnutzung — Optimierte Integration für agentische Arbeitsabläufe

  • Flexible Antwortmodi — Unterstützung sowohl für Streaming-Antworten als auch für Antworten ohne Streaming

  • Einfache Migration — Kompatibel mit vorhandenen OpenAI SDK-Codebasen

Für jeden Endpunkt gelten eigene Kontingente. Für den Traffic „Antworten“ gelten die Kontingente für Token pro Minute und Token pro Tag des Modells. Sie werden mit den anderen Inferenz-APIs auf diesem Endpunkt gemeinsam genutzt — siehe. bedrock-runtime Kontingente für den Bedrock-Runtime-Endpunkt Informationen für bedrock-mantle finden Sie unter Kontingente für den Endpunkt „Bedrock-Mantle“.

Unterstützte Regionen und Endpunkte

Auf dem bedrock-runtime Endpunkt ist die Responses API überall dort verfügbar, AWS-Region wo dieser Endpunkt verfügbar ist, einschließlich der Regionen AWS GovCloud (USA). Die Liste finden Sie unter Regionale Verfügbarkeit nach Endpunkten. Welche Modelle die API auf den einzelnen Endpunkten unterstützen, ist unter aufgeführtVerfügbarkeit von Endpunkten nach Modellen.

Der bedrock-mantle Endpunkt ist in den folgenden AWS Regionen verfügbar:

Name der Region Region Endpoint
USA Ost (Ohio) us-east-2 bedrock-mantle.us-east-2.api.aws
USA Ost (Nord-Virginia) us-east-1 bedrock-mantle.us-east-1.api.aws
USA West (Oregon) us-west-2 bedrock-mantle.us-west-2.api.aws
Asien-Pazifik (Jakarta) ap-southeast-3 bedrock-mantle.ap-southeast-3.api.aws
Asien-Pazifik (Mumbai) ap-south-1 bedrock-mantle.ap-south-1.api.aws
Asien-Pazifik (Sydney) ap-southeast-2 bedrock-mantle.ap-southeast-2.api.aws
Asien-Pazifik (Tokio) ap-northeast-1 bedrock-mantle.ap-northeast-1.api.aws
Europa (Frankfurt) eu-central-1 bedrock-mantle.eu-central-1.api.aws
Europa (Irland) eu-west-1 bedrock-mantle.eu-west-1.api.aws
Europa (London) eu-west-2 bedrock-mantle.eu-west-2.api.aws
Europa (Milan) eu-south-1 bedrock-mantle.eu-south-1.api.aws
Europa (Stockholm) eu-north-1 bedrock-mantle.eu-north-1.api.aws
Südamerika (São Paulo) sa-east-1 bedrock-mantle.sa-east-1.api.aws
AWS () GovCloud US-West us-gov-west-1 bedrock-mantle.us-gov-west-1.api.aws

Voraussetzungen

Bevor Sie APIs verwenden, stellen Sie sicher, dass Sie über Folgendes verfügen: OpenAI

  • Authentifizierung — Sie können sich mit folgenden Methoden authentifizieren:

    • Amazon Bedrock API-Schlüssel (für OpenAI SDK erforderlich)

    • AWS Anmeldeinformationen (unterstützt für HTTP-Anfragen)

  • OpenAISDK (optional) — Installieren Sie das OpenAI Python-SDK, wenn Sie SDK-based Anfragen verwenden.

  • Umgebungsvariablen — Legen Sie die folgenden Umgebungsvariablen fest:

    • OPENAI_API_KEY— Stellen Sie Ihren Amazon Bedrock API-Schlüssel ein

    • OPENAI_BASE_URL— Stellen Sie den Amazon Bedrock-Endpunkt für Ihre Region ein (z. B. https://bedrock-runtime.us-east-1.amazonaws.com/openai/v1 oder) https://bedrock-mantle.us-east-1.api.aws/v1

  • Berechtigungen — Die Aktionen, die Sie benötigen, hängen vom Endpunkt ab. Anbedrock-mantle, die Inferenz autorisiertbedrock-mantle:CreateInference. Bei bedrock-runtime aktivierter Option wird sowohl für das Inferenzziel als auch für das Standardprojekt Ihres Kontos autorisiertbedrock:InvokeModel, und die Verwaltung der gespeicherten Antworten autorisiert bedrock:GetInvokebedrock:CancelInvoke, und für dieses Projekt. bedrock:DeleteInvoke Richtlinienbeispiele finden Sie unter Voraussetzungen für die Ausführung der Modellinferenz.

Modelle (API)

Die Models-API ermöglicht es Ihnen, verfügbare Modelle in Amazon Bedrock powered by Mantle zu entdecken. Verwenden Sie diese API, um eine Liste von Modellen abzurufen, die Sie mit der Responses API verwenden können. Vollständige API-Details finden Sie in der OpenAI Models-Dokumentation.

Listet die verfügbaren Modelle auf

Um die verfügbaren Modelle aufzulisten, wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

OpenAI SDK (Python)
# List all available models using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

models = client.models.list()

for model in models.data:
    print(model.id)
HTTP request

Stellen Sie eine GET-Anfrage an/v1/models:

# List all available models
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X GET $OPENAI_BASE_URL/models \
   -H "Authorization: Bearer $OPENAI_API_KEY"

API für Antworten

Die Responses API bietet ein zustandsorientiertes Konversationsmanagement mit Unterstützung für Streaming, Hintergrundverarbeitung und Interaktionen mit mehreren Runden. Vollständige API-Details finden Sie in der OpenAI Response-Dokumentation.

Anmerkung

Nicht alle Modelle unterstützen die Responses API. Informationen darüber, welche Modelle die Responses API unterstützen, finden Sie unterAPI-Kompatibilität nach Modellen.

Wie die Responses API den Gesprächsstatus speichert

Die Antworten-API kann den gespeicherten Status verwenden, um Konversationen mit mehreren Runden zu ermöglichen, sodass Sie anhand des previous_response_id Parameters auf frühere Runden verweisen können. Der Speicher ist standardmäßig aktiviert, kann aber pro Anfrage über den store Parameter deaktiviert werden. Gespeicherte Antworten sind nach Projekt geordnet. Eine Antwort aus einem Projekt kann nicht als vorherige Antwort verwendet oder in einem zweiten Projekt gelesen werden. Weitere Informationen zu Projekten finden Sie unterProjekte (OpenAI-compatible).

  • Wenn store ist true (Standardeinstellung), speichert Amazon Bedrock die Antwort, einschließlich Eingabe und Ausgabe, 30 Tage lang. Während dieses Zeitfensters können Sie Folgeanfragen verketten, indem Sie die Antwort mit ein oder GET /v1/responses/{id} GET /openai/v1/responses/{id} an bedrock-mantle weiterleiten previous_response_id und abrufen. bedrock-runtime Nach 30 Tagen wird die Antwort automatisch gelöscht und ist nicht mehr abrufbar.

  • Wann dies der Fall store istfalse, speichert Amazon Bedrock keine Daten aus der Anfrage oder Antwort. Der previous_response_id Parameter kann nicht verwendet werden, um die Konversation fortzusetzen.

Der Standardwert true entspricht der OpenAI Responses API-Spezifikation. Kunden, die nicht möchten, dass Amazon Bedrock Konversationsdaten speichert, sollten dies false bei jeder Anfrage explizit einstellen store oder den Datenaufbewahrungsmodus des Kontos auf „Explizit store=true ablehnt“ setzen. none Weitere Informationen finden Sie unter Datenaufbewahrung.

Gespeicherte Daten werden im Ruhezustand verschlüsselt und sind der Projektressource des Anrufers zugeordnet. AWS Die Daten werden ausschließlich zur Bearbeitung Ihrer Anfragen gespeichert und nicht für andere Zwecke verwendet oder aufbewahrt. Neinbedrock-mantle, sie werden in dem Bereich gespeichert, an AWS-Region den die Anfrage gesendet wurde. Bei dieser Option kann eine Anfragebedrock-runtime, die regionsübergreifende Inferenz verwendet, in einer anderen verarbeitet werden AWS-Region, und die Antwort wird in der Region gespeichert, in der sie verarbeitet wurde. Eine Anfrage, die ein globales Inferenzprofil verwendet, kann also Daten in jeder kommerziellen Region speichern, an die das Profil weitergeleitet wird. Wenn Sie Anforderungen an die Datenresidenz haben, verwenden Sie ein geografisches Inferenzprofil anstelle eines globalen Profils.

Grundlegende Anfrage

Um eine Antwort zu erstellen, wählen Sie den Tab für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

OpenAI SDK (Python)
# Create a basic response using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
)

print(response)
HTTP request

Stellen Sie eine POST-Anfrage an/v1/responses:

# Create a basic response
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
}'

Antworten streamen

Um Antwortereignisse schrittweise zu empfangen, wählen Sie den Tab für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

OpenAI SDK (Python)
# Stream response events incrementally using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

stream = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[{"role": "user", "content": "Tell me a story"}],
    stream=True
)

for event in stream:
    print(event)
HTTP request

Senden Sie eine POST-Anfrage an /v1/responses mit der stream Einstellung auftrue:

# Stream response events incrementally
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Tell me a story"}
    ],
    "stream": true
}'

Verwenden der Responses API auf dem Bedrock-Runtime-Endpunkt

Die Responses API bedrock-runtime verwendet dasselbe Anfrage- und Antwortformat wie onbedrock-mantle, sodass das OpenAI SDK für beide Formate geeignet ist. Was sich ändert, sind die Basis-URL, die Modell-IDs, die Berechtigungen und eine kleine Anzahl von Verhaltensweisen, die in diesem Abschnitt beschrieben werden.

Basis-URL und Pfade

Stellen Sie Ihre Basis-URL auf einhttps://bedrock-runtime.region.amazonaws.com/openai/v1. Die API wird auf den folgenden Pfaden bereitgestellt:

  • POST /openai/v1/responses— eine Antwort erstellen.

  • GET /openai/v1/responses/{id}— eine gespeicherte Antwort abrufen.

  • POST /openai/v1/responses/{id}/cancel— eine Antwort abbrechen, die noch in Bearbeitung ist.

  • DELETE /openai/v1/responses/{id}— löscht eine gespeicherte Antwort.

Modell-IDs

Nennen Sie ein regionsübergreifendes Inferenzprofil als Modell, nicht als Fundament-Modell-ID. Die OpenAI GPT-Modelle verwenden die us. global. UND-Profile in den kommerziellen Regionen und die us-gov. Profile in den AWS GovCloud (USA-) Regionen — zum Beispiel. us.openai.gpt-5.6-sol In-Region Inferenz ist für diese Modelle an diesem Endpunkt nicht verfügbar. Die Profil-ID der einzelnen Modelle finden Sie auf der zugehörigen Modellkarte unter. Informationen zur Funktionsweise des Routings finden Sie unterWeiterleiten von Modellinferenzanfragen AWS-Regionen mit regionsübergreifender Inferenz. Modelle im Überblick

Berechtigungen

Wenn Sie eine Antwort erstellen, werden zwei Ressourcen autorisiert: bedrock:InvokeModel (oderbedrock:InvokeModelWithResponseStream) für das Inferenzziel, wie es bei jeder Inferenzanfrage der Fall ist, und für das bedrock:InvokeModel Standardprojekt Ihres Kontos. Das Abrufen, Stornieren und Löschen einer gespeicherten Antwort autorisieren bedrock:GetInvoke bedrock:DeleteInvoke jeweils für bedrock:CancelInvoke das Projekt. Individuelle Antwort-IDs sind keine IAM-Ressourcen.

Zwei Bedingungsschlüssel ermöglichen es, dass eine Richtlinie für eine der Ressourcen die andere einschränkt. Die Inferenzzielautorisierung und die Projektautorisierung gelten für das Inferenzprofil oder das bedrock:ModelArn Basismodell, das von Ihrer Anfrage benannt wurde, und nicht für die Zielmodelle, an die ein regionsübergreifendes Profil weitergeleitet wird. bedrock:ProjectArn Richtlinienbeispiele finden Sie unter Voraussetzungen für die Ausführung der Modellinferenz.

Unterschiede im Verhalten

  • Anfragen sind immer synchron. background=truewird mit einem Fehler vom Typ 400 abgelehnt. Der store Parameter bleibt davon unberührt und behält seine Standardeinstellung beitrue, sodass gespeicherte Konversationen mit mehreren Runden normal funktionieren.

  • modelist für jede Anfrage erforderlich, auch für eine, die liefert. previous_response_id Dies unterscheidet sich von der API-Spezifikation für OpenAI Antworten und von derbedrock-mantle, in der das Modell weggelassen und von der vorherigen Antwort übernommen werden kann. Das Modell ist Teil dessen, wofür die Anfrage autorisiert wurde, daher muss es in der Anfrage selbst benannt werden.

  • Server-side Die Verwendung von Tools und vorkonfigurierte Tools, einschließlich der Websuche, sind nicht verfügbar. Client-side Die Verwendung von Tools funktioniert auf beiden Endpunkten.

  • Nur das Standardprojekt wird unterstützt. Der OpenAI-Project Header wird nur als default oder als Ihr eigener Standard-Projekt-ARN akzeptiert; jeder andere Wert wird abgelehnt. Siehe Projekte (OpenAI-compatible).

  • Anwendungsinferenzprofile werden nicht unterstützt. Eine Anfrage, die eines als Inferenzziel benennt, wird mit einem Fehler von 400 abgelehnt. System-, geografische und globale Inferenzprofile funktionieren normal.

  • Schutzmaßnahmen gelten nicht für die Responses API. Um eine Leitplanke auf ein GPT-Modell an diesem Endpunkt anzuwenden, rufen Sie stattdessen die Converse-API auf.

  • Eine gespeicherte Antwort gehört zu demjenigen, der AWS-Region sie bereitgestellt hat. Das Abrufen, Abbrechen oder Löschen und die Fortsetzung der Konversation mit previous_response_id werden alle von dieser Region abgewickelt. Eine Antwort-ID, die nicht gefunden werden kann, weil sie nie existierte, zu einem anderen Konto gehört oder nie gespeichert wurde, gibt in jedem Fall denselben 404-Fehler zurück.

Überwachung und Kosten

Da jede Anfrage synchron ist, funktionieren die Protokollierung von CloudWatch Metriken und Modellaufrufen für die Responses API genauso wie für die anderen Inferenz-APIs an diesem Endpunkt, auch für Streaming-Anfragen. Die Nutzung wird dem Inferenzziel zugeordnet, genau wie bei Converse, und InvokeModel — das Standardprojekt ist niemals der Fakturierungsanker. Siehe Verfolgen Sie Nutzung und Kosten in Amazon Bedrock.