Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Von Amazon Bedrock unterstützte Endgeräte
Amazon Bedrock unterstützt verschiedene Endpunkte für die Durchführung von Inferenzoperationen.
Inferenzoperationen
Amazon Bedrock unterstützt die folgenden beiden primären Endpunkte für die programmgesteuerte Durchführung von Inferenzen:
| Endpunkt | Unterstützte APIs | Beschreibung |
|---|---|---|
bedrock-mantle.{region}.api.aws |
API für Antworten//API für Chat-Abschlüsse//Nachrichten-API | Region-specific Endpunkte für die Erstellung von Inferenzanfragen für Modelle, die in Amazon Bedrock gehostet werden, mithilfe der OpenAI-compatible Endpunkte und der Anthropic Messages API. |
bedrock-runtime.{region}.amazonaws.com |
InvokeModel/Converse//Chat-Abschlüsse//Nachrichten-API | Region-specific Endpunkte für die Erstellung von Inferenzanfragen für Modelle, die in Amazon Bedrock gehostet werden, mithilfe der APIs. InvokeModel/Converse/Chat Completions/Messages Lesen Sie hier mehr über Amazon Bedrock Runtime APIs. |
Für neue Anwendungen empfehlen wir den bedrock-mantle Endpunkt. Es unterstützt OpenAI-compatible APIs (Responses and Chat Completions) und die Anthropic Messages API, beinhaltet integrierte Tools und statusbehaftetes Konversationsmanagement und ermöglicht es Ihnen, eine bestehende OpenAI SDK-Codebasis auf Amazon Bedrock zu übertragen, indem Sie nur die Basis-URL und den API-Schlüssel ändern. Der bedrock-runtime Endpunkt wird weiterhin vollständig unterstützt und ist die richtige Wahl, wenn Sie die APIs Bedrock-native InvokeModel oder Converse APIs verwenden oder wenn das gewünschte Modell noch nicht verfügbar ist. bedrock-mantle Informationen darüber, welchen Endpunkt jedes Modell unterstützt, finden Sie unterVerfügbarkeit von Endpunkten nach Modellen.
In den folgenden Tabellen wird verglichen, was auf den einzelnen Endpunkten verfügbar ist.
| API | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| InvokeModel |  |
 |
| Converse/ ConverseStream | |
|
| Chat-Abschlüsse () OpenAI-compatible | |
|
| Antwort-API () OpenAI-compatible | |
|
| Nachrichten-API (Anthropic-native) | |
|
Anmerkung
Die Nachrichten-API ist auf beiden Endpunkten verfügbar, aber die beiden Oberflächen bieten keine identische Funktionsunterstützung. Insbesondere strukturierte Ausgaben (der output_config.format Parameter) werden nicht unterstützt bedrock-mantle — Anfragen, die Folgendes beinhalten, output_config.format werden mit dem Fehler 400 abgelehnt. Um strukturierte Ausgaben mit Modellen von Anthropic Claude zu verwenden, rufen Sie Converse oder die InvokeModel APIs auf. bedrock-runtime
| Item | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| AWS-SigV4-Authentifizierung | |
|
| Bedrock API-Schlüssel (funktioniert auch mit OpenAI SDK) | |
|
| Zuordnung der Nutzung | IAM, Metadaten-Tagging pro Anfrage | Projekte, Arbeitsbereiche |
| Feature | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| Leitplanken | |
|
| Sofortiges Caching | |
|
| Intelligentes Routing von Eing | |
|
Anmerkung
Die Unterstützung für schnelles Caching bedrock-mantle hängt vom jeweiligen Modell ab. Einzelheiten finden Sie auf den einzelnen Modellkarten unterModelle auf einen Blick.
Ansatz für Durchsatz und Kontingente
Jeder Endpunkt verwendet einen anderen Ansatz zur Verwaltung des Durchsatzes.
-
bedrock-runtime— Bei vielen traditionellen Multi-Tenant-Diensten ist die Architektur auf Kontingenten pro Konto ausgelegt, um einen fairen Zugriff auf gemeinsam genutzte Ressourcen zu gewährleisten. Dies ist der Ansatz, der bei verwendet wird.bedrock-runtimeJedes Modell hat feste Durchsatzquoten (RPM und TPM), für die Sie Erhöhungen beantragen können. Details hierzu finden Sie unter Kontingente für den Bedrock-Runtime-Endpunkt. -
bedrock-mantle— Dieser Endpunkt ist mit fortschrittlichen Planungs- und Warteschlangenmechanismen ausgestattet, die eine faire Verteilung ermöglichen und gleichzeitig höhere anfängliche Durchsatzgrenzen unterstützen. Dieses Design ermöglicht es auch, eine breite Palette von Modellenbedrock-mantlezu hosten und die gesamte Bandbreite der Funktionen bereitzustellen, die im gesamten Modellkatalog verfügbar sind. In den meisten Fällen werden Anfragen sofort bearbeitet. In einigen Fällen kann es vorkommen, dass eine Anfrage kurzzeitig in die Warteschlange gestellt wird, während die laufenden Arbeitslasten abgeschlossen sind und der Durchsatz verfügbar ist. Details dazu finden Sie unter Kontingente für den Endpunkt „Bedrock-Mantle“ und Bewährte Methoden für Skalierung und Durchsatz.
Preise
Per-token Die Preise für dasselbe Modell sind am und identisch. bedrock-runtime bedrock-mantle Wählen Sie einen Endpunkt, der auf den APIs und Funktionen basiert, die Sie benötigen, und nicht auf der Grundlage der Kosten. Aktuelle Preise finden Sie unter Amazon Bedrock — Preise
Wann sollte jeder Endpunkt ausgewählt werden
Beginnen Sie damitbedrock-mantle, wann Sie möchten:
Verwenden Sie die Antwort-API, die Chat-Abschluss-API oder die Nachrichten-API für statusbehaftete Konversationen mit mehreren Runden.
Bringen Sie vorhandenen OpenAI SDK-Code zu Amazon Bedrock, indem Sie nur die Basis-URL und den API-Schlüssel ändern.
Führen Sie asynchrone oder lang andauernde Inferenz-Workloads aus.
Erstellen Sie agentische Workflows mit serverseitiger Verwendung von Tools oder vorkonfigurierten Tools.
Verwenden Sie Projekte (OpenAI-compatible) oderArbeitsbereiche () Anthropic-compatible, um Workloads zu isolieren und Kosten und Nutzung auf Anwendungsebene zu verfolgen.
Verwenden Sie bedrock-runtime es, wenn Sie:
Verwenden Sie weiterhin die APIs Bedrock-native InvokeModeloder Converse.
Verwenden Sie ein Modell, das noch nicht verfügbar ist auf
bedrock-mantle. Siehe Verfügbarkeit von Endpunkten nach Modellen.
Beide Endgeräte können zusammen von derselben Anwendung aus verwendet werden — wählen Sie pro Anwendungsfall.
Senken Sie die Kosten für den Datenausgang mit VPC-Schnittstellen-Endpunkten
Wenn Sie Amazon Bedrock von einer VPC aus anrufen, sollten Sie die Verwendung von VPC-Schnittstellenendpunkten (AWS PrivateLink) in Betracht ziehen, um den Datenverkehr innerhalb des AWS-Netzwerks aufrechtzuerhalten und Gebühren für Datenausgänge im Zusammenhang mit NAT-Gateways oder Internet-Gateways zu vermeiden.
