View a markdown version of this page

Von Amazon Bedrock unterstützte Endpunkte - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Von Amazon Bedrock unterstützte Endpunkte

Ein Endpunkt ist die URL, die Ihre Anwendung verwendet, um Inferenzanfragen stellen Inferenzanfragen an Amazon Bedrock zu senden. Amazon Bedrock bietet zwei Inferenzendpunkte. Der von Ihnen gewählte Endpunkt bestimmt, welche APIs und Funktionen verfügbar sind.

Verwenden Sie für die meisten neuen Anwendungen den bedrock-runtime Endpunkt. Verwenden Sie bedrock-mantle ihn, wenn Sie speziell Funktionen benötigen, die derzeit nur dort verfügbar sind, z. B. serverseitige und vorkonfigurierte Tools (einschließlich Websuche), Hintergrundinformationen, Projekte oder Arbeitsbereiche. Arbeitsbereiche () Anthropic-compatible Informationen darüber, welchen Endpunkt jedes Modell unterstützt, finden Sie unter. Verfügbarkeit von Endpunkten In der folgenden Tabelle werden die beiden Endpunkte verglichen.

Endpunkt Unterstützte APIs Beschreibung
bedrock-runtime.{region}.amazonaws.com (empfohlen) InvokeModel/Converse//Chat-Abschlüsse//Antworten-API /Nachrichten-API Region-specific Endpunkte für Inferenzanfragen für Modelle, die mithilfe der APIs in Amazon Bedrock gehostet werden. InvokeModel/Converse/Chat Completions/Responses/Messages Weitere Informationen zu den Bedrock-native Vorgängen finden Sie unter Amazon Bedrock Runtime API-Operationen. Die OpenAI-compatible APIs werden auf den /openai/v1 Pfaden dieses Endpunkts und nicht über die AWS SDKs aufgerufen.
bedrock-mantle.{region}.api.aws Antworten-API//API für Chat-Abschlüsse//Nachrichten-API Region-specific Endpunkte, um mithilfe der OpenAI-compatible Endpunkte und der Anthropic Messages API Inferenzanfragen für Modelle zu stellen, die in Amazon Bedrock gehostet werden.
Anmerkung

Beide Endpunkte verwenden dieselbe zugrundeliegende Mantle-Inferenz-Engine und profitieren vom Zero Operator Access (ZOA) -Design von Mantle. https://aws.amazon.com/blogs/machine-learning/exploring-the-zero-operator-access-design-of-mantle/ Der bedrock-mantle Name identifiziert eine Endpunktoberfläche, keine andere Inferenz-Engine.

Bestehende Anwendungen, die verwendet werden, werden bedrock-mantle weiterhin vollständig unterstützt und müssen nicht geändert werden. Mit beiden Endpunkten können Sie eine bestehende OpenAI-SDK-Codebasis auf Amazon Bedrock übertragen, indem Sie nur die Basis-URL und den API-Schlüssel ändern. Beide unterstützen die APIs für OpenAI-compatible Antworten und Chat-Abschlüsse sowie die Anthropic Messages-API.

API-Unterstützung
API bedrock-runtime bedrock-mantle
InvokeModel supported not-supported
Converse/ ConverseStream supported not-supported
Abschlüsse des Chats () OpenAI-compatible supported supported
API für Antworten () OpenAI-compatible supported supported
Nachrichten-API (Anthropic-native) supported supported
Anmerkung

Die Nachrichten-API ist auf beiden Endpunkten verfügbar, aber die beiden Oberflächen bieten keine identischen Funktionen. Insbesondere werden strukturierte Ausgaben (der output_config.format Parameter) nicht unterstützt bedrock-mantle — Anfragen, die Folgendes enthalten, output_config.format werden mit einem Fehler vom Typ 400 zurückgewiesen. Um strukturierte Ausgaben mit Anthropic Claude-Modellen zu verwenden, rufen Sie Converse oder InvokeModel APIs auf. bedrock-runtime

Anmerkung

Die Responses API ist auch auf beiden Endpunkten verfügbar, ohne dass identische Funktionen unterstützt werden. Unter bedrock-runtime:

  • Anfragen sind immer synchron. background=truewird mit einem Fehler vom Typ 400 abgelehnt. Der store Parameter bleibt davon unberührt und behält seine Standardeinstellung beitrue, sodass gespeicherte Konversationen mit mehreren Runden normal funktionieren.

  • Server-side Die Verwendung von Tools und vorkonfigurierte Tools, einschließlich der Websuche, sind nicht verfügbar. Client-side Die Verwendung von Tools funktioniert auf beiden Endpunkten.

  • Nur das Standardprojekt wird unterstützt. Siehe Projekte (OpenAI-compatible).

  • Eine gespeicherte Antwort gehört demjenigen AWS-Region , der sie bereitgestellt hat. Das Abrufen, Abbrechen oder Löschen und die Fortsetzung der Konversation mit previous_response_id werden alle von dieser Region abgewickelt.

Inferenzfunktionen
Funktion bedrock-runtime bedrock-mantle
Cross-region Inferenz (geografische und globale Profile) supported not-supported
Zustandsorientiertes Gesprächsmanagement supported supported
Asynchrone (lang andauernde) Inferenz not-supported supported
Client-side Verwendung von Werkzeugen supported supported
Server-side Verwendung von Werkzeugen not-supported supported
Pre-configured gebrauchsfertige Werkzeuge not-supported supported
Projekte Nur Standardprojekt supported
Arbeitsbereiche not-supported supported

Die Authentifizierung selbst gewährt keinen Zugriff. Unabhängig davon, ob Sie SigV4 oder einen Bedrock-API-Schlüssel verwenden, muss der zugehörige IAM-Prinzipal die Berechtigung für die erforderliche Aktion haben. Vollständige Richtlinienanforderungen und Beispiele finden Sie unter. Voraussetzungen für die Ausführung der Modellinferenz

Betriebsbereit
Item bedrock-runtime bedrock-mantle
AWS SigV4-Authentifizierung supported supported
Bedrock API-Schlüssel (funktioniert auch mit OpenAI SDK) supported supported
IAM-Autorisierung für Inferenz bedrock:InvokeModelauf dem Inferenzziel und, für die Responses API, auf dem Standardprojekt; für das Streaming bedrock:InvokeModelWithResponseStream bedrock-mantle:CreateInference
Zuordnung der Nutzung IAM-Prinzipal, Metadaten-Tagging Per-request Tagging von Metadaten pro Anfrage, Anwendungsinferenzprofile Anwendungsinferenzprofile Projekte (OpenAI-compatible)Projekte, Arbeitsbereiche
Anmerkung

Anbedrock-runtime, die Responses API attributiert die Nutzung nur durch den IAM-Prinzipal. Per-request Metadaten-Tagging und Anwendungsinferenzprofile sind darin nicht verfügbar. Eine Anfrage, die ein Anwendungsinferenzprofil als Inferenzziel benennt, wird mit einem Fehler vom Typ 400 zurückgewiesen. Dies wirkt sich nicht auf die regionsübergreifende Inferenz aus: Die systemdefinierten geografischen und globalen Inferenzprofile funktionieren normal.

Verfügbarkeit der Bedrock-Funktionen
Feature bedrock-runtime bedrock-mantle
Leitplanken supported not-supported
Promptes Zwischenspeichern supported supported
Intelligentes Routing von Eing supported not-supported
Anmerkung

Die Unterstützung für das Prompt-Caching bedrock-mantle hängt vom jeweiligen Modell ab. Weitere Informationen finden Sie auf den einzelnen Modellkarten Modelle im Überblick unten.

Ansatz für Durchsatz und Quote

Jeder Endpunkt verwendet einen anderen Ansatz zur Verwaltung des Durchsatzes.

  • bedrock-runtime— Bei vielen herkömmlichen Diensten mit mehreren Mandanten basiert die Architektur auf Kontingenten pro Konto, um den fairen Zugriff auf gemeinsam genutzte Ressourcen zu gewährleisten. Dies ist der Ansatz, der bei verwendet wird. bedrock-runtime Jedes Modell hat feste Durchsatzquoten (RPM und TPM), für die Sie Erhöhungen beantragen können. Details hierzu finden Sie unter Kontingente für den Bedrock-Runtime-Endpunkt.

  • bedrock-mantle— Dieser Endpunkt ist mit fortschrittlichen Planungs- und Arbeitswarteschlangenmechanismen ausgestattet, die eine faire Verteilung ermöglichen und gleichzeitig höhere anfängliche Durchsatzgrenzen unterstützen. Dieses Design ermöglicht es auch, eine breite Palette von Modellen bedrock-mantle zu hosten und die gesamte Bandbreite der im Modellkatalog verfügbaren Funktionen bereitzustellen. In den meisten Fällen werden Anfragen sofort bearbeitet. In einigen Fällen kann eine Anfrage kurzzeitig in die Warteschlange gestellt werden, während die Workloads während des Fluges abgeschlossen sind und der Durchsatz verfügbar ist. Details dazu finden Sie unter Kontingente für den Endpunkt „Bedrock-Mantle“ und Best Practices für Skalierung und Durchsatz.

Preise

Per-token Die Preise für dasselbe Modell sind auf und identisch. bedrock-runtime bedrock-mantle Wählen Sie einen Endpunkt, der auf den APIs und Funktionen basiert, die Sie benötigen, und nicht auf der Grundlage der Kosten. Aktuelle Preise finden Sie unter Amazon Bedrock-Preise.

Wann sollte jeder Endpunkt ausgewählt werden

Beginnen Sie mit dem bedrock-runtime Zeitpunkt, an dem Sie:

Verwenden Siebedrock-mantle, wenn Sie:

  • Erstellen Sie agentische Workflows mithilfe serverseitiger Tools oder mit vorkonfigurierten Tools, einschließlich Websuche. Web-Suche

  • Führen Sie asynchrone oder lang andauernde Inferenz-Workloads aus, einschließlich Beantwortungen von Anfragen mit. background=true

  • Erstellen Projekte (OpenAI-compatible) oder isolieren Arbeitsbereiche () Anthropic-compatible Sie Workloads und verfolgen Sie Kosten und Nutzung auf Anwendungsebene.

  • Verwenden Sie ein Modell, das nur für verfügbar ist. bedrock-mantle Siehe Verfügbarkeit von Endpunkten.

Beide Endpunkte können zusammen von derselben Anwendung aus verwendet werden — wählen Sie je nach Anwendungsfall.

Reduzieren Sie die Kosten für ausgehenden Datenfluss mit VPC-Schnittstellen-Endpunkten

Wenn Sie Amazon Bedrock von einer VPC aus aufrufen, sollten Sie die Verwendung von VPC-Schnittstellenendpunkten (AWS PrivateLink) in Betracht ziehen, um den Datenverkehr innerhalb des AWS-Netzwerks aufrechtzuerhalten und die Gebühren für ausgehenden Datenfluss im Zusammenhang mit NAT-Gateways oder Internet-Gateways zu vermeiden.