View a markdown version of this page

So funktioniert Inferenz in Amazon Bedrock - Amazon Bedrock
Modelle in verschiedenen Regionen aufrufen AWS

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

So funktioniert Inferenz in Amazon Bedrock

Bei einer Eingabe prognostiziert das Modell eine wahrscheinlich nachfolgende Sequenz von Token und gibt diese Sequenz als Ausgabe zurück. Amazon Bedrock bietet die Möglichkeit, Inferenzen in einem Basismodell Ihrer Wahl auszuführen. Wenn Sie eine Inferenz ausführen, geben Sie die folgenden Eingaben an:

Modelle in verschiedenen Regionen aufrufen AWS

Wenn Sie ein Modell aufrufen, wählen Sie aus, AWS-Region in welchem Modell es aufgerufen werden soll. Die Kontingente für die Häufigkeit und Größe der Anfragen, die Sie stellen können, hängen von der Region ab. Sie können unter Amazon-Bedrock-Servicekontingente nach folgenden Kontingenten suchen:

  • Bedarfsgesteuerte Modellinferenzanfragen pro Minute für ${Model}

  • InvokeModel Tokens auf Abruf pro Minute für ${Model}

Sie können statt des eigentlichen Basismodells auch ein Inferenzprofil aufrufen. Ein Inferenzprofil definiert ein Modell und eine oder mehrere Regionen, an die das Inferenzprofil Modellaufrufanforderungen leiten kann. Durch den Aufruf eines Inferenzprofils mit mehreren Regionen können Sie Ihren Durchsatz erhöhen. Weitere Informationen finden Sie unter Erhöhen des Durchsatzes mit regionenübergreifender Inferenz. Um die Quoten für die Frequenz und Größe der Anfragen einzusehen, die Sie mit einem Inferenzprofil ausführen können, suchen Sie unter Amazon-Bedrock-Service-Kontingente nach den folgenden Kontingenten:

  • Regionsübergreifende InvokeModel Anfragen pro Minute für ${Model}

  • Regionsübergreifende InvokeModel Token pro Minute für ${Model}

  • Globale regionsübergreifende InvokeModel Anfragen pro Minute für ${Model}

  • Globale regionsübergreifende InvokeModel Token pro Minute für ${Model}

Anfragen an eine Region können von lokalen Zonen aus bedient werden, die dieselbe übergeordnete Region teilen. Beispielsweise können Anfragen an USA Ost (Nord-Virginia) (us-east-1) von jeder zugehörigen lokalen Zone aus bedient werden, z. B. Atlanta, USA (us-east-1-atl-2a).

Das gleiche Prinzip gilt für die Verwendung der regionsübergreifender Inferenz. Beispielsweise können Anfragen an das US-Inferenzprofil Anthropic Claude 3 Haiku von jeder lokalen Zone aus bedient werden, deren übergeordnete Region sich in den USA befindet, z. B. Seattle, USA (us-west-2-sea-1a). Wenn neue lokale Zonen hinzugefügt werden AWS, werden sie auch dem entsprechenden regionsübergreifenden Inferenzendpunkt hinzugefügt.

Eine Liste der lokalen Endpunkte und der übergeordneten Regionen, mit denen sie verknüpft sind, finden Sie unter Local Zones von AWS  – Standorte.

Wenn Sie ein regionenübergreifendes Inferenzprofil in Amazon Bedrock aufrufen, stammt Ihre Anforderung aus einer Quellregion und wird automatisch an eine der in diesem Profil definierten Zielregionen weitergeleitet, wodurch die Leistung optimiert wird. Die Zielregionen für ein globales regionenübergreifendes Inferenzprofil umfassen alle kommerziellen Regionen.

Das globale regionsübergreifende Inferenzprofil für ein bestimmtes Modell kann sich im Laufe der Zeit ändern, da weitere kommerzielle Regionen AWS hinzugefügt werden, in denen Ihre Anfragen bearbeitet werden können. Wenn ein Inferenzprofil jedoch an eine Region gebunden ist (z. B. USA, EU oder APAC), ändert sich die Liste der Zielregionen nicht. AWS könnte neue Inferenzprofile erstellen, die neue Regionen einbeziehen. Sie können Ihre Systeme so aktualisieren, dass sie diese Inferenzprofile verwenden, indem Sie sie IDs in Ihrem Setup auf die neuen ändern.

Anmerkung

Die Zielregionen in einem regionsübergreifenden Inferenzprofil können Opt-in-Regionen enthalten. Dabei handelt es sich um Regionen, die Sie explizit auf oder Organisationsebene AWS-Konto aktivieren müssen. Weitere Informationen finden Sie unter AWS-Regionen In Ihrem Konto aktivieren oder deaktivieren. Bei Verwendung eines regionsübergreifenden Inferenzprofils kann Ihre Inferenzanforderung an eine der Zielregionen im Profil weitergeleitet werden, auch wenn Sie sich in Ihrem Konto nicht für solche Regionen angemeldet haben.

Die Richtlinien zur Servicesteuerung AWS Identity and Access Management (SCPs) und (IAM) steuern zusammen, wo regionsübergreifende Inferenzen zulässig sind. Mithilfe können Sie steuern SCPs, welche Regionen Amazon Bedrock für Inferenzen verwenden kann, und mithilfe von IAM-Richtlinien können Sie definieren, welche Benutzer oder Rollen berechtigt sind, Inferenzen auszuführen. Wenn eine Zielregion in einem regionsübergreifenden Inferenzprofil in Ihrem blockiert ist, schlägt die Anfrage fehl SCPs, auch wenn andere Regionen weiterhin zugelassen sind. Um einen effizienten Betrieb mit regionsübergreifender Inferenz zu gewährleisten, können Sie Ihre Richtlinien SCPs und Ihre IAM-Richtlinien so aktualisieren, dass alle erforderlichen Amazon Bedrock-Inferenzaktionen (z. B. bedrock:InvokeModel* oderbedrock:CreateModelInvocationJob) in allen Zielregionen zulässig sind, die in Ihrem ausgewählten Inferenzprofil enthalten sind. Weitere Informationen finden Sie unter https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/Aktivieren der regionsübergreifenden Amazon-Bedrock-Inferenz in Umgebungen mit mehreren Konten.