Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erhöhen Sie den Durchsatz für Stabilität und Rechenleistung
Der Durchsatz wird durch die Anzahl und Geschwindigkeit der Eingaben und Ausgaben definiert, die ein Modell verarbeitet und zurückgibt. Wenn Sie ein Modell in Amazon Bedrock aufrufen oder eine Ressource in Amazon Bedrock verwenden, die ein Modell aufruft, unterliegt der Durchsatz des Modells Kontingenten. Kontingente hängen vom Modell und der Region ab und beinhalten die folgenden Werte:
-
Pro Minute verarbeitete Anfragen — Die Anzahl der Modellaufrufanforderungen, die pro Minute verarbeitet werden. Das Kontingent berücksichtigt die Summe von InvokeModel, InvokeModelWithResponseStream, Converse und ConverseStreamAPIAnfragen.
-
Pro Minute verarbeitete Token — Die Anzahl der Token, die pro Minute verarbeitet werden. Das Kontingent berücksichtigt die Summe der Token InvokeModel, die für InvokeModelWithResponseStream, Converse oder ConverseStreamAPIAnfragen verarbeitet wurden.
Amazon Bedrock bietet die folgenden Durchsatzarten:
-
Durchsatz auf Abruf — Die Standardoption für Durchsatz. Beinhaltet das Aufrufen eines Modells in einem bestimmten AWS-Region. Die Kontingente sind in Amazon Bedrock-Endpunkten und die Kontingente in den definiert. Allgemeine AWS-Referenz
-
Regionsübergreifende On-Demand-Inferenz — Beinhaltet den Aufruf eines Inferenzprofils, bei dem es sich um eine Abstraktion über einen On-Demand-Ressourcenpool aus konfigurierten Ressourcen handelt. AWS-Regionen Ein Inferenzprofil kann Ihre Inferenzanforderung, die aus Ihrer Quellregion stammt, an eine andere Region weiterleiten, die im Pool konfiguriert ist. Die Verwendung von regionsübergreifender Inferenz erhöht den Durchsatz und verbessert die Ausfallsicherheit, indem Modellaufrufanforderungen dynamisch über die im Inferenzprofil definierten Regionen weitergeleitet werden. Routing beeinflusst den Benutzerverkehr, den Bedarf und die Nutzung von Ressourcen. Weitere Informationen finden Sie unter Verbessern Sie die Widerstandsfähigkeit durch regionsübergreifende Inferenz.
-
Bereitgestellter Durchsatz — Beinhaltet den Kauf eines speziellen Durchsatzniveaus für ein bestimmtes AWS-Region Modell. Die Kontingente für den bereitgestellten Durchsatz hängen von der Anzahl der Modelleinheiten ab, die Sie erwerben. Weitere Informationen finden Sie unter Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock.
Wählen Sie ein Thema aus, um mehr über die Optionen zu erfahren, die Ihnen zur Steigerung Ihres Durchsatzes zur Verfügung stehen:
Themen
