Verwenden Sie einen bereitgestellten Durchsatz mit einer Amazon Bedrock-Ressource - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie einen bereitgestellten Durchsatz mit einer Amazon Bedrock-Ressource

Nachdem Sie einen Provisioned Throughput erworben haben, können Sie ihn mit den folgenden Funktionen verwenden, um Ihren Durchsatz zu erhöhen:

  • Modellinferenz — Sie können den bereitgestellten Durchsatz auf einer Amazon Bedrock-Konsole testen. Wenn Sie bereit sind, den bereitgestellten Durchsatz bereitzustellen, richten Sie Ihre Anwendung so ein, dass das bereitgestellte Modell aufgerufen wird. Wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

    Console
    So verwenden Sie einen bereitgestellten Durchsatz im Amazon Bedrock Console Playground

    1. Melden Sie sich als Benutzer mit IAM Amazon Bedrock-Berechtigungen an und öffnen Sie die Amazon Bedrock-Konsole AWS Management Console unter. https://console.aws.amazon.com/bedrock/

    2. Wählen Sie im linken Navigationsbereich je nach Anwendungsfall Chat, Text oder Bild unter Playgrounds aus.

    3. Wählen Sie Modell auswählen.

    4. In der 1. Wählen Sie in der Spalte Kategorie einen Anbieter oder eine benutzerdefinierte Modellkategorie aus. Dann, in der 2. Wählen Sie in der Spalte Modell das Modell aus, dem Ihr bereitgestellter Durchsatz zugeordnet ist.

    5. In der 3. Wählen Sie in der Spalte Durchsatz Ihren bereitgestellten Durchsatz aus.

    6. Wählen Sie Anwenden aus.

    Informationen zur Nutzung der Amazon Bedrock Playgrounds finden Sie unter. Generieren Sie Antworten in der Konsole mithilfe von Playgrounds

    API

    Um Inferenzen mit einem bereitgestellten Durchsatz auszuführen, senden Sie eine, InvokeModelInvokeModelWithResponseStream, Converse - oder ConverseStreamAnfrage mit einem Amazon Bedrock-Laufzeitendpunkt. Geben Sie das bereitgestellte Modell als Parameter an. ARN modelId Informationen zu den Anforderungen an den Anforderungstext für verschiedene Modelle finden Sie unterInferenzanforderungsparameter und Antwortfelder für Foundation-Modelle.

    Siehe Codebeispiele

  • Einen bereitgestellten Durchsatz einem Agent-Alias zuordnen — Sie können einen bereitgestellten Durchsatz zuordnen, wenn Sie einen Agent-Alias erstellen oder aktualisieren. In der Amazon Bedrock-Konsole wählen Sie den bereitgestellten Durchsatz, wenn Sie den Alias einrichten oder bearbeiten. Im Amazon Bedrock geben Sie anAPI, routingConfiguration wann Sie eine CreateAgentAliasOder UpdateAgentAlias; -Anfrage senden. provisionedThroughput