Senden Sie Eingabeaufforderungen und generieren Sie Antworten mit Modellinferenz - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Senden Sie Eingabeaufforderungen und generieren Sie Antworten mit Modellinferenz

Inferenz bezieht sich auf den Prozess der Generierung einer Ausgabe anhand einer Eingabe, die für ein Modell bereitgestellt wird.

Amazon Bedrock bietet eine Reihe von Basismodellen, mit denen Sie Ausgaben der folgenden Modalitäten generieren können. Informationen zur Modalitätsunterstützung nach Stiftungsmodell finden Sie unter. Unterstützte Basismodelle in Amazon Bedrock

Ausgabemodalität Beschreibung Beispielanwendungsfälle
Text Stellen Sie Texteingaben bereit und generieren Sie verschiedene Texttypen Chat question-and-answering, Brainstorming, Zusammenfassung, Codegenerierung, Tabellenerstellung, Datenformatierung, Umschreiben
Image Stellen Sie Text oder Eingabebilder bereit und generieren oder ändern Sie Bilder Bilderzeugung, Bildbearbeitung, Bildvariation
Einbettungen Stellen Sie Text, Bilder oder sowohl Text als auch Bilder bereit und generieren Sie einen Vektor mit numerischen Werten, die die Eingabe darstellen. Der Ausgabevektor kann mit anderen Einbettungsvektoren verglichen werden, um die semantische Ähnlichkeit (für Text) oder die visuelle Ähnlichkeit (für Bilder) zu bestimmen. Text- und Bildsuche, Abfrage, Kategorisierung, Empfehlungen, Personalisierung, Erstellung von Wissensdatenbanken

Sie können die Modellinferenz auf folgende Weise direkt ausführen:

  • Verwenden Sie in der AWS Management Console einen der Amazon Bedrock Playgrounds, um Inferenzen in einer benutzerfreundlichen grafischen Oberfläche auszuführen.

  • Verwenden Sie Converse oder ConverseStreamAPI, um Konversationsanwendungen zu implementieren.

  • Verwenden Sie die InvokeModelWithResponseStreamAPI InvokeModeloder, um eine einzelne Aufforderung einzureichen.

  • Bereiten Sie einen Datensatz mit Eingabeaufforderungen mit den gewünschten Konfigurationen vor und führen Sie eine Batch-Inferenz mit einer CreateModelInvocationJob-Anforderung aus.

Die folgenden Funktionen von Amazon Bedrock verwenden auch Modellinferenz als Schritt in einem größeren Workflow:

  • Die Modellevaluierung verwendet den Modellaufrufprozess, um die Leistung verschiedener Modelle zu bewerten, nachdem Sie eine Anfrage eingereicht haben. CreateEvaluationJob

  • Wissensdatenbanken verwenden den Modellaufruf bei der Verwendung von RetrieveAndGenerateAPI zum Generieren einer Antwort auf der Grundlage von Ergebnissen, die aus einer Wissensdatenbank abgerufen wurden.

  • Agenten verwenden den Modellaufruf, um Antworten in verschiedenen Phasen während eines InvokeAgent request.

  • Flows umfassen Amazon Bedrock-Ressourcen wie Eingabeaufforderungen, Wissensdatenbanken und Agenten, die den Modellaufruf verwenden.

Nachdem Sie verschiedene Foundation-Modelle mit unterschiedlichen Eingabeaufforderungen und Inferenzparametern getestet haben, können Sie Ihre Anwendung so konfigurieren, dass sie diese APIs mit Ihren gewünschten Spezifikationen aufruft.

Themen