Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Ausführen einer Modellinferenz
Inferenz bezieht sich auf den Prozess der Generierung einer Ausgabe anhand einer Eingabe, die für ein Modell bereitgestellt wird. Basismodelle reihen Wörter basierend auf Wahrscheinlichkeiten in einer Sequenz aneinander. Bei einer Eingabe prognostiziert das Modell eine wahrscheinliche Sequenz von Token und gibt diese als Ausgabe zurück. Amazon Bedrock bietet Ihnen die Möglichkeit, Inferenzen in einem Basismodell Ihrer Wahl auszuführen. Wenn Sie eine Inferenz ausführen, geben Sie die folgenden Informationen an.
-
Eingabeaufforderung: Eine Eingabe, die dem Modell zur Verfügung gestellt wird, damit es eine Antwort generiert. Informationen zum Schreiben von Eingabeaufforderungen finden Sie unter Prompt-Engineering-Richtlinien.
-
Inferenzparameter: Eine Reihe von Werten, die angepasst werden können, um die Modellantwort zu begrenzen oder zu beeinflussen. Informationen zu den Inferenzparametern finden Sie unter Inferenzparameter und Inferenzparameter für Basismodelle.
Amazon Bedrock bietet eine Suite von Grundlagenmodellen, mit denen Sie Ausgaben der folgenden Modalitäten generieren können. Informationen zur Unterstützung der Modalität nach Grundlagenmodell finden Sie unter Unterstützte Basismodelle in Amazon Bedrock.
| Ausgabemodalität | Beschreibung | Beispielanwendungsfälle |
|---|---|---|
| Text | Texteingabe bereitstellen und verschiedene Texttypen generieren | Chat, question-and-answering, brainstorming, Zusammenfassung, Codegenerierung, Tabellenerstellung, Datenformatierung, Umschreiben |
| Image | Bereitstellen von Text- oder Eingabebildern und Generieren oder Ändern von Bildern | Bildgenerierung, Bildbearbeitung, Bildvariante |
| Einbettungen | Stellen Sie Text, Bilder oder Text und Bilder bereit und generieren Sie einen Vektor numerischer Werte, die die Eingabe darstellen. Der Ausgabevektor kann mit anderen Einbettungsvektoren verglichen werden, um die semantische Ähnlichkeit (für Text) oder die visuelle Ähnlichkeit (für Bilder) zu bestimmen. | Text- und Bildsuche, Abfrage, Kategorisierung, Empfehlungen, Personalisierung, Erstellung von Wissensdatenbanken |
Sie können Modellinferenzen wie folgt ausführen.
-
Verwenden Sie eines der Playgrounds, um eine Inferenz in einer benutzerfreundlichen grafischen Oberfläche auszuführen.
-
Senden Sie eine - InvokeModel oder -InvokeModelWithResponseStreamAnforderung.
-
Bereiten Sie einen Datensatz mit Eingabeaufforderungen mit den gewünschten Konfigurationen vor und führen Sie eine Batch-Inferenz mit einer
CreateModelInvocationJob-Anforderung aus. -
Die folgenden Amazon-Bedrock-Funktionen verwenden Modellinferenz als Schritt in einer größeren Orchestrierung. Weitere Informationen finden Sie in diesen Abschnitten.
-
Richten Sie eine Wissensdatenbank ein und senden Sie eine -RetrieveAndGenerateAnforderung.
-
Richten Sie einen Agenten ein und senden Sie eine -InvokeAgentAnforderung.
-
Sie können Inferenzen mit Basismodellen, benutzerdefinierten Modellen oder bereitgestellten Modellen ausführen. Wenn Sie Inferenzen für ein benutzerdefiniertes Modell bilden möchten, müssen Sie zunächst bereitgestellten Durchsatz dafür erwerben (weitere Informationen finden Sie unter Bereitgestellter Durchsatz für Amazon Bedrock).
Verwenden Sie diese Methoden, um Antworten des Basismodells mit unterschiedlichen Eingabeaufforderungen und Inferenzparametern zu testen. Sobald Sie diese Methoden ausreichend erforscht haben, können Sie Ihre Anwendung so einrichten, dass sie Modellinferenzen ausführt, indem diese APIs aufgerufen werden.
Wählen Sie ein Thema aus, um mehr über die Ausführung von Modellinferenzen mit dieser Methode zu erfahren. Weitere Informationen zur Verwendung von Agenten finden Sie unter Agents für Amazon Bedrock.
Themen
