So funktionieren die Amazon Bedrock-Wissensdatenbanken

Amazon Bedrock Knowledge Bases helfen Ihnen dabei, die Vorteile von Retrieval Augmented Generation (RAG) zu nutzen, einer beliebten Technik, bei der Informationen aus einem Datenspeicher abgerufen werden, um die von Large Language Models () generierten Antworten zu erweitern. LLMs Wenn Sie mit Ihrer Datenquelle eine Wissensdatenbank einrichten, kann Ihre Anwendung die Wissensdatenbank abfragen, um Informationen zur Beantwortung der Anfrage zurückzugeben, entweder mit direkten Zitaten aus Quellen oder mit natürlichen Antworten, die aus den Abfrageergebnissen generiert werden.

Mit Amazon Bedrock Knowledge Bases können Sie Anwendungen erstellen, die durch den Kontext bereichert werden, der bei der Abfrage einer Wissensdatenbank entsteht. Es ermöglicht eine schnellere Markteinführung, da es die aufwändige Erstellung von Pipelines überflüssig macht und Ihnen eine out-of-the-box RAG Lösung bietet, mit der Sie die Erstellungszeit für Ihre Anwendung reduzieren können. Durch Hinzufügen einer Wissensdatenbank steigt auch die Kosteneffizienz, da Ihr Modell nicht kontinuierlich trainiert werden muss, um Ihre privaten Daten nutzen zu können.

Die folgenden Diagramme veranschaulichen schematisch, wie dies durchgeführt RAG wird. Die Wissensdatenbank vereinfacht die Einrichtung und Implementierung von, RAG indem mehrere Schritte dieses Prozesses automatisiert werden.

Vorverarbeitung unstrukturierter Daten

Um einen effektiven Abruf aus privaten Daten zu ermöglichen, die unstrukturiert sind (nicht in einem strukturierten Datenspeicher), besteht eine gängige Praxis darin, die Daten in Text umzuwandeln und in verwaltbare Teile aufzuteilen. Die Teile oder Blöcke werden dann in Einbettungen umgewandelt und in einen Vektorindex geschrieben, wobei die Zuordnung zum Originaldokument beibehalten wird. Diese Einbettungen werden verwendet, um die semantische Ähnlichkeit zwischen Abfragen und Text aus den Datenquellen zu ermitteln. Die folgende Abbildung veranschaulicht die Vorverarbeitung von Daten für die Vektordatenbank.

Bei Vektoreinbettungen handelt es sich um eine Reihe von Zahlen, die für jeden Textabschnitt stehen. Ein Modell wandelt jeden Textblock in eine Reihe von Zahlen um, die als Vektoren bezeichnet werden, sodass die Texte mathematisch verglichen werden können. Bei diesen Vektoren kann es sich entweder um Gleitkommazahlen (Float32) oder um Binärzahlen handeln. Die meisten von Amazon Bedrock unterstützten Einbettungsmodelle verwenden standardmäßig Gleitkomma-Vektoren. Sie können sich jedoch dafür entscheiden, ein Modell zu verwenden, das binäre Vektoren unterstützt, und Binär als Datentyp für das Einbettungsmodell angeben. Wenn Sie binäre Vektoren verwenden möchten, müssen Sie auch ein Modell und einen Vektorspeicher wählen, die binäre Vektoren unterstützen. Binäre Vektoren, die nur 1 Bit pro Dimension verwenden, sind nicht so speicherintensiv wie Gleitkomma-Vektoren (Float32), die 32 Bit pro Dimension verwenden. Binäre Vektoren sind jedoch in ihrer Vektordarstellung des Textes nicht so präzise wie Fließkommavektoren.

Im Folgenden finden Sie ein Beispiel für einen Text mit der traditionellen Fließkomma-Vektordarstellung des Textblocks und dem einfacheren binären Vektoräquivalent.

Ausführung zur Laufzeit

Zur Laufzeit wird ein Einbettungsmodell verwendet, um die Benutzerabfrage in einen Vektor zu konvertieren. Anschließend wird der Vektorindex abgefragt, um Blöcke zu finden, die der Benutzerabfrage ähneln, indem Dokumentvektoren mit dem Benutzerabfragevektor verglichen werden. Im letzten Schritt wird die Benutzereingabe mit zusätzlichem Kontext aus den Blöcken erweitert, die aus dem Vektorindex abgerufen werden. Die Eingabeaufforderung wird dann mit dem zusätzlichen Kontext an das Modell gesendet, um eine Antwort für den/die Benutzer:in zu generieren. Die folgende Abbildung zeigt, RAG wie zur Laufzeit die Antworten auf Benutzeranfragen verbessert werden.

Weitere Informationen darüber, wie Sie Ihre Daten in eine Wissensdatenbank umwandeln, wie Sie Ihre Wissensdatenbank abfragen, nachdem Sie sie eingerichtet haben, und Anpassungen, die Sie während der Erfassung auf die Datenquelle anwenden können, finden Sie in den folgenden Themen: