View a markdown version of this page

Synchronisieren Sie Ihre Datenquelle mit Ihrer Amazon Bedrock-Wissensdatenbank - Amazon Bedrock
Wie eine Wissensdatenbank mit Resynchronisierungen umgeht

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Synchronisieren Sie Ihre Datenquelle mit Ihrer Amazon Bedrock-Wissensdatenbank

Nachdem Sie Ihre Wissensdatenbank erstellt haben, nehmen Sie Ihre Daten auf oder synchronisieren, damit die Daten abgefragt werden können. Bei der Aufnahme werden die Rohdaten in Ihrer Datenquelle auf Grundlage des von Ihnen angegebenen Vektoreinbettungsmodells und der von Ihnen angegebenen Konfigurationen in Vektoreinbettungen umgewandelt.

Bevor Sie mit der Aufnahme beginnen, überprüfen Sie, ob Ihre Datenquelle die folgenden Bedingungen erfüllt:

  • Sie haben die Verbindungsinformationen für Ihre Datenquelle konfiguriert. Informationen zum Konfigurieren eines Datenquellen-Connectors zum Crawlen Ihrer Daten aus Ihrem Datenquellen-Repository finden Sie unter Unterstützte Datenquellen-Connectors. Sie konfigurieren Ihre Datenquelle im Rahmen der Erstellung Ihrer Wissensdatenbank.

  • Sie haben das von Ihnen gewählte Vektoreinbettungsmodell und den Vektorspeicher konfiguriert. Weitere Informationen finden Sie unter Unterstützte Modelle für Vektoreinbettungen und Vektorspeicher für Wissensdatenbanken. Sie konfigurieren Ihre Vektoreinbettungen im Rahmen der Erstellung Ihrer Wissensdatenbank.

  • Die Dateien haben unterstützte Formate. Weitere Informationen finden Sie unter Unterstützte Dokumentformate.

  • Die Dateien überschreiten nicht die unter Endpunkte und Kontingente von Amazon Bedrock in der Allgemeine AWS-Referenz angegebene Dateigröße des Aufnahmeauftrags.

  • Wenn Ihre Datenquelle Metadatendateien enthält, überprüfen Sie die folgenden Bedingungen, um sicherzustellen, dass die Metadatendateien nicht ignoriert werden:

    • Jede .metadata.json-Datei hat denselben Dateinamen und dieselbe Erweiterung wie die Quelldatei, mit der sie verknüpft ist.

    • Wenn sich der Vektorindex für Ihre Wissensdatenbank in einem Amazon OpenSearch Serverless Vector Store befindet, überprüfen Sie, ob der Vektorindex mit der faiss Engine konfiguriert ist. Wenn der Vektorindex mit der nmslib-Engine konfiguriert ist, müssen Sie einen der folgenden Prozesse ausführen:

    • Wenn sich der Vektorindex für Ihre Wissensdatenbank in einem Amazon-Aurora-Datenbankcluster befindet, empfehlen wir, das benutzerdefinierte Metadatenfeld zu verwenden, um all Ihre Metadaten in einer einzigen Spalte zu speichern und einen Index für diese Spalte zu erstellen. Wenn Sie das benutzerdefinierte Metadatenfeld nicht angeben, müssen Sie sicherstellen, dass die Tabelle für Ihren Index eine Spalte für jede Metadateneigenschaft in Ihren Metadatendateien enthält, bevor Sie mit der Aufnahme beginnen. Weitere Informationen finden Sie unter Voraussetzungen für die Verwendung eines Vektorspeichers, den Sie für eine Wissensdatenbank erstellt haben.

Jedes Mal, wenn Sie Dateien zu Ihrer Datenquelle hinzufügen, ändern oder daraus entfernen, müssen Sie die Datenquelle synchronisieren, damit sie erneut mit der Wissensdatenbank indexiert wird. Die Synchronisierung erfolgt inkrementell, sodass Amazon Bedrock nur Dokumente verarbeitet, die seit der letzten Synchronisierung hinzugefügt, geändert oder gelöscht wurden.

Wie eine Wissensdatenbank mit Resynchronisierungen umgeht

Jedes Mal, wenn Sie Dateien zu Ihrer Datenquelle hinzufügen, ändern oder daraus entfernen, müssen Sie die Datenquelle synchronisieren, damit sie in der Wissensdatenbank erneut indexiert wird. Die Synchronisierung erfolgt inkrementell, sodass Amazon Bedrock nur die Dokumente verarbeitet, die seit der letzten Synchronisierung hinzugefügt, geändert oder gelöscht wurden. Wenn Sie eine Datenquelle synchronisieren, nimmt Amazon Bedrock Dokumente erneut auf, um Genauigkeit und Konsistenz zu gewährleisten. Die erneute Aufnahme umfasst das Analysieren, Aufteilen, Generieren von Einbettungen und das Indizieren in den Vektorspeicher.

Synchronisieren Sie Szenarien
Szenario Was passiert
Es wurden keine Änderungen festgestellt Das Dokument wird übersprungen.
Inhalt oder Metadaten wurden geändert Das Dokument wird erneut aufgenommen (erneut analysiert, erneut aufgeteilt, erneut eingebettet und erneut indexiert).
Neues Dokument hinzugefügt Nur das neue Dokument wird aufgenommen.
Dokument wurde gelöscht Das Dokument wurde aus dem Vector Store entfernt.

Optimierung nur für Metadaten

In bestimmten Fällen kann Amazon Bedrock Metadaten aktualisieren, ohne das mit dieser Metadatendatei verknüpfte Dokument erneut aufzunehmen. Diese Optimierung ruft bestehende Vektor-Einbettungen aus dem Vektorspeicher ab, führt die neuen Metadaten zusammen und schreibt die aktualisierten Einbettungen zurück, wodurch Aufrufe des Einbettungsmodells vermieden werden.

Diese Optimierung gilt nur, wenn alle der folgenden Bedingungen erfüllt sind:

  • Nur metadata.json Dateien werden geändert. Es werden keine Inhaltsdateien geändert.

  • Die zugehörigen Inhaltsdateien sind keine CSV-Dateien.

  • Die Datenquelle verwendet keine benutzerdefinierte Transformations-Lambda-Funktion.

Verhalten bei erneuter Aufnahme von CSV-Dateien

CSV-Dateien verwenden das documentStructureConfiguration Feld in den Metadaten, um zu steuern, welche Spalten indexiert werden. Da Amazon Bedrock nicht feststellen kann, ob sich diese strukturelle Konfiguration geändert hat, ohne die Datei erneut zu verarbeiten, werden CSV-Dateien immer erneut aufgenommen, wenn ihre Metadatendateien aktualisiert werden.

Wählen Sie die Registerkarte für Ihre bevorzugte Methode aus, um zu erfahren, wie Sie Ihre Daten in Ihre Wissensdatenbank aufnehmen und mit Ihren neuesten Daten synchronisieren, und führen Sie dann die folgenden Schritte aus:

Console
So nehmen Sie Ihre Daten in Ihre Wissensdatenbank auf und synchronisieren sie mit Ihren neuesten Daten

  1. Öffnen Sie die Amazon Bedrock-Konsole unter https://console.aws.amazon.com/bedrock/.

  2. Klicken Sie im linken Navigationsbereich auf Wissensdatenbank und wählen Sie Ihre Wissensdatenbank aus.

  3. Wählen Sie im Abschnitt Datenquelle die Option Synchronisieren aus, um mit der Erfassung oder Synchronisierung Ihrer neuesten Daten zu beginnen. Klicken Sie auf Stopp, um eine laufende Datenquellensynchronisierung zu stoppen. Eine Datenquelle muss gerade synchronisiert werden, um die Synchronisierung zu stoppen. Sie können erneut Synchronisieren auswählen, um den Rest Ihrer Daten aufzunehmen.

  4. Wenn die Datenaufnahme abgeschlossen ist, wird ein grünes Banner angezeigt, wenn sie erfolgreich war.

    Anmerkung

    Nachdem die Datensynchronisierung abgeschlossen ist, kann es einige Minuten dauern, bis die Vektoreinbettungen der neu synchronisierten Daten in Ihrer Wissensdatenbank sichtbar sind und für Abfragen zur Verfügung stehen, wenn Sie einen anderen Vektorspeicher als Amazon Aurora (RDS) verwenden.

  5. Sie können eine Datenquelle auswählen, um deren Synchronisierungsverlauf anzuzeigen. Wählen Sie Warnungen anzeigen aus, um zu sehen, warum ein Datenerfassungsauftrag fehlgeschlagen ist.

API

Um Ihre Daten in Ihre Wissensdatenbank aufzunehmen und mit Ihren neuesten Daten zu synchronisieren, senden Sie eine StartIngestionJobAnfrage an einen Build-Time-Endpunkt von Agents for Amazon Bedrock. Geben Sie die knowledgeBaseId und die dataSourceId an. Sie können einen Datenaufnahmejob, der gerade ausgeführt wird, auch beenden, indem Sie eine Anfrage senden. StopIngestionJob Geben Sie die dataSourceId, ingestionJobId und die knowledgeBaseId an. Ein Datenerfassungsauftrag muss derzeit ausgeführt werden, um die Datenaufnahme zu beenden. Sie können erneut eine StartIngestionJob-Anfrage senden, um den Rest Ihrer Daten aufzunehmen, wenn Sie bereit sind.

Verwenden Sie die in der Antwort in einer GetIngestionJobAnfrage mit einem Build-Time-Endpunkt von Agents for Amazon Bedrock ingestionJobId zurückgegebenen Daten, um den Status des Aufnahmejobs zu verfolgen. Geben Sie zusätzlich die knowledgeBaseId und die dataSourceId an.

  • Bei Abschluss des Aufnahmeauftrags lautet der status in der Antwort COMPLETE.

    Anmerkung

    Nachdem die Datenerfassung abgeschlossen ist, kann es einige Minuten dauern, bis die Vektoreinbettungen der neu aufgenommenen Daten im Vektorspeicher verfügbar sind und für Abfragen genutzt werden können, wenn Sie einen anderen Vektorspeicher als Amazon Aurora (RDS) verwenden.

  • Das statistics-Objekt in der Antwort liefert Informationen darüber, ob die Aufnahme der Dokumente in der Datenquelle erfolgreich war oder nicht.

Sie können auch Informationen zu allen Aufnahmeaufträgen für eine Datenquelle anzeigen, indem Sie eine ListIngestionJobsAnfrage mit einem Build-Time-Endpunkt von Agents for Amazon Bedrock senden. Geben Sie die dataSourceId und die knowledgeBaseId der Wissensdatenbank an, in die die Daten aufgenommen werden.

  • Filtern Sie nach Ergebnissen, indem Sie einen Status angeben, nach dem im filters-Objekt gesucht werden soll.

  • Sortieren Sie nach dem Zeitpunkt, zu dem der Auftrag gestartet wurde, oder nach dem Status eines Auftrags, indem Sie das sortBy-Objekt angeben. Sie können in aufsteigender () oder absteigender () Reihenfolge sortieren.

  • Im Feld maxResults können Sie die Höchstzahl der Ergebnisse in einer Antwort bestimmen. Wenn es mehr Ergebnisse als die von Ihnen festgelegte Höchstzahl gibt, gibt die Antwort ein nextToken zurück, das Sie in einer weiteren ListIngestionJobs-Anforderung senden können, um den nächsten Auftragsstapel zu sehen.