Exportieren Sie Updates automatisch in Ihren S3-Bucket - FSxfür Lustre

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Exportieren Sie Updates automatisch in Ihren S3-Bucket

Sie können Ihr FSx for Lustre-Dateisystem so konfigurieren, dass der Inhalt eines verknüpften S3-Buckets automatisch aktualisiert wird, wenn Dateien im Dateisystem hinzugefügt, geändert oder gelöscht werden. FSxfor Lustre erstellt, aktualisiert oder löscht das Objekt in S3 entsprechend der Änderung im Dateisystem.

Anmerkung

Der automatische Export ist FSx für Lustre 2.10-Dateisysteme oder Dateisysteme nicht verfügbar. Scratch 1

Sie können in ein Daten-Repository exportieren, das sich im selben AWS-Region Dateisystem oder in einem anderen befindet. AWS-Region

Sie können den automatischen Export konfigurieren, wenn Sie die Datenrepository-Zuordnung erstellen, und die Einstellungen für den automatischen Export jederzeit über die FSx Managementkonsole AWS CLI, die und die aktualisieren AWS API.

Wichtig
  • Wenn eine Datei im Dateisystem geändert wird, bei der alle automatischen Exportrichtlinien aktiviert und der automatische Import deaktiviert ist, wird der Inhalt dieser Datei immer in ein entsprechendes Objekt in S3 exportiert. Wenn am Zielort bereits ein Objekt vorhanden ist, wird das Objekt überschrieben.

  • Wenn eine Datei sowohl im Dateisystem als auch in S3 geändert wird und alle automatischen Import- und Exportrichtlinien aktiviert sind, kann entweder die Datei im Dateisystem oder das Objekt in S3 durch die andere überschrieben werden. Es ist nicht garantiert, dass eine spätere Bearbeitung an einem Ort eine frühere Bearbeitung an einem anderen Ort überschreibt. Wenn Sie dieselbe Datei sowohl im Dateisystem als auch im S3-Bucket ändern, sollten Sie die Koordination auf Anwendungsebene sicherstellen, um solche Konflikte zu vermeiden. FSxfor Lustre verhindert nicht, dass widersprüchliche Schreibvorgänge an mehreren Speicherorten auftreten.

Die Exportrichtlinie legt fest, wie Lustre Ihren verknüpften S3-Bucket aktualisieren soll, wenn sich der Inhalt im Dateisystem ändert. FSx Eine Datenrepository-Zuordnung kann über eine der folgenden automatischen Exportrichtlinien verfügen:

  • Neu — FSx für Lustre wird das S3-Daten-Repository nur dann automatisch aktualisiert, wenn eine neue Datei, ein neues Verzeichnis oder ein neuer Symlink im Dateisystem erstellt wird.

  • Geändert — FSx bei Lustre wird das S3-Daten-Repository nur dann automatisch aktualisiert, wenn eine bestehende Datei im Dateisystem geändert wird. Bei Änderungen des Dateiinhalts muss die Datei geschlossen werden, bevor sie in das S3-Repository übertragen wird. Metadatenänderungen (Umbenennung, Besitz, Berechtigungen und Zeitstempel) werden weitergegeben, wenn der Vorgang abgeschlossen ist. Beim Umbenennen von Änderungen (einschließlich Verschiebungen) wird das bestehende (zuvor umbenannte) S3-Objekt gelöscht und ein neues S3-Objekt mit dem neuen Namen erstellt.

  • Gelöscht — FSx bei Lustre wird das S3-Daten-Repository nur dann automatisch aktualisiert, wenn eine Datei, ein Verzeichnis oder ein Symlink im Dateisystem gelöscht wird.

  • Beliebige Kombination aus Neu, Geändert und Gelöscht — FSx bei Lustre wird das S3-Daten-Repository automatisch aktualisiert, wenn eine der angegebenen Aktionen im Dateisystem stattfindet. Sie können beispielsweise angeben, dass das S3-Repository aktualisiert wird, wenn eine Datei zum Dateisystem hinzugefügt (Neu) oder aus dem Dateisystem entfernt (gelöscht) wird, aber nicht, wenn eine Datei geändert wird.

  • Keine Richtlinie konfiguriert — FSx denn Lustre aktualisiert das S3-Daten-Repository nicht automatisch, wenn Dateien zum Dateisystem hinzugefügt, geändert oder aus dem Dateisystem gelöscht werden. Wenn Sie keine Exportrichtlinie konfigurieren, ist der automatische Export deaktiviert. Sie können Änderungen immer noch manuell exportieren, indem Sie eine Aufgabe zum Exportieren eines Datenrepositorys verwenden, wie unter beschriebenVerwenden von Datenrepository-Aufgaben zum Exportieren von Änderungen.

Für die meisten Anwendungsfälle empfehlen wir, die Exportrichtlinie „Neu“, „Geändert“ und „Gelöscht“ zu konfigurieren. Diese Richtlinie stellt sicher, dass alle an Ihrem Dateisystem vorgenommenen Aktualisierungen automatisch in Ihr verknüpftes S3-Datenrepository exportiert werden.

Wir empfehlen, die Protokollierung in CloudWatch Logs zu aktivieren, um Informationen zu Dateien oder Verzeichnissen zu protokollieren, die nicht automatisch exportiert werden konnten. Warnungen und Fehler im Protokoll enthalten Informationen zur Fehlerursache. Weitere Informationen finden Sie unter Datenrepository-Ereignisprotokolle.

Anmerkung

Während der Exportvorgänge die Zugriffszeit (atime) und die Änderungszeit (mtime) mit S3 synchronisiert werden, lösen Änderungen an diesen Zeitstempeln allein noch keinen automatischen Export aus. Nur Änderungen am Dateiinhalt oder anderen Metadaten (wie Eigentum oder Berechtigungen) lösen einen automatischen Export nach S3 aus.

Die Exporteinstellungen werden aktualisiert

Sie können die Exporteinstellungen eines Dateisystems auf einen verknüpften S3-Bucket festlegen, wenn Sie die Datenrepository-Zuordnung erstellen. Weitere Informationen finden Sie unter Einen Link zu einem S3-Bucket erstellen.

Sie können auch die Exporteinstellungen, einschließlich der Exportrichtlinie, jederzeit aktualisieren. Weitere Informationen finden Sie unter Einstellungen für die Datenrepository-Zuordnung werden aktualisiert.

Überwachung des automatischen Exports

Sie können die Verknüpfungen von Datenrepositorys mit automatischem Export anhand einer Reihe von auf Amazon veröffentlichten Metriken überwachen CloudWatch. Die AgeOfOldestQueuedMessage Metrik gibt das Alter der ältesten Aktualisierung des Dateisystems an, die noch nicht nach S3 exportiert wurde. Wenn der über einen längeren Zeitraum größer als Null AgeOfOldestQueuedMessage ist, empfehlen wir, die Anzahl der Änderungen (insbesondere Verzeichnisumbenennungen), die aktiv am Dateisystem vorgenommen werden, vorübergehend zu reduzieren, bis die Nachrichtenwarteschlange reduziert wurde. Weitere Informationen finden Sie unter FSxfür Lustre S3-Repository-Metriken.

Wichtig

Wenn Sie eine Datenrepository-Zuordnung oder ein Dateisystem mit aktiviertem automatischen Export löschen, sollten Sie zunächst sicherstellen, dass der Wert Null AgeOfOldestQueuedMessage ist, d. h., dass es keine Änderungen gibt, die noch nicht exportiert wurden. Wenn der Wert größer als Null AgeOfOldestQueuedMessage ist, wenn Sie Ihre Datenrepository-Zuordnung oder Ihr Dateisystem löschen, werden die Änderungen, die noch nicht exportiert wurden, Ihren verknüpften S3-Bucket nicht erreichen. Um dies zu vermeiden, warten AgeOfOldestQueuedMessage Sie, bis Null erreicht ist, bevor Sie Ihre Datenrepository-Zuordnung oder Ihr Dateisystem löschen.