View a markdown version of this page

Erste Schritte mit Amazon FSx for Lustre - FSx für Lustre

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erste Schritte mit Amazon FSx for Lustre

Im Folgenden erfahren Sie, wie Sie mit Amazon FSx for Lustre beginnen können. Diese Schritte führen Sie durch die Erstellung eines Amazon FSx for Lustre-Dateisystems und den Zugriff darauf von Ihren Compute-Instances aus. Optional zeigen sie, wie Sie Ihr Amazon FSx for Lustre-Dateisystem verwenden können, um die Daten in Ihrem Amazon S3 S3-Bucket mit Ihren dateibasierten Anwendungen zu verarbeiten.

Diese Übung für den Einstieg umfasst die folgenden Schritte.

Voraussetzungen

Um diese Übung „Erste Schritte“ durchführen zu können, benötigen Sie Folgendes:

  • Ein AWS Konto mit den erforderlichen Berechtigungen, um ein Amazon FSx for Lustre-Dateisystem und eine Amazon EC2 EC2-Instance zu erstellen. Weitere Informationen finden Sie unter Einrichtung Amazon FSx für Lustre.

  • Erstellen Sie eine Amazon VPC-Sicherheitsgruppe, die mit Ihrem FSx for Lustre-Dateisystem verknüpft werden soll, und ändern Sie sie nach der Erstellung des Dateisystems nicht. Weitere Informationen finden Sie unter So erstellen Sie eine Sicherheitsgruppe für Ihr Amazon FSx-Dateisystem.

  • Eine Amazon EC2 EC2-Instance, auf der eine unterstützte Linux-Version in Ihrer Virtual Private Cloud (VPC) ausgeführt wird, die auf dem Amazon VPC-Service basiert. Für diese Übung „Erste Schritte“ empfehlen wir die Verwendung von Amazon Linux 2023. Sie installieren den Lustre Client auf dieser EC2-Instance und mounten dann Ihr FSx for Lustre-Dateisystem auf der EC2-Instance. Weitere Informationen zum Erstellen einer EC2-Instance finden Sie unter Erste Schritte: Starten Sie eine Instance oder Starten Sie Ihre Instance im Amazon EC2 EC2-Benutzerhandbuch.

    Neben Amazon Linux 2023 unterstützt der Lustre Client die Betriebssysteme Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server und Ubuntu. Weitere Informationen finden Sie unter Glanz Dateisystem- und Client-Kernel-Kompatibilität.

  • Beachten Sie beim Erstellen Ihrer Amazon EC2 EC2-Instance für diese Übung „Erste Schritte“ Folgendes:

    • Wir empfehlen, dass Sie Ihre Instance in Ihrer Standard-VPC erstellen.

    • Wir empfehlen, dass Sie bei der Erstellung Ihrer EC2-Instance die Standardsicherheitsgruppe verwenden.

  • Ermitteln Sie, welche Art von Amazon FSx for Lustre-Dateisystem Sie erstellen möchten, ob es sich um ein Scratch-Dateisystem oder ein persistentes Dateisystem handelt. Weitere Informationen finden Sie unter Bereitstellungs- und Speicherklassenoptionen für FSx for Lustre-Dateisysteme.

  • Jedes FSx for Lustre-Dateisystem benötigt eine IP-Adresse für jeden Metadatenserver (MDS) und eine IP-Adresse für jeden Speicherserver (OSS). Weitere Informationen finden Sie unter IP-Adressen für Dateisysteme.

  • Ein Amazon S3 S3-Bucket, in dem die Daten gespeichert werden, die Ihr Workload verarbeiten soll. Der S3-Bucket wird das verknüpfte dauerhafte Datenrepository für Ihr FSx for Lustre-Dateisystem sein.

Schritt 1: Erstellen Sie Ihr FSx for Lustre-Dateisystem

Sie erstellen Ihr Dateisystem in der Amazon FSx-Konsole. Beachten Sie, dass alle FSx for Lustre-Dateisysteme auf Lustre Version 2.15 basieren, wenn sie mit der Amazon FSx-Konsole erstellt wurden.

So erstellen Sie Ihr -Dateisystem:
  1. Öffnen Sie die Amazon FSx-Konsole unter https://console.aws.amazon.com/fsx/.

  2. Wählen Sie im Dashboard die Option Dateisystem erstellen, um den Assistenten zur Dateisystemerstellung zu starten.

  3. Wählen Sie FSx for Lustreund anschließend Weiter, um die Seite „Dateisystem erstellen“ anzuzeigen.

    Beginnen Sie Ihre Konfiguration mit dem Abschnitt Dateisystemdetails.

  4. Geben Sie im Feld Dateisystemname-optional einen Namen für Ihr Dateisystem ein. Sie können bis zu 256 Unicode-Buchstaben, Leerzeichen und Zahlen sowie die Sonderzeichen + - =. _:/verwenden.

  5. Wählen Sie für Bereitstellung und Speicherklasse eine der folgenden Optionen aus:

    • Wählen Sie Persistent, SSD für längerfristige Speicherung und für latenzempfindliche Workloads. Bei SSD-Speicher wird Ihnen die Menge an Speicher in Rechnung gestellt, die Sie bereitstellen.

      Wählen Sie optional mit aktiviertem EFA, um die Elastic Fabric Adapter (EFA) -Unterstützung für das Dateisystem zu aktivieren. Weitere Informationen zu EFA finden Sie unter. Arbeiten mit EFA-enabled Dateisystemen

    • Wählen Sie Persistent Intelligent-Tiering für eine längerfristige Speicherung. Die Intelligent-Tiering Speicherklasse bietet vollständig elastischen, kostengünstigen Speicher, der für die meisten Workloads geeignet ist, sowie einen optionalen SSD-Lesecache, der SSD-Latenzen für Lesevorgänge von Daten bietet, auf die häufig zugegriffen wird. Bei Intelligent-Tiering werden Ihnen die von Ihnen gespeicherten Daten je nach Größe Ihres Datensatzes in Rechnung gestellt, und Sie müssen keine Dateisystemgröße angeben.

      Wählen Sie optional mit aktiviertem EFA, um die Elastic Fabric Adapter (EFA) -Unterstützung für das Dateisystem zu aktivieren.

    • Wählen Sie Scratch, SSD-Bereitstellung für die temporäre Speicherung und kurzfristigere Verarbeitung von Daten. Bei SSD-Speicher wird Ihnen die Menge an Speicher in Rechnung gestellt, die Sie bereitstellen.

  6. Wählen Sie die Durchsatzmenge für Ihr Dateisystem. Sie zahlen den Durchsatz, den Sie bereitstellen.

    • Wählen Sie für persistenten SSD-Speicher einen Wert für Durchsatz pro Speichereinheit. Der Durchsatz pro Speichereinheit ist die Menge des Lese- und Schreibdurchsatzes für jedes bereitgestellte 1 Tebibyte (TiB) an Speicher.

    • Wählen Sie für Scratch-SSD-Speicher einen Wert für Durchsatz pro Speichereinheit.

    • Wählen Sie für Intelligent-Tiering Speicher einen Wert für die Durchsatzkapazität aus.

  7. Geben Sie unter Speicherkapazität (nur SSD-Speicherklasse) die Speicherkapazität für Ihr Dateisystem in TB an:

    • Für einen dauerhaften SSD-Bereitstellungstyp legen Sie diesen Wert auf einen Wert von 1,2 TiB, 2,4 TiB oder in Schritten von 2,4 TiB fest.

    • Für einen EFA-enableddauerhaften SSD-Bereitstellungstyp legen Sie diesen Wert in Schritten von 4,8 TiB, 9,6 TiB, 19,2 TiB und 38,4 TiB für jeweils 1000, 500, 250 und 125 Durchsatzstufen fest. MBps/TiB

    Sie können die Speicherkapazität nach Bedarf erhöhen, nachdem Sie das Dateisystem erstellt haben. Weitere Informationen finden Sie unter Verwaltung der Speicherkapazität.

  8. Wählen Sie für die Metadatenkonfiguration eine der folgenden Optionen, um die Anzahl der Metadaten-IOPS für Ihr Dateisystem bereitzustellen:

    • Wählen Sie Automatisch (nur SSD-Speicherklasse), wenn Amazon FSx for Lustre die Metadaten-IOPS auf Ihrem Dateisystem basierend auf der Speicherkapazität Ihres Dateisystems automatisch bereitstellen und skalieren soll.

    • Wählen Sie User-provisioned, ob Sie die Anzahl der Metadaten-IOPS angeben möchten, die für Ihr Dateisystem mit SSD oder Speicherklasse bereitgestellt werden sollen. Intelligent-Tiering Gültige Werte sind:

      • Für SSD-Dateisysteme sind die Werte1500,, 3000 600012000, und ein Vielfaches von 12000 bis zu einem Maximum von gültig. 192000

      • Für Intelligent-Tiering Dateisysteme sind die Werte 6000 und 12000 gültig.

    Weitere Informationen zu Metadaten-IOPS finden Sie unterLustre Konfiguration der Leistung von Metadaten.

  9. Wählen Sie für SSD-Lesecache (Intelligent-Tiering nur) entweder Automatisch (proportional zur Durchsatzkapazität) oder Benutzerdefiniert (vom Benutzer bereitgestellt). Mit der Option Automatisch wählt Amazon FSx for Lustre automatisch eine Lese-Cache-Größe, die auf Ihrem bereitgestellten Durchsatz basiert. Wenn Sie die ungefähre Größe Ihres aktiven Arbeitsdatensatzes kennen, können Sie Benutzerdefiniert auswählen, um die Größe des SSD-Lesecaches anzupassen. Weitere Informationen finden Sie unter Verwaltung des bereitgestellten SSD-Lesecache.

  10. Wählen Sie als Datenkomprimierungstyp NONE aus, um die Datenkomprimierung zu deaktivieren, oder wählen Sie LZ4, um die Datenkomprimierung mit dem LZ4-Algorithmus zu aktivieren. Weitere Informationen finden Sie unter Glanz Datenkompression.

  11. Geben Sie im Abschnitt Netzwerk und Sicherheit die folgenden Netzwerk- und Sicherheitsgruppeninformationen ein:

    • Wählen Sie für Virtual Private Cloud (VPC) die VPC aus, die Sie Ihrem Dateisystem zuordnen möchten. Wählen Sie für diese Übung „Erste Schritte“ dieselbe VPC aus, die Sie für Ihre Amazon EC2 EC2-Instance ausgewählt haben.

    • Für VPC-Sicherheitsgruppen sollte die ID für die Standardsicherheitsgruppe für Ihre VPC bereits hinzugefügt sein.

      Wenn Sie nicht die Standardsicherheitsgruppe verwenden, stellen Sie sicher, dass der Sicherheitsgruppe, die Sie für diese Übung mit den ersten Schritten verwenden, die folgende Regel für eingehende Nachrichten hinzugefügt wird.

      Typ Protocol (Protokoll) Port-Bereich Quelle Description
      Alle TCP TCP 0-65535 Benutzerdefiniert the_ID_of_this_security_group Regel für eingehenden Lustre Verkehr
      Wichtig
    • Wählen Sie für Subnetz einen beliebigen Wert aus der Liste der verfügbaren Subnetze aus.

  12. Für den Bereich Verschlüsselung hängen die verfügbaren Optionen davon ab, welchen Dateisystemtyp Sie erstellen:

    • Für ein persistentes Dateisystem können Sie einen AWS Key Management Service (AWS KMS) Verschlüsselungsschlüssel wählen, um die Daten auf Ihrem Dateisystem im Ruhezustand zu verschlüsseln.

    • Bei einem Scratch-Dateisystem werden Daten im Ruhezustand mit Schlüsseln verschlüsselt, die von verwaltet werden AWS.

    • Bei Scratch-2-Dateisystemen und persistenten Dateisystemen werden übertragene Daten automatisch verschlüsselt, wenn von einem unterstützten Amazon EC2 EC2-Instance-Typ auf das Dateisystem zugegriffen wird. Weitere Informationen finden Sie unter Verschlüsseln von Daten während der Übertragung.

  13. Im Import/Export optionalen Abschnitt Datenspeicher ist die Verknüpfung Ihres Dateisystems mit Amazon S3 S3-Datenrepositorys standardmäßig deaktiviert. Informationen zur Aktivierung dieser Option und zum Erstellen einer Datenrepository-Zuordnung zu einem vorhandenen S3-Bucket finden Sie unterUm einen S3-Bucket beim Erstellen eines Dateisystems (Konsole) zu verknüpfen.

    Wichtig
    • Wenn Sie diese Option auswählen, werden auch Backups deaktiviert, sodass Sie während der Erstellung des Dateisystems keine Backups aktivieren können.

    • Wenn Sie ein oder mehrere Amazon FSx for Lustre-Dateisysteme mit einem Amazon S3 S3-Bucket verknüpfen, löschen Sie den Amazon S3 S3-Bucket erst, wenn alle verknüpften Dateisysteme gelöscht wurden.

    • Intelligent-Tiering Dateisysteme unterstützen keine Verknüpfung mit Amazon S3 S3-Datenrepositorys.

  14. Für die optionale Protokollierung ist die Protokollierung standardmäßig aktiviert. Wenn diese Option aktiviert ist, werden Fehler und Warnungen für Datenrepository-Aktivitäten in Ihrem Dateisystem in Amazon CloudWatch Logs protokolliert. Informationen zur Konfiguration der Protokollierung finden Sie unterVerwaltung der Protokollierung.

  15. Unter Backup und Wartung optional können Sie Folgendes tun.

    • Deaktivieren Sie das tägliche automatische Backup. Diese Option ist standardmäßig aktiviert, sofern Sie das Daten-Repository nicht aktiviert haben Import/Export.

    • Legen Sie die Startzeit für das tägliche automatische Backup-Fenster fest.

    • Legen Sie den Aufbewahrungszeitraum für automatische Backups auf 1 bis 35 Tage fest.

    • Legen Sie die Startzeit für das wöchentliche Wartungsfenster fest, oder behalten Sie die Standardeinstellung Keine Präferenz bei.

    Weitere Informationen erhalten Sie unter Schützen Sie Ihre Daten mit Backups und Wartungsfenster von Amazon FSx for Lustre.

  16. Bei der optionalen Option Root Squash ist Root Squash standardmäßig deaktiviert. Informationen zur Aktivierung und Konfiguration von Root Squash finden Sie unter. Um Root Squash beim Erstellen eines Dateisystems (Konsole) zu aktivieren

  17. Erstellen Sie alle Tags, die Sie auf Ihr Dateisystem anwenden möchten.

  18. Wählen Sie Weiter, um die Übersichtsseite „Dateisystem erstellen“ aufzurufen.

  19. Überprüfen Sie die Einstellungen für Ihr Amazon FSx for Lustre-Dateisystem und wählen Sie Dateisystem erstellen.

Nachdem Sie Ihr Dateisystem erstellt haben, notieren Sie sich den vollqualifizierten Domainnamen und den Mount-Namen für einen späteren Schritt. Sie können den vollqualifizierten Domänennamen und den Mount-Namen für ein Dateisystem finden, indem Sie den Namen des Dateisystems im Dateisystem-Dashboard auswählen und dann Anhängen wählen.

Schritt 2: Installieren und konfigurieren Sie den Lustre Client

Bevor Sie von Ihrer Amazon EC2-Instance aus auf Ihr Amazon FSx for Lustre-Dateisystem zugreifen können, müssen Sie wie folgt vorgehen:

  • Stellen Sie sicher, dass Ihre EC2-Instance die Mindestanforderungen an den Kernel erfüllt.

  • Aktualisieren Sie den Kernel bei Bedarf.

  • Laden Sie den Lustre Client herunter und installieren Sie ihn.

Um die Kernel-Version zu überprüfen und das herunterzuladen Lustre Client
  1. Öffnen Sie ein Terminalfenster auf Ihrer EC2-Instance.

  2. Ermitteln Sie, welcher Kernel derzeit auf Ihrer Compute-Instance läuft, indem Sie den folgenden Befehl ausführen.

    uname -r
  3. Führen Sie eine der folgenden Aktionen aus:

    • Wenn der Befehl 6.1.79-99.167.amzn2023.x86_64 für x86-basierte EC2-Instances 6.1.79-99.167.amzn2023.aarch64 oder höher für Graviton2-based EC2-Instances zurückgegeben wird, laden Sie den Lustre Client mit dem folgenden Befehl herunter und installieren Sie ihn.

      sudo dnf install -y lustre-client
    • Wenn der Befehl weniger als 6.1.79-99.167.amzn2023.x86_64 für x86-basierte EC2-Instances oder weniger als 6.1.79-99.167.amzn2023.aarch64 für EC2-Instances zurückgibt, aktualisieren Sie den Kernel und starten Sie Ihre Amazon Graviton2-based EC2 EC2-Instance neu, indem Sie den folgenden Befehl ausführen.

      sudo dnf -y update kernel && sudo reboot

      Bestätigen Sie mit dem Befehl, dass der Kernel aktualisiert wurde. uname -r Laden Sie dann den Lustre Client herunter und installieren Sie ihn wie oben beschrieben.

    Hinweise zur Installation des Lustre Clients auf anderen Linux-Distributionen finden Sie unterInstallieren von Glanz Client.

Schritt 3: Mounten Sie das Dateisystem

Um Ihr Dateisystem zu mounten, erstellen Sie ein Bereitstellungsverzeichnis oder einen Einhängepunkt, hängen das Dateisystem dann auf Ihrem Client ein und stellen sicher, dass Ihr Client auf das Dateisystem zugreifen kann.

Um Ihr Dateisystem zu mounten
  1. Erstellen Sie ein Verzeichnis für den Mountingpunkt mit dem folgenden Befehl.

    sudo mkdir -p /mnt/fsx
  2. Hängen Sie das Amazon FSx for Lustre-Dateisystem in das Verzeichnis ein, das Sie erstellt haben. Verwenden Sie den folgenden Befehl und ersetzen Sie die folgenden Elemente:

    • file_system_dns_nameErsetzen Sie es durch den tatsächlichen DNS-Namen (Domain Name System) des Dateisystems.

    • mountnameErsetzen Sie ihn durch den Mount-Namen des Dateisystems, den Sie erhalten können, indem Sie den describe-file-systems AWS CLI Befehl oder die DescribeFileSystemsAPI-Operation ausführen.

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    Dieser Befehl mountet Ihr Dateisystem mit zwei Optionen -o relatime undflock:

    • relatime— Die atime Option verwaltet zwar Daten atime (Inode-Zugriffszeiten) für jeden Dateizugriff, aber die relatime Option verwaltet auch atime Daten, jedoch nicht für jeden Dateizugriff. Wenn die relatime Option aktiviert ist, atime werden Daten nur dann auf die Festplatte geschrieben, wenn die Datei seit der atime letzten Aktualisierung (mtime) geändert wurde oder wenn der letzte Zugriff auf die Datei vor mehr als einer bestimmten Zeit (standardmäßig 6 Stunden) erfolgte. Wenn Sie entweder die atime Option relatime oder verwenden, werden die Dateifreigabeprozesse optimiert.

      Anmerkung

      Wenn Ihr Workload eine genaue Genauigkeit der Zugriffszeit erfordert, können Sie das Mounten mit der Option atime mount durchführen. Dies kann sich jedoch negativ auf die Leistung der Arbeitslast auswirken, da der Netzwerkverkehr erhöht wird, der zur Einhaltung genauer Werte für die Zugriffszeit erforderlich ist.

      Wenn Ihr Workload keine Zugriffszeit für Metadaten erfordert, kann die Verwendung der noatime Mount-Option zur Deaktivierung von Aktualisierungen der Zugriffszeit zu einer Leistungssteigerung führen. Beachten Sie, dass atime zielgerichtete Prozesse wie die Freigabe von Dateien oder die Freigabe von Datenvalidität bei ihrer Veröffentlichung ungenau sein können.

    • flock— Aktiviert das Sperren von Dateien für Ihr Dateisystem. Wenn Sie nicht möchten, dass das Sperren von Dateien aktiviert wird, verwenden Sie den mount Befehl ohneflock.

  3. Stellen Sie sicher, dass der Befehl mount erfolgreich war, indem Sie den Inhalt des Verzeichnisses auflisten/mnt/fsx, in dem Sie das Dateisystem bereitgestellt haben. Verwenden Sie dazu den folgenden Befehl.

    ls /mnt/fsx import-path lustre $

    Sie können auch den folgenden df Befehl verwenden.

    df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/mountname 3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000

    Die Ergebnisse zeigen das Amazon FSx-Dateisystem, das auf/mnt/fsxgemountet ist.

Schritt 4: Führen Sie Ihren Workflow aus

Nachdem Ihr Dateisystem nun erstellt und auf einer Recheninstanz bereitgestellt wurde, können Sie es verwenden, um Ihren Hochleistungs-Rechen-Workload auszuführen.

Sie können eine Datenrepository-Zuordnung erstellen, um Ihr Dateisystem mit einem Amazon S3 S3-Daten-Repository zu verknüpfen. Weitere Informationen finden Sie unterIhr Dateisystem mit einem Amazon S3 S3-Bucket verknüpfen.

Nachdem Sie Ihr Dateisystem mit einem Amazon S3 S3-Daten-Repository verknüpft haben, können Sie Daten, die Sie in Ihr Dateisystem geschrieben haben, jederzeit wieder in Ihren Amazon S3 S3-Bucket exportieren. Führen Sie von einem Terminal auf einer Ihrer Compute-Instances aus den folgenden Befehl aus, um eine Datei in Ihren Amazon S3 S3-Bucket zu exportieren.

sudo lfs hsm_archive file_name

Weitere Informationen darüber, wie Sie diesen Befehl schnell für einen Ordner oder eine große Sammlung von Dateien ausführen können, finden Sie unterExportieren von Dateien mithilfe von HSM-Befehlen.

Schritt 5: Bereinigen von -Ressourcen

Nachdem Sie diese Übung abgeschlossen haben, sollten Sie die folgenden Schritte ausführen, um Ihre Ressourcen zu bereinigen und Ihr AWS Konto zu schützen.

So bereinigen Sie Ressourcen
  1. Wenn Sie einen endgültigen Export durchführen möchten, führen Sie den folgenden Befehl aus.

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
  2. Beenden Sie Ihre Instance auf der Amazon EC2 EC2-Konsole. Weitere Informationen finden Sie unter Beenden Ihrer Instance im Amazon-EC2-Benutzerhandbuch.

  3. Löschen Sie auf der Amazon FSx for Lustre-Konsole Ihr Dateisystem mit dem folgenden Verfahren:

    1. Wählen Sie im Navigationsbereich Dateisysteme aus.

    2. Wählen Sie das Dateisystem, das Sie löschen möchten, aus der Liste der Dateisysteme im Dashboard aus.

    3. Klicken Sie bei Aktionen auf Dateisystem löschen.

    4. Wählen Sie im daraufhin angezeigten Dialogfeld aus, ob Sie eine endgültige Sicherungskopie des Dateisystems erstellen möchten. Geben Sie dann die Dateisystem-ID ein, um den Löschvorgang zu bestätigen. Wählen Sie Dateisystem löschen.

  4. Wenn Sie für diese Übung einen Amazon S3 S3-Bucket erstellt haben und die exportierten Daten nicht beibehalten möchten, können Sie ihn jetzt löschen. Weitere Informationen finden Sie unter Löschen eines Buckets im Amazon Simple Storage Service-Benutzerhandbuch.