Verwenden von Netzwerkdateisystemen mit AWS PCS - AWS PCS
Überlegungen zur Verwendung von NetzwerkdateisystemenBeispiele für Netzwerk-Mounts

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden von Netzwerkdateisystemen mit AWS PCS

Sie können Netzwerkdateisysteme an Knoten anhängen, die in einer Rechenknotengruppe des AWS Parallel Computing Service (AWS PCS) gestartet wurden, um einen dauerhaften Speicherort bereitzustellen, an dem Daten und Dateien geschrieben und abgerufen werden können. Sie können Dateisysteme verwenden, die von AWS Diensten wie Amazon Elastic File System (AmazonEFS), Amazon FSx for Open ZFS, Amazon FSx for Lustre und Amazon File Cache bereitgestellt werden. Sie können auch selbstverwaltete Dateisysteme wie NFS Server verwenden.

Dieses Thema behandelt Überlegungen und Beispiele für die Verwendung von Netzwerkdateisystemen mit AWS PCS.

Überlegungen zur Verwendung von Netzwerkdateisystemen

Die Implementierungsdetails für verschiedene Dateisysteme sind unterschiedlich, es gibt jedoch einige allgemeine Überlegungen.

  • Die entsprechende Dateisystemsoftware muss auf der Instanz installiert sein. Um beispielsweise Amazon FSx for Lustre zu verwenden, ist das entsprechende Lustre Paket sollte vorhanden sein. Dies kann erreicht werden, indem es in die Compute-Knotengruppe aufgenommen wird AMI oder indem ein Skript verwendet wird, das beim Start der Instanz ausgeführt wird.

  • Es muss eine Netzwerkroute zwischen dem gemeinsam genutzten Netzwerkdateisystem und den Compute-Knotengruppen-Instances bestehen.

  • Die Sicherheitsgruppenregeln sowohl für das gemeinsam genutzte Netzwerk-Dateisystem als auch für die Compute-Knotengruppen-Instanzen müssen Verbindungen zu den entsprechenden Ports zulassen.

  • Sie müssen ein einheitliches POSIX Benutzer- und Gruppennamespace für Ressourcen, die auf die Dateisysteme zugreifen. Andernfalls kann es bei Aufträgen und interaktiven Prozessen, die auf Ihrem PCS Cluster ausgeführt werden, zu Berechtigungsfehlern kommen.

  • Das Einhängen von Dateisystemen erfolgt mit EC2 Vorlagen starten. Fehler oder Zeitüberschreitungen beim Mounten eines Netzwerkdateisystems können dazu führen, dass Instanzen nicht mehr für die Ausführung von Jobs verfügbar sind. Dies wiederum kann zu unerwarteten Kosten führen. Weitere Informationen zum Debuggen von Startvorlagen finden Sie unterVerwenden von EC2 Amazon-Startvorlagen mit AWS PCS.

Beispiele für Netzwerk-Mounts

Sie können Dateisysteme mit AmazonEFS, Amazon FSx for Lustre, Amazon FSx for Open ZFS und Amazon File Cache erstellen. Erweitern Sie den entsprechenden Abschnitt unten, um ein Beispiel für jeden Netzwerk-Mount zu sehen.

Einrichtung des Dateisystems

Erstellen Sie ein EFS Amazon-Dateisystem. Stellen Sie sicher, dass es in jeder Availability Zone, in der Sie PCS Compute-Knotengruppen-Instances starten, ein Mount-Ziel gibt. Stellen Sie außerdem sicher, dass jedes Mount-Ziel einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den PCS Compute-Knotengruppen-Instances aus ermöglicht. Weitere Informationen finden Sie unter Bereitstellen von Zielen und Sicherheitsgruppen im Amazon Elastic File System-Benutzerhandbuch.

Startvorlage

Fügen Sie die Sicherheitsgruppe (n) aus Ihrem Dateisystem-Setup zur Startvorlage hinzu, die Sie für die Compute-Knotengruppe verwenden werden.

Fügen Sie Benutzerdaten hinzu, die cloud-config einen Mechanismus zum Mounten des EFS Amazon-Dateisystems verwenden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

  • mount-point-directory— Der Pfad auf jeder Instance, auf der Sie Amazon mounten werden EFS

  • filesystem-id— Die Dateisystem-ID für das EFS Dateisystem

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

Einrichtung des Dateisystems

Erstellen Sie in VPC dem Verzeichnis, das Sie verwenden AWS PCS möchten, ein Dateisystem FSx für Lustre. Um Übertragungen zwischen Zonen zu minimieren, sollten Sie die Implementierung in einem Subnetz in derselben Availability Zone durchführen, in der Sie die meisten Ihrer PCS Compute-Knotengruppen-Instances starten werden. Stellen Sie sicher, dass das Dateisystem einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den PCS Compute-Knotengruppen-Instances aus ermöglicht. Weitere Informationen zu Sicherheitsgruppen finden Sie unter Dateisystem-Zugriffskontrolle mit Amazon VPC im Amazon FSx for Lustre-Benutzerhandbuch.

Startvorlage

Fügen Sie Benutzerdaten hinzu, die cloud-config zum Mounten des FSx for Lustre-Dateisystems verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

  • mount-point-directory— Der Pfad auf einer Instanz, die Sie FSx für Lustre mounten möchten

  • filesystem-id— Die Dateisystem-ID für das FSx for Lustre-Dateisystem

  • mount-name— Der Mount-Name für das FSx for Lustre-Dateisystem

  • region-code— Der AWS-Region Ort, an dem das FSx for Lustre-Dateisystem bereitgestellt wird (muss mit Ihrem AWS PCS System identisch sein)

  • (Optional) latest — Jede Version von Lustre unterstützt von FSx for Lustre

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==

Einrichtung des Dateisystems

Erstellen Sie ein ZFS Dateisystem FSx für Open in VPC dem Verzeichnis, das Sie verwenden möchten AWS PCS. Um Übertragungen zwischen Zonen zu minimieren, sollten Sie die Implementierung in einem Subnetz in derselben Availability Zone durchführen, in der Sie die meisten Ihrer AWS PCS Compute-Knotengruppen-Instances starten werden. Stellen Sie sicher, dass das Dateisystem einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den AWS PCS Compute-Knotengruppen-Instances aus ermöglicht. Weitere Informationen zu Sicherheitsgruppen finden Sie unter Verwaltung des Dateisystemzugriffs mit Amazon VPC im FSxfor ZFS Open-Benutzerhandbuch.

Startvorlage

Fügen Sie Benutzerdaten hinzu, die cloud-config zum Mounten des Root-Volumes für ein FSx for ZFS Open-Dateisystem verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

  • mount-point-directory— Der Pfad auf einer Instanz, auf der Sie Ihre FSx for Open ZFS Share mounten möchten

  • filesystem-id— Die Dateisystem-ID für das FSx for ZFS Open-Dateisystem

  • region-code— Der AWS-Region Ort, an dem das FSx for ZFS Open-Dateisystem bereitgestellt wird (muss mit Ihrem AWS PCS System identisch sein)

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

Einrichtung des Dateisystems

Erstellen Sie einen Amazon File Cache in demVPC, wo Sie ihn verwenden werden AWS PCS. Um Übertragungen zwischen Zonen zu minimieren, wählen Sie ein Subnetz in derselben Availability Zone aus, in der Sie die meisten Ihrer PCS Compute-Knotengruppen-Instances starten werden. Stellen Sie sicher, dass der Datei-Cache einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Datenverkehr auf Port 988 zwischen Ihren PCS Instances und dem File Cache zulässt. Weitere Informationen zu Sicherheitsgruppen finden Sie unter Cache-Zugriffskontrolle mit Amazon VPC im Amazon File Cache-Benutzerhandbuch.

Startvorlage

Fügen Sie die Sicherheitsgruppe (n) aus Ihrem Dateisystem-Setup zur Startvorlage hinzu, die Sie für die Compute-Knotengruppe verwenden werden.

Schließen Sie Benutzerdaten ein, die cloud-config zum Mounten des Amazon File Cache verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

  • mount-point-directory— Der Pfad auf einer Instanz, die Sie FSx für Lustre mounten möchten

  • cache-dns-name— Der Name des Domain Name System (DNS) für den Datei-Cache

  • mount-name— Der Mount-Name für den Datei-Cache

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==