Utilisation de systèmes de fichiers réseau avec AWS PCS - AWS PCS
Considérations relatives à l'utilisation de systèmes de fichiers réseauExemples de montages réseau

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de systèmes de fichiers réseau avec AWS PCS

Vous pouvez associer des systèmes de fichiers réseau à des nœuds lancés dans un groupe de nœuds de calcul AWS Parallel Computing Service (AWS PCS) afin de fournir un emplacement permanent où les données et les fichiers peuvent être écrits et accessibles. Vous pouvez utiliser les systèmes de fichiers fournis par AWS des services tels qu'Amazon Elastic File System (AmazonEFS), Amazon FSx for Open ZFS, Amazon FSx for Lustre et Amazon File Cache. Vous pouvez également utiliser des systèmes de fichiers autogérés, tels que des NFS serveurs.

Cette rubrique présente des considérations et des exemples relatifs à l'utilisation de systèmes de fichiers réseau avec AWS PCS.

Considérations relatives à l'utilisation de systèmes de fichiers réseau

Les détails de mise en œuvre des différents systèmes de fichiers sont différents, mais il existe des considérations communes.

  • Le logiciel du système de fichiers approprié doit être installé sur l'instance. Par exemple, pour utiliser Amazon FSx pour Lustre, le Lustre le colis doit être présent. Cela peut être accompli en l'incluant dans le groupe de nœuds de calcul AMI ou en utilisant un script qui s'exécute au démarrage de l'instance.

  • Il doit exister une route réseau entre le système de fichiers réseau partagé et les instances du groupe de nœuds de calcul.

  • Les règles du groupe de sécurité pour le système de fichiers réseau partagé et les instances du groupe de nœuds de calcul doivent autoriser les connexions aux ports concernés.

  • Vous devez maintenir une cohérence POSIX espace de noms d'utilisateur et de groupe entre les ressources qui accèdent aux systèmes de fichiers. Dans le cas contraire, les tâches et les processus interactifs exécutés sur votre PCS cluster risquent de rencontrer des erreurs d'autorisation.

  • Les montages de systèmes de fichiers sont effectués à l'aide de EC2 modèles de lancement. Des erreurs ou des délais d'attente lors du montage d'un système de fichiers réseau peuvent empêcher les instances d'être disponibles pour exécuter des tâches. Ceci, à son tour, peut entraîner des coûts imprévus. Pour plus d'informations sur le débogage des modèles de lancement, consultezUtilisation des modèles EC2 de lancement Amazon avec AWS PCS.

Exemples de montages réseau

Vous pouvez créer des systèmes de fichiers à l'aide d'AmazonEFS, Amazon FSx for Lustre, Amazon FSx for Open ZFS et Amazon File Cache. Développez la section correspondante ci-dessous pour voir un exemple de chaque montage réseau.

Configuration du système de fichiers

Créez un système de EFS fichiers Amazon. Assurez-vous qu'il dispose d'une cible de montage dans chaque zone de disponibilité où vous lancerez des instances de groupes de nœuds de PCS calcul. Assurez-vous également que chaque cible de montage est associée à un groupe de sécurité qui autorise l'accès entrant et sortant depuis les instances du groupe de nœuds de PCS calcul. Pour plus d'informations, consultez la section Mount targets and security groups dans le manuel Amazon Elastic File System User Guide.

Modèle de lancement

Ajoutez le ou les groupes de sécurité de la configuration de votre système de fichiers au modèle de lancement que vous utiliserez pour le groupe de nœuds de calcul.

Incluez les données utilisateur qui utilisent le cloud-config mécanisme de montage du système de EFS fichiers Amazon. Remplacez les valeurs suivantes dans ce script par vos propres informations :

  • mount-point-directory— Le chemin de chaque instance sur laquelle vous allez monter Amazon EFS

  • filesystem-id— L'ID du système de fichiers pour le système de EFS fichiers

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

Configuration du système de fichiers

Créez un système de fichiers FSx pour Lustre dans l'VPCendroit où vous allez l'utiliser AWS PCS. Pour minimiser les transferts entre zones, déployez dans un sous-réseau de la même zone de disponibilité où vous lancerez la majorité de vos instances de groupes de nœuds de PCS calcul. Assurez-vous que le système de fichiers est associé à un groupe de sécurité qui autorise l'accès entrant et sortant depuis les instances du groupe de nœuds de PCS calcul. Pour plus d'informations sur les groupes de sécurité, consultez la section Contrôle d'accès au système de fichiers avec Amazon VPC dans le guide de l'utilisateur d'Amazon FSx for Lustre.

Modèle de lancement

Incluez les données utilisateur utilisées cloud-config pour monter le système de fichiers FSx for Lustre. Remplacez les valeurs suivantes dans ce script par vos propres informations :

  • mount-point-directory— Le chemin d'une instance sur laquelle vous souhaitez effectuer le montage FSx pour Lustre

  • filesystem-id— L'ID du système de fichiers pour le système de fichiers FSx for Lustre

  • mount-name— Le nom de montage du système de fichiers FSx for Lustre

  • region-code— L' Région AWS endroit où le système de fichiers FSx for Lustre est déployé (doit être le même que celui de votre AWS PCS système)

  • (Facultatif) latest — N'importe quelle version de Lustre soutenu par FSx for Lustre

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==

Configuration du système de fichiers

Créez un système de ZFS fichiers FSx for Open dans l'VPCendroit où vous allez utiliser AWS PCS. Pour minimiser les transferts entre zones, déployez dans un sous-réseau de la même zone de disponibilité où vous lancerez la majorité de vos instances de groupes de nœuds de AWS PCS calcul. Assurez-vous que le système de fichiers est associé à un groupe de sécurité qui autorise l'accès entrant et sortant depuis les instances du groupe de nœuds de AWS PCS calcul. Pour plus d'informations sur les groupes de sécurité, consultez la section Gestion de l'accès au système de fichiers avec Amazon VPC dans le guide de ZFS l'utilisateur FSx for Open.

Modèle de lancement

Incluez les données utilisateur utilisées cloud-config pour monter le volume racine d'un système de ZFS fichiers FSx for Open. Remplacez les valeurs suivantes dans ce script par vos propres informations :

  • mount-point-directory— Le chemin sur une instance où vous souhaitez monter votre FSx pour Open ZFS Share

  • filesystem-id— L'ID du système de fichiers FSx pour le système de ZFS fichiers for Open

  • region-code— L' Région AWS endroit où le système de ZFS fichiers FSx for Open est déployé (doit être le même que celui de votre AWS PCS système)

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

Configuration du système de fichiers

Créez un cache de fichiers Amazon dans l'VPCendroit où vous allez l'utiliser AWS PCS. Pour minimiser les transferts entre zones, choisissez un sous-réseau dans la même zone de disponibilité où vous lancerez la majorité de vos instances de groupes de nœuds de PCS calcul. Assurez-vous que le cache de fichiers est associé à un groupe de sécurité qui autorise le trafic entrant et sortant sur le port 988 entre vos PCS instances et le cache de fichiers. Pour plus d'informations sur les groupes de sécurité, consultez la section Contrôle d'accès au cache avec Amazon VPC dans le guide de l'utilisateur d'Amazon File Cache.

Modèle de lancement

Ajoutez le ou les groupes de sécurité de la configuration de votre système de fichiers au modèle de lancement que vous utiliserez pour le groupe de nœuds de calcul.

Incluez les données utilisateur utilisées cloud-config pour monter l'Amazon File Cache. Remplacez les valeurs suivantes dans ce script par vos propres informations :

  • mount-point-directory— Le chemin d'une instance sur laquelle vous souhaitez effectuer le montage FSx pour Lustre

  • cache-dns-name— Le nom du système de noms de domaine (DNS) pour le cache de fichiers

  • mount-name— Le nom de montage pour le cache de fichiers

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==