Commencer à utiliser Amazon FSx pour Lustre - FSxpour Lustre
PrérequisÉtape 1 : Créez votre système de fichiers FSx for LustreInstallation du client LustreÉtape 3 : monter le système de fichiersÉtape 4 : Exécutez votre flux de travailÉtape 5 : Nettoyer les ressources

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Commencer à utiliser Amazon FSx pour Lustre

Vous découvrirez ci-dessous comment commencer à utiliser Amazon FSx pour Lustre. Ces étapes vous guident dans la création d'un système de fichiers Amazon FSx for Lustre et l'accès à celui-ci depuis vos instances de calcul. Ils montrent éventuellement comment utiliser votre système de fichiers Amazon FSx for Lustre pour traiter les données de votre compartiment Amazon S3 avec vos applications basées sur des fichiers.

Cet exercice de mise en route comprend les étapes suivantes.

Prérequis

Pour effectuer cet exercice de mise en route, vous avez besoin des éléments suivants :

  • Un AWS compte disposant des autorisations nécessaires pour créer un système de fichiers Amazon FSx for Lustre et une EC2 instance Amazon. Pour de plus amples informations, veuillez consulter Configuration d'Amazon FSx pour Lustre.

  • Créez un groupe VPC de sécurité Amazon à associer à votre système de fichiers FSx for Lustre, et ne le modifiez pas après la création du système de fichiers. Pour plus d'informations, consultez Pour créer un groupe de sécurité pour votre système de FSx fichiers Amazon.

  • Une EC2 instance Amazon exécutant une version Linux prise en charge dans votre cloud privé virtuel (VPC) basée sur le VPC service Amazon. Pour cet exercice de mise en route, nous vous recommandons d'utiliser Amazon Linux 2023. Vous allez installer le client Lustre sur cette EC2 instance, puis monter votre système de fichiers FSx pour Lustre sur l'EC2instance. Pour plus d'informations sur la création d'une EC2 instance, consultez Getting started : Launch an instance ou Launch your instance dans le guide de EC2 l'utilisateur Amazon.

    Le client Lustre prend en charge Amazon Linux ; Amazon Linux 2 ; Amazon Linux 2023 ; Red Hat Enterprise Linux 7.7 à 7.9, 8.2 à 8.10, 9.0, 9.3 et 9.4 ; CentOS 7.7 à 7.9 et 8.2 à 8.10 ; Rocky Linux 8.4 à 8.10, 9.0, 9.3 et 9.4 SUSE ; Linux Enterprise Server SP3 12, et ; SP5 et Ubuntu 18.04SP4, 20.04 et 22.04. Pour de plus amples informations, veuillez consulter Compatibilité avec le système de fichiers Lustre et le noyau client.

    Lorsque vous créez votre EC2 instance Amazon pour cet exercice de mise en route, gardez à l'esprit les points suivants :

    • Nous vous recommandons de créer votre instance par défautVPC.

    • Nous vous recommandons d'utiliser le groupe de sécurité par défaut lors de la création de votre EC2 instance.

  • Chaque système de fichiers FSx pour Lustre nécessite une adresse IP pour chaque serveur de métadonnées (MDS) et une adresse IP pour chaque serveur de stockage (OSS).

    • Pour les systèmes de fichiers Persistent_2 dotés d'une configuration de métadonnées, chaque IOPS valeur de 12 000 métadonnées nécessite également une adresse IP au sein du sous-réseau dans lequel réside votre système de fichiers.

    • Les systèmes de SSD fichiers persistants sont provisionnés avec 2,4 TiB de stockage par. OSS

    • Les systèmes de HDD fichiers persistants dotés d'une capacité de débit de 12 Mo/s/TiB sont approvisionnés avec 6 TiB de stockage par système. OSS

    • Les systèmes de HDD fichiers persistants dotés d'une capacité de débit de 40 Mo/s/TiB sont provisionnés avec 1,8 TiB de stockage par système. OSS

    • Les systèmes de fichiers Scratch_2 sont fournis avec 2,4 TiB de stockage par système. OSS

    • Les systèmes de fichiers Scratch_1 sont fournis avec 3,6 TiB de stockage par système. OSS

  • Un compartiment Amazon S3 stockant les données à traiter par votre charge de travail. Le compartiment S3 sera le référentiel de données durable lié à votre système de fichiers FSx for Lustre.

  • Déterminez le type de système de fichiers Amazon FSx for Lustre que vous souhaitez créer, à gratter ou à conserver. Pour de plus amples informations, veuillez consulter Options de déploiement FSx pour les systèmes de fichiers Lustre.

Étape 1 : Créez votre système de fichiers FSx for Lustre

Vous créez votre système de fichiers dans la FSx console Amazon.

Pour créer votre système de fichiers .

  1. Ouvrez la FSx console Amazon à l'adresse https://console.aws.amazon.com/fsx/.

  2. Dans le tableau de bord, choisissez Créer un système de fichiers pour démarrer l'assistant de création de système de fichiers.

  3. Choisissez FSxLustre, puis cliquez sur Suivant pour afficher la page Créer un système de fichiers.

  4. Fournissez les informations dans la section Détails du système de fichiers :

    • Dans le champ Nom du système de fichiers facultatif, indiquez le nom de votre système de fichiers. Vous pouvez utiliser jusqu'à 256 lettres Unicode, espaces blancs et chiffres, ainsi que les caractères spéciaux + - =. _ :/.

    • Pour le type de déploiement et de stockage, choisissez l'une des options suivantes :

      SSDle stockage fournit des charges de travail IOPS intensives à faible latence qui nécessitent généralement de petites opérations aléatoires sur les fichiers. HDDle stockage fournit des charges de travail gourmandes en débit qui nécessitent généralement des opérations de fichiers séquentielles volumineuses.

      Pour plus d'informations sur les types de stockage, consultezPlusieurs options de stockage.

      Pour plus d'informations sur les types de déploiement, consultezOptions de déploiement FSx pour les systèmes de fichiers Lustre.

      Pour plus d'informations sur les domaines dans Régions AWS lesquels le chiffrement des données en transit est disponible, consultezchiffrement des données en transit.

      • Choisissez le type de SSD déploiement persistant pour le stockage à long terme et pour les charges de travail sensibles à la latence nécessitant les niveaux les plus élevés de /throughput. IOPS Les serveurs de fichiers sont hautement disponibles, les données sont automatiquement répliquées dans la zone de disponibilité du système de fichiers et prennent en charge le chiffrement des données en transit. Persistent, SSD utilise Persistent 2, la dernière génération de systèmes de fichiers persistants.

      • Choisissez le type de HDD déploiement persistant pour le stockage à long terme et pour les charges de travail axées sur le débit qui ne sont pas sensibles à la latence. Les serveurs de fichiers sont hautement disponibles, les données sont automatiquement répliquées dans la zone de disponibilité du système de fichiers et ce type prend en charge le chiffrement des données en transit. Persistant, HDD utilise le type de déploiement Persistent 1.

        Choisissez SSDle cache pour créer un SSD cache dimensionné à 20 % de votre capacité de HDD stockage afin de fournir des latences inférieures à la milliseconde ou plus IOPS pour les fichiers fréquemment consultés.

      • Choisissez le type de SSD déploiement Scratch pour le stockage temporaire et le traitement des données à court terme. Scratch SSD utilise les systèmes de fichiers Scratch 2 et propose un cryptage des données en transit.

    • Choisissez le débit par unité de stockage que vous souhaitez pour votre système de fichiers. Cette option n'est valable que pour les types de déploiement persistants.

      Le débit par unité de stockage est le débit de lecture et d'écriture pour chaque tébioctet (TiB) de stockage fourni, en Mo/s/TiB. Vous payez pour le débit que vous fournissez :

      • Pour le SSD stockage persistant, choisissez une valeur de 125, 250, 500 ou 1 000 Mo/s/TiB.

      • Pour le HDD stockage persistant, choisissez une valeur de 12 ou 40 Mo/s/TiB.

      Vous pouvez augmenter ou diminuer le débit par unité de stockage selon vos besoins après avoir créé le système de fichiers. Pour de plus amples informations, veuillez consulter Gestion de la capacité de débit.

    • Pour Capacité de stockage, définissez la capacité de stockage de votre système de fichiers, en TiB :

      • Pour un type de SSD déploiement persistant, définissez-le sur une valeur de 1,2 TiB, 2,4 TiB ou par incréments de 2,4 TiB.

      • Pour un type de HDD déploiement persistant, cette valeur peut être des incréments de 6,0 TiB pour les systèmes de fichiers de 12 Mo/s/TiB et des incréments de 1,8 TiB pour les systèmes de fichiers de 40 Mo/s/TiB.

      Vous pouvez augmenter la capacité de stockage selon vos besoins après avoir créé le système de fichiers. Pour de plus amples informations, veuillez consulter Gestion de la capacité de stockage.

    • Pour la configuration des métadonnées, deux options s'offrent à vous IOPS pour attribuer le nombre de métadonnées à votre système de fichiers :

      • Choisissez Automatique (valeur par défaut) si vous souhaitez qu'Amazon FSx provisionne et redimensionne automatiquement les métadonnées IOPS de votre système de fichiers en fonction de la capacité de stockage de votre système de fichiers.

      • Choisissez Provisionné par l'utilisateur si vous souhaitez spécifier le nombre de métadonnées IOPS à fournir pour votre système de fichiers. Les valeurs valides sont 15003000,6000,12000, et les multiples de12000, jusqu'à un maximum de192000.

      Pour plus d'informations sur les métadonnéesIOPS, consultezConfiguration des performances des métadonnées Lustre.

    • Pour le type de compression des données, choisissez NONEde désactiver la compression des données ou LZ4d'activer la compression des données avec l'LZ4algorithme. Pour de plus amples informations, veuillez consulter Compression de données Lustre.

    Tous les systèmes de fichiers FSx pour Lustre sont basés sur la version 2.15 de Lustre lorsqu'ils sont créés à l'aide de la FSx console Amazon.

  5. Dans la section Réseau et sécurité, fournissez les informations suivantes sur le réseau et le groupe de sécurité :

    • Pour Virtual Private Cloud (VPC), choisissez celui VPC que vous souhaitez associer à votre système de fichiers. Pour cet exercice de mise en route, choisissez la même VPC que celle que vous avez choisie pour votre EC2 instance Amazon.

    • Pour les groupes de VPC sécurité, l'ID du groupe de sécurité par défaut VPC doit déjà être ajouté. Si vous n'utilisez pas le groupe de sécurité par défaut, assurez-vous que la règle entrante suivante est ajoutée au groupe de sécurité que vous utilisez pour cet exercice de démarrage.

      Type Protocole Plage de ports Source Description
      Tout TCP TCP 0-65535 Personnalisé L'identifiant_de_ce_groupe_de sécurité Règle de trafic Lustre entrant

      La capture d'écran suivante montre un exemple de modification des règles entrantes.

      Règle de trafic entrant sur le groupe de sécurité par défaut attribué au système de fichiers FSx for Lustre.
      Important

      Assurez-vous que le groupe de sécurité que vous utilisez suit les instructions de configuration fournies dansContrôle d'accès au système de fichiers avec Amazon VPC. Vous devez configurer le groupe de sécurité pour autoriser le trafic entrant sur les ports 988 et 1018-1023 en provenance du groupe de sécurité lui-même ou du sous-réseau completCIDR, ce qui est nécessaire pour permettre aux hôtes du système de fichiers de communiquer entre eux.

    • Pour Sous-réseau, choisissez n'importe quelle valeur dans la liste des sous-réseaux disponibles.

  6. Pour la section Chiffrement, les options disponibles varient en fonction du type de système de fichiers que vous créez :

    • Pour un système de fichiers persistant, vous pouvez choisir une clé de chiffrement AWS Key Management Service (AWS KMS) pour chiffrer les données de votre système de fichiers au repos.

    • Dans le cas d'un système de fichiers Scratch, les données au repos sont chiffrées à l'aide de clés gérées par AWS.

    • Pour les systèmes de fichiers Scratch 2 et persistants, les données en transit sont chiffrées automatiquement lorsque le système de fichiers est accessible à partir d'un type d'EC2instance Amazon compatible. Pour de plus amples informations, veuillez consulter chiffrement des données en transit.

  7. Pour la section Import/Export de référentiels de données - facultative, la liaison de votre système de fichiers aux référentiels de données Amazon S3 est désactivée par défaut. Pour plus d'informations sur l'activation de cette option et la création d'une association de référentiel de données à un compartiment S3 existant, consultezPour lier un compartiment S3 lors de la création d'un système de fichiers (console).

    Important

    • La sélection de cette option désactive également les sauvegardes et vous ne pourrez pas les activer lors de la création du système de fichiers.

    • Si vous liez un ou plusieurs systèmes de fichiers Amazon FSx for Lustre à un compartiment Amazon S3, ne supprimez pas le compartiment Amazon S3 tant que tous les systèmes de fichiers liés n'ont pas été supprimés.

  8. Pour la journalisation (facultatif), la journalisation est activée par défaut. Lorsque cette option est activée, les défaillances et les avertissements relatifs à l'activité du référentiel de données sur votre système de fichiers sont enregistrés dans Amazon CloudWatch Logs. Pour plus d'informations sur la configuration de la journalisation, consultezGestion de la journalisation.

  9. Dans Backup and maintenance (facultatif), vous pouvez effectuer les opérations suivantes.

    Pour les sauvegardes automatiques quotidiennes :

    • Désactivez la sauvegarde automatique quotidienne. Cette option est activée par défaut, sauf si vous avez activé Data Repository Import/Export,.

    • Définissez l'heure de début de la fenêtre de sauvegarde automatique quotidienne.

    • Définissez la période de conservation automatique des sauvegardes, comprise entre 1 et 35 jours.

    Pour de plus amples informations, veuillez consulter Utilisation des sauvegardes.

  10. Définissez l'heure de début de la fenêtre de maintenance hebdomadaire ou conservez-la sur la valeur par défaut Aucune préférence.

  11. Pour Root Squash (facultatif), le root squash est désactivé par défaut. Pour plus d'informations sur l'activation et la configuration de Root Squash, consultezPour activer Root Squash lors de la création d'un système de fichiers (console).

  12. Créez les balises que vous souhaitez appliquer à votre système de fichiers.

  13. Choisissez Suivant pour afficher la page récapitulative de la création d'un système de fichiers.

  14. Vérifiez les paramètres de votre système de fichiers Amazon FSx for Lustre, puis choisissez Create file system.

Maintenant que vous avez créé votre système de fichiers, notez son nom de domaine complet et son nom de montage pour une étape ultérieure. Vous pouvez trouver le nom de domaine complet et le nom de montage d'un système de fichiers en choisissant le nom du système de fichiers dans le tableau de bord des caches, puis en choisissant Attacher.

Étape 2 : Installation et configuration du client Lustre

Avant de pouvoir accéder à votre système de fichiers Amazon FSx for Lustre depuis votre EC2 instance Amazon, vous devez effectuer les opérations suivantes :

  • Vérifiez que votre EC2 instance répond aux exigences minimales du noyau.

  • Mettez à jour le noyau si nécessaire.

  • Téléchargez et installez le client Lustre.

Pour vérifier la version du noyau et télécharger le client Lustre

  1. Ouvrez une fenêtre de terminal sur votre EC2 instance.

  2. Déterminez quel noyau est actuellement en cours d'exécution sur votre instance de calcul en exécutant la commande suivante.

    uname -r

  3. Effectuez l’une des actions suivantes :

    • Si la commande est renvoyée 6.1.79-99.167.amzn2023.x86_64 pour les EC2 instances basées sur x86, 6.1.79-99.167.amzn2023.aarch64 ou plus pour les instances basées sur Graviton2, téléchargez et installez le client EC2 Lustre à l'aide de la commande suivante.

      sudo dnf install -y lustre-client

    • Si la commande renvoie un résultat inférieur à celui 6.1.79-99.167.amzn2023.x86_64 des EC2 instances basées sur x86, ou inférieur 6.1.79-99.167.amzn2023.aarch64 à celui des instances basées sur Graviton2EC2, mettez à jour le noyau et redémarrez votre EC2 instance Amazon en exécutant la commande suivante. 

      sudo dnf -y update kernel && sudo reboot

      Vérifiez que le noyau a été mis à jour à l'aide de la uname -r commande. Téléchargez et installez ensuite le client Lustre comme décrit ci-dessus.

    Pour plus d'informations sur l'installation du client Lustre sur d'autres distributions Linux, consultezInstallation du client Lustre.

Étape 3 : monter le système de fichiers

Pour monter votre système de fichiers, vous allez créer un répertoire de montage, ou point de montage, puis monter le système de fichiers sur votre client et vérifier que celui-ci peut accéder au système de fichiers.

Pour monter votre système de fichiers

  1. Créez un répertoire pour le montage point à l’aide de la commande suivante.

    sudo mkdir -p /mnt/fsx

  2. Montez le système de fichiers Amazon FSx for Lustre dans le répertoire que vous avez créé. Utilisez la commande suivante et remplacez les éléments suivants :

    • Remplacez file_system_dns_name par le nom du système de noms de domaine (DNS) actuel du système de fichiers.

    • mountnameRemplacez-le par le nom de montage du système de fichiers, que vous pouvez obtenir en exécutant la describe-file-systems AWS CLI commande ou l'DescribeFileSystemsAPIopération.

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    Cette commande permet de monter votre système de fichiers à l'aide de deux options, -o relatime et flock :

    • relatime— Bien que l'atimeoption conserve atime (temps d'accès aux inodes) les données pour chaque accès à un fichier, elle conserve également les relatime atime données, mais pas pour chaque accès à un fichier. Lorsque l'relatimeoption est activée, les atime données sont écrites sur le disque uniquement si le fichier a été modifié depuis la dernière mise à jour des atime données (mtime), ou si le dernier accès au fichier remonte à un certain temps (6 heures par défaut). L'utilisation de l'atimeoption relatime ou optimisera les processus de publication des fichiers.

      Note

      Si votre charge de travail nécessite un temps d'accès précis, vous pouvez utiliser l'option de atime montage. Cela peut toutefois avoir un impact sur les performances de la charge de travail en augmentant le trafic réseau requis pour maintenir des valeurs de temps d'accès précises.

      Si votre charge de travail ne nécessite pas de temps d'accès aux métadonnées, l'utilisation de l'option de noatime montage pour désactiver les mises à jour du temps d'accès peut apporter un gain de performances. Sachez que les processus atime ciblés tels que la publication de fichiers ou la publication de la validité des données seront inexacts lors de leur publication.

    • flock— Active le verrouillage des fichiers pour votre système de fichiers. Si vous ne souhaitez pas activer le verrouillage des fichiers, utilisez la mount commande sansflock.

  3. Vérifiez que la commande mount a réussi en répertoriant le contenu du répertoire dans lequel vous avez monté le système de fichiers/mnt/fsx, à l'aide de la commande suivante.

    ls /mnt/fsx
import-path  lustre
$

    Vous pouvez également utiliser la df commande suivante.

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    Les résultats montrent que le système de FSx fichiers Amazon est monté sur /mnt/fsx.

Étape 4 : Exécutez votre flux de travail

Maintenant que votre système de fichiers a été créé et monté sur une instance de calcul, vous pouvez l'utiliser pour exécuter votre charge de travail de calcul à hautes performances.

Vous pouvez créer une association de référentiel de données pour lier votre système de fichiers à un référentiel de données Amazon S3. Pour plus d'informations, consultezLier votre système de fichiers à un compartiment Amazon S3.

Après avoir lié votre système de fichiers à un référentiel de données Amazon S3, vous pouvez à tout moment exporter les données que vous avez écrites dans votre système de fichiers vers votre compartiment Amazon S3. Depuis un terminal sur l'une de vos instances de calcul, exécutez la commande suivante pour exporter un fichier vers votre compartiment Amazon S3.

sudo lfs hsm_archive file_name

Pour plus d'informations sur la façon d'exécuter rapidement cette commande sur un dossier ou une grande collection de fichiers, consultezExportation de fichiers à l'aide de HSM commandes.

Étape 5 : Nettoyer les ressources

Une fois cet exercice terminé, vous devez suivre ces étapes pour nettoyer vos ressources et protéger votre AWS compte.

Pour nettoyer des ressources

  1. Si vous souhaitez effectuer une exportation finale, exécutez la commande suivante.

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. Sur la EC2 console Amazon, mettez fin à votre instance. Pour plus d'informations, consultez la section Résiliation de votre instance dans le guide de EC2 l'utilisateur Amazon.

  3. Sur la console Amazon FSx for Lustre, supprimez votre système de fichiers en suivant la procédure suivante :

    1. Dans le volet de navigation, sélectionnez Systèmes de fichiers.

    2. Choisissez le système de fichiers que vous souhaitez supprimer dans la liste des systèmes de fichiers du tableau de bord.

    3. Dans Actions, choisissez Supprimer le système de fichiers.

    4. Dans la boîte de dialogue qui apparaît, indiquez si vous souhaitez effectuer une sauvegarde finale du système de fichiers. Indiquez ensuite l'ID du système de fichiers pour confirmer la suppression. Choisissez Supprimer le système de fichiers.

  4. Si vous avez créé un compartiment Amazon S3 pour cet exercice, et si vous ne souhaitez pas conserver les données que vous avez exportées, vous pouvez désormais le supprimer. Pour plus d'informations, consultez Supprimer un compartiment dans le guide de l'utilisateur d'Amazon Simple Storage Service.