Commencer à utiliser Amazon FSx for Lustre - FSx pour Lustre

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Commencer à utiliser Amazon FSx for Lustre

Vous découvrirez ci-dessous comment commencer à utiliser Amazon FSx for Lustre. Ces étapes vous expliquent comment créer un système de fichiers Amazon FSx for Lustre et comment y accéder depuis vos instances de calcul. Ils montrent éventuellement comment utiliser votre système de fichiers Amazon FSx for Lustre pour traiter les données de votre compartiment Amazon S3 avec vos applications basées sur des fichiers.

Cet exercice de mise en route comprend les étapes suivantes.

Prérequis

Pour effectuer cet exercice de mise en route, vous avez besoin des éléments suivants :

  • Un AWS compte disposant des autorisations nécessaires pour créer un système de fichiers Amazon FSx for Lustre et une instance Amazon EC2. Pour plus d’informations, consultez Configuration d'Amazon FSx for Lustre.

  • Créez un groupe de sécurité Amazon VPC à associer à votre système de fichiers FSx for Lustre, et ne le modifiez pas après la création du système de fichiers. Pour plus d'informations, consultez Pour créer un groupe de sécurité pour votre système de fichiers Amazon FSx.

  • Une instance Amazon EC2 exécutant une version Linux prise en charge dans votre cloud privé virtuel (VPC) sur la base du service Amazon VPC. Pour cet exercice de mise en route, nous vous recommandons d'utiliser Amazon Linux 2023. Vous allez installer le client Lustre sur cette instance EC2, puis monter votre système de fichiers FSx for Lustre sur l'instance EC2. Pour plus d'informations sur la création d'une instance EC2, consultez Getting started : Launch an instance ou Launch your instance dans le guide de l'utilisateur Amazon EC2.

    Le client Lustre prend en charge Amazon Linux ; Amazon Linux 2 ; Amazon Linux 2023 ; CentOS et Red Hat Enterprise Linux 7.7 à 7.9, 8.2 à 8.9, 9.0, 9.3 et 9.4 ; Rocky Linux 8.4 à 8.9, 9.0, 9.3 et 9.4 ; SUSE Linux Enterprise Server 12 SP3, SP4 et SP5 ; et Ubuntu 18.04, 20.04 et 22.04. Pour plus d’informations, consultez Compatibilité avec le système de fichiers Lustre et le noyau client.

    Lorsque vous créez votre instance Amazon EC2 pour cet exercice de mise en route, gardez à l'esprit les points suivants :

    • Nous vous recommandons de créer votre instance dans votre VPC par défaut.

    • Nous vous recommandons d'utiliser le groupe de sécurité par défaut lors de la création de votre instance EC2.

  • Chaque système de fichiers FSx for Lustre nécessite une adresse IP pour chaque serveur de métadonnées (MDS) et une adresse IP pour chaque serveur de stockage (OSS).

    • Pour les systèmes de fichiers Persistent_2 dotés d'une configuration de métadonnées, chaque valeur de 12 000 IOPS de métadonnées nécessite également une adresse IP au sein du sous-réseau dans lequel réside votre système de fichiers.

    • Les systèmes de fichiers SSD persistants sont approvisionnés avec 2,4 TiB de stockage par OSS.

    • Les systèmes de fichiers HDD persistants dotés d'une capacité de débit de 12 Mo/s/TiB sont approvisionnés avec 6 TiB de stockage par OSS.

    • Les systèmes de fichiers HDD persistants dotés d'une capacité de débit de 40 Mo/s/TiB sont approvisionnés avec 1,8 TiB de stockage par OSS.

    • Les systèmes de fichiers Scratch_2 sont approvisionnés avec 2,4 TiB de stockage par OSS.

    • Les systèmes de fichiers Scratch_1 sont dotés de 3,6 TiB de stockage par OSS.

  • Un compartiment Amazon S3 stockant les données à traiter par votre charge de travail. Le compartiment S3 sera le référentiel de données durable lié à votre système de fichiers FSx for Lustre.

  • Déterminez le type de système de fichiers Amazon FSx for Lustre que vous souhaitez créer, gratter ou persister. Pour plus d’informations, consultez Options de déploiement du système de fichiers pour FSx for Lustre .

Créez votre système de fichiers FSx for Lustre

Ensuite, vous créez votre système de fichiers dans la console.

Pour créer votre système de fichiers .
  1. Ouvrez la console Amazon FSx à l'adresse https://console.aws.amazon.com/fsx/.

  2. Dans le tableau de bord, choisissez Créer un système de fichiers pour démarrer l'assistant de création de système de fichiers.

  3. Choisissez FSx for Lustre, puis Next pour afficher la page Créer un système de fichiers.

  4. Fournissez les informations dans la section Détails du système de fichiers :

    • Dans le champ Nom du système de fichiers facultatif, indiquez le nom de votre système de fichiers. Vous pouvez utiliser jusqu'à 256 lettres Unicode, espaces blancs et chiffres, ainsi que les caractères spéciaux + - =. _ :/.

    • Pour le type de déploiement et de stockage, choisissez l'une des options suivantes :

      Le stockage SSD fournit des charges de travail à faible latence et intensives en IOPS qui nécessitent généralement de petites opérations de fichiers aléatoires. Le stockage sur disque dur fournit des charges de travail gourmandes en débit qui nécessitent généralement des opérations de fichiers séquentielles volumineuses.

      Pour plus d'informations sur les types de stockage, consultezPlusieurs options de stockage.

      Pour plus d'informations sur les types de déploiement, consultezOptions de déploiement pour les systèmes de fichiers FSx for Lustre.

      Pour plus d'informations sur les domaines dans Régions AWS lesquels le chiffrement des données en transit est disponible, consultezchiffrement des données en transit.

      • Choisissez le type de déploiement SSD persistant pour le stockage à long terme et pour les charges de travail sensibles à la latence nécessitant les plus hauts niveaux d'IOPS/débit. Les serveurs de fichiers sont hautement disponibles, les données sont automatiquement répliquées dans la zone de disponibilité du système de fichiers et prennent en charge le chiffrement des données en transit. Persistant, le SSD utilise Persistent 2, la dernière génération de systèmes de fichiers persistants.

      • Choisissez le type de déploiement sur disque dur persistant pour le stockage à long terme et pour les charges de travail axées sur le débit qui ne sont pas sensibles à la latence. Les serveurs de fichiers sont hautement disponibles, les données sont automatiquement répliquées dans la zone de disponibilité du système de fichiers et ce type prend en charge le chiffrement des données en transit. Persistant, le disque dur utilise le type de déploiement Persistent 1.

        Choisissez le cache SSD pour créer un cache SSD dimensionné à 20 % de la capacité de stockage de votre disque dur afin de fournir des latences inférieures à la milliseconde et des IOPS plus élevées pour les fichiers fréquemment consultés.

      • Choisissez le type de déploiement Scratch, SSD pour le stockage temporaire et le traitement des données à court terme. Scratch, SSD utilise les systèmes de fichiers Scratch 2 et offre un cryptage des données en transit.

    • Choisissez le débit par unité de stockage que vous souhaitez pour votre système de fichiers. Cette option n'est valable que pour les types de déploiement persistants.

      Le débit par unité de stockage est le débit de lecture et d'écriture pour chaque tébioctet (TiB) de stockage fourni, en Mo/s/TiB. Vous payez pour le débit que vous fournissez :

      • Pour le stockage SSD persistant, choisissez une valeur de 125, 250, 500 ou 1 000 Mo/s/TiB.

      • Pour le stockage sur disque dur persistant, choisissez une valeur de 12 ou 40 Mo/s/TiB.

      Vous pouvez augmenter ou diminuer le débit par unité de stockage selon vos besoins après avoir créé le système de fichiers. Pour plus d’informations, consultez Gestion de la capacité de débit.

    • Pour Capacité de stockage, définissez la capacité de stockage de votre système de fichiers, en TiB :

      • Pour un type de déploiement SSD persistant, définissez-le sur une valeur de 1,2 TiB, 2,4 TiB ou par incréments de 2,4 TiB.

      • Pour un type de déploiement sur disque dur persistant, cette valeur peut être des incréments de 6,0 TiB pour les systèmes de fichiers de 12 Mo/s/TiB et des incréments de 1,8 TiB pour les systèmes de fichiers de 40 Mo/s/TiB.

      Vous pouvez augmenter la capacité de stockage selon vos besoins après avoir créé le système de fichiers. Pour plus d’informations, consultez Gestion de la capacité de stockage.

    • Pour la configuration des métadonnées, deux options s'offrent à vous pour définir le nombre d'IOPS de métadonnées pour votre système de fichiers :

      • Choisissez Automatique (valeur par défaut) si vous souhaitez qu'Amazon FSx provisionne et redimensionne automatiquement les IOPS de métadonnées sur votre système de fichiers en fonction de la capacité de stockage de ce dernier.

      • Choisissez Provisionné par l'utilisateur si vous souhaitez spécifier le nombre d'IOPS de métadonnées à allouer à votre système de fichiers. Les valeurs valides sont 15003000,6000,12000, et les multiples de12000, jusqu'à un maximum de192000.

      Pour plus d'informations sur les IOPS des métadonnées, consultezConfiguration des performances des métadonnées Lustre.

    • Pour le type de compression des données, choisissez AUCUN pour désactiver la compression des données ou choisissez LZ4 pour activer la compression des données avec l'algorithme LZ4. Pour plus d’informations, consultez Compression de données Lustre.

    Tous les systèmes de fichiers FSx for Lustre sont basés sur Lustre version 2.15 lorsqu'ils sont créés à l'aide de la console Amazon FSx.

  5. Dans la section Réseau et sécurité, fournissez les informations suivantes sur le réseau et le groupe de sécurité :

    • Pour Virtual Private Cloud (VPC), choisissez le VPC que vous souhaitez associer à votre système de fichiers. Pour cet exercice de mise en route, choisissez le même VPC que celui que vous avez choisi pour votre instance Amazon EC2.

    • Pour les groupes de sécurité VPC, l'ID du groupe de sécurité par défaut de votre VPC doit déjà être ajouté. Si vous n'utilisez pas le groupe de sécurité par défaut, assurez-vous que la règle entrante suivante est ajoutée au groupe de sécurité que vous utilisez pour cet exercice de démarrage.

      Type Protocole Plage de ports Source Description
      Tous les TCP TCP 0-65535 Personnalisé the_ID_of_this_security_group Règle de trafic Lustre entrant

      La capture d'écran suivante montre un exemple de modification des règles entrantes.

      Règle de trafic entrant sur le groupe de sécurité par défaut attribué au système de fichiers FSx for Lustre.
      Important

      Assurez-vous que le groupe de sécurité que vous utilisez suit les instructions de configuration fournies dansContrôle d'accès au système de fichiers avec Amazon VPC. Vous devez configurer le groupe de sécurité pour autoriser le trafic entrant sur les ports 988 et 1018-1023 à partir du groupe de sécurité lui-même ou du CIDR du sous-réseau complet, qui est nécessaire pour permettre aux hôtes du système de fichiers de communiquer entre eux.

    • Pour Sous-réseau, choisissez n'importe quelle valeur dans la liste des sous-réseaux disponibles.

  6. Pour la section Chiffrement, les options disponibles varient en fonction du type de système de fichiers que vous créez :

    • Dans le cas d'un système de fichiers persistant, vous pouvez choisir une clé de chiffrement AWS Key Management Service (AWS KMS) pour chiffrer les données de votre système de fichiers au repos.

    • Dans le cas d'un système de fichiers Scratch, les données au repos sont chiffrées à l'aide de clés gérées par AWS.

    • Pour les systèmes de fichiers Scratch 2 et persistants, les données en transit sont chiffrées automatiquement lorsque le système de fichiers est accessible à partir d'un type d'instance Amazon EC2 pris en charge. Pour plus d’informations, consultez chiffrement des données en transit.

  7. Pour la section Import/Export de référentiels de données - facultative, la liaison de votre système de fichiers aux référentiels de données Amazon S3 est désactivée par défaut. Pour plus d'informations sur l'activation de cette option et la création d'une association de référentiel de données à un compartiment S3 existant, consultezPour lier un compartiment S3 lors de la création d'un système de fichiers (console).

    Important
    • La sélection de cette option désactive également les sauvegardes et vous ne pourrez pas les activer lors de la création du système de fichiers.

    • Si vous liez un ou plusieurs systèmes de fichiers Amazon FSx for Lustre à un compartiment Amazon S3, ne supprimez pas le compartiment Amazon S3 tant que tous les systèmes de fichiers liés n'ont pas été supprimés.

  8. Pour la journalisation (facultatif), la journalisation est activée par défaut. Lorsque cette option est activée, les défaillances et les avertissements relatifs à l'activité du référentiel de données sur votre système de fichiers sont enregistrés dans Amazon CloudWatch Logs. Pour plus d'informations sur la configuration de la journalisation, consultezGestion de la journalisation.

  9. Dans Backup and maintenance (facultatif), vous pouvez effectuer les opérations suivantes.

    Pour les sauvegardes automatiques quotidiennes :

    • Désactivez la sauvegarde automatique quotidienne. Cette option est activée par défaut, sauf si vous avez activé Data Repository Import/Export,.

    • Définissez l'heure de début de la fenêtre de sauvegarde automatique quotidienne.

    • Définissez la période de conservation automatique des sauvegardes, comprise entre 1 et 35 jours.

    Pour plus d’informations, consultez Utilisation des sauvegardes.

  10. Définissez l'heure de début de la fenêtre de maintenance hebdomadaire ou conservez-la sur la valeur par défaut Aucune préférence.

  11. Pour Root Squash (facultatif), le root squash est désactivé par défaut. Pour plus d'informations sur l'activation et la configuration de Root Squash, consultezPour activer Root Squash lors de la création d'un système de fichiers (console).

  12. Créez les balises que vous souhaitez appliquer à votre système de fichiers.

  13. Choisissez Suivant pour afficher la page récapitulative de la création d'un système de fichiers.

  14. Passez en revue les paramètres de votre système de fichiers Amazon FSx for Lustre, puis choisissez Create file system.

Maintenant que vous avez créé votre système de fichiers, notez son nom de domaine complet et son nom de montage pour une étape ultérieure. Vous pouvez trouver le nom de domaine complet et le nom de montage d'un système de fichiers en choisissant le nom du système de fichiers dans le tableau de bord des caches, puis en choisissant Attacher.

Installation et configuration du client Lustre

Avant de pouvoir accéder à votre système de fichiers Amazon FSx for Lustre depuis votre instance Amazon EC2, vous devez effectuer les opérations suivantes :

  • Vérifiez que votre instance EC2 répond aux exigences minimales du noyau.

  • Mettez à jour le noyau si nécessaire.

  • Téléchargez et installez le client Lustre.

Pour vérifier la version du noyau et télécharger le client Lustre
  1. Ouvrez une fenêtre de terminal sur votre instance EC2.

  2. Déterminez quel noyau est actuellement en cours d'exécution sur votre instance de calcul en exécutant la commande suivante.

    uname -r
  3. Effectuez l’une des actions suivantes :

    • Si la commande est renvoyée 6.1.79-99.167.amzn2023.x86_64 pour les instances EC2 basées sur x86, 6.1.79-99.167.amzn2023.aarch64 ou supérieures pour les instances EC2 basées sur Graviton2, téléchargez et installez le client Lustre à l'aide de la commande suivante.

      sudo dnf install -y lustre-client
    • Si la commande renvoie un résultat inférieur à celui 6.1.79-99.167.amzn2023.x86_64 des instances EC2 basées sur x86, ou inférieur 6.1.79-99.167.amzn2023.aarch64 à celui des instances EC2 basées sur Graviton2, mettez à jour le noyau et redémarrez votre instance Amazon EC2 en exécutant la commande suivante.

      sudo dnf -y update kernel && sudo reboot

      Vérifiez que le noyau a été mis à jour à l'aide de la uname -r commande. Téléchargez et installez ensuite le client Lustre comme décrit ci-dessus.

    Pour plus d'informations sur l'installation du client Lustre sur d'autres distributions Linux, consultezInstallation du client Lustre.

Monter le système de fichiers

Pour monter votre système de fichiers, vous allez créer un répertoire de montage, ou point de montage, puis monter le système de fichiers sur votre client et vérifier que celui-ci peut accéder au système de fichiers.

Pour monter votre système de fichiers
  1. Créez un répertoire pour le montage point à l’aide de la commande suivante.

    sudo mkdir -p /mnt/fsx
  2. Montez le système de fichiers Amazon FSx for Lustre dans le répertoire que vous avez créé. Utilisez la commande suivante et remplacez les éléments suivants :

    • Remplacez file_system_dns_name par le nom du système de noms de domaine (DNS) actuel du système de fichiers.

    • mountnameRemplacez-le par le nom de montage du système de fichiers, que vous pouvez obtenir en exécutant la describe-file-systems AWS CLI commande ou en exécutant l'opération DescribeFileSystems API.

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    Cette commande permet de monter votre système de fichiers à l'aide de deux options, -o relatime et flock :

    • relatime— Bien que l'atimeoption conserve atime (temps d'accès aux inodes) les données pour chaque accès à un fichier, elle conserve également les relatime atime données, mais pas pour chaque accès à un fichier. Lorsque l'relatimeoption est activée, les atime données sont écrites sur le disque uniquement si le fichier a été modifié depuis la dernière mise à jour des atime données (mtime), ou si le dernier accès au fichier remonte à un certain temps (6 heures par défaut). L'utilisation de l'atimeoption relatime ou optimisera les processus de publication des fichiers.

      Note

      Si votre charge de travail nécessite un temps d'accès précis, vous pouvez utiliser l'option de atime montage. Cela peut toutefois avoir un impact sur les performances de la charge de travail en augmentant le trafic réseau requis pour maintenir des valeurs de temps d'accès précises.

      Si votre charge de travail ne nécessite pas de temps d'accès aux métadonnées, l'utilisation de l'option de noatime montage pour désactiver les mises à jour du temps d'accès peut apporter un gain de performance. Sachez que les processus atime ciblés tels que la publication de fichiers ou la publication de la validité des données seront inexacts lors de leur publication.

    • flock— Active le verrouillage des fichiers pour votre système de fichiers. Si vous ne souhaitez pas activer le verrouillage des fichiers, utilisez la mount commande sansflock.

  3. Vérifiez que la commande mount a réussi en répertoriant le contenu du répertoire dans lequel vous avez monté le système de fichiers/mnt/fsx, à l'aide de la commande suivante.

    ls /mnt/fsx import-path lustre $

    Vous pouvez également utiliser la df commande suivante.

    df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/mountname 3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000

    Les résultats montrent que le système de fichiers Amazon FSx est monté sur /mnt/fsx.

Exécutez votre flux de travail

Maintenant que votre système de fichiers a été créé et monté sur une instance de calcul, vous pouvez l'utiliser pour exécuter votre charge de travail de calcul à hautes performances.

Vous pouvez créer une association de référentiel de données pour lier votre système de fichiers à un référentiel de données Amazon S3. Pour plus d'informations, consultezLier votre système de fichiers à un compartiment S3.

Après avoir lié votre système de fichiers à un référentiel de données Amazon S3, vous pouvez à tout moment exporter les données que vous avez écrites dans votre système de fichiers vers votre compartiment Amazon S3. À partir d'un terminal installé sur l'une de vos instances de calcul, exécutez la commande suivante pour exporter un fichier vers votre compartiment Amazon S3.

sudo lfs hsm_archive file_name

Pour plus d'informations sur la façon d'exécuter rapidement cette commande sur un dossier ou une grande collection de fichiers, consultezExportation de fichiers à l'aide de commandes HSM.

Nettoyage des ressources

Une fois cet exercice terminé, vous devez suivre ces étapes pour nettoyer vos ressources et protéger votre AWS compte.

Pour nettoyer des ressources
  1. Si vous souhaitez effectuer une exportation finale, exécutez la commande suivante.

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
  2. Sur la console Amazon EC2, mettez fin à votre instance. Pour plus d'informations, consultez la section Résiliation de votre instance dans le guide de l'utilisateur Amazon EC2.

  3. Sur la console Amazon FSx for Lustre, supprimez votre système de fichiers en suivant la procédure suivante :

    1. Dans le volet de navigation, sélectionnez Systèmes de fichiers.

    2. Choisissez le système de fichiers que vous souhaitez supprimer dans la liste des systèmes de fichiers du tableau de bord.

    3. Dans Actions, choisissez Supprimer le système de fichiers.

    4. Dans la boîte de dialogue qui apparaît, indiquez si vous souhaitez effectuer une sauvegarde finale du système de fichiers. Indiquez ensuite l'ID du système de fichiers pour confirmer la suppression. Choisissez Supprimer le système de fichiers.

  4. Si vous avez créé un compartiment Amazon S3 pour cet exercice, et si vous ne souhaitez pas conserver les données que vous avez exportées, vous pouvez désormais le supprimer. Pour plus d'informations, consultez Supprimer un compartiment dans le guide de l'utilisateur d'Amazon Simple Storage Service.