Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Commencer à utiliser Amazon FSx for Lustre
Vous découvrirez ci-dessous comment commencer à utiliser Amazon FSx for Lustre. Ces étapes vous expliquent comment créer un système de fichiers Amazon FSx for Lustre et comment y accéder depuis vos instances de calcul. Ils montrent éventuellement comment utiliser votre système de fichiers Amazon FSx for Lustre pour traiter les données de votre compartiment Amazon S3 avec vos applications basées sur des fichiers.
Cet exercice de mise en route comprend les étapes suivantes.
Rubriques
Conditions préalables
Pour effectuer cet exercice de mise en route, vous avez besoin des éléments suivants :
-
Un AWS compte disposant des autorisations nécessaires pour créer un système de fichiers Amazon FSx for Lustre et une instance Amazon EC2. Pour de plus amples informations, veuillez consulter Configuration Amazon FSx pour Lustre.
-
Créez un groupe de sécurité Amazon VPC à associer à votre système de fichiers FSx for Lustre, et ne le modifiez pas après la création du système de fichiers. Pour plus d'informations, consultez Pour créer un groupe de sécurité pour votre système de fichiers Amazon FSx.
-
Une instance Amazon EC2 exécutant une version Linux prise en charge dans votre cloud privé virtuel (VPC) sur la base du service Amazon VPC. Pour cet exercice de mise en route, nous vous recommandons d'utiliser Amazon Linux 2023. Vous allez installer le Lustre client sur cette instance EC2, puis monter votre système de fichiers FSx for Lustre sur l'instance EC2. Pour plus d'informations sur la création d'une instance EC2, consultez Getting started : Launch an instance ou Launch your instance dans le guide de l'utilisateur Amazon EC2.
Outre Amazon Linux 2023, le Lustre client prend en charge les systèmes d'exploitation Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server et Ubuntu. Pour de plus amples informations, veuillez consulter Lustre compatibilité entre le système de fichiers et le noyau client.
-
Lorsque vous créez votre instance Amazon EC2 pour cet exercice de mise en route, gardez à l'esprit les points suivants :
-
Nous vous recommandons de créer votre instance dans votre VPC par défaut.
-
Nous vous recommandons d'utiliser le groupe de sécurité par défaut lors de la création de votre instance EC2.
-
Déterminez le type de système de fichiers Amazon FSx for Lustre que vous souhaitez créer, gratter ou persister. Pour de plus amples informations, veuillez consulter Options de déploiement et de classe de stockage pour les systèmes de fichiers FSx for Lustre.
Chaque système de fichiers FSx for Lustre nécessite une adresse IP pour chaque serveur de métadonnées (MDS) et une adresse IP pour chaque serveur de stockage (OSS). Pour de plus amples informations, veuillez consulter Adresses IP pour les systèmes de fichiers.
Un compartiment Amazon S3 stockant les données à traiter par votre charge de travail. Le compartiment S3 sera le référentiel de données durable lié à votre système de fichiers FSx for Lustre.
Étape 1 : Création de votre système de fichiers FSx for Lustre
Vous créez votre système de fichiers dans la console Amazon FSx. Notez que tous les systèmes de fichiers FSx for Lustre sont basés Lustre sur la version 2.15 lorsqu'ils sont créés à l'aide de la console Amazon FSx.
Pour créer votre système de fichiers .
-
Ouvrez la console Amazon FSx à l'adresse. https://console.aws.amazon.com/fsx/
-
Dans le tableau de bord, choisissez Créer un système de fichiers pour démarrer l'assistant de création de système de fichiers.
-
Choisissez FSx for Lustrepuis cliquez sur Suivant pour afficher la page Créer un système de fichiers.
Commencez votre configuration par la section Détails du système de fichiers.
-
Pour Nom du système de fichiers facultatif, indiquez le nom de votre système de fichiers. Vous pouvez utiliser jusqu'à 256 lettres Unicode, espaces blancs et chiffres, ainsi que les caractères spéciaux + - =. _ :/.
-
Pour Déploiement et classe de stockage, choisissez l'une des options suivantes :
Choisissez un SSD persistant pour le stockage à long terme et pour les charges de travail sensibles à la latence. Dans le cas du stockage SSD, la quantité de stockage que vous fournissez vous est facturée.
Vous pouvez également choisir d'activer EFA pour activer la prise en charge d'Elastic Fabric Adapter (EFA) pour le système de fichiers. Pour plus d'informations sur l'EFA, consultezUtilisation de systèmes EFA-enabled de fichiers.
Choisissez Persistent Intelligent-Tiering pour un stockage à long terme. La classe Intelligent-Tiering de stockage fournit un stockage entièrement élastique et économique adapté à la plupart des charges de travail, ainsi qu'un cache de lecture SSD en option qui fournit des latences SSD pour la lecture des données fréquemment consultées. Avec Intelligent-Tiering, les données que vous stockez vous sont facturées, en fonction de la taille de votre jeu de données, et vous n'avez pas besoin de spécifier la taille du système de fichiers.
Vous pouvez également choisir d'activer EFA pour activer la prise en charge d'Elastic Fabric Adapter (EFA) pour le système de fichiers.
Choisissez Scratch, le déploiement de SSD pour le stockage temporaire et le traitement des données à court terme. Dans le cas du stockage SSD, la quantité de stockage que vous fournissez vous est facturée.
-
Choisissez le débit de votre système de fichiers. Vous payez le débit que vous allouez.
Pour le stockage SSD persistant, choisissez une valeur de débit par unité de stockage. Le débit par unité de stockage est le débit de lecture et d'écriture pour chaque tebioctet (TiB) de stockage provisionné.
Pour le stockage SSD Scratch, choisissez une valeur de débit par unité de stockage.
Pour le Intelligent-Tiering stockage, choisissez une valeur de capacité de débit.
-
Pour Capacité de stockage (classe de stockage SSD uniquement), définissez la capacité de stockage de votre système de fichiers, en To :
Pour un type de déploiement SSD persistant, définissez-le sur une valeur de 1,2 TiB, 2,4 TiB ou par incréments de 2,4 TiB.
Pour un type de déploiement SSD persistantEFA-enabled, définissez cette valeur par incréments de 4,8 TiB, 9,6 TiB, 19,2 TiB et 38,4 TiB pour 1 000, 500, 250 et 125 niveaux de débit, respectivement. MBps/TiB
Vous pouvez augmenter la capacité de stockage selon vos besoins après avoir créé le système de fichiers. Pour de plus amples informations, veuillez consulter Gestion de la capacité de stockage.
-
Pour la configuration des métadonnées, choisissez l'une des options suivantes pour définir le nombre d'IOPS de métadonnées pour votre système de fichiers :
-
Choisissez Automatique (classe de stockage SSD uniquement) si vous souhaitez qu'Amazon FSx for Lustre provisionne et adapte automatiquement les IOPS de métadonnées sur votre système de fichiers en fonction de la capacité de stockage de ce dernier.
-
Choisissez User-provisionedsi vous souhaitez spécifier le nombre d'IOPS de métadonnées à provisionner pour votre système de fichiers avec SSD ou classe Intelligent-Tiering de stockage. Les valeurs valides sont les suivantes :
Pour les systèmes de fichiers SSD, les valeurs valides sont
15003000,6000,12000, et des multiples12000allant jusqu'à un maximum de192000.Pour les systèmes de Intelligent-Tiering fichiers, les valeurs valides sont
6000et12000.
Pour plus d'informations sur les IOPS des métadonnées, consultezLustre configuration des performances des métadonnées.
-
-
Pour le cache de lecture SSD (Intelligent-Tiering uniquement), sélectionnez Automatique (proportionnel à la capacité de débit) ou Personnalisé (provisionné par l'utilisateur). Avec l'option Automatique, Amazon FSx for Lustre choisit automatiquement une taille de cache de lecture en fonction du débit que vous avez configuré. Si vous connaissez la taille approximative de votre ensemble de données de travail actif, vous pouvez sélectionner Personnalisé pour personnaliser la taille du cache de lecture SSD. Pour de plus amples informations, veuillez consulter Gestion du cache de lecture SSD provisionné.
-
Pour le type de compression des données, choisissez AUCUN pour désactiver la compression des données ou choisissez LZ4 pour activer la compression des données avec l'algorithme LZ4. Pour de plus amples informations, veuillez consulter Lustre compression de données.
-
Dans la section Réseau et sécurité, fournissez les informations suivantes sur le réseau et le groupe de sécurité :
Pour Virtual Private Cloud (VPC), choisissez le VPC que vous souhaitez associer à votre système de fichiers. Pour cet exercice de mise en route, choisissez le même VPC que celui que vous avez choisi pour votre instance Amazon EC2.
Pour les groupes de sécurité VPC, l'ID du groupe de sécurité par défaut de votre VPC doit déjà être ajouté.
Si vous n'utilisez pas le groupe de sécurité par défaut, assurez-vous que la règle entrante suivante est ajoutée au groupe de sécurité que vous utilisez pour cet exercice de démarrage.
Type Protocole Plage de ports Source Description Tous les TCP TCP 0-65535 Personnalisé the_ID_of_this_security_groupRègle relative au Lustre trafic entrant Important
Assurez-vous que le groupe de sécurité que vous utilisez suit les instructions de configuration fournies dansContrôle d'accès au système de fichiers avec Amazon VPC. Vous devez configurer le groupe de sécurité pour autoriser le trafic entrant sur les ports 988 et 1018-1023 à partir du groupe de sécurité lui-même ou du CIDR du sous-réseau complet, qui est nécessaire pour permettre aux hôtes du système de fichiers de communiquer entre eux.
Si vous créez un système de EFA-enabled fichiers, assurez-vous de spécifier un groupe EFA-enabled de sécurité.
Pour Sous-réseau, choisissez n'importe quelle valeur dans la liste des sous-réseaux disponibles.
-
Pour la section Chiffrement, les options disponibles varient en fonction du type de système de fichiers que vous créez :
-
Dans le cas d'un système de fichiers persistant, vous pouvez choisir une clé de chiffrement AWS Key Management Service (AWS KMS) pour chiffrer les données de votre système de fichiers au repos.
-
Dans le cas d'un système de fichiers Scratch, les données au repos sont chiffrées à l'aide de clés gérées par AWS.
-
Pour les systèmes de fichiers Scratch 2 et persistants, les données en transit sont chiffrées automatiquement lorsque le système de fichiers est accessible à partir d'un type d'instance Amazon EC2 pris en charge. Pour de plus amples informations, veuillez consulter chiffrement des données en transit.
-
-
Pour la section Import/Export facultative du référentiel de données, la liaison de votre système de fichiers aux référentiels de données Amazon S3 est désactivée par défaut. Pour plus d'informations sur l'activation de cette option et la création d'une association de référentiel de données à un compartiment S3 existant, consultezPour lier un compartiment S3 lors de la création d'un système de fichiers (console).
Important
La sélection de cette option désactive également les sauvegardes et vous ne pourrez pas les activer lors de la création du système de fichiers.
Si vous liez un ou plusieurs systèmes de fichiers Amazon FSx for Lustre à un compartiment Amazon S3, ne supprimez pas le compartiment Amazon S3 tant que tous les systèmes de fichiers liés n'ont pas été supprimés.
Intelligent-Tiering les systèmes de fichiers ne prennent pas en charge les liens vers les référentiels de données Amazon S3.
-
Pour la journalisation facultative, la journalisation est activée par défaut. Lorsque cette option est activée, les défaillances et les avertissements relatifs à l'activité du référentiel de données sur votre système de fichiers sont enregistrés dans Amazon CloudWatch Logs. Pour plus d'informations sur la configuration de la journalisation, consultezGestion de la journalisation.
-
Dans Backup and maintenance optional, vous pouvez effectuer les opérations suivantes.
-
Désactivez la sauvegarde automatique quotidienne. Cette option est activée par défaut, sauf si vous avez activé le référentiel de données Import/Export.
-
Définissez l'heure de début de la fenêtre de sauvegarde automatique quotidienne.
-
Définissez la période de conservation automatique des sauvegardes, comprise entre 1 et 35 jours.
-
Définissez l'heure de début de la fenêtre de maintenance hebdomadaire ou conservez-la sur la valeur par défaut Aucune préférence.
Pour plus d’informations, consultez Protection de vos données grâce à des sauvegardes et Fenêtres de maintenance Amazon FSx for Lustre.
-
-
Pour Root Squash (facultatif), le root squash est désactivé par défaut. Pour plus d'informations sur l'activation et la configuration de Root Squash, consultezPour activer Root Squash lors de la création d'un système de fichiers (console).
-
Créez les balises que vous souhaitez appliquer à votre système de fichiers.
-
Choisissez Suivant pour afficher la page récapitulative de la création d'un système de fichiers.
-
Passez en revue les paramètres de votre système de fichiers Amazon FSx for Lustre, puis choisissez Create file system.
Maintenant que vous avez créé votre système de fichiers, notez son nom de domaine complet et son nom de montage pour une étape ultérieure. Vous pouvez trouver le nom de domaine complet et le nom de montage d'un système de fichiers en choisissant le nom du système de fichiers dans le tableau de bord des systèmes de fichiers, puis en choisissant Attacher.
Étape 2 : Installation et configuration du Lustre client
Avant de pouvoir accéder à votre système de fichiers Amazon FSx for Lustre depuis votre instance Amazon EC2, vous devez effectuer les opérations suivantes :
Vérifiez que votre instance EC2 répond aux exigences minimales du noyau.
Mettez à jour le noyau si nécessaire.
Téléchargez et installez le Lustre client.
Pour vérifier la version du noyau et télécharger le Lustre client
-
Ouvrez une fenêtre de terminal sur votre instance EC2.
-
Déterminez quel noyau est actuellement en cours d'exécution sur votre instance de calcul en exécutant la commande suivante.
uname -r -
Effectuez l’une des actions suivantes :
-
Si la commande est renvoyée
6.1.79-99.167.amzn2023.x86_64pour les instances EC2 basées sur x86,6.1.79-99.167.amzn2023.aarch64ou une version ultérieure pour les instances Graviton2-based EC2, téléchargez et installez le Lustre client à l'aide de la commande suivante.sudo dnf install -y lustre-client -
Si la commande renvoie un résultat inférieur à celui
6.1.79-99.167.amzn2023.x86_64des instances EC2 basées sur x86, ou inférieur6.1.79-99.167.amzn2023.aarch64à celui des instances Graviton2-based EC2, mettez à jour le noyau et redémarrez votre instance Amazon EC2 en exécutant la commande suivante.sudo dnf -y update kernel && sudo rebootVérifiez que le noyau a été mis à jour à l'aide de la uname -r commande. Téléchargez et installez ensuite le Lustre client comme décrit ci-dessus.
Pour plus d'informations sur l'installation du Lustre client sur d'autres distributions Linux, consultezInstallation de la Lustre client.
-
Étape 3 : monter le système de fichiers
Pour monter votre système de fichiers, vous allez créer un répertoire de montage, ou point de montage, puis monter le système de fichiers sur votre client et vérifier que celui-ci peut accéder au système de fichiers.
Pour monter votre système de fichiers
-
Créez un répertoire pour le montage point à l’aide de la commande suivante.
sudo mkdir -p /mnt/fsx -
Montez le système de fichiers Amazon FSx for Lustre dans le répertoire que vous avez créé. Utilisez la commande suivante et remplacez les éléments suivants :
Remplacez
par le nom du système de noms de domaine (DNS) actuel du système de fichiers.file_system_dns_nameRemplacez-le par le nom de montage du système de fichiers, que vous pouvez obtenir en exécutant la describe-file-systems AWS CLI commande ou en exécutant l'opération DescribeFileSystemsAPI.mountname
sudo mount -t lustre -o relatime,flockfile_system_dns_name@tcp:/mountname/mnt/fsxCette commande permet de monter votre système de fichiers avec deux options,
-o relatimeetflock:-
relatime— Bien que l'atimeoption conserveatime(temps d'accès aux inodes) les données pour chaque accès à un fichier, elle conserve également lesrelatimeatimedonnées, mais pas pour chaque accès à un fichier. Lorsque l'relatimeoption est activée, lesatimedonnées sont écrites sur le disque uniquement si le fichier a été modifié depuis la dernière mise à jour desatimedonnées (mtime), ou si le dernier accès au fichier remonte à un certain temps (6 heures par défaut). L'utilisation de l'atimeoptionrelatimeou optimisera les processus de publication des fichiers.Note
Si votre charge de travail nécessite un temps d'accès précis, vous pouvez utiliser l'option de
atimemontage. Cela peut toutefois avoir un impact sur les performances de la charge de travail en augmentant le trafic réseau requis pour maintenir des valeurs de temps d'accès précises.Si votre charge de travail ne nécessite pas de temps d'accès aux métadonnées, l'utilisation de l'option de
noatimemontage pour désactiver les mises à jour du temps d'accès peut apporter un gain de performances. Sachez que les processusatimeciblés tels que la publication de fichiers ou la publication de la validité des données seront inexacts lors de leur publication. -
flock— Active le verrouillage des fichiers pour votre système de fichiers. Si vous ne souhaitez pas activer le verrouillage des fichiers, utilisez lamountcommande sansflock.
-
Vérifiez que la commande mount a réussi en répertoriant le contenu du répertoire dans lequel vous avez monté le système de fichiers
/mnt/fsx, à l'aide de la commande suivante.ls /mnt/fsximport-path lustre $Vous pouvez également utiliser la
dfcommande suivante.df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/mountname3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000Les résultats indiquent que le système de fichiers Amazon FSx est monté sur/. mnt/fsx
Étape 4 : Exécutez votre flux de travail
Maintenant que votre système de fichiers a été créé et monté sur une instance de calcul, vous pouvez l'utiliser pour exécuter votre charge de travail de calcul à hautes performances.
Vous pouvez créer une association de référentiel de données pour lier votre système de fichiers à un référentiel de données Amazon S3. Pour plus d'informations, consultezLier votre système de fichiers à un compartiment Amazon S3.
Après avoir lié votre système de fichiers à un référentiel de données Amazon S3, vous pouvez à tout moment exporter les données que vous avez écrites dans votre système de fichiers vers votre compartiment Amazon S3. À partir d'un terminal installé sur l'une de vos instances de calcul, exécutez la commande suivante pour exporter un fichier vers votre compartiment Amazon S3.
sudo lfs hsm_archivefile_name
Pour plus d'informations sur la façon d'exécuter rapidement cette commande sur un dossier ou une grande collection de fichiers, consultezExportation de fichiers à l'aide de commandes HSM.
Étape 5 : Nettoyer les ressources
Une fois cet exercice terminé, vous devez suivre ces étapes pour nettoyer vos ressources et protéger votre AWS compte.
Pour nettoyer des ressources
-
Si vous souhaitez effectuer une exportation finale, exécutez la commande suivante.
nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive & -
Sur la console Amazon EC2, mettez fin à votre instance. Pour plus d’informations, consultez Résilier une instance dans le Guide de l’utilisateur Amazon EC2.
-
Sur la console Amazon FSx for Lustre, supprimez votre système de fichiers en suivant la procédure suivante :
-
Dans le volet de navigation, sélectionnez Systèmes de fichiers.
-
Choisissez le système de fichiers que vous souhaitez supprimer dans la liste des systèmes de fichiers du tableau de bord.
-
Dans Actions, choisissez Supprimer le système de fichiers.
-
Dans la boîte de dialogue qui apparaît, indiquez si vous souhaitez effectuer une sauvegarde finale du système de fichiers. Indiquez ensuite l'ID du système de fichiers pour confirmer la suppression. Choisissez Supprimer le système de fichiers.
-
-
Si vous avez créé un compartiment Amazon S3 pour cet exercice, et si vous ne souhaitez pas conserver les données que vous avez exportées, vous pouvez désormais le supprimer. Pour plus d'informations, consultez Supprimer un compartiment dans le guide de l'utilisateur d'Amazon Simple Storage Service.