View a markdown version of this page

Utilisation de systèmes EFA-enabled de fichiers - FSx pour Lustre

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de systèmes EFA-enabled de fichiers

Si vous créez un système de fichiers avec une capacité de débit supérieure à 10 Gbit/s, nous vous recommandons d'activer Elastic Fabric Adapter (EFA) pour optimiser le débit par instance client. EFA est une interface réseau hautes performances qui utilise une technique de contournement du système d'exploitation personnalisée et le protocole réseau AWS Scalable Reliable Datagram (SRD) pour améliorer les performances. Pour plus d'informations sur EFA, consultez la section Adapter Elastic Fabric pour AI/ML et les charges de travail HPC sur Amazon EC2 dans le guide de l'utilisateur Amazon EC2.

EFA-enabled les systèmes de fichiers prennent en charge deux fonctionnalités de performance supplémentaires : GPUDirect Storage (GDS) et ENA Express. La prise en charge du GDS s'appuie sur EFA pour améliorer encore les performances en permettant le transfert direct de données entre le système de fichiers et la mémoire du GPU, en contournant le processeur. Ce chemin direct élimine le besoin de copies de mémoire redondantes et l'implication du processeur dans les opérations de transfert de données. Grâce à la prise en charge d'EFA et de GDS, vous pouvez atteindre un débit plus élevé pour les instances EFA-enabled clientes individuelles. ENA Express fournit une communication réseau optimisée pour les instances Amazon EC2 à l'aide d'un algorithme de sélection de chemin avancé et d'un mécanisme de contrôle de congestion amélioré. Grâce à la prise en charge d'ENA Express, vous pouvez atteindre un débit plus élevé pour chaque instance Express-enabled cliente ENA. Pour plus d'informations sur ENA Express, voir Améliorer les performances réseau entre les instances EC2 avec ENA Express dans le guide de l'utilisateur Amazon EC2.

Considérations relatives à l'utilisation de systèmes de EFA-enabled fichiers

Voici quelques éléments importants à prendre en compte lors de la création de systèmes de EFA-enabled fichiers :

  • Plusieurs options de connectivité : les systèmes de EFA-enabled fichiers peuvent communiquer avec les instances clientes via ENA, ENA Express et EFA.

  • Type de déploiement : EFA est pris en charge sur les systèmes de fichiers Persistent 2 avec une configuration de métadonnées spécifiée, y compris les systèmes de fichiers utilisant la classe Intelligent-Tiering de stockage.

  • Mise à jour du paramètre EFA : vous pouvez choisir d'activer EFA lorsque vous créez un nouveau système de fichiers, mais vous ne pouvez pas activer ou désactiver EFA sur un système de fichiers existant.

  • Adaptation du débit à la capacité de stockage : vous pouvez adapter la capacité de stockage d'un système de EFA-enabled SSD-based fichiers pour augmenter la capacité de débit, mais vous ne pouvez pas modifier le niveau de débit d'un système de EFA-enabled fichiers.

  • Régions AWS: pour obtenir la liste des systèmes de fichiers Régions AWS qui prennent en charge EFA-enabled Persistent 2, consultezDisponibilité du type de déploiement.

Conditions préalables à l'utilisation des systèmes de EFA-enabled fichiers

Les conditions préalables à l'utilisation des systèmes de EFA-enabled fichiers sont les suivantes :

Pour créer votre système de EFA-enabled fichiers :

  • Utilisez un groupe EFA-enabled de sécurité. Pour plus d’informations, consultez EFA-enabled groupes de sécurité.

  • Utilisez la même zone de disponibilité et le même CIDR /16 que vos instances EFA-enabled clientes au sein de votre Amazon VPC.

  • Sur les systèmes de Intelligent-Tiering fichiers, EFA n'est pris en charge qu'avec une capacité de débit de 4 000 Mbit/s ou des incréments de 4 000 Mbit/s.

Pour accéder à votre système de fichiers à l'aide d'Elastic Fabric Adapter (EFA) :

  • Utilisez des instances EC2 Nitro v4 (ou version ultérieure) qui prennent en charge EFA, à l'exception de la famille d'instances trn2. Consultez la section Types d'instances pris en charge dans le guide de l'utilisateur Amazon EC2.

  • Exécutez AL2023, RHEL 9.5 et versions ultérieures, ou Ubuntu 22+ avec la version du noyau 6.8 et plus récente. Pour plus d’informations, consultez Installation de la   Lustre client.

  • Installez les modules EFA et configurez les interfaces EFA sur vos instances clientes. Pour plus d’informations, consultez Configuration des clients EFA.

Pour accéder à votre système de fichiers à l'aide de GPUdirect Storage (GDS) :

  • Utilisez une instance Amazon EC2 P5, P5e, P5en ou cliente. P6-B200 P6-B300

  • Installez le package NVIDIA Compute Unified Device Architecture (CUDA), le pilote open source NVIDIA et le pilote de stockage NVIDIA GPUdirect sur votre instance cliente. Pour plus d’informations, consultez Installez le pilote GDS (facultatif).

Pour accéder à votre système de fichiers à l'aide d'ENA Express :

Création d'un système EFA-enabled de fichiers

Cette section contient des instructions sur la façon de créer un système de EFA-enabled fichiers FSx pour Lustre à l'aide du AWS CLI. Pour plus d'informations sur la création d'un système de EFA-enabled fichiers à l'aide de la console Amazon FSx, consultezÉtape 1 : Création de votre système de fichiers FSx for Lustre.

Utilisez la commande CLI create-file-system (ou l'opération d'API équivalente CreateFileSystem). L'exemple suivant crée un système de EFA-enabled fichiers FSx pour Lustre avec un type de PERSISTENT_2 déploiement.

aws fsx create-file-system\ --storage-capacity 4800 \ --storage-type SSD \ --file-system-type LUSTRE \ --file-system-type-version 2.15 \ --subnet-ids subnet-01234567890 \ --security-group-ids sg-0123456789abcdefg \ --lustre-configuration '{"DeploymentType": "PERSISTENT_2", "EfaEnabled": true}'

Une fois le système de fichiers créé avec succès, Amazon FSx renvoie la description du système de fichiers au format JSON.