Commencez avec EFA et MPI pour les HPC charges de travail sur Amazon EC2

Ouvrez la EC2 console Amazon à l'adresse https://console.aws.amazon.com/ec2/.

Dans le panneau de navigation, choisissez Security Groups (Groupes de sécurité), puis Create security group (Créer un groupe de sécurité).

Dans la fenêtre Create security group (Créer un groupe de sécurité), procédez comme suit :

1. Pour Nom du groupe de sécurité, saisissez un nom descriptif pour le groupe de sécurité, tel que EFA-enabled security group.

2. (Facultatif) Pour Description, saisissez une brève description du groupe de sécurité.

3. Pour VPC, sélectionnez l'instance VPC dans laquelle vous souhaitez lancer vos instances EFA activées.

4. Sélectionnez Create security group (Créer un groupe de sécurité).

Sélectionnez le groupe de sécurité que vous avez créé et dans l’onglet Details (Détails), copiez le Security group ID (ID du groupe de sécurité).

En conservant la sélection du groupe de sécurité, choisissez Actions, Edit inbound rules (Modifier les règles entrantes), puis procédez comme suit :

1. Choisissez Ajouter une règle.

2. Pour Type, sélectionnez Tout le trafic.

3. Pour Source type (Type de source), choisissez Custom (Personnalisée) et collez l’ID du groupe de sécurité que vous avez copié dans le champ.

4. Choisissez Ajouter une règle.

5. Pour Type, sélectionnez SSH.

6. Pour Type de source, choisissez Anywhere- IPv4.

7. Sélectionnez Enregistrer les règles.

En conservant la sélection du groupe de sécurité, choisissez Actions, Edit outbound rules (Modifier les règles sortantes), puis procédez comme suit :

1. Choisissez Ajouter une règle.

2. Pour Type, sélectionnez Tout le trafic.

3. Pour Destination type (Type de destination), choisissez Custom (Personnalisée) et collez l’ID du groupe de sécurité que vous avez copié dans le champ.

4. Sélectionnez Enregistrer les règles.

Ouvrez la EC2 console Amazon à l'adresse https://console.aws.amazon.com/ec2/.

Dans le volet de navigation, choisissez Instances, puis Launch Instances (Lancer des instances) pour ouvrir le nouvel assistant de lancement d’instance.

(Facultatif) Dans la section Name and tags (Noms et identifications), fournissez un nom pour l’instance, tel que EFA-instance. Le nom est attribué à l’instance en tant qu’identification de ressource (Name=EFA-instance).

Dans la section Images de l'application et du système d'exploitation, sélectionnez un AMI pour l'un des systèmes d'exploitation pris en charge.

Dans la section Instance type (Type d’instance), sélectionnez un type d’instance pris en charge.

Dans la section Key pair (Paire de clés), sélectionnez la paire de clés à utiliser pour l’instance.

Dans la section Network settings (Paramètres réseau), choisissez Edit (Modifier), puis procédez comme suit :

1. Pour Sous-réseau, choisissez le sous-réseau dans lequel lancer l’instance. Si vous ne sélectionnez pas de sous-réseau, vous ne pouvez pas activer l'instance pourEFA.

2. Pour Firewall (security groups) (Pare-feu (groupes de sécurité)), choisissez Sélectionner un groupe de sécurité existant (Select existing security group), puis sélectionnez le groupe de sécurité que vous avez créé à l’étape précédente.

3. Développez la section Configuration réseau avancée.

   Pour l'interface réseau 1, sélectionnez Index de la carte réseau = 0, Index du périphérique = 0 et Type d'interface = EFA avec ENA.

   (Facultatif) Si vous utilisez un type d'instance multicarte, tel que p4d.24xlarge oup5.48xlarge, pour chaque interface réseau supplémentaire requise, choisissez Ajouter une interface réseau, pour Index de carte réseau, sélectionnez le prochain index non utilisé, puis sélectionnez Index du périphérique = 1 et Type d'interface = EFA avec ENA ou EFA-only.

Dans la section Storage (Stockage), configurez les volumes selon vos besoins.

Dans le panneau Summary (Récapitulatif) à droite, choisissez Launch instance (Lancer l’instance).

Connectez-vous à l’instance que vous avez lancée. Pour de plus amples informations, veuillez consulter Connectez-vous à votre instance Linux à l'aide de SSH.

Pour vous assurer que tous vos packages logiciels sont mis à jour, effectuez une mise à jour logicielle rapide sur votre instance. Ce processus peut prendre quelques minutes.

Redémarrez l’instance et reconnectez-vous à celle-ci.

Téléchargez les fichiers d'installation du logiciel EFA. Les fichiers d’installation du logiciel sont packagés dans un fichier d’archive compressé (.tar.gz). Pour télécharger la version stable la plus récente, utilisez la commande suivante.

$ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.37.0.tar.gz

Vous pouvez aussi obtenir la dernière version en remplaçant le numéro de version par latest dans la commande ci-dessus.

Procédez à l’extraction des fichiers à partir du fichier compressé .tar.gz et accédez au répertoire extrait.

$ tar -xf aws-efa-installer-1.37.0.tar.gz && cd aws-efa-installer

Installez le logiciel EFA. Effectuez l’une des actions suivantes en fonction de votre cas d’utilisation.

Si le EFA programme d'installation vous invite à redémarrer l'instance, faites-le et reconnectez-vous à l'instance. Sinon, déconnectez-vous de l’instance, puis reconnectez-vous pour terminer l’installation.

Ajoutez Open MPI 5 à la variable d'PATHenvironnement.

$ module load openmpi5

Vérifier qu'Open MPI 5 est activé pour être utilisé.

$ which mpicc

La commande doit renvoyer le répertoire d'installation Open MPI 5 -/opt/amazon/openmpi5.

(Facultatif) Pour vous assurer qu'Open MPI 5 est ajouté à la variable d'PATHenvironnement à chaque démarrage de l'instance, procédez comme suit :

Pour télécharger le script MPI d'installation d'Intel, procédez comme suit :

1. Visitez le site web d’Intel.

2. Dans la section MPIBibliothèque Intel de la page Web, cliquez sur le lien du programme d'installation hors ligne de la MPIbibliothèque Intel pour Linux.

Exécutez le script d’installation que vous avez téléchargé à l’étape précédente.

$ sudo bash installation_script_name.sh

Dans le programme d’installation, choisissez Accept & install (Accepter et installer).

Lisez le programme Intel Improvement Program, choisissez l’option appropriée, puis choisissez Begin Installation (Démarrer l’installation).

Une fois l’installation terminée, choisissez Fermer.

Par défaut, Intel MPI utilise sa bibliothèque embarquée (interne) Libfabric. Vous pouvez configurer Intel MPI pour qu'il utilise plutôt la bibliothèque Libfabric livrée avec le EFA programme d'installation. Généralement, le EFA programme d'installation est livré avec une version de Libfabric plus récente que celle d'IntelMPI. Dans certains cas, la bibliothèque Libfabric fournie avec le EFA programme d'installation est plus performante que celle d'IntelMPI. Pour configurer Intel MPI afin qu'il utilise la bibliothèque Libfabric fournie avec le EFA programme d'installation, effectuez l'une des opérations suivantes en fonction de votre shell.

Ajoutez la commande source suivante à votre script shell afin d’extraire le script vars.sh du répertoire d’installation pour configurer l’environnement du compilateur à chaque démarrage de l’instance. Effectuez l’une des actions suivantes en fonction de votre shell.

Par défaut, si elle n'EFAest pas disponible en raison d'une mauvaise configuration, Intel MPI utilise par défaut la pile réseau TCP /IP, ce qui peut entraîner un ralentissement des performances des applications. Vous pouvez empêcher cela en définissant I_MPI_OFI_PROVIDER sur efa. Cela entraîne MPI l'échec d'Intel avec l'erreur suivante si ce n'EFAest pas disponible :

Abort (XXXXXX) on node 0 (rank 0 in comm 0): Fatal error in PMPI_Init: OtherMPI error,
MPIR_Init_thread (XXX)........:	
MPID_Init (XXXX)..............:
MPIDI_OFI_mpi_init_hook (XXXX):
open_fabric (XXXX)............:
find_provider (XXXX)..........:
OFI fi_getinfo() failed (ofi_init.c:2684:find_provider:

Effectuez l’une des actions suivantes en fonction de votre shell.

Par défaut, Intel MPI n'imprime pas d'informations de débogage. Vous pouvez spécifier différents niveaux de verbosité pour contrôler les informations de débogage. Les valeurs possibles (dans l’ordre de la quantité de détails qu’elles fournissent) sont : 0 (par défaut), 1, 2, 3, 4, 5. Le niveau 1 et les niveaux supérieurs impriment le résultat de libfabric version et de libfabric provider. libfabric versionÀ utiliser pour vérifier si Intel MPI utilise la bibliothèque Libfabric interne ou celle fournie avec le EFA programme d'installation. S’il utilise la bibliothèque Libfabric interne, la version est suffixée par impi. libfabric providerÀ utiliser pour vérifier si Intel MPI utilise EFA ou si le réseau TCP /IP. S'il utiliseEFA, la valeur estefa. S'il utilise TCP /IP, la valeur esttcp;ofi_rxm.

Pour activer les informations de débogage, effectuez l’une des opérations suivantes en fonction de votre shell.

Par défaut, Intel MPI utilise la mémoire partagée du système d'exploitation (shm) pour la communication intra-nœud, et elle utilise Libfabric (ofi) uniquement pour la communication inter-nœuds. En général, cette configuration fournit les meilleures performances. Toutefois, dans certains cas, la structure shm d'Intel MPI shm peut provoquer le blocage indéfini de certaines applications.

Pour résoudre ce problème, vous pouvez forcer Intel MPI à utiliser Libfabric pour les communications intra-nœud et inter-nœuds. Pour ce faire, effectuez l’une des opérations suivantes en fonction de votre shell.

Déconnectez-vous de l’instance, puis reconnectez-vous.

Pour vérifier que l'installation MPI a été effectuée avec succès, exécutez la commande suivante :

$ which mpicc

Pour vérifier que les composants EFA logiciels et Libfabric ont été correctement installés, exécutez la commande suivante.

$ fi_info -p efa -t FI_EP_RDM

La commande doit renvoyer des informations sur les EFA interfaces Libfabric. L’exemple suivant illustre la sortie de la commande.

provider: efa
    fabric: EFA-fe80::94:3dff:fe89:1b70
    domain: efa_0-rdm
    version: 2.0
    type: FI_EP_RDM
    protocol: FI_PROTO_EFA

Ouvrez la EC2 console Amazon à l'adresse https://console.aws.amazon.com/ec2/.

Dans le panneau de navigation, choisissez Instances.

Sélectionnez l’instance temporaire que vous avez créée et choisissez Actions, Image, Créer une image.

Pour Créer une image, procédez comme suit :

1. Pour Nom de l'image, saisissez un nom descriptif pour l'AMI.

2. (Facultatif) Dans le champ Description de l'image, saisissez une brève description de l'objectif deAMI.

3. Choisissez Create image (Créer une image).

Dans le panneau de navigation, choisissez AMIs.

Recherchez le à AMI l'écran que vous avez créé dans la liste. Attendez que le statut passe de pending à available avant de poursuivre avec l’étape suivante.

Ouvrez la EC2 console Amazon à l'adresse https://console.aws.amazon.com/ec2/.

Dans le volet de navigation, choisissez Instances, puis Launch Instances (Lancer des instances) pour ouvrir le nouvel assistant de lancement d’instance.

(Facultatif) Dans la section Name and tags (Noms et identifications), fournissez un nom pour l’instance, tel que EFA-instance. Le nom est attribué à l’instance en tant qu’identification de ressource (Name=EFA-instance).

Dans la section Application and OS Images (Mes applications et systèmes d'exploitation)AMIs, choisissez My (Mes Mes), puis sélectionnez AMI celle que vous avez créée à l'étape précédente.

Dans la section Instance type (Type d’instance), sélectionnez un type d’instance pris en charge.

Dans la section Key pair (Paire de clés), sélectionnez la paire de clés à utiliser pour l’instance.

Dans la section Network settings (Paramètres réseau), choisissez Edit (Modifier), puis procédez comme suit :

1. Pour Sous-réseau, choisissez le sous-réseau dans lequel lancer l’instance. Si vous ne sélectionnez pas de sous-réseau, vous ne pouvez pas activer l'instance pourEFA.

2. Pour Firewall (security groups) (Pare-feu (groupes de sécurité)), choisissez Sélectionner un groupe de sécurité existant (Select existing security group), puis sélectionnez le groupe de sécurité que vous avez créé à l’étape précédente.

3. Développez la section Configuration réseau avancée.

   Pour l'interface réseau 1, sélectionnez Index de la carte réseau = 0, Index du périphérique = 0 et Type d'interface = EFA avec ENA.

   (Facultatif) Si vous utilisez un type d'instance multicarte, tel que p4d.24xlarge oup5.48xlarge, pour chaque interface réseau supplémentaire requise, choisissez Ajouter une interface réseau, pour Index de carte réseau, sélectionnez le prochain index non utilisé, puis sélectionnez Index du périphérique = 1 et Type d'interface = EFA avec ENA ou EFA-only.

(Facultatif) Dans la section Storage (Stockage), configurez les volumes selon vos besoins.

Dans la section Advanced details (Détails avancés), pour Placement group name (Nom du groupe de placement), sélectionnez le groupe de placement du cluster dans lequel lancer les instances. Si vous avez besoin de créer un groupe de placement du cluster, choisissez Create new placement group (Créer un groupe de placement).

Dans le panneau Résumé de droite, pour Nombre d'instances, entrez le nombre d'instances EFA activées que vous souhaitez lancer, puis choisissez Launch instance.

Ouvrez la EC2 console Amazon à l'adresse https://console.aws.amazon.com/ec2/.

Dans le panneau de navigation, choisissez Instances.

Sélectionnez l'instance temporaire que vous avez créée, puis choisissez Actions, État de l'instance, Terminer (supprimer) l'instance.

Lorsque vous êtes invité à confirmer, choisissez Terminate (supprimer).

Sélectionnez une instance dans le cluster en tant que nœud principal et connectez-vous à celle-ci.

Désactivez strictHostKeyChecking et activez ForwardAgent sur le nœud principal. Ouvrez le fichier ~/.ssh/config à l’aide de l’éditeur de texte de votre choix et ajoutez ce qui suit.

Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

Générez une paire de RSA clés.

$ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

La paire de clés est créée dans le répertoire $HOME/.ssh/.

Modifiez les autorisations de la clé privée sur le nœud principal.

$ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

Ouvrez ~/.ssh/id_rsa.pub à l’aide de l’éditeur de texte de votre choix et copiez la clé.

Pour chaque nœud membre du cluster, procédez comme suit :

1. Connectez-vous à l’instance.

2. Ouvrez ~/.ssh/authorized_keys à l’aide de l’éditeur de texte de votre choix et ajoutez la clé publique que vous avez copiée plus tôt.

Pour tester que le sans mot de passe SSH fonctionne comme prévu, connectez-vous à votre nœud principal et exécutez la commande suivante.

$ ssh member_node_private_ip

Vous devez vous connecter au nœud membre sans être invité à entrer une clé ou un mot de passe.