Nozioni di base su EFA e MPI

Apri la console Amazon EC2 all'indirizzo https://console.aws.amazon.com/ec2/.

Nel riquadro di navigazione, scegliere Security Groups (Gruppi di sicurezza) e quindi Create Security Group (Crea gruppo di sicurezza).

Nella finestra Create Security Group (Crea gruppo di sicurezza) effettuare le operazioni seguenti:

1. In Nome gruppo di sicurezza, immettere un nome descrittivo per il gruppo di sicurezza, ad esempio EFA-enabled security group.

2. (Facoltativo) In Description (Descrizione), inserire una breve descrizione del gruppo di sicurezza.

3. In VPC, selezionare il VPC in cui avviare le istanze abilitate per EFA.

4. Scegliere Create Security Group (Crea gruppo di sicurezza).

Seleziona il gruppo di sicurezza creato e nella scheda Details (Dettagli) copia il valore Security group ID (ID gruppo di sicurezza).

Dopo aver selezionato il gruppo di sicurezza, scegli Actions (Operazioni), Edit inbound rules (Modifica le regole in entrata) ed esegui le operazioni di seguito:

1. Scegliere Add rule (Aggiungi regola).

2. In Type (Tipo), selezionare All traffic (Tutto il traffico).

3. Per Source type (Tipo di origine), scegli Custom (Personalizzata) e incolla nel campo l'ID del gruppo di sicurezza copiato in precedenza.

4. Scegli Aggiungi regola.

5. Per Type (Tipo) scegli SSH.

6. Per Source type (Tipo di origine), scegli Anywhere-IPv4 (Ovunque-IPv4).

7. Scegliere Salva regole.

Dopo aver selezionato il gruppo di sicurezza, scegli Actions (Operazioni), Edit outbound rules (Modifica le regole in uscita) ed esegui le operazioni di seguito:

1. Scegliere Add rule (Aggiungi regola).

2. In Type (Tipo), selezionare All traffic (Tutto il traffico).

3. Per Destination type (Tipo di destinazione), scegli Custom (Personalizzata) e incolla nel campo l'ID del gruppo di sicurezza copiato in precedenza.

4. Scegliere Salva regole.

Apri la console Amazon EC2 all'indirizzo https://console.aws.amazon.com/ec2/.

Nel pannello di navigazione, scegli Instances (Istanze) e quindi scegli Launch instances (Avvia istanze) per aprire la nuova procedura guidata di avvio dell'istanza.

(Opzionale) Nella sezione Name and tags (Nome e tag), fornisci un nome per l'istanza, ad esempio EFA-instance. Il nome viene assegnato all'istanza come tag di risorsa (Name=EFA-instance).

Nella sezione Application and OS Images (Immagini di applicazioni e sistema operativo), seleziona un'AMI per uno dei sistemi operativi supportati.

Nella sezione Instance type (Tipo di istanza), seleziona un tipo di istanza supportato.

Nella sezione Key pair (Coppia di chiavi), seleziona la coppia di chiavi da utilizzare per l'istanza.

Nella sezione Network settings (Impostazioni di rete), scegli Edit (Modifica) e quindi esegui le operazioni qui descritte:

1. Per Subnet (Sottorete) seleziona la subnet in cui avviare l'istanza. Se non selezioni una sottorete, non puoi abilitare l'istanza per l'EFA.

2. Per Firewall (security groups) (Firewall [gruppi di sicurezza]), scegli Select existing security group (Seleziona gruppo di sicurezza esistente) e quindi seleziona il gruppo di sicurezza creato nella fase precedente.

3. Espandi la sezione Advanced network configuration (Configurazione di rete avanzata) e per Elastic Fabric Adapter seleziona Enable (Abilita).

Nella sezione Storage (Archiviazione), configura i volumi secondo necessità.

Nel pannello Summary (Riepilogo) a destra, scegli Launch instance (Avvia istanza).

Connettersi all'istanza avviata. Per ulteriori informazioni, consulta Connessione all'istanza di Linux.

Per verificare che tutti i pacchetti software siano aggiornati, eseguire un aggiornamento rapido del software sull'istanza. Questo processo può richiedere alcuni minuti.

Riavviare l'istanza e riconnettersi a essa.

Scarica i file di installazione del software. I file di installazione del software sono riuniti in un file (.tar.gz) tarball compresso. Per scaricare l'ultima versione stabile, utilizzare il comando seguente.

$ C:\> curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.33.0.tar.gz

È inoltre possibile ottenere l'ultima versione sostituendo il numero della versione con latest nel comando qui sopra.

Estrarre i file dal file .tar.gz compresso e andare alla directory estratta.

$ C:\> tar -xf aws-efa-installer-1.33.0.tar.gz && cd aws-efa-installer

Installare il software EFA. Eseguire una delle seguenti operazioni, a seconda del caso d'uso:

Se il programma di installazione di EFA richiede il riavvio dell'istanza, eseguire questa operazione e riconnettersi all'istanza. In caso contrario, disconnettersi dall'istanza e quindi accedere di nuovo per completare l'installazione.

Aggiungi Open MPI 5 alla variabile di ambiente PATH.

$ module load openmpi5

Verifica che Open MPI 5 sia abilitato per l'uso.

$ which mpicc

Il comando dovrebbe restituire la directory di installazione di Open MPI 5: /opt/amazon/openmpi5.

(Facoltativo) Per garantire che Open MPI 5 venga aggiunto alla variabile di ambiente PATH a ogni avvio dell'istanza, esegui le seguenti operazioni:

Per scaricare lo script di installazione Intel MPI, procedi come indicato di seguito

1. Visita il sito Web Intel.

2. Nella sezione Intel MPI Library (Libreria Intel MPI) della pagina Web, scegli il collegamento per il programma di installazione offline della Libreria Intel MPI per Linux.

Esegui lo script di installazione scaricato nel passaggio precedente.

$ sudo bash installation_script_name.sh

Nel programma di installazione, scegli Accetta e installa.

Leggi il programma Intel Improvement, scegli l'opzione appropriata, quindi scegli Begin Installation (Inizia l'installazione).

Al termine dell'installazione, scegliere Chiudi.

Per impostazione predefinita, Intel MPI utilizza il proprio Libfabric incorporato (interno). Puoi tuttavia configurare Intel MPI per utilizzare il componente Libfabric fornito con il programma di installazione EFA. In genere, il programma di installazione EFA viene fornito con una versione successiva di Libfabric rispetto a Intel MPI. In alcuni casi, il componente Libfabric fornito con il programma di installazione EFA è anche più performante di quello di Intel MPI. Per configurare Intel MPI per l'utilizzo del componente Libfabric fornito con il programma di installazione EFA, esegui una delle operazioni seguenti, in base alla shell in uso.

Aggiungi il comando di origine seguente allo script della shell per generare lo script vars.sh dalla directory di installazione e impostare l'ambiente del compilatore ad ogni avvio dell'istanza. Eseguire uno dei seguenti, a seconda della regione in uso:

Se EFA non è disponibile a causa di una configurazione errata, Intel MPI utilizza per impostazione predefinita lo stack di rete TCP/IP, il che potrebbe comportare un rallentamento delle prestazioni dell'applicazione. Per evitare questo comportamento, imposta I_MPI_OFI_PROVIDER su efa. Se EFA non è disponibile, Intel MPI mostra l'errore seguente:

Abort (XXXXXX) on node 0 (rank 0 in comm 0): Fatal error in PMPI_Init: OtherMPI error,
MPIR_Init_thread (XXX)........:	
MPID_Init (XXXX)..............:
MPIDI_OFI_mpi_init_hook (XXXX):
open_fabric (XXXX)............:
find_provider (XXXX)..........:
OFI fi_getinfo() failed (ofi_init.c:2684:find_provider:

Eseguire uno dei seguenti, a seconda della regione in uso:

Per impostazione predefinita, Intel MPI non stampa le informazioni di debug. Per controllare tali informazioni, puoi specificare livelli di verbosità diversi. I valori possibili (secondo la quantità di dettagli che forniscono) sono: 0 (impostazione predefinita), 1, 2, 3, 4, 5. Il livello 1 e i livelli superiori stampano libfabric version e libfabric provider. Utilizza libfabric version per verificare se Intel MPI sta usando il componente Libfabric interno o quello fornito con il programma di installazione EFA. Se sta usando il componente Libfabric interno, la versione presenta il suffisso impi. Utilizza libfabric provider per verificare se Intel MPI sta usando EFA o la rete TCP/IP. Se utilizza EFA, il valore è efa. Se utilizza la rete TCP/IP, il valore è tcp;ofi_rxm.

Per abilitare le informazioni di debug, esegui una delle operazioni seguenti, in base alla shell in uso.

Per impostazione predefinita, Intel MPI utilizza la memoria condivisa del sistema operativo (shm) per le comunicazioni intranodo e Libfabric (ofi) per le comunicazioni internodo. In generale, questa configurazione offre le prestazioni migliori. In alcuni casi, tuttavia, il fabric shm Intel MPI può causare il blocco di alcune applicazioni a tempo indeterminato.

Per risolvere questo problema, puoi forzare Intel MPI a utilizzare Libfabric sia per le comunicazioni intranodo che per quelle internodo. A tal scopo, esegui una delle operazioni seguenti, in base alla shell in uso.

Disconnettersi e quindi riconnettersi all'istanza.

Per verificare che MPI sia stato correttamente installato, esegui il comando seguente:

$ which mpicc

Per confermare che i componenti software EFA e Libfabric siano stati installati correttamente, emetti il comando seguente.

$ fi_info -p efa -t FI_EP_RDM

Il comando deve restituire informazioni sulle interfacce EFA Libfabric. L'esempio seguente mostra l'output del comando.

provider: efa
    fabric: EFA-fe80::94:3dff:fe89:1b70
    domain: efa_0-rdm
    version: 2.0
    type: FI_EP_RDM
    protocol: FI_PROTO_EFA

Apri la console Amazon EC2 all'indirizzo https://console.aws.amazon.com/ec2/.

Nel riquadro di navigazione, seleziona Instances (Istanze).

Seleziona l'istanza temporanea creata e seleziona Actions (Operazioni), Image (Immagine), Create Image (Crea immagine).

Per Create image (Crea immagine), effettua le seguenti operazioni:

1. In Image name (Nome immagine), immettere un nome descrittivo per l'AMI.

2. (Facoltativo) In Image description (Descrizione immagine), inserire una breve descrizione dell'AMI.

3. Scegliere Create Image (Crea immagine).

Nel riquadro di navigazione scegliere AMIs (AMI).

Individuare nell'elenco l'AMI creata. Prima di procedere con la fase seguente, attendi che lo stato passi da pending a available.

Apri la console Amazon EC2 all'indirizzo https://console.aws.amazon.com/ec2/.

Nel pannello di navigazione, scegli Instances (Istanze) e quindi scegli Launch instances (Avvia istanze) per aprire la nuova procedura guidata di avvio dell'istanza.

(Opzionale) Nella sezione Name and tags (Nome e tag), fornisci un nome per l'istanza, ad esempio EFA-instance. Il nome viene assegnato all'istanza come tag di risorsa (Name=EFA-instance).

Nella sezione Application and OS Images (Immagini di applicazioni e sistema operativo), scegli My AMIs (Le mie AMI), quindi seleziona l'AMI creata nella fase precedente.

Nella sezione Instance type (Tipo di istanza), seleziona un tipo di istanza supportato.

Nella sezione Key pair (Coppia di chiavi), seleziona la coppia di chiavi da utilizzare per l'istanza.

Nella sezione Network settings (Impostazioni di rete), scegli Edit (Modifica) e quindi esegui le operazioni qui descritte:

1. Per Subnet (Sottorete) seleziona la subnet in cui avviare l'istanza. Se non selezioni una sottorete, non puoi abilitare l'istanza per l'EFA.

2. Per Firewall (security groups) (Firewall [gruppi di sicurezza]), scegli Select existing security group (Seleziona gruppo di sicurezza esistente) e quindi seleziona il gruppo di sicurezza creato nella fase precedente.

3. Espandi la sezione Advanced network configuration (Configurazione di rete avanzata) e per Elastic Fabric Adapter seleziona Enable (Abilita).

(Opzionale) Nella sezione Storage (Archiviazione), configura i volumi secondo necessità.

Nella sezione Advanced details (Dettagli avanzati), per Placement group name (Nome del gruppo di collocazione), seleziona il gruppo di collocazione cluster in cui avviare le istanze. Se occorre creare un nuovo gruppo di collocazione cluster, scegli Create new placement group (Crea nuovo gruppo di collocazione).

Nel pannello Summary (Riepilogo) a destra, per Number of instances (Numero di istanze), inserisci il numero di istanze abilitate per EFA che desideri avviare, quindi seleziona Launch instance (Avvia istanza).

Aprire la console Amazon EC2 all'indirizzo https://console.aws.amazon.com/ec2/.

Nel riquadro di navigazione, seleziona Instances (Istanze).

Selezionare l'istanza temporanea creata, quindi scegliere Actions (Operazioni), Instance state (Stato istanza), Terminate instance (Termina istanza).

Quando viene richiesta la conferma, seleziona Termina.

Selezionare un'istanza nel cluster come nodo principale e connettersi a essa.

Disabilita strictHostKeyChecking e abilita ForwardAgent sul nodo principale. Aprire il file ~/.ssh/config utilizzando qualsiasi editor di testo e aggiungere il seguente script.

Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

Generare una coppia di chiavi RSA.

$ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

La coppia di chiavi viene creata nella directory $HOME/.ssh/.

Modifica le autorizzazioni della chiave privata sul nodo principale.

$ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

Aprire ~/.ssh/id_rsa.pub utilizzando l'editor di testo preferito e copiare la chiave.

Per ogni nodo membro nel cluster, procedere nel modo seguente:

1. Collegarsi all'istanza.

2. Aprire ~/.ssh/authorized_keys utilizzando qualsiasi editor di testo e aggiungere la chiave pubblica copiata in precedenza.

Per verificare che SSH senza password funzioni come previsto, connettersi al nodo leader ed eseguire il seguente comando.

$ ssh member_node_private_ip

La connessione al nodo membro non dovrebbe richiedere una chiave o una password.