Conceitos básicos do EFA e MPI para workloads de HPC no Amazon EC2

Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

No painel de navegação, escolha Security Groups (Grupos de segurança) e, em seguida, Create Security Group (Criar grupo de segurança).

Na janela Security group (Grupo de segurança), faça o seguinte:

1. Em Security group name (Nome do grupo de segurança), insira um nome descritivo para o grupo de segurança, como EFA-enabled security group.

2. (Opcional) Em Description (Descrição), insira uma breve descrição do grupo de segurança.

3. Em VPC, selecione a VPC na qual você pretende executar suas instâncias habilitadas para EFA.

4. Escolha Create security group (Criar grupo de segurança).

Selecione o grupo de segurança que você criou e, na guia Details (Detalhes), copie o Security group (Grupo de segurança).

Com o grupo de segurança ainda selecionado, escolha Actions (Ações), Edit inbound rules (Editar regras de entrada), e faça o seguinte:

1. Escolha Adicionar regra.

2. Para Tipo, escolha Todo o tráfego.

3. Para Source type (Tipo de origem), escolha Custom (Personalizado) e cole o ID do grupo de segurança que você copiou no campo.

4. Escolha Adicionar regra.

5. Para Tipo, escolha SSH.

6. Para Source type (Tipo de origem), escolha Anywhere-IPv4 (IPv4 em qualquer lugar).

7. Escolha Salvar regras.

Na lista, selecione o grupo de segurança e escolha Actions (Ações), Edit outbound rules (Editar regras de saída), e faça o seguinte:

1. Escolha Adicionar regra.

2. Para Tipo, escolha Todo o tráfego.

3. Para Destination (Destino), escolha Custom (Personalizado) e cole o ID do grupo de segurança que você copiou no campo.

4. Escolha Salvar regras.

Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

No painel de navegação, selecione Instances (Instâncias) e, depois, escolha Launch Instances (Iniciar instâncias) para abrir o novo assistente de inicialização de instância.

(Opcional) Na seção Name and tags (Nome e etiquetas), forneça um nome para a instância, como EFA-instance. O nome é atribuído à instância como uma etiqueta de recurso (Name=EFA-instance).

Na seção Application and OS Images (Imagens de aplicação e sistema operacional), selecione uma AMI para um dos sistemas operacionais compatíveis.

Na seção Instance type (Tipo de instância), selecione um tipo de instância compatível.

Na seção Key pair (Par de chaves), selecione o par de chaves a ser usado na instância.

Na seção Network settings (Configurações da rede), escolha Edit (Editar) e faça o seguinte:

1. Em Subnet (Sub-rede), escolha a sub-rede na qual deseja iniciar a instância. Se você não selecionar uma sub-rede, não será possível habilitar a instância para o EFA.

2. Para Firewall (security groups) (Firewall/grupos de segurança), escolha Select existing security group (Selecione grupo de segurança existente) e, em seguida, selecione o grupo de segurança que você criou na etapa anterior.

3. Expanda a seção Configuração avançada de rede.

   Para Interface de rede 1, selecione Índice da placa de rede = 0, Índice do dispositivo = 0 e Tipo de interface = EFA com ENA.

   (Opcional) Caso esteja usando um tipo de instância com várias placas, como p4d.24xlarge oup5.48xlarge, para cada interface de rede adicional necessária, selecione Adicionar interface de rede, em Índice da placa de rede selecione o próximo índice não utilizado e, em seguida, selecione Índice do dispositivo = 1 e Tipo de interface = EFA com ENA ou exclusivamente EFA.

Na seção Storage (Armazenamento), configure os volumes conforme necessário.

No painel Summary (Resumo) painel, escolha Launch instance (Iniciar instância).

Conecte à instância que você iniciou. Para ter mais informações, consulte Conectar-se à instância do Linux usando SSH.

Para garantir que todos os pacotes de software estejam atualizados, execute uma atualização rápida de software em sua instância. esse processo pode demorar alguns minutos.

Reinicialize a instância e reconecte-se a ela.

Faça download dos arquivos de instalação do software do EFA. Os arquivos de instalação do software são empacotados em um arquivo compactado tarball (.tar.gz). Para fazer download da última versão estável, use o seguinte comando:

$ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.35.0.tar.gz

Também é possível obter a versão mais recente substituindo o número da versão por latest no comando acima.

Extraia os arquivos do arquivo compactado .tar.gz e navegue para o diretório extraído.

$ tar -xf aws-efa-installer-1.35.0.tar.gz && cd aws-efa-installer

Instale o software EFA. Dependendo de seu caso de uso, faça o seguinte.

Se o instalador do EFA solicitar que você reinicialize a instância, faça-o e, em seguida, reconecte-se à instância. Caso contrário, faça logout da instância e faça login novamente para concluir a instalação.

Adicione o Open MPI 5 à variável de ambiente PATH.

$ module load openmpi5

Verifique se o Open MPI 5 está habilitado para uso.

$ which mpicc

O comando deve retornar o diretório de instalação do Open MPI 5: /opt/amazon/openmpi5.

(Opcional) Para garantir que o Open MPI 5 seja adicionado à variável de ambiente PATH sempre que a instância for iniciada, faça o seguinte:

Para baixar o script de instalação do Intel MPI, faça o seguinte

1. Visite o site da Intel.

2. Na seção da página da Web Intel MPI Library (Biblioteca Intel MPI), escolha o link para o instalador Intel MPI Library for Linux (Biblioteca MPI Intel para Linux) Offline.

Execute o script de instalação que você baixou na etapa anterior.

$ sudo bash installation_script_name.sh

No instalador, escolha Accept & install (Aceitar e instalar).

Leia o Intel Improvement Program (Programa de melhoria da Intel), escolha a opção apropriada e, em seguida, escolha Begin Installation (Começar a instalação).

Quando a instalação terminar, escolha Close.

Por padrão, o Intel MPI usa o Libfabric integrado (interno). É possível configurar o Intel MPI para usar o Libfabric que acompanha o instalador do EFA. Normalmente, o instalador do EFA acompanha uma versão mais recente do Libfabric que o Intel MPI. Em alguns casos, o Libfabric que acompanha o instalador do EFA tem mais performance do que o Intel MPI. Para configurar o Intel MPI para usar o Libfabric que acompanha o instalador do EFA, siga um destes procedimentos, conforme o shell.

Adicione o comando source a seguir ao script shell para obter o script vars.sh do diretório de instalação para configurar o ambiente do compilador sempre que a instância for iniciada. Dependendo de seu shell, faça o seguinte.

Por padrão, se o EFA não estiver disponível devido a uma configuração incorreta, o Intel MPI assumirá como padrão a pilha de rede TCP/IP, podendo resultar em uma performance mais lenta da aplicação. Você pode evitar isso definindo I_MPI_OFI_PROVIDER como efa. Isso fará com que o Intel MPI apresente o seguinte erro, se o EFA não estiver disponível:

Abort (XXXXXX) on node 0 (rank 0 in comm 0): Fatal error in PMPI_Init: OtherMPI error,
MPIR_Init_thread (XXX)........:	
MPID_Init (XXXX)..............:
MPIDI_OFI_mpi_init_hook (XXXX):
open_fabric (XXXX)............:
find_provider (XXXX)..........:
OFI fi_getinfo() failed (ofi_init.c:2684:find_provider:

Dependendo de seu shell, faça o seguinte.

Por padrão, o Intel MPI não imprime informações de depuração. É possível especificar diferentes níveis de detalhamento para controlar as informações de depuração. Os valores possíveis (organizados em ordem pela quantidade de detalhes que fornecem) são: 0 (padrão), 1, 2, 3, 4, 5. O nível 1 e superiores imprimem libfabric version e libfabric provider. Use libfabric version para verificar se o Intel MPI está usando o Libfabric interno ou o Libfabric que acompanha o instalador do EFA. Se estiver usando o Libfabric interno, a versão terá o sufixo impi. Use libfabric provider para verificar se o Intel MPI está usando o EFA ou a rede TCP/IP. Se estiver usando o EFA, o valor será efa. Se estiver usando TCP/IP, o valor será tcp;ofi_rxm.

Para habilitar as informações de depuração, siga um destes procedimentos, conforme seu shell.

Por padrão, o Intel MPI usa a memória compartilhada do sistema operacional (shm) para comunicação intranós e usa Libfabric (ofi) somente para comunicação entre nós. Em geral, essa configuração fornece a melhor performance. Porém, em alguns casos, a malha Intel MPI shm pode fazer com que certas aplicações travem por tempo indeterminado.

Para resolver esse problema, você pode forçar o Intel MPI a usar o Libfabric para comunicação intranós e entre nós. Para isso, faça o seguinte, de acordo com seu shell.

Saia da instância e faça login novamente.

Para confirmar se a Intel MPI foi instalada com êxito, execute o seguinte comando:

$ which mpicc

Para confirmar se os componentes de software EFA e o Libfabric foram instalados com êxito, execute o comando a seguir.

$ fi_info -p efa -t FI_EP_RDM

O comando deve retornar informações sobre as interfaces EFA Libfabric. O exemplo a seguir mostra a saída do comando.

provider: efa
    fabric: EFA-fe80::94:3dff:fe89:1b70
    domain: efa_0-rdm
    version: 2.0
    type: FI_EP_RDM
    protocol: FI_PROTO_EFA

Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

No painel de navegação, escolha Instances (Instâncias).

Selecione a instância, escolha Actions (Ações), Image (Imagem), Create image (Criar imagem).

Em Create image (Criar imagem), faça o seguinte:

1. Em Image name (Nome da imagem), insira um nome descritivo para a AMI.

2. (Opcional) Em Image description (Descrição da imagem), informe a descrição do propósito da AMI.

3. Escolha Create Image (Criar imagem).

No painel de navegação, selecione AMIs.

Encontre a AMI que você criou na lista. Aguarde até que o status mude de pending para available antes de continuar para a próxima etapa.

Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

No painel de navegação, selecione Instances (Instâncias) e, depois, escolha Launch Instances (Iniciar instâncias) para abrir o novo assistente de inicialização de instância.

(Opcional) Na seção Name and tags (Nome e etiquetas), forneça um nome para a instância, como EFA-instance. O nome é atribuído à instância como uma etiqueta de recurso (Name=EFA-instance).

Na seção Application and OS Images (Imagens de aplicações e SO), selecione My AMIs (Minhas AMIs) e, em seguida, selecione a AMI que você criou na etapa anterior.

Na seção Instance type (Tipo de instância), selecione um tipo de instância compatível.

Na seção Key pair (Par de chaves), selecione o par de chaves a ser usado na instância.

Na seção Network settings (Configurações da rede), escolha Edit (Editar) e faça o seguinte:

1. Em Subnet (Sub-rede), escolha a sub-rede na qual deseja iniciar a instância. Se você não selecionar uma sub-rede, não será possível habilitar a instância para o EFA.

2. Para Firewall (security groups) (Firewall/grupos de segurança), escolha Select existing security group (Selecione grupo de segurança existente) e, em seguida, selecione o grupo de segurança que você criou na etapa anterior.

3. Expanda a seção Configuração de rede avançada.

   Para Interface de rede 1, selecione Índice da placa de rede = 0, Índice do dispositivo = 0 e Tipo de interface = EFA com ENA.

   (Opcional) Caso esteja usando um tipo de instância com várias placas, como p4d.24xlarge oup5.48xlarge, para cada interface de rede adicional necessária, selecione Adicionar interface de rede, em Índice da placa de rede, selecione o próximo índice não utilizado e, em seguida, selecione Índice do dispositivo = 1 e Tipo de interface =EFA com ENA ou exclusivamente EFA.

(Opcional) Na seção Storage (Armazenamento), configure os volumes conforme necessário.

Na seção Advanced details (Detalhes avançados), para Placement group name (Nome do grupo de posicionamento), selecione o grupo de posicionamento de cluster no qual iniciar as instâncias. Caso precise criar um novo grupo de posicionamento de cluster, escolha Create new placement group (Criar novo grupo de posicionamento).

No painel Summary (Resumo) à direita, em Number of instances (Número de instâncias), insira o número de instâncias habilitadas para EFA que você deseja iniciar e escolha Launch instance (Iniciar instância).

Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

No painel de navegação, escolha Instances (Instâncias).

Selecione a instância temporária, escolha Ações, selecione Estado da instância, Encerrar (excluir) instância.

Quando a confirmação for solicitada, escolha Encerrar (excluir).

Selecione uma instância no cluster como o nó líder e conecte-se a ela.

Desabilite strictHostKeyChecking e habilite ForwardAgent no nó líder. Abra o ~/.ssh/config usando o editor de texto de sua preferência e adicione o seguinte.

Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

Gere um par de chaves RSA.

$ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

O par de chaves é criado no diretório do $HOME/.ssh/.

Altere as permissões da chave privada no nó líder.

$ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

Abra ~/.ssh/id_rsa.pub usando seu editor de texto preferido e copie a chave.

Para cada nó de membro no cluster, faça o seguinte:

1. Conecte-se à instância.

2. Abra ~/.ssh/authorized_keys usando o editor de texto de sua preferência e adicione a chave pública que você copiou anteriormente.

Para testar se o SSH sem senha está funcionando como esperado, conecte-se ao seu nó líder e execute o comando a seguir.

$ ssh member_node_private_ip

É necessário se conectar ao nó membro sem receber uma solicitação para inserir uma chave ou senha.