View a markdown version of this page

Conceitos básicos do EFA e NCCL para workloads de ML no Amazon EC2 - Amazon Elastic Compute Cloud
Etapa 1: Preparar um grupo de segurança habilitado para EFAEtapa 2: Iniciar uma instância temporáriaEtapa 3: Instalar drivers de GPU NVIDIA, o NVIDIA CUDA Toolkit e a cuDNNEtapa 4: instalar o GDRCopyEtapa 5: instalar o software EFAEtapa 6: instalar NCCLEtapa 7: Instalar os testes da NCCLEtapa 8: Testar a configuração do EFA e da NCCLEtapa 9: Instalar as aplicações de machine learningEtapa 10: Criar um EFA e uma AMI habilitada para NCCLEtapa 11: Encerrar a instância temporáriaEtapa 12: Iniciar instâncias habilitadas para EFA e para NCCL em um grupo de posicionamento de clusterEtapa 13: Habilitar SSH sem senha

Conceitos básicos do EFA e NCCL para workloads de ML no Amazon EC2

A Nvidia Collective Communications Library (NCCL) é uma biblioteca de rotinas de comunicação coletiva padrão para várias GPUs em um único nó ou em vários nós. A NCCL pode ser usada com o EFA, o Libfabric e a MPI para compatibilidade com várias workloads de machine learning. Para obter mais informações, consulte o site da NCCL.

Requisitos

  • Os tipos de instância compatíveis incluem os tipos de instância das séries P e G compatíveis com o EFA. Para obter mais informações, consulte Instâncias com computação acelerada do Amazon EC2.

  • AMIs básicas compatíveis: Amazon Linux 2023, Ubuntu 26.04, Ubuntu 24.04, Ubuntu 22.04, Debian 12 e RHEL 10.

  • O EFA é compatível somente com a NCCL 2.4.2 e posteriores.

Para obter mais informações sobre como executar workloads de machine learning com EFA e NCCL usando um AMIs de deep learning da AWS, consulte Usando o EFA no DLAMI no Guia do desenvolvedor do AMIs de deep learning da AWS.

Etapa 1: Preparar um grupo de segurança habilitado para EFA

Um EFA requer um grupo de segurança que permita todo o tráfego de entrada e saída do grupo de segurança e para ele próprio. O procedimento a seguir cria um grupo de segurança que permite todo o tráfego de entrada e saída de e para si mesmo e que permite tráfego SSH de entrada de qualquer endereço IPv4 para conectividade SSH.

Importante

  • Esse grupo de segurança deve ser usado apenas para fins de teste. Para seus ambientes de produção, recomendamos que você crie uma regra SSH de entrada que permita o tráfego somente do endereço IP do qual você está se conectando, como o endereço IP do seu computador ou uma variedade de endereços IP na sua rede local.

  • As regras de entrada e saída autorreferentes (que permitem todo o tráfego de e para o próprio grupo de segurança) são obrigatórias para o funcionamento do EFA. Sem essas regras, o tráfego de EFA entre instâncias será bloqueado e ocorrerá falha em toda comunicação da NCCL.

Para outros cenários, consulte Regras de grupo de segurança para diferentes casos de uso.

Para criar um grupo de segurança habilitado para EFA

  1. Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

  2. No painel de navegação, escolha Security Groups (Grupos de segurança) e, em seguida, Create Security Group (Criar grupo de segurança).

  3. Na janela Security group (Grupo de segurança), faça o seguinte:

    1. Em Security group name (Nome do grupo de segurança), insira um nome descritivo para o grupo de segurança, como EFA-enabled security group.

    2. (Opcional) Em Description (Descrição), insira uma breve descrição do grupo de segurança.

    3. Em VPC, selecione a VPC na qual você pretende executar suas instâncias habilitadas para EFA.

    4. Escolha Criar grupo de segurança.

  4. Selecione o grupo de segurança que você criou e, na guia Details (Detalhes), copie o Security group (Grupo de segurança).

  5. Com o grupo de segurança ainda selecionado, escolha Actions (Ações), Edit inbound rules (Editar regras de entrada), e faça o seguinte:

    1. Escolha Adicionar regra.

    2. Para Tipo, escolha Todo o tráfego.

    3. Para Source type (Tipo de origem), escolha Custom (Personalizado) e cole o ID do grupo de segurança que você copiou no campo.

    4. Escolha Adicionar regra.

    5. Para Tipo, escolha SSH.

    6. Para Source type (Tipo de origem), escolha Anywhere-IPv4 (IPv4 em qualquer lugar).

    7. Selecione Salvar regras.

  6. Na lista, selecione o grupo de segurança e escolha Actions (Ações), Edit outbound rules (Editar regras de saída), e faça o seguinte:

    1. Escolha Adicionar regra.

    2. Para Tipo, escolha Todo o tráfego.

    3. Para Destination (Destino), escolha Custom (Personalizado) e cole o ID do grupo de segurança que você copiou no campo.

    4. Selecione Salvar regras.

Etapa 2: Iniciar uma instância temporária

Execute uma instância temporária que é possível usar para instalar e configurar os componentes do software EFA. Você usa essa instância para criar um AMI habilitado para EFA a partir do qual é possível executar suas instâncias habilitadas para EFA.

Para executar uma instância temporária

  1. Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

  2. No painel de navegação, selecione Instances (Instâncias) e, depois, escolha Launch Instances (Iniciar instâncias) para abrir o novo assistente de inicialização de instância.

  3. (Opcional) Na seção Name and tags (Nome e etiquetas), forneça um nome para a instância, como EFA-instance. O nome é atribuído à instância como uma etiqueta de recurso (Name=EFA-instance).

  4. Na seção Application and OS Images (Imagens de aplicação e sistema operacional), selecione uma AMI para um dos sistemas operacionais compatíveis.

  5. Na seção Instance type (Tipo de instância), selecione um tipo de instância compatível.

  6. Na seção Key pair (Par de chaves), selecione o par de chaves a ser usado na instância.

  7. Na seção Network settings (Configurações da rede), escolha Edit (Editar) e faça o seguinte:

    1. Em Subnet (Sub-rede), escolha a sub-rede na qual deseja iniciar a instância.

      Importante

      Você deve selecionar uma sub-rede. Se você não selecionar uma sub-rede, não será possível habilitar a instância para o EFA.

    2. Para Firewall (security groups) (Firewall/grupos de segurança), escolha Select existing security group (Selecione grupo de segurança existente) e, em seguida, selecione o grupo de segurança que você criou na etapa anterior.

    3. Expanda a seção Configuração de rede avançada.

      Para Interface de rede 1, selecione Índice da placa de rede = 0, Índice do dispositivo = 0 e Tipo de interface = EFA com ENA.

      (Opcional) Se estiver usando um tipo de instância multiplaca, para cada interface de rede adicional exigida, selecione Adicionar interface de rede, em Índice da placa de rede, selecione o próximo índice não utilizado e, em seguida, selecione Índice do dispositivo = 1 e Tipo de interface = EFA com ENA ou EFA somente.

  8. Na seção Storage (Armazenamento), configure os volumes conforme necessário.

    nota

    É necessário provisionar um armazenamento adicional, entre 10 e 20 GiB, para o NVIDIA CUDA Toolkit. Se você não provisionar armazenamento suficiente, receberá uma mensagem de erro insufficient disk space ao tentar instalar os drivers NVIDIA e o toolkit CUDA.

  9. No painel Summary (Resumo) painel, escolha Launch instance (Iniciar instância).

Etapa 3: Instalar drivers de GPU NVIDIA, o NVIDIA CUDA Toolkit e a cuDNN

Amazon Linux 2023
Para instalar drivers de GPU NVIDIA, o NVIDIA CUDA Toolkit e a cuDNN

  1. Para garantir que todos os pacotes de software estejam atualizados, execute uma atualização rápida de software em sua instância.

    $ sudo dnf upgrade -y && sudo reboot

    Reconecte-se à sua instância depois de reinicializá-la.

  2. Instale os utilitários necessários para instalar os drivers de GPU NVIDIA e o NVIDIA CUDA Toolkit.

    $ sudo dnf groupinstall 'Development Tools' -y && sudo dnf install -y dkms kernel-devel-$(uname -r) kernel-headers-$(uname -r)

  3. Desabilite os drivers de código aberto nouveau.

    1. Instale os utilitários necessários e o pacote de cabeçalhos kernel para a versão do kernel que está sendo executada.

      $ sudo yum install -y wget kernel-devel-$(uname -r) kernel-headers-$(uname -r)

    2. Adicione nouveau ao arquivo de lista de negação /etc/modprobe.d/blacklist.conf.

      $ cat << EOF | sudo tee --append /etc/modprobe.d/blacklist.conf
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist nvidiafb
blacklist rivatv
EOF

    3. Anexe GRUB_CMDLINE_LINUX="rdblacklist=nouveau" ao arquivo grub e recompile a configuração do GRUB.

      $ echo 'GRUB_CMDLINE_LINUX="rdblacklist=nouveau"' | sudo tee -a /etc/default/grub \
&& sudo grub2-mkconfig -o /boot/grub2/grub.cfg

  4. Reinicialize a instância e reconecte-se a ela.

  5. Adicione o repositório de rede CUDA.

    $ sudo yum-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64/cuda-rhel8.repo

  6. Baixe e instale o driver de GPU NVIDIA.

    $ wget https://us.download.nvidia.com/tesla/580.167.08/NVIDIA-Linux-x86_64-580.167.08.run \
&& sudo sh NVIDIA-Linux-x86_64-580.167.08.run -m kernel-open --no-drm --disable-nouveau --dkms --silent

  7. Instale o NVIDIA CUDA Toolkit e a cuDNN.

    $ sudo dnf install -y cuda-toolkit-13-0 libcudnn9-cuda-13 libcudnn9-devel-cuda-13

  8. Reinicialize a instância e reconecte-se a ela.

  9. (Instâncias com o NVSwitch, como as instâncias com várias GPUs da série P) Instale e inicie o NVIDIA Fabric Manager. As instâncias da série G não usam o NVSwitch nem exigem o Fabric Manager.

    $ sudo dnf install -y https://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64/nvidia-fabricmanager-580.167.08-1.el8.x86_64.rpm \
&& sudo systemctl enable nvidia-fabricmanager && sudo systemctl start nvidia-fabricmanager

  10. Certifique-se de que os caminhos do CUDA sejam definidos cada vez que a instância for executada.

    • Em shells bash, adicione as seguintes instruções a /home/username/.bashrc e /home/username/.bash_profile. 

      export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

    • Em shells tcsh, adicione as seguintes instruções a /home/username/.cshrc.

      setenv PATH=/usr/local/cuda/bin:$PATH
setenv LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

  11. Para verificar se os drivers de GPU NVIDIA estão funcionando, execute o comando a seguir.

    $ nvidia-smi -q | head

    O comando deve retornar informações sobre as GPUs NVIDIA, os drivers de GPU NVIDIA e o NVIDIA CUDA Toolkit.

Ubuntu 26.04, Ubuntu 24.04, and Ubuntu 22.04
Para instalar drivers de GPU NVIDIA, o NVIDIA CUDA Toolkit e a cuDNN

  1. Para garantir que todos os pacotes de software estejam atualizados, execute uma atualização rápida de software em sua instância.

    $ sudo apt-get update && sudo apt-get upgrade -y

  2. Instale os utilitários necessários para instalar os drivers de GPU NVIDIA e o NVIDIA CUDA Toolkit.

    $ sudo apt-get update && sudo apt-get install build-essential -y

  3. Para usar o driver de GPU NVIDIA, primeiro desabilite os drivers de código aberto nouveau.

    1. Instale os utilitários necessários e o pacote de cabeçalhos kernel para a versão do kernel que está sendo executada.

      $ sudo apt-get install -y gcc make linux-headers-$(uname -r)

    2. Adicione nouveau ao arquivo de lista de negação /etc/modprobe.d/blacklist.conf.

      $ cat << EOF | sudo tee --append /etc/modprobe.d/blacklist.conf
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist nvidiafb
blacklist rivatv
EOF

    3. Abra o /etc/default/grub usando o editor de texto de sua preferência e adicione o seguinte. 

      GRUB_CMDLINE_LINUX="rdblacklist=nouveau"

    4. Recompile a configuração de GRUB.

      $ sudo update-grub

  4. Reinicialize a instância e reconecte-se a ela.

  5. Adicione o repositório CUDA e instale os drivers de GPU NVIDIA, o NVIDIA CUDA Toolkit e a cuDNN.

    • Ubuntu 26.04

      $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2604/x86_64/cuda-keyring_1.1-1_all.deb \
&& sudo dpkg -i cuda-keyring_1.1-1_all.deb \
&& sudo add-apt-repository -y 'deb [trusted=yes] https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2604/x86_64 /' \
&& sudo apt-get update
      $ sudo apt-get install -y nvidia-open cuda-toolkit-13-3 libcudnn9-cuda-13 libcudnn9-dev-cuda-13

    • Ubuntu 24.04

      $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb \
&& sudo dpkg -i cuda-keyring_1.1-1_all.deb \
&& sudo add-apt-repository -y 'deb [trusted=yes] https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64 /' \
&& sudo apt-get update
      $ sudo apt-get install -y nvidia-open-580 cuda-toolkit-13-0 libcudnn9-cuda-13 libcudnn9-dev-cuda-13

    • Ubuntu 22.04

      $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb \
&& sudo dpkg -i cuda-keyring_1.1-1_all.deb \
&& sudo DEBIAN_FRONTEND=noninteractive add-apt-repository -y "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /" \
&& sudo apt-get update
      $ sudo apt-get install -y nvidia-open-580 cuda-toolkit-13-0 libcudnn9-cuda-13 libcudnn9-dev-cuda-13

  6. Reinicialize a instância e reconecte-se a ela.

  7. (Instâncias com o NVSwitch, como as instâncias com várias GPUs da série P) Instale e inicie o NVIDIA Fabric Manager. As instâncias da série G não usam o NVSwitch nem exigem o Fabric Manager.

    • Ubuntu 26.04

      $ sudo apt-get install -y nvidia-fabricmanager \
&& sudo systemctl enable nvidia-fabricmanager && sudo systemctl start nvidia-fabricmanager

    • Ubuntu 24.04 e Ubuntu 22.04

      $ sudo apt-get install -y nvidia-fabricmanager-580 \
&& sudo systemctl enable nvidia-fabricmanager && sudo systemctl start nvidia-fabricmanager

  8. Certifique-se de que os caminhos do CUDA sejam definidos cada vez que a instância for executada.

    • Em shells bash, adicione as seguintes instruções a /home/username/.bashrc e /home/username/.bash_profile. 

      export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

    • Em shells tcsh, adicione as seguintes instruções a /home/username/.cshrc.

      setenv PATH=/usr/local/cuda/bin:$PATH
setenv LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

  9. Para verificar se os drivers de GPU NVIDIA estão funcionando, execute o comando a seguir.

    $ nvidia-smi -q | head

    O comando deve retornar informações sobre as GPUs NVIDIA, os drivers de GPU NVIDIA e o NVIDIA CUDA Toolkit.

Debian 12
Para instalar drivers de GPU NVIDIA, o NVIDIA CUDA Toolkit e a cuDNN

  1. Instale os utilitários necessários para instalar os drivers de GPU NVIDIA e o NVIDIA CUDA Toolkit.

    $ sudo apt-get install -y build-essential gcc make linux-headers-$(uname -r) dkms

  2. Desabilite os drivers de código aberto nouveau.

    $ sudo sed -i 's/GRUB_CMDLINE_LINUX=""/GRUB_CMDLINE_LINUX="rdblacklist=nouveau"/' /etc/default/grub && sudo update-grub

  3. Reinicialize a instância e reconecte-se a ela.

  4. Adicione o repositório CUDA e instale os drivers de GPU NVIDIA, o NVIDIA CUDA Toolkit e a cuDNN.

    $ wget https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/cuda-keyring_1.1-1_all.deb \
&& sudo dpkg -i cuda-keyring_1.1-1_all.deb \
&& sudo DEBIAN_FRONTEND=noninteractive add-apt-repository -y "deb https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/ /" \
&& sudo apt-get update
    $ sudo apt-get install -y nvidia-open cuda-toolkit-13-0 libcudnn9-cuda-13 libcudnn9-dev-cuda-13

  5. Configure o módulo de kernel de UVM da NVIDIA.

    $ uvm_ko=$(find /lib/modules/$(uname -r) -name 'nvidia*uvm*.ko*' 2>/dev/null | head -1) && if [ -n "$uvm_ko" ]; then real=$(basename "$uvm_ko"); real=${real%.ko*}; echo "$real" | sudo tee /etc/modules-load.d/nvidia-uvm.conf; if [ "$real" != "nvidia-uvm" ]; then echo "alias nvidia-uvm $real" | sudo tee /etc/modprobe.d/nvidia-uvm.conf; fi; sudo modprobe "$real" || true; fi && sudo modprobe nvidia

  6. Reinicialize a instância e reconecte-se a ela.

  7. (Instâncias com o NVSwitch, como as instâncias com várias GPUs da série P) Instale e inicie o NVIDIA Fabric Manager. As instâncias da série G não usam o NVSwitch nem exigem o Fabric Manager.

    1. Determine a versão do módulo de kernel da NVIDIA.

      $ cat /proc/driver/nvidia/version | grep "Kernel Module"

      A seguir está um exemplo de saída.

      NVRM version: NVIDIA UNIX x86_64 Kernel Module  610.43.02  ...

      No exemplo anterior, a versão principal 610 do módulo de kernel foi instalada.

    2. Instale o NVIDIA Fabric Manager usando a versão principal identificada na etapa anterior.

      $ sudo apt-get install -y nvidia-fabricmanager-major_version_number \
&& sudo systemctl enable nvidia-fabricmanager && sudo systemctl start nvidia-fabricmanager

  8. Certifique-se de que os caminhos do CUDA sejam definidos cada vez que a instância for executada.

    • Em shells bash, adicione as seguintes instruções a /home/username/.bashrc e /home/username/.bash_profile. 

      export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

    • Em shells tcsh, adicione as seguintes instruções a /home/username/.cshrc.

      setenv PATH=/usr/local/cuda/bin:$PATH
setenv LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

  9. Para verificar se os drivers de GPU NVIDIA estão funcionando, execute o comando a seguir.

    $ nvidia-smi -q | head

    O comando deve retornar informações sobre as GPUs NVIDIA, os drivers de GPU NVIDIA e o NVIDIA CUDA Toolkit.

RHEL 10
Para instalar drivers de GPU NVIDIA, o NVIDIA CUDA Toolkit e a cuDNN

  1. Para garantir que todos os pacotes de software estejam atualizados, execute uma atualização rápida de software em sua instância.

    $ sudo dnf upgrade -y && sudo reboot

    Reconecte-se à sua instância depois de reinicializá-la.

  2. Instale os utilitários necessários para instalar os drivers de GPU NVIDIA e o NVIDIA CUDA Toolkit.

    $ sudo dnf groupinstall 'Development Tools' -y \
&& sudo dnf install -y dkms kernel-devel-$(uname -r) \
&& sudo dnf install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-10.noarch.rpm

  3. Desabilite os drivers de código aberto nouveau.

    1. Adicione nouveau ao arquivo de lista de negação /etc/modprobe.d/blacklist.conf.

      $ cat << EOF | sudo tee --append /etc/modprobe.d/blacklist.conf
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist nvidiafb
blacklist rivatv
EOF

    2. Anexe GRUB_CMDLINE_LINUX="rdblacklist=nouveau" ao arquivo grub e recompile a configuração do GRUB.

      $ echo 'GRUB_CMDLINE_LINUX="rdblacklist=nouveau"' | sudo tee -a /etc/default/grub \
&& sudo grub2-mkconfig -o /boot/grub2/grub.cfg

  4. Reinicialize a instância e reconecte-se a ela.

  5. Adicione o repositório CUDA e instale os drivers de GPU NVIDIA, o NVIDIA CUDA Toolkit e a cuDNN.

    $ sudo yum-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel10/x86_64/cuda-rhel10.repo \
&& sudo dnf install -y nvidia-open-580.167.08 cuda-toolkit-13-0 libcudnn9-cuda-13 libcudnn9-devel-cuda-13

  6. Reinicialize a instância e reconecte-se a ela.

  7. (Instâncias com o NVSwitch, como as instâncias com várias GPUs da série P) Instale e inicie o NVIDIA Fabric Manager. As instâncias da série G não usam o NVSwitch nem exigem o Fabric Manager.

    $ sudo dnf install -y https://developer.download.nvidia.com/compute/cuda/repos/rhel10/x86_64/nvidia-fabricmanager-580.167.08-1.x86_64.rpm \
&& sudo systemctl enable nvidia-fabricmanager && sudo systemctl start nvidia-fabricmanager

  8. Certifique-se de que os caminhos do CUDA sejam definidos cada vez que a instância for executada.

    • Em shells bash, adicione as seguintes instruções a /home/username/.bashrc e /home/username/.bash_profile. 

      export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

    • Em shells tcsh, adicione as seguintes instruções a /home/username/.cshrc.

      setenv PATH=/usr/local/cuda/bin:$PATH
setenv LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

  9. Para verificar se os drivers de GPU NVIDIA estão funcionando, execute o comando a seguir.

    $ nvidia-smi -q | head

    O comando deve retornar informações sobre as GPUs NVIDIA, os drivers de GPU NVIDIA e o NVIDIA CUDA Toolkit.

Etapa 4: instalar o GDRCopy

Instale o GDRCopy para melhorar a performance do Libfabric. Para obter mais informações sobre a GDRCopy, consulte o repositório do GDRCopy.

Amazon Linux 2023
Para instalar o GDRCopy

  1. Instale as dependências necessárias.

    $ sudo yum -y install dkms rpm-build make check check-devel

  2. Baixe e extraia o pacote do GDRCopy.

    $ wget https://github.com/NVIDIA/gdrcopy/archive/refs/tags/v2.5.2.tar.gz \
&& tar xf v2.5.2.tar.gz && cd gdrcopy-2.5.2/packages

  3. Compile os pacotes RPM do GDRCopy.

    $ CUDA=/usr/local/cuda ./build-rpm-packages.sh

  4. Instale os pacotes RPM do GDRCopy.

    $ sudo rpm -Uvh gdrcopy-kmod-2.5.2*dkms*.rpm \
&& sudo rpm -Uvh gdrcopy-2.5.2*.rpm \
&& sudo rpm -Uvh gdrcopy-devel-2.5.2*.rpm
Ubuntu 26.04, Ubuntu 24.04, and Ubuntu 22.04
Para instalar o GDRCopy

  1. Instale as dependências necessárias.

    $ sudo apt-get install -y build-essential devscripts debhelper fakeroot pkg-config dkms
    nota

    No Ubuntu 22.04, instale também as seguintes dependências adicionais:

    $ sudo apt-get install -y check libsubunit-dev

  2. Baixe e extraia o pacote do GDRCopy e compile os pacotes.

    $ wget https://github.com/NVIDIA/gdrcopy/archive/refs/tags/v2.5.2.tar.gz \
&& tar xf v2.5.2.tar.gz \
&& cd gdrcopy-2.5.2/packages \
&& CUDA=/usr/local/cuda ./build-deb-packages.sh

  3. Instale os pacotes DEB do GDRCopy.

    $ sudo dpkg -i gdrdrv-dkms_2.5.2-1_amd64.*.deb \
&& sudo dpkg -i libgdrapi_2.5.2-1_amd64.*.deb \
&& sudo dpkg -i gdrcopy-tests_2.5.2-1_amd64.*.deb \
&& sudo dpkg -i gdrcopy_2.5.2-1_amd64.*.deb
Debian 12
Para instalar o GDRCopy

  1. Instale as dependências necessárias.

    $ sudo apt-get install -y build-essential devscripts debhelper fakeroot pkg-config dkms

  2. Baixe e extraia o pacote do GDRCopy.

    $ wget https://github.com/NVIDIA/gdrcopy/archive/refs/tags/v2.5.2.tar.gz \
&& tar xf v2.5.2.tar.gz && cd gdrcopy-2.5.2/packages

  3. Aplique as correções de versão do Debian e compile os pacotes.

    $ sed -i 's/(2.5.2)/(2.5.2-1)/g' debian-lib/changelog \
&& sed -i 's/(2.5.2)/(2.5.2-1)/g' debian-tests/changelog \
&& sed -i 's/(2.5.2)/(2.5.2-1)/g' dkms/debian/changelog \
&& sed -i 's/(2.5.2)/(2.5.2-1)/g' debian-meta/changelog \
&& sed -i 's/FULL_VERSION="${VERSION}"/FULL_VERSION="${VERSION}-${DEBIAN_VERSION}"/g' build-deb-packages.sh
    $ CUDA=/usr/local/cuda ./build-deb-packages.sh

  4. Instale os pacotes DEB do GDRCopy.

    $ sudo dpkg -i gdrdrv-dkms_2.5.2*.deb \
&& sudo dpkg -i libgdrapi_2.5.2*.deb \
&& sudo dpkg -i gdrcopy-tests_2.5.2*.deb \
&& sudo dpkg -i gdrcopy_2.5.2*.deb
RHEL 10
Para instalar o GDRCopy

  1. Instale as dependências necessárias.

    $ sudo yum -y install dkms rpm-build make check check-devel

  2. Baixe e extraia o pacote do GDRCopy.

    $ wget https://github.com/NVIDIA/gdrcopy/archive/refs/tags/v2.5.2.tar.gz \
&& tar xf v2.5.2.tar.gz && cd gdrcopy-2.5.2/packages

  3. Compile os pacotes RPM do GDRCopy.

    $ CUDA=/usr/local/cuda ./build-rpm-packages.sh

  4. Instale os pacotes RPM do GDRCopy.

    $ sudo rpm -Uvh gdrcopy-kmod-2.5.2*dkms*.rpm \
&& sudo rpm -Uvh gdrcopy-2.5.2*.rpm \
&& sudo rpm -Uvh gdrcopy-devel-2.5.2*.rpm

Etapa 5: instalar o software EFA

Instale o kernel habilitado para EFA, drivers EFA, Libfabric, plugin aws-ofi-nccl e pilha Open MPI, que são necessários para oferecer compatibilidade com EFA em sua instância.

Como instalar o software EFA

  1. Conecte à instância que você iniciou. Para obter mais informações, consulte Conectar-se à instância do Linux usando SSH.

  2. Faça download dos arquivos de instalação do software do EFA. Os arquivos de instalação do software são empacotados em um arquivo compactado tarball (.tar.gz). Para fazer download da última versão estável, use o seguinte comando:

    $ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.50.0.tar.gz

    Também é possível obter a versão mais recente substituindo o número da versão por latest no comando acima.

  3. (Opcional) Verifique a autenticidade e a integridade do arquivo do EFA tarball (.tar.gz).

    Recomendamos que você faça isso para verificar a identidade do fornecedor do software e para verificar se a aplicação não foi alterada ou corrompida desde que foi publicada. Se você não deseja verificar o arquivo tarball, ignore esta etapa.

    nota

    Como alternativa, se você preferir verificar o arquivo tarball usando uma soma de verificação MD5 ou SHA256, consulte Verificar o instalador EFA usando uma soma de verificação.

    1. Faça download da chave GPG pública e importe-a para seu pen-drive.

      $ wget https://efa-installer.amazonaws.com/aws-efa-installer.key && gpg --import aws-efa-installer.key

      O comando deve retornar um valor de chave. Anote o valor da chave, pois ele será necessário na próxima etapa.

    2. Verifique a impressão digital da chave GPG. Execute o seguinte comando e especifique o valor de chave da etapa anterior.

      $ gpg --fingerprint key_value

      O comando deve retornar uma impressão digital idêntica a 4E90 91BC BB97 A96B 26B1 5E59 A054 80B1 DD2D 3CCC. Se a impressão digital não corresponder, não execute o script de instalação do EFA e entre em contato com o Suporte.

    3. Faça download do arquivo de assinatura e verifique a assinatura do arquivo tarball EFA.

      $ wget https://efa-installer.amazonaws.com/aws-efa-installer-1.50.0.tar.gz.sig && gpg --verify ./aws-efa-installer-1.50.0.tar.gz.sig

      Veja a seguir um exemplo de saída.

      gpg: Signature made Wed 29 Jul 2020 12:50:13 AM UTC using RSA key ID DD2D3CCC
gpg: Good signature from "Amazon EC2 EFA <ec2-efa-maintainers@amazon.com>"
gpg: WARNING: This key is not certified with a trusted signature!
gpg:          There is no indication that the signature belongs to the owner.
Primary key fingerprint: 4E90 91BC BB97 A96B 26B1  5E59 A054 80B1 DD2D 3CCC

      Se o resultado incluir Good signature e a impressão digital corresponder à impressão digital retornada na etapa anterior, passe para a próxima etapa. Caso contrário, não execute o script de instalação do EFA e entre em contato com o Suporte.

    Mostrar maisMostrar menos

  4. Extraia os arquivos do arquivo compactado .tar.gz e navegue para o diretório extraído.

    $ tar -xf aws-efa-installer-1.50.0.tar.gz && cd aws-efa-installer

  5. (Opcional) Verifique as assinaturas de pacotes individuais durante a instalação.

    A partir do EFA 1.48.0, o instalador inclui pacotes individuais RPM e DEB assinados com GPG. Para verificar a autenticidade e a integridade de cada pacote individual durante a instalação, use o sinalizador --check-signatures. Quando você habilita esse sinalizador, o instalador verifica primeiro todas as assinaturas de pacotes e prossegue com a instalação somente se cada pacote for aprovado na verificação. Se algum pacote não for aprovado na verificação, o instalador sairá imediatamente sem instalar nada.

    1. Baixe a chave pública.

      $ wget https://efa-installer.amazonaws.com/aws-efa-installer.key

    2. Exporte o caminho principal. Em seguida, na próxima etapa, anexe --check-signatures ao comando de instalação e use sudo -E em vez de sudo para preservar a variável de ambiente.

      $ export EFA_INSTALLER_KEY=$(pwd)/aws-efa-installer.key

    Em sistemas baseados em RPM (Amazon Linux 2023, RHEL, Rocky Linux e SUSE), o instalador verifica cada RPM usando rpm --checksig. Em sistemas baseados em DEB (Ubuntu, Debian), o instalador verifica cada DEB usando a verificação de assinatura GPG. Se houver falha na verificação de qualquer pacote, a instalação será abortada imediatamente.

    nota

    O sinalizador --check-signatures é opcional. Sem isso, o instalador não realiza a verificação de assinaturas individuais.

    Mostrar maisMostrar menos

  6. Execute o script de instalação do software EFA.

    nota

    Se você concluiu a etapa opcional anterior para configurar a verificação de assinaturas de pacotes, acrescente --check-signatures ao comando de instalação e use sudo -E em vez de sudo. Por exemplo: sudo -E ./efa_installer.sh -y --mpi=openmpi5 --check-signatures.

    nota

    A partir do EFA 1.30.0, tanto a Open MPI 4.1 quanto a Open MPI 5 são instaladas por padrão. A menos que você precise da Open MPI 4.1, instale somente a Open MPI 5. O comando a seguir instala somente o Open MPI 5. Se quiser instalar a Open MPI 4.1 e a Open MPI 5, remova --mpi=openmpi5.

    $ sudo ./efa_installer.sh -y --mpi=openmpi5

    O Libfabric está instalado no diretório /opt/amazon/efa. O plugin aws-ofi-nccl está instalado no diretório /opt/amazon/ofi-nccl. O Open MPI está instalado no diretório /opt/amazon/openmpi.

  7. Se o instalador do EFA solicitar que você reinicialize a instância, faça-o e, em seguida, reconecte-se à instância. Caso contrário, faça logout da instância e faça login novamente para concluir a instalação.

  8. Confirme se o software EFA foi instalado com sucesso.

    $ fi_info -p efa -t FI_EP_RDM

    O comando deve retornar informações sobre as interfaces EFA Libfabric.

Etapa 6: instalar NCCL

Instale a NCCL. Para obter mais informações sobre a NCCL, consulte o Repositório da NCCL.

Como instalar a NCCL

  1. Navegue até o diretório /opt.

    $ cd /opt

  2. Clone o repositório oficial da NCCL para a instância e navegue até o repositório local clonado.

    $ sudo git clone https://github.com/NVIDIA/nccl.git -b v2.30.4-1 && cd nccl

  3. Compile e instale a NCCL e especifique o diretório de instalação do CUDA.

    $ sudo make -j src.build CUDA_HOME=/usr/local/cuda-13

Etapa 7: Instalar os testes da NCCL

Instale os testes da NCCL. Os testes da NCCL permitem confirmar se a NCCL está instalada adequadamente se ela está funcionando conforme esperado. Para obter mais informações sobre os testes da NCCL, consulte o Repositório nccl-tests.

Como instalar os testes da NCCL

  1. Navegue até o diretório inicial.

    $ cd $HOME

  2. Clone o repositório oficial de nccl-tests para a instância e navegue até o repositório local clonado.

    $ git clone https://github.com/NVIDIA/nccl-tests.git && cd nccl-tests

  3. Adicione o diretório do Libfabric à variável LD_LIBRARY_PATH.

    • Amazon Linux 2023

      $ export LD_LIBRARY_PATH=/opt/amazon/efa/lib64:$LD_LIBRARY_PATH

    • Ubuntu e Debian

      $ export LD_LIBRARY_PATH=/opt/amazon/efa/lib:$LD_LIBRARY_PATH

    • RHEL 10

      $ export LD_LIBRARY_PATH=/opt/amazon/efa/lib64:$LD_LIBRARY_PATH

  4. Instale os testes da NCCL e especifique os diretórios de instalação da MPI da NCCL e do CUDA.

    $ make MPI=1 MPI_HOME=/opt/amazon/openmpi NCCL_HOME=/opt/nccl/build CUDA_HOME=/usr/local/cuda-13

Etapa 8: Testar a configuração do EFA e da NCCL

Execute um teste para verificar se a instância temporária está configurada adequadamente para o EFA e para a NCCL.

Como testar a configuração do EFA e da NCCL

  1. Crie um arquivo de host que especifique os hosts nos quais executar os testes. O comando a seguir cria um arquivo de host chamado my-hosts que inclui uma referência à própria instância.

    IMDSv2
    [ec2-user ~]$ TOKEN=`curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"` \
&& curl -H "X-aws-ec2-metadata-token: $TOKEN" -v http://169.254.169.254/latest/meta-data/local-ipv4 >> my-hosts
    IMDSv1
    [ec2-user ~]$ curl http://169.254.169.254/latest/meta-data/local-ipv4 >> my-hosts

  2. Execute o teste da NCCL. O comando a seguir pressupõe que você tenha 8 GPUs por instância. Ajuste os valores de -n e -N com base no tipo de instância.

    $ /opt/amazon/openmpi/bin/mpirun \
-x FI_EFA_USE_DEVICE_RDMA=1 \
-x LD_LIBRARY_PATH=/opt/nccl/build/lib:/usr/local/cuda/lib64:/opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/amazon/ofi-nccl/lib:$LD_LIBRARY_PATH \
-x NCCL_DEBUG=INFO \
--hostfile my-hosts -n 8 -N 8 \
--mca pml ^cm --mca btl tcp,self --mca btl_tcp_if_exclude lo,docker0 --bind-to none \
$HOME/nccl-tests/build/all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

  3. É possível confirmar se EFA está ativo como o provedor subjacente para NCCL quando o log NCCL_DEBUG é impresso.

    ip-192-168-2-54:14:14 [0] NCCL INFO NET/OFI Selected Provider is efa*

    As seguintes informações adicionais são exibidas ao usar uma instância p4d.24xlarge.

    ip-192-168-2-54:14:14 [0] NCCL INFO NET/OFI Running on P4d platform, Setting NCCL_TOPO_FILE environment variable to /home/ec2-user/install/plugin/share/aws-ofi-nccl/xml/p4d-24xl-topo.xml

Etapa 9: Instalar as aplicações de machine learning

Instale as aplicações de machine learning na instância temporária. O procedimento de instalação varia dependendo da aplicação de machine learning específica. Para obter mais informações sobre como instalar o software em sua instância Linux, consulte Gerenciar atualizações do SO no Guia do usuário do Amazon Linux 2023.

nota

Pode ser necessário consultar a documentação da aplicação de machine learning para obter instruções de instalação.

Etapa 10: Criar um EFA e uma AMI habilitada para NCCL

Depois de instalar os componentes de software necessários, crie uma AMI que possa ser reutilizada para executar suas instâncias habilitadas para o EFA.

Para criar uma AMI a partir de sua instância temporária

  1. Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

  2. No painel de navegação, escolha Instances (Instâncias).

  3. Selecione a instância, escolha Actions (Ações), Image (Imagem), Create image (Criar imagem).

  4. Em Create image (Criar imagem), faça o seguinte:

    1. Em Image name (Nome da imagem), insira um nome descritivo para a AMI.

    2. (Opcional) Em Image description (Descrição da imagem), informe a descrição do propósito da AMI.

    3. Escolha Create Image (Criar imagem).

  5. No painel de navegação, selecione AMIs.

  6. Encontre na lista a AMI que você criou. Aguarde até que o status mude de pending para available antes de continuar para a próxima etapa.

Etapa 11: Encerrar a instância temporária

Neste ponto, você não precisa mais da instância temporária que você executou. É possível encerrar a instância para não incorrer mais em cobranças desnecessárias.

Para encerrar a instância temporária

  1. Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

  2. No painel de navegação, escolha Instances (Instâncias).

  3. Selecione a instância temporária, escolha Actions (Ações), selecione Instance state (Estado da instância), Terminate instance (Encerrar instance).

  4. Quando a confirmação for solicitada, escolha Terminate (Encerrar).

Etapa 12: Iniciar instâncias habilitadas para EFA e para NCCL em um grupo de posicionamento de cluster

Execute as instâncias habilitadas para EFA em um grupo de posicionamento de cluster usando a AMI habilitada para EFA criada e o grupo de segurança habilitado para EFA criado anteriormente.

nota

  • Não é um requisito absoluto executar suas instâncias habilitadas para EFA em um placement group de cluster. No entanto, recomendamos a execução de suas instâncias habilitadas para EFA em um grupo de posicionamento de cluster ao executar as instâncias em um grupo de baixa latência em uma única zona de disponibilidade.

  • Para garantir que a capacidade esteja disponível à medida que escala as instâncias do cluster, é possível criar uma reserva de capacidade para o grupo de posicionamento de cluster. Para obter mais informações, consulte Usar reservas de capacidade em grupos de posicionamento de cluster.

New console
Para executar uma instância temporária

  1. Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

  2. No painel de navegação, selecione Instances (Instâncias) e, depois, escolha Launch Instances (Iniciar instâncias) para abrir o novo assistente de inicialização de instância.

  3. (Opcional) Na seção Name and tags (Nome e etiquetas), forneça um nome para a instância, como EFA-instance. O nome é atribuído à instância como uma etiqueta de recurso (Name=EFA-instance).

  4. Na seção Application and OS Images (Imagens de aplicações e SO), selecione My AMIs (Minhas AMIs) e, em seguida, selecione a AMI que você criou na etapa anterior.

  5. Na seção Instance type (Tipo de instância), selecione p3dn.24xlarge ou p4d.24xlarge.

  6. Na seção Key pair (Par de chaves), selecione o par de chaves a ser usado na instância.

  7. Na seção Network settings (Configurações da rede), escolha Edit (Editar) e faça o seguinte:

    1. Em Subnet (Sub-rede), escolha a sub-rede na qual deseja iniciar a instância. Se você não selecionar uma sub-rede, não será possível habilitar a instância para o EFA.

    2. Para Firewall (security groups) (Firewall/grupos de segurança), escolha Select existing security group (Selecione grupo de segurança existente) e, em seguida, selecione o grupo de segurança que você criou na etapa anterior.

    3. Expanda a seção Configuração de rede avançada.

      Para Interface de rede 1, selecione Índice da placa de rede = 0, Índice do dispositivo = 0 e Tipo de interface = EFA com ENA.

      (Opcional) Caso esteja usando um tipo de instância com várias placas, como p4d.24xlarge oup5.48xlarge, para cada interface de rede adicional necessária, selecione Adicionar interface de rede, em Índice da placa de rede, selecione o próximo índice não utilizado e, em seguida, selecione Índice do dispositivo = 1 e Tipo de interface = EFA com ENA ou exclusivamente EFA.

  8. (Opcional) Na seção Storage (Armazenamento), configure os volumes conforme necessário.

  9. Na seção Advanced details (Detalhes avançados), para Placement group name (Nome do grupo de posicionamento), selecione o grupo de posicionamento de cluster no qual iniciar a instância. Caso precise criar um novo grupo de posicionamento de cluster, escolha Create new placement group (Criar novo grupo de posicionamento).

  10. No painel Summary (Resumo) à direita, em Number of instances (Número de instâncias), insira o número de instâncias habilitadas para EFA que você deseja iniciar e escolha Launch instance (Iniciar instância).

Old console
Para executar as instâncias habilitadas para EFA e NCCL em um grupo de posicionamento de cluster.

  1. Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

  2. Escolha Launch Instance (Executar instância).

  3. Na página Choose an AMI (Escolher uma AMI), selecione My AMIs (Minhas AMIs), localize a AMI criada anteriormente e escolha Select (Selecionar).

  4. Na página Choose an Instance Type (Escolher um tipo de instância), escolha p3dn.24xlarge e selecione Next: Configure Instance Details (Próximo: configurar detalhes da instância).

  5. Na página Configure Instance Details (Configurar detalhes da instância), faça o seguinte:

    1. Em Number of instances (Número de instâncias), insira o número de instâncias habilitadas para EFA e NCCL que você deseja executar.

    2. Em Network (Rede) e Subnet (Sub-rede), selecione a VPC e a sub-rede na qual executar as instâncias.

    3. Em Placement group, selecione Add instance to placement group (Adicionar instância ao placement group).

    4. Em Placement group name (Nome do grupo de posicionamento), selecione Add to a new placement group (Adicionar a um novo grupo de posicionamento) e, em seguida, insira um nome descritivo para o grupo de posicionamento. Em seguida, em Placement group strategy (Estratégia do grupo de posicionamento), selecione cluster.

    5. Para EFA, escolha Enable (Habilitar).

    6. Na seção Network Interfaces (Interfaces de rede), para dispositivo eth0, escolha New network interface (Nova interface de rede). Como opção, é possível especificar um endereço IPv4 principal e um ou mais endereços IPv4 secundários. Se estiver executando a instância em uma sub-rede que tenha um bloco CIDR IPv6 associado, será possível especificar opcionalmente um endereço IPv6 principal e um ou mais endereços IPv6 secundários.

    7. Escolha Next: Add Storage.

  6. Na página Add Storage (Adicionar armazenamento), especifique os volumes para anexar às instâncias, além dos volumes especificados pela AMI (como o volume raiz). Depois, selecione Next: Add Tags (Próximo: adicionar tags).

  7. Na página Add Tags (Adicionar tags), especifique tags para as instâncias, como nome amigável, e selecione Next: Configure Security Group (Próximo: Configurar grupo de segurança).

  8. Na página Configure Security Group (Configurar grupo de segurança), para Assign a security group (Atribuir um grupo de segurança), selecione Select an existing security group (Selecionar um grupo de segurança existente) e selecione o grupo de segurança que você criou anteriormente.

  9. Escolha Review and Launch.

  10. Na página Review Instance Launch (Revisar execução da instância), reveja as configurações, e escolha Launch (Executar) para escolher um par de chaves e executar a instâncias.

Etapa 13: Habilitar SSH sem senha

nota

O usuário do SSH padrão varia de acordo com o sistema operacional: ubuntu para Ubuntu, admin para Debian, ec2-user para Amazon Linux e RHEL.

Para permitir que suas aplicações sejam executadas em todas as instâncias do cluster, é necessário habilitar o acesso SSH sem senha do nó líder para os nós membros. O nó líder é a instância a partir da qual você executa suas aplicações. As instâncias restantes no cluster são os nós membros.

Para habilitar SSH sem senha entre as instâncias no cluster

  1. Selecione uma instância no cluster como o nó líder e conecte-se a ela.

  2. Desabilite strictHostKeyChecking e habilite ForwardAgent no nó líder. Abra o ~/.ssh/config usando o editor de texto de sua preferência e adicione o seguinte.

    Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

  3. Gere um par de chaves RSA.

    $ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

    O par de chaves é criado no diretório do $HOME/.ssh/.

  4. Altere as permissões da chave privada no nó líder.

    $ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

  5. Abra ~/.ssh/id_rsa.pub usando seu editor de texto preferido e copie a chave.

  6. Para cada nó de membro no cluster, faça o seguinte:

    1. Conecte-se à instância.

    2. Abra ~/.ssh/authorized_keys usando o editor de texto de sua preferência e adicione a chave pública que você copiou anteriormente.

  7. Para testar se o SSH sem senha está funcionando como esperado, conecte-se ao seu nó líder e execute o comando a seguir.

    $ ssh member_node_private_ip

    É necessário se conectar ao nó membro sem receber uma solicitação para inserir uma chave ou senha.