Amazon EC2에서 ML 워크로드를 위한 EFA 및 NCCL 시작하기 - Amazon Elastic Compute Cloud
1단계: EFA를 사용한 보안 그룹 준비2단계: 임시 인스턴스 시작3단계: Nvidia GPU 드라이버, Nvidia CUDA 툴킷 및 cuDNN 설치4단계: GDRCopy 설치5단계: EFA 소프트웨어 설치6단계: NCCL 설치7단계: aws-ofi-nccl 플러그인 설치8단계: NCCL 테스트 설치9단계: EFA 및 NCCL 구성 테스트10단계: 기계 학습 애플리케이션 설치11단계: EFA 및 NCCL 지원 AMI 생성12단계: 임시 인스턴스 종료13단계: 클러스터 배치 그룹에 EFA 및 NCCL 지원 인스턴스 시작14단계: 암호 없는 SSH 활성화

Amazon EC2에서 ML 워크로드를 위한 EFA 및 NCCL 시작하기

NVIDIA Collective Communications Library(NCCL)는 단일 노드 또는 여러 노드에서 여러 GPU를 위한 표준 집합적 통신 루틴의 라이브러입니다. NCCL은 EFA, Libfabric 및 MPI와 함께 사용하여 다양한 기계 학습 워크로드를 지원할 수 있습니다. 자세한 내용은 NCCL 웹 사이트를 참조하세요.

다음 단계는 지원되는 운영 체제 중 하나의 기본 AMI를 사용하여 EFA와 NCCL을 시작하는 데 도움이 됩니다.

참고

  • p3dn.24xlarge, p4d.24xlarge 및 p5.48xlarge 인스턴스 유형만 지원됩니다.

  • Amazon Linux 2 및 Ubuntu 20.04/22.04 기본 AMI만 지원됩니다.

  • NCCL 2.4.2 이상만 EFA에서 지원됩니다.

  • AWS Deep Learning AMIs를 사용하여 EFA 및 NCCL로 기계 학습 워크로드를 실행하는 방법에 대한 자세한 내용은 AWS Deep Learning AMIs 개발자 안내서의 Using EFA on the DLAMI를 참조하세요.

1단계: EFA를 사용한 보안 그룹 준비

EFA에는 보안 그룹 자체 내의 모든 인바운드 및 아웃바운드 트래픽을 허용하는 보안 그룹이 필요합니다. 다음 절차에서는 자체적으로 들어오고 나가는 모든 인바운드 및 아웃바운드 트래픽을 허용하고 SSH 연결을 위해 모든 IPv4 주소의 인바운드 SSH 트래픽을 허용하는 보안 그룹을 생성합니다.

중요

이 보안 그룹은 테스트 목적으로만 사용됩니다. 프로덕션 환경에서는 컴퓨터의 IP 주소 또는 로컬 네트워크의 IP 주소 범위와 같이 연결하려는 IP 주소로부터의 트래픽만 허용하는 인바운드 SSH 규칙을 생성하는 것이 좋습니다.

다른 시나리오는 다양한 사용 사례에 대한 보안 그룹 규칙 섹션을 참조하세요.

EFA 사용 보안 그룹을 생성하려면

  1. https://console.aws.amazon.com/ec2/에서 Amazon EC2 콘솔을 엽니다.

  2. 탐색 창에서 보안 그룹(Security Groups)을 선택한 다음, 보안 그룹 생성(Create security group)을 선택합니다.

  3. 보안 그룹 생성(Create security group) 창에서 다음을 수행합니다.

    1. 보안 그룹 이름의 경우 EFA-enabled security group과 같은 보안 그룹의 고유한 이름을 입력합니다.

    2. (선택 사항) 설명에 보안 그룹에 대한 간략한 설명을 입력합니다.

    3. VPC에서는 EFA 사용 인스턴스를 시작하려는 VPC를 선택합니다.

    4. 보안 그룹 생성을 선택합니다.

  4. 생성한 보안 그룹을 선택하고 세부 정보(Details) 탭에서 보안 그룹 ID(Security group ID)를 복사합니다.

  5. 보안 그룹을 선택한 상태에서 작업(Actions), 인바운드 규칙 편집(Edit inbound rules)을 선택한 후 다음을 수행합니다.

    1. [Add another rule]을 선택합니다.

    2. 유형(Type)에서 모든 트래픽(All traffic)을 선택합니다.

    3. 소스 유형(Source type)에서 사용자 지정(Custom)을 선택하고 복사한 보안 그룹 ID를 필드에 붙여넣습니다.

    4. 규칙 추가를 선택합니다.

    5. Type(유형)에서 SSH를 선택합니다.

    6. 소스 유형(Source type)에서 어디서나 - IPv4(Anywhere - IPv4)를 선택합니다.

    7. 규칙 저장을 선택합니다.

  6. 보안 그룹을 선택한 상태에서 작업(Actions), 아웃바운드 규칙 편집(Edit outbound rules)을 선택한 후 다음을 수행합니다.

    1. [Add another rule]을 선택합니다.

    2. 유형(Type)에서 모든 트래픽(All traffic)을 선택합니다.

    3. 대상 유형(Destination type)에서 사용자 지정(Custom)을 선택하고 복사한 보안 그룹 ID를 필드에 붙여넣습니다.

    4. 규칙 저장을 선택합니다.

2단계: 임시 인스턴스 시작

EFA 소프트웨어 구성 요소를 설치하고 구성하는 데 사용할 수 있는 임시 인스턴스를 실행합니다. 이 인스턴스를 사용해 EFA를 사용한 AMI을 생성하여 EFA를 사용한 인스턴스를 실행할 수 있습니다.

임시 인스턴스를 실행합니다.

  1. https://console.aws.amazon.com/ec2/에서 Amazon EC2 콘솔을 엽니다.

  2. 탐색 창에서 Instances(인스턴스)를 선택한 다음에 Launch Instances(인스턴스 시작)를 선택하여 새 인스턴스 시작 마법사를 엽니다.

  3. (선택 사항)이름 및 태그(Name and tags) 섹션에서 인스턴스의 이름(예: EFA-instance)을 제공합니다. 이름은 인스턴스에 리소스 태그(Name=EFA-instance)로 할당됩니다.

  4. Application and OS Images(애플리케이션 및 OS 이미지) 섹션에서 지원되는 운영 체제 중 하나에 해당하는 AMI를 선택합니다. Amazon Linux 2, Ubuntu 20.04 및 Ubuntu 22.04만 지원됩니다.

  5. 인스턴스 유형 섹션에서 p3dn.24xlarge, p4d.24xlarge 또는 p5.48xlarge를 선택합니다.

  6. 키 페어(Key pair) 섹션에서 인스턴스에 사용할 키 페어를 선택합니다.

  7. 네트워크 설정(Network settings) 섹션에서 편집(Edit)을 선택하고 다음과 같이 수행합니다.

    1. 서브넷(Subnet)에서 인스턴스를 시작할 서브넷을 선택합니다. 서브넷을 선택하지 않으면 EFA에 대해 인스턴스를 활성화할 수 없습니다.

    2. 방화벽(보안 그룹)의 경우 기존 보안 그룹 선택(Select existing security group)을 선택한 다음에 이전 단계에서 생성한 보안 그룹을 선택합니다.

    3. 고급 네트워크 구성(Advanced network configuration) 섹션을 확장하고 Elastic Fabric Adapter의 경우 사용(Enable)을 선택합니다.

  8. 스토리지(Storage) 섹션에서 필요에 따라 볼륨을 구성합니다.

    참고

    Nvidia CUDA 도구 키트에 사용할 10~20GiB의 스토리지를 추가로 프로비저닝해야 합니다. 스토리지를 충분히 프로비저닝하지 않으면 Nvidia 드라이버 및 CUDA 도구 키트를 설치하려고 할 때 insufficient disk space오류가 발생합니다.

  9. 오른쪽의 요약(Summary) 패널에서 인스턴스 시작(Launch instance)을 선택합니다.

3단계: Nvidia GPU 드라이버, Nvidia CUDA 툴킷 및 cuDNN 설치

Amazon Linux 2
Nvidia GPU 드라이버 및 Nvidia CUDA 툴킷 및 cuDNN을 설치하려면

  1. 모든 소프트웨어 패키지가 최신 상태로 업데이트되어 있는지 확인하기 위해, 인스턴스에서 퀵 소프트웨어 업데이트를 실행합니다.

    $ sudo yum upgrade -y && sudo reboot

    인스턴스가 재부팅되면 다시 연결합니다.

  2. Nvidia GPU 드라이버 및 Nvidia CUDA 도구 키트를 설치하는 데 필요한 유틸리티를 설치합니다.

    $ sudo yum groupinstall 'Development Tools' -y

  3. nouveau 오픈 소스 드라이버를 사용 중단합니다.

    1. 현재 실행 중인 커널의 버전에 필요한 유틸리티와 커널 헤더 패키지를 설치합니다.

      $ sudo yum install -y wget kernel-devel-$(uname -r) kernel-headers-$(uname -r)

    2. nouveau를 /etc/modprobe.d/blacklist.conf 거부 목록 파일에 추가합니다.

      $ cat << EOF | sudo tee --append /etc/modprobe.d/blacklist.conf
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist nvidiafb
blacklist rivatv
EOF

    3. grub 파일에 GRUB_CMDLINE_LINUX="rdblacklist=nouveau"를 추가하고 Grub 구성을 다시 구축합니다.

      $ echo 'GRUB_CMDLINE_LINUX="rdblacklist=nouveau"' | sudo tee -a /etc/default/grub \
&& sudo grub2-mkconfig -o /boot/grub2/grub.cfg

  4. 인스턴스를 재부팅하고 다시 연결합니다.

  5. 필요한 리포지토리 준비

    1. DKMS용 EPEL 리포지토리를 설치하고 Linux 배포에 대한 선택적 리포지토리를 사용하도록 설정합니다.

      $ sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

    2. CUDA 리포지토리 퍼블릭 GPG 키를 설치합니다.

      $ distribution='rhel7'

    3. CUDA 네트워크 리포지토리를 설정하고 리포지토리 캐시를 업데이트합니다.

      $ ARCH=$( /bin/arch ) \
&& sudo yum-config-manager --add-repo http://developer.download.nvidia.com/compute/cuda/repos/$distribution/${ARCH}/cuda-$distribution.repo \
&& sudo yum clean expire-cache

    4. (커널 버전 5.10에만 해당) 커널 버전 5.10과 함께 Amazon Linux 2를 사용하는 경우에만 이 단계를 수행합니다. 커널 버전 4.12와 함께 Amazon Linux 2를 사용하는 경우 다음 단계를 건너뜁니다. 커널 버전을 확인하려면 uname -r을 실행합니다.

      1. /etc/dkms/nvidia.conf라는 이름의 Nvidia 드라이버 구성 파일을 생성합니다.

        $ sudo mkdir -p /etc/dkms \
&& echo "MAKE[0]=\"'make' -j2 module SYSSRC=\${kernel_source_dir} IGNORE_XEN_PRESENCE=1 IGNORE_PREEMPT_RT_PRESENCE=1 IGNORE_CC_MISMATCH=1 CC=/usr/bin/gcc10-gcc\"" | sudo tee /etc/dkms/nvidia.conf

      2. (p4d.24xlarge 및 p5.48xlarge만 해당) Nvidia 드라이버 구성 파일을 복사합니다.

        $ sudo cp /etc/dkms/nvidia.conf /etc/dkms/nvidia-open.conf

  6. Nvidia GPU 드라이버, Nvidia CUDA 도구 키트 및 cuDNN을 설치합니다.

    • p3dn.24xlarge

      $ sudo yum clean all \
&& sudo yum -y install kmod-nvidia-latest-dkms nvidia-driver-latest-dkms \
&& sudo yum -y install cuda-drivers-fabricmanager cuda libcudnn8-devel

    • p4d.24xlarge 및 p5.48xlarge

      $ sudo yum clean all \
&& sudo yum -y install kmod-nvidia-open-dkms nvidia-driver-latest-dkms \
&& sudo yum -y install cuda-drivers-fabricmanager cuda libcudnn8-devel

  7. 인스턴스를 재부팅하고 다시 연결합니다.

  8. (p4d.24xlarge 및 p5.48xlarge만 해당) Nvidia Fabric Manager 서비스를 시작하고 인스턴스가 시작될 때 자동으로 시작되는지 확인합니다. Nvidia 패브릭 관리자는 NV 스위치 관리에 필요합니다.

    $ sudo systemctl enable nvidia-fabricmanager && sudo systemctl start nvidia-fabricmanager

  9. 인스턴스가 시작될 때마다 CUDA 경로가 설정되는지 확인합니다.

    • bash 셸의 경우 /home/username/.bashrc 및 /home/username/.bash_profile에 다음 명령문을 추가합니다.

      export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

    • tcsh 셸의 경우 /home/username/.cshrc에 다음 명령문을 추가합니다.

      setenv PATH=/usr/local/cuda/bin:$PATH
setenv LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

  10. Nvidia GPU 드라이버가 작동하는지 확인하려면 다음 명령을 실행합니다.

    $ nvidia-smi -q | head

    명령을 실행하면 Nvidia GPU, Nvidia GPU 드라이버 및 Nvidia CUDA 도구 키트에 대한 정보가 반환되어야 합니다.

Ubuntu 20.04/22.04
Nvidia GPU 드라이버 및 Nvidia CUDA 툴킷 및 cuDNN을 설치하려면

  1. 모든 소프트웨어 패키지가 최신 상태로 업데이트되어 있는지 확인하기 위해, 인스턴스에서 퀵 소프트웨어 업데이트를 실행합니다.

    $ sudo apt-get update && sudo apt-get upgrade -y

  2. Nvidia GPU 드라이버 및 Nvidia CUDA 도구 키트를 설치하는 데 필요한 유틸리티를 설치합니다.

    $ sudo apt-get update && sudo apt-get install build-essential -y

  3. Nvidia GPU 드라이버를 사용하려면, 우선 nouveau 오픈 소스 드라이버를 비활성화해야 합니다.

    1. 현재 실행 중인 커널의 버전에 필요한 유틸리티와 커널 헤더 패키지를 설치합니다.

      $ sudo apt-get install -y gcc make linux-headers-$(uname -r)

    2. nouveau를 /etc/modprobe.d/blacklist.conf 거부 목록 파일에 추가합니다.

      $ cat << EOF | sudo tee --append /etc/modprobe.d/blacklist.conf
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist nvidiafb
blacklist rivatv
EOF

    3. 원하는 텍스트 편집기를 사용하여 /etc/default/grub를 열고 다음을 추가합니다.

      GRUB_CMDLINE_LINUX="rdblacklist=nouveau"

    4. Grub 구성을 다시 빌드합니다.

      $ sudo update-grub

  4. 인스턴스를 재부팅하고 다시 연결합니다.

  5. CUDA 리포지토리를 추가하고 Nvidia GPU 드라이버, NVIDIA CUDA 도구 키트 및 cuDNN을 설치합니다.

    • p3dn.24xlarge

      $ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu2004/x86_64/7fa2af80.pub \
&& wget -O /tmp/deeplearning.deb http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu2004/x86_64/nvidia-machine-learning-repo-ubuntu2004_1.0.0-1_amd64.deb \
&& sudo dpkg -i /tmp/deeplearning.deb \
&& wget -O /tmp/cuda.pin https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin \
&& sudo mv /tmp/cuda.pin /etc/apt/preferences.d/cuda-repository-pin-600 \
&& sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub \
&& sudo add-apt-repository 'deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /' \
&& sudo apt update \
&& sudo apt install nvidia-dkms-535 \
&& sudo apt install -o Dpkg::Options::='--force-overwrite' cuda-drivers-535 cuda-toolkit-12-3 libcudnn8 libcudnn8-dev -y

    • p4d.24xlarge 및 p5.48xlarge

      $ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu2004/x86_64/7fa2af80.pub \
&& wget -O /tmp/deeplearning.deb http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu2004/x86_64/nvidia-machine-learning-repo-ubuntu2004_1.0.0-1_amd64.deb \
&& sudo dpkg -i /tmp/deeplearning.deb \
&& wget -O /tmp/cuda.pin https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin \
&& sudo mv /tmp/cuda.pin /etc/apt/preferences.d/cuda-repository-pin-600 \
&& sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub \
&& sudo add-apt-repository 'deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /' \
&& sudo apt update \
&& sudo apt install nvidia-kernel-open-535 \
&& sudo apt install -o Dpkg::Options::='--force-overwrite' cuda-drivers-535 cuda-toolkit-12-3 libcudnn8 libcudnn8-dev -y

  6. 인스턴스를 재부팅하고 다시 연결합니다.

  7. (p4d.24xlarge 및 p5.48xlarge만 해당) Nvidia Fabric Manager를 설치합니다.

    1. 이전 단계에서 설치한 Nvidia 커널 모듈의 버전과 일치하는 Nvidia Fabric Manager 버전을 설치해야 합니다.

      다음 명령을 실행하여 Nvidia 커널 모듈의 버전을 확인합니다.

      $ cat /proc/driver/nvidia/version | grep "Kernel Module"

      출력의 예시는 다음과 같습니다.

      NVRM version: NVIDIA UNIX x86_64 Kernel Module  450.42.01  Tue Jun 15 21:26:37 UTC 2021

      위 예제에서 커널 모듈의 메이저 버전 450이 설치되었습니다. 즉, Nvidia Fabric Manager 버전 450을 설치해야 합니다.

    2. Nvidia Fabric Manager를 설치합니다. 다음 명령을 실행하고 이전 단계에서 식별된 메이저 버전을 지정합니다.

      $ sudo apt install -o Dpkg::Options::='--force-overwrite' nvidia-fabricmanager-major_version_number

      예를 들어, 커널 모듈의 메이저 버전 450이 설치된 경우 다음 명령을 사용하여 일치하는 버전의 Nvidia Fabric Manager를 설치합니다.

      $ sudo apt install -o Dpkg::Options::='--force-overwrite' nvidia-fabricmanager-450

    3. 서비스를 시작하고 인스턴스가 시작될 때 서비스가 자동으로 시작되는지 확인합니다. Nvidia 패브릭 관리자는 NV 스위치 관리에 필요합니다.

      $ sudo systemctl start nvidia-fabricmanager && sudo systemctl enable nvidia-fabricmanager

  8. 인스턴스가 시작될 때마다 CUDA 경로가 설정되는지 확인합니다.

    • bash 셸의 경우 /home/username/.bashrc 및 /home/username/.bash_profile에 다음 명령문을 추가합니다.

      export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

    • tcsh 셸의 경우 /home/username/.cshrc에 다음 명령문을 추가합니다.

      setenv PATH=/usr/local/cuda/bin:$PATH
setenv LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

  9. Nvidia GPU 드라이버가 작동하는지 확인하려면 다음 명령을 실행합니다.

    $ nvidia-smi -q | head

    명령을 실행하면 Nvidia GPU, Nvidia GPU 드라이버 및 Nvidia CUDA 도구 키트에 대한 정보가 반환되어야 합니다.

4단계: GDRCopy 설치

GDRCopy를 설치하여 Libfabric의 성능을 향상합니다. GDRCopy에 관한 자세한 내용은 GDRCopy 리포지토리를 참조하세요.

Amazon Linux 2
GDRCopy 설치 방법

  1. 필요한 종속 항목을 설치합니다.

    $ sudo yum -y install dkms rpm-build make check check-devel subunit subunit-devel

  2. GDRCopy 패키지를 다운로드하여 압축을 풉니다.

    $ wget https://github.com/NVIDIA/gdrcopy/archive/refs/tags/v2.4.tar.gz \
&& tar xf v2.4.tar.gz ; cd gdrcopy-2.4/packages

  3. GDRCopy RPM 패키지를 빌드합니다.

    $ CUDA=/usr/local/cuda ./build-rpm-packages.sh

  4. GDRCopy RPM 패키지를 설치합니다.

    $ sudo rpm -Uvh gdrcopy-kmod-2.4-1dkms.noarch*.rpm \
&& sudo rpm -Uvh gdrcopy-2.4-1.x86_64*.rpm \
&& sudo rpm -Uvh gdrcopy-devel-2.4-1.noarch*.rpm
Ubuntu 20.04/22.04
GDRCopy 설치 방법

  1. 필요한 종속 항목을 설치합니다.

    $ sudo apt -y install build-essential devscripts debhelper check libsubunit-dev fakeroot pkg-config dkms

  2. GDRCopy 패키지를 다운로드하여 압축을 풉니다.

    $ wget https://github.com/NVIDIA/gdrcopy/archive/refs/tags/v2.4.tar.gz \
&& tar xf v2.4.tar.gz \
&& cd gdrcopy-2.4/packages

  3. GDRCopy RPM 패키지를 빌드합니다.

    $ CUDA=/usr/local/cuda ./build-deb-packages.sh

  4. GDRCopy RPM 패키지를 설치합니다.

    $ sudo dpkg -i gdrdrv-dkms_2.4-1_amd64.*.deb \
&& sudo dpkg -i libgdrapi_2.4-1_amd64.*.deb \
&& sudo dpkg -i gdrcopy-tests_2.4-1_amd64.*.deb \
&& sudo dpkg -i gdrcopy_2.4-1_amd64.*.deb

5단계: EFA 소프트웨어 설치

임시 인스턴스에서 EFA를 지원하는 데 필요한 EFA 사용 커널, EFA 드라이버, Libfabric 및 Open MPI 스택을 설치합니다.

EFA 소프트웨어를 설치하려면

  1. 시작한 인스턴스에 연결합니다. 자세한 내용은 SSH를 사용하여 Linux 인스턴스에 연결 단원을 참조하십시오.

  2. EFA 소프트웨어 설치 파일을 다운로드합니다. 소프트웨어 설치 파일은 압축 tarball(.tar.gz) 파일로 패키징되어 있습니다. 최신 안정 버전을 다운로드하려면 다음 명령을 사용하십시오.

    $ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.35.0.tar.gz

    또한 위의 명령에서 버전 번호를 latest로 바꾸면 최신 버전을 얻을 수 있습니다.

  3. (선택 사항) EFA tarball(.tar.gz) 파일의 신뢰성 및 무결성을 확인합니다.

    이 작업을 수행하여 소프트웨어 게시자의 자격 증명을 확인하고 파일이 게시된 이후 변경되거나 손상되지 않았는지 확인하는 것이 좋습니다. tarball 파일을 확인하지 않으려면 이 단계를 건너뜁니다.

    참고

    또는 MD5 또는 SHA256 체크섬을 대신 사용하여 tarball 파일을 확인하려면 체크섬을 사용하여 EFA 설치 프로그램 확인 섹션을 참조하세요.

    1. 퍼블릭 GPG 키를 다운로드하고 키 링으로 가져옵니다.

      $ wget https://efa-installer.amazonaws.com/aws-efa-installer.key && gpg --import aws-efa-installer.key

      명령에서 키 값이 반환됩니다. 다음 단계에서 필요하므로 키 값을 기록해 둡니다.

    2. GPG 키의 지문을 확인합니다. 다음 명령을 실행하고 이전 단계의 키 값을 지정합니다.

      $ gpg --fingerprint key_value

      명령에서 4E90 91BC BB97 A96B 26B1 5E59 A054 80B1 DD2D 3CCC와 동일한 지문이 반환되어야 합니다. 지문이 일치하지 않으면 EFA 설치 스크립트를 실행하지 말고 AWS Support에 문의하세요.

    3. 서명 파일을 다운로드하고 EFA tarball 파일의 서명을 확인합니다.

      $ wget https://efa-installer.amazonaws.com/aws-efa-installer-1.35.0.tar.gz.sig && gpg --verify ./aws-efa-installer-1.35.0.tar.gz.sig

      다음은 출력의 예입니다.

      gpg: Signature made Wed 29 Jul 2020 12:50:13 AM UTC using RSA key ID DD2D3CCC
gpg: Good signature from "Amazon EC2 EFA <ec2-efa-maintainers@amazon.com>"
gpg: WARNING: This key is not certified with a trusted signature!
gpg:          There is no indication that the signature belongs to the owner.
Primary key fingerprint: 4E90 91BC BB97 A96B 26B1  5E59 A054 80B1 DD2D 3CCC

      결과에 Good signature가 있고 이전 단계에서 반환된 지문과 지문이 일치하면 다음 단계로 진행합니다. 그렇지 않은 경우 EFA 설치 스크립트를 실행하지 말고 AWS Support에 문의하세요.

    더보기간략히 보기

  4. 압축 .tar.gz 파일에서 파일을 추출하고 추출된 디렉터리로 이동하십시오.

    $ tar -xf aws-efa-installer-1.35.0.tar.gz && cd aws-efa-installer

  5. EFA 소프트웨어 설치 스크립트를 실행합니다.

    참고

    EFA 1.30.0부터 Open MPI 4 및 Open MPI 5 모두 기본적으로 설치됩니다. Open MPI 5가 필요하지 않은 경우 Open MPI 4만 설치하는 것이 좋습니다. 다음 명령은 Open MPI 4만 설치합니다. Open MPI 4 및 Open MPI 5를 설치하려면 --mpi=openmpi4를 제거합니다.

    $ sudo ./efa_installer.sh -y --mpi=openmpi4

    Libfabric은 /opt/amazon/efa 디렉터리에 설치되는 반면, Open MPI는 /opt/amazon/openmpi 디렉터리에 설치됩니다.

  6. EFA 설치 프로그램에서 인스턴스를 재부팅하라는 메시지를 표시하면 인스턴스를 재부팅한 다음 인스턴스에 다시 연결합니다. 그렇지 않으면 인스턴스에서 로그아웃한 다음 다시 로그인하여 설치를 완료합니다.

  7. EFA 소프트웨어 구성 요소가 성공적으로 설치되었는지 확인합니다.

    $ fi_info -p efa -t FI_EP_RDM

    이 명령은 Libfabric EFA 인스턴스에 대한 정보를 반환합니다. 다음은 해당 명령 출력을 보여주는 예제입니다.

    • p3dn.24xlarge 및 단일 네트워크 인터페이스

      provider: efa
fabric: EFA-fe80::94:3dff:fe89:1b70
domain: efa_0-rdm
version: 2.0
type: FI_EP_RDM
protocol: FI_PROTO_EFA

    • p4d.24xlarge 및 p5.48xlarge와 여러 네트워크 인터페이스

      provider: efa
fabric: EFA-fe80::c6e:8fff:fef6:e7ff
domain: efa_0-rdm
version: 111.0
type: FI_EP_RDM
protocol: FI_PROTO_EFA
provider: efa
fabric: EFA-fe80::c34:3eff:feb2:3c35
domain: efa_1-rdm
version: 111.0
type: FI_EP_RDM
protocol: FI_PROTO_EFA
provider: efa
fabric: EFA-fe80::c0f:7bff:fe68:a775
domain: efa_2-rdm
version: 111.0
type: FI_EP_RDM
protocol: FI_PROTO_EFA
provider: efa
fabric: EFA-fe80::ca7:b0ff:fea6:5e99
domain: efa_3-rdm
version: 111.0
type: FI_EP_RDM
protocol: FI_PROTO_EFA

6단계: NCCL 설치

NCCL을 설치합니다. NCCL에 대한 자세한 내용은 NCCL 리포지토리를 참조하세요.

NCCL을 설치하려면

  1. /opt 디렉터리로 이동합니다.

    $ cd /opt

  2. 공식 NCCL 리포지토리를 인스터스에 복제하고 복제된 로컬 리포지토리로 이동합니다.

    $ sudo git clone https://github.com/NVIDIA/nccl.git && cd nccl

  3. NCCL을 빌드 및 설치하고 CUDA 설치 디렉터리를 지정합니다.

    $ sudo make -j src.build CUDA_HOME=/usr/local/cuda

7단계: aws-ofi-nccl 플러그인 설치

aws-ofi-nccl 플러그인은 NCCL의 연결 지향 전송 API를 Libfabric의 연결 없는 안정적인 인터페이스에 매핑합니다. 이렇게 하면 NCCL 기반 애플리케이션을 실행하면서 Libfabric을 네트워크 공급자로 사용할 수 있습니다. aws-ofi-nccl 플러그인에 대한 자세한 내용은 aws-ofi-nccl 리포지토리를 참조하세요.

aws-ofi-nccl 플러그인을 설치하려면

  1. 홈 디렉터리로 이동합니다.

    $ cd $HOME

  2. 필수 유틸리티를 설치합니다.

    • Amazon Linux 2

      $ sudo yum install hwloc-devel

    • Ubuntu

      $ sudo apt-get install libhwloc-dev

  3. aws-ofi-nccl 플러그인 파일을 다운로드합니다. 파일은 압축 tarball(.tar.gz) 파일로 패키징되어 있습니다.

    $ wget https://github.com/aws/aws-ofi-nccl/releases/download/v1.11.0-aws/aws-ofi-nccl-1.11.0-aws.tar.gz

  4. 압축 .tar.gz 파일에서 파일을 추출하고 추출된 디렉터리로 이동합니다.

    $ tar -xf aws-ofi-nccl-1.11.0-aws.tar.gz && cd aws-ofi-nccl-1.11.0-aws

  5. make 파일을 생성하려면 configure 스크립트를 실행하고 MPI, Libfabric, NCCL 및 CUDA 설치 디렉터리를 지정합니다.

    $ ./configure --prefix=/opt/aws-ofi-nccl --with-mpi=/opt/amazon/openmpi \
--with-libfabric=/opt/amazon/efa \
--with-cuda=/usr/local/cuda \
--enable-platform-aws

  6. Open MPI 디렉터리를 PATH 변수에 추가합니다.

    $ export PATH=/opt/amazon/openmpi/bin/:$PATH

  7. aws-ofi-nccl 플러그인을 설치합니다.

    $ make && sudo make install

8단계: NCCL 테스트 설치

NCCL 테스트를 설치합니다. NCCL 테스트를 통해 NCCL이 올바르게 설치되었는지와 예상대로 작동하는지 확인할 수 있습니다. NCCL 테스트에 대한 자세한 내용은 nccl-tests 리포지토리를 참조하세요.

NCCL 테스트를 설치하려면

  1. 홈 디렉터리로 이동합니다.

    $ cd $HOME

  2. 공식 nccl-tests 리포지토리를 인스터스에 복제하고 복제된 로컬 리포지토리로 이동합니다.

    $ git clone https://github.com/NVIDIA/nccl-tests.git && cd nccl-tests

  3. Libfabric 디렉터리를 LD_LIBRARY_PATH 변수에 추가합니다.

    • Amazon Linux 2

      $ export LD_LIBRARY_PATH=/opt/amazon/efa/lib64:$LD_LIBRARY_PATH

    • Ubuntu

      $ export LD_LIBRARY_PATH=/opt/amazon/efa/lib:$LD_LIBRARY_PATH

  4. NCCL 테스트를 설치하고 MPI, NCCL 및 CUDA 설치 디렉터리를 지정합니다.

    $ make MPI=1 MPI_HOME=/opt/amazon/openmpi NCCL_HOME=/opt/nccl/build CUDA_HOME=/usr/local/cuda

9단계: EFA 및 NCCL 구성 테스트

테스트를 실행하여 임시 인스턴스가 EFA 및 NCCL에 대해 올바르게 구성되었는지 확인합니다.

EFA 및 NCCL 구성을 테스트하려면

  1. 테스트를 실행할 호스트를 지정하는 호스트 파일을 생성합니다. 다음 명령은 인스턴스 자체에 대한 참조를 포함하는 my-hosts라는 호스트 파일을 생성합니다.

    IMDSv2
    [ec2-user ~]$ TOKEN=`curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"` \
&& curl -H "X-aws-ec2-metadata-token: $TOKEN" -v http://169.254.169.254/latest/meta-data/local-ipv4 >> my-hosts
    IMDSv1
    [ec2-user ~]$ curl http://169.254.169.254/latest/meta-data/local-ipv4 >> my-hosts

  2. 테스트를 실행하고 호스트 파일(--hostfile) 및 사용할 GPU 수(-n)를 지정합니다. 다음 명령은 인스턴스 자체의 8개 GPU에서 all_reduce_perf 테스트를 실행하고 다음 환경 변수를 지정합니다.

    • FI_EFA_USE_DEVICE_RDMA=1 - (p4d.24xlarge만 해당) 단방향 및 양방향 전송을 위해 디바이스의 RDMA 기능을 사용합니다.

    • NCCL_DEBUG=INFO - 세부 디버깅 출력을 사용합니다. 또한 VERSION을 지정하여 테스트 시작 시 NCCL 버전만 인쇄하거나 WARN을 지정하여 오류 메시지만 수신할 수 있습니다.

    NCCL 테스트 알고리즘에 대한 자세한 내용은 공식 nccl-tests 리포지토리에서 NCCL Tests README를 참조하세요.

    • p3dn.24xlarge

      $ /opt/amazon/openmpi/bin/mpirun \
-x LD_LIBRARY_PATH=/opt/nccl/build/lib:/usr/local/cuda/lib64:/opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:$LD_LIBRARY_PATH \
-x NCCL_DEBUG=INFO \
--hostfile my-hosts -n 8 -N 8 \
--mca pml ^cm --mca btl tcp,self --mca btl_tcp_if_exclude lo,docker0 --bind-to none \
$HOME/nccl-tests/build/all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

    • p4d.24xlarge 및 p5.48xlarge

      $ /opt/amazon/openmpi/bin/mpirun \
-x FI_EFA_USE_DEVICE_RDMA=1 \
-x LD_LIBRARY_PATH=/opt/nccl/build/lib:/usr/local/cuda/lib64:/opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:$LD_LIBRARY_PATH \
-x NCCL_DEBUG=INFO \
--hostfile my-hosts -n 8 -N 8 \
--mca pml ^cm --mca btl tcp,self --mca btl_tcp_if_exclude lo,docker0 --bind-to none \
$HOME/nccl-tests/build/all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

  3. NCCL_DEBUG 로그가 인쇄될 때 EFA가 NCCL의 기본 공급자로 활성화되어 있는지 확인할 수 있습니다.

    ip-192-168-2-54:14:14 [0] NCCL INFO NET/OFI Selected Provider is efa*

    p4d.24xlarge 인스턴스를 사용할 때 다음과 같은 추가 정보가 표시됩니다.

    ip-192-168-2-54:14:14 [0] NCCL INFO NET/OFI Running on P4d platform, Setting NCCL_TOPO_FILE environment variable to /home/ec2-user/install/plugin/share/aws-ofi-nccl/xml/p4d-24xl-topo.xml

10단계: 기계 학습 애플리케이션 설치

기계 학습 애플리케이션을 임시 인스턴스에 설치합니다. 설치 절차는 기계 학습 애플리케이션에 따라 다릅니다. Linux 인스턴스에 소프트웨어를 설치하는 데 대한 자세한 내용은 Amazon Linux 2 인스턴스에서 소프트웨어 관리를 참조하세요.

참고

설치 지침은 기계 학습 애플리케이션의 설명서를 참조하세요.

11단계: EFA 및 NCCL 지원 AMI 생성

필수 소프트웨어 구성 요소를 설치한 뒤 AMI를 사용하여 EFA 사용 인스턴스를 재사용하고 시작합니다.

임시 인스턴스에서 AMI를 생성하려면

  1. https://console.aws.amazon.com/ec2/에서 Amazon EC2 콘솔을 엽니다.

  2. 탐색 창에서 Instances(인스턴스)를 선택합니다.

  3. 생성한 임시 인스턴스를 선택하고 [작업(Actions)], [이미지(Image)], [이미지 생성(Create image)]을 선택합니다.

  4. [이미지 생성(Create image)]에서 다음을 수행합니다.

    1. [이미지 이름(Image name)]에 AMI를 설명하는 이름을 입력합니다.

    2. (선택 사항) [이미지 설명(Image description)]에 AMI의 용도에 대한 간략한 설명을 입력합니다.

    3. 이미지 생성(Create image)을 선택합니다.

  5. 탐색 창에서 AMI를 선택합니다.

  6. 목록에서 생성한 AMI를 찾습니다. 상태가 pending에서 available로 바뀔 때까지 기다린 후 다음 단계를 계속합니다.

12단계: 임시 인스턴스 종료

이 단계에서는 시작한 임시 인스턴스가 더 이상 필요하지 않습니다. 추가 요금이 발생하지 않도록 해당 인스턴스를 종료할 수 있습니다.

임시 인스턴스 종료

  1. https://console.aws.amazon.com/ec2/에서 Amazon EC2 콘솔을 엽니다.

  2. 탐색 창에서 Instances(인스턴스)를 선택합니다.

  3. 생성한 임시 인스턴스를 선택하고 작업(Actions), 인스턴스 상태(Instance state), 인스턴스 종료(Terminate instance)를 선택합니다.

  4. 확인 메시지가 나타나면 종료(Terminate)를 선택합니다.

13단계: 클러스터 배치 그룹에 EFA 및 NCCL 지원 인스턴스 시작

앞서 생성한 EFA 사용 AMI 및 EFA 사용 보안 그룹을 사용하여 클러스터 배치 그룹으로 EFA 및 NCCL 사용 인스턴스를 시작합니다.

참고

  • 클러스터 배치 그룹에 EFA 지원 인스턴스를 시작할 필요는 없습니다. 그러나 EFA가 지원되는 인스턴스를 클러스터 배치 그룹에서 실행하면 단일 가용 영역의 지연율이 낮은 그룹 인스턴스를 시작하기 때문에 권장합니다.

  • 클러스터 인스턴스를 확장할 때 용량을 사용할 수 있도록 하려면 클러스터 배치 그룹에 대한 용량 예약을 생성할 수 있습니다. 자세한 내용은 클러스터 배치 그룹에 용량 예약 생성 단원을 참조하십시오.

New console
임시 인스턴스를 실행합니다.

  1. https://console.aws.amazon.com/ec2/에서 Amazon EC2 콘솔을 엽니다.

  2. 탐색 창에서 Instances(인스턴스)를 선택한 다음에 Launch Instances(인스턴스 시작)를 선택하여 새 인스턴스 시작 마법사를 엽니다.

  3. (선택 사항)이름 및 태그(Name and tags) 섹션에서 인스턴스의 이름(예: EFA-instance)을 제공합니다. 이름은 인스턴스에 리소스 태그(Name=EFA-instance)로 할당됩니다.

  4. 애플리케이션 및 OS 이미지(Application and OS Images) 섹션에서 내 AMI(My AMIs)를 선택한 다음에 이전 단계에서 생성한 AMI를 선택합니다.

  5. 인스턴스 유형(Instance type) 섹션에서.p3dn.24xlarge 또는 p4d.24xlarge를 선택합니다

  6. 키 페어(Key pair) 섹션에서 인스턴스에 사용할 키 페어를 선택합니다.

  7. 네트워크 설정(Network settings) 섹션에서 편집(Edit)을 선택하고 다음과 같이 수행합니다.

    1. 서브넷(Subnet)에서 인스턴스를 시작할 서브넷을 선택합니다. 서브넷을 선택하지 않으면 EFA에 대해 인스턴스를 활성화할 수 없습니다.

    2. 방화벽(보안 그룹)의 경우 기존 보안 그룹 선택(Select existing security group)을 선택한 다음에 이전 단계에서 생성한 보안 그룹을 선택합니다.

    3. 고급 네트워크 구성(Advanced network configuration) 섹션을 확장하고 Elastic Fabric Adapter의 경우 사용(Enable)을 선택합니다.

  8. (선택 사항) 스토리지(Storage) 섹션에서 필요에 따라 볼륨을 구성합니다.

  9. 고급 세부 정보(Advanced details) 섹션에서 배치 그룹 이름(Placement group name)의 경우 인스턴스를 시작할 클러스터 배치 그룹을 선택합니다. 새 클러스터 배치 그룹을 생성해야 하는 경우 새 배치 그룹 생성(Create new placement group)을 선택합니다.

  10. 오른쪽의 요약(Summary) 패널에서 인스턴스 개수(Number of instances)의 경우 시작하려는 EFA 사용 인스턴스 개수를 입력한 다음에 인스턴스 시작(Launch instance)을 선택합니다.

Old console
클러스터 배치 그룹으로 EFA 및 NCCL 사용 인스턴스를 시작하려면

  1. https://console.aws.amazon.com/ec2/에서 Amazon EC2 콘솔을 엽니다.

  2. 인스턴스 시작을 선택합니다.

  3. [AMI 선택(Choose an AMI)] 페이지에서 [내 AMI(My AMIs)]를 선택하고 앞서 생성한 AMI를 찾은 다음 [선택(Select)]을 선택합니다.

  4. 인스턴스 유형 선택 페이지에서 p3dn.24xlarge와 다음: 인스턴스 세부 정보 구성을 차례대로 선택합니다.

  5. [Configure Instance Details] 페이지에서 다음을 수행합니다.

    1. [인스턴스 수(Number of instances)]에 시작하려는 EFA 및 NCCL 사용 인스턴스 수를 입력합니다.

    2. 네트워크 및 서브넷에서 인스턴스를 시작할 VPC와 서브넷을 선택합니다.

    3. 배치 그룹에서 배치 그룹에 인스턴스를 추가를 선택합니다.

    4. 배치 그룹 이름에서 새 배치 그룹에 추가를 선택한 다음 배치 그룹을 설명하는 이름을 입력합니다. 배치 그룹 전략에서 클러스터를 선택합니다.

    5. EFA에서 활성화를 선택합니다.

    6. 네트워크 인터페이스 항목의 디바이스 eth0에서 새 네트워크 인터페이스를 선택합니다. 하나의 기본 IPv4 주소와 하나 이상의 보조 IPv4 주소를 입력할 수도 있습니다. 연결된 IPv6 CIDR 블록이 있는 서브넷에서 인스턴스를 시작하는 경우 기본 IPv6 주소 및 하나 이상의 보조 IPv6 주소를 지정할 수도 있습니다.

    7. 다음: 스토리지 추가를 선택합니다.

  6. [스토리지 추가(Add Storage)] 페이지에서 인스턴스에 연결할 볼륨과 AMI에서 지정한 볼륨(예: 루트 디바이스 볼륨)을 지정합니다. 다음: 태그 추가를 선택합니다.

  7. 태그 추가 페이지에서 사용자에게 친숙한 이름 등의 인스턴스 태그를 지정한 후 다음: 보안 그룹 구성(Next: Configure Security Group)을 선택합니다.

  8. 보안 그룹 구성 페이지의 보안 그룹 할당에서 기존 보안 그룹 선택을 선택한 다음 앞에서 생성한 보안 그룹을 선택합니다.

  9. [검토 및 시작(Review and Launch)]를 선택합니다.

  10. 인스턴스 시작 검토 페이지에서 설정을 검토한 후 시작을 선택하여 키 페어를 선택하고 인스턴스를 시작합니다.

14단계: 암호 없는 SSH 활성화

클러스터의 모든 인스턴스에서 실행하도록 애플리케이션을 활성화하려면 리더 노드에서 멤버 노드로의 암호 없는 SSH 액세스를 사용해야 합니다. 리더 노드는 애플리케이션을 실행할 인스턴스입니다. 클러스터의 나머지 인스턴스는 멤버 노드입니다,

클러스터의 인스턴스 간에 암호 없는 SSH를 사용하려면

  1. 클러스터의 인스턴스 1개를 리더 노드로 선택하고 연결합니다.

  2. strictHostKeyChecking을 비활성화하고 리더 노드에서 ForwardAgent를 활성화합니다. 원하는 텍스트 편집기를 사용하여 ~/.ssh/config를 열고 다음을 추가합니다.

    Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

  3. RSA 키 페어 생성:

    $ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

    키 페어는 $HOME/.ssh/ 디렉터리에 생성됩니다.

  4. 리더 노드에서 프라이빗 키의 사용 권한을 변경합니다.

    $ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

  5. 원하는 텍스트 편집기를 사용하여 ~/.ssh/id_rsa.pub를 열고 키를 추가합니다.

  6. 클러스터의 각 멤버 노드에 대해 다음을 수행합니다.

    1. 인스턴스에 연결합니다.

    2. 원하는 텍스트 편집기를 사용하여 ~/.ssh/authorized_keys를 열고 앞에서 복사한 퍼블릭 키를 추가합니다.

  7. 암호 없는 SSH가 예상대로 작동하는지 테스트하려면 리더 노드에 연결하고 다음 명령을 실행합니다.

    $ ssh member_node_private_ip

    키 또는 암호를 입력하라는 메시지가 표시되지 않은 상태에서 멤버 노드에 연결해야 합니다.