使用 Elastic Fabric Adapter 在 Amazon EKS 上运行机器学习训练

确定您想在其中部署节点的 AWS 区域 中有哪些支持 EFA 的 Amazon EC2 实例类型可用。将 region-code 替换为您想要在其中部署节点组的 AWS 区域。

aws ec2 describe-instance-types --region region-code \
    --filters Name=network-info.efa-supported,Values=true \
    --query "InstanceTypes[*].[InstanceType]" --output text

部署节点时，您想要部署的实例类型必须在集群所在的 AWS 区域 中可用。

确定您想要部署的实例类型在哪些可用区中可用。本教程使用了 p5.48xlarge 实例类型，必须在上一步所指定的 AWS 区域 的输出中返回该实例类型。在生产集群中部署节点时，请将 p5.48xlarge 替换为上一步中返回的任何实例类型。

aws ec2 describe-instance-type-offerings --region region-code \
    --location-type availability-zone --filters Name=instance-type,Values=p4d.24xlarge,p5.48xlarge \
    --query 'InstanceTypeOfferings[*].Location' --output text

示例输出如下。

us-west-2a    us-west-2c    us-west-2b

记下返回的可用区，以供后续步骤使用。将节点部署到集群时，VPC 的子网必须在输出返回的其中一个可用区中具有可用的 IP 地址。

使用 eksctl 创建节点组。

先决条件

您的设备或 AWS CloudShell 上安装了 0.191.0 版或更高版本的 eksctl 命令行工具。要安装或更新 eksctl，请参阅 eksctl 文档中的 Installation。

部署 EFA Kubernetes 设备插件。

EFA Kubernetes 设备插件检测 EFA 接口并将其通告为可分配给 Kubernetes 的资源。应用程序可以使用 Pod 请求规范中的扩展资源类型 vpc.amazonaws.com/efa，就像 CPU 和内存一样。有关更多信息，请参阅 Kubernetes 文档中的使用扩展资源。请求后，该插件会自动为 Pod 分配并挂载 EFA 接口。使用该设备插件可以简化 EFA 设置，而且不需要在特权模式下运行 Pod。

helm repo add eks https://aws.github.io/eks-charts
helm install aws-efa-k8s-device-plugin --namespace kube-system eks/aws-efa-k8s-device-plugin

部署 Kubeflow MPI Operator

对于 NCCL 测试，您可以应用 Kubeflow MPI Operator。MPI Operator 可以轻松地在 Kubernetes 上运行 Allreduce 模式的分布式训练。有关更多信息，请参阅 GitHub 上的 MPI Operator。

运行多节点 NCCL 性能测试来验证 GPUDirectRDMA/EFA

要通过 EFA 使用 GPUDirectRDMA 验证 NCCL 性能，请运行标准 NCCL 性能测试。有关更多信息，请参阅 GitHub 上的官方 NCCL 测试存储库。

完成以下步骤以运行双节点 NCCL Performance Test。在示例 NCCL 测试作业中，每个 Worker 节点会请求八个 GPU、5210Mi 的 hugepages-2Mi、四个 EFA 和 8000Mi 的内存，这意味着每个 Worker 节点都会使用一个 p5.48xlarge 实例的所有资源。

1. 创建 MPIJob 清单

   将以下内容复制到名为 nccl-tests.yaml 的文件中：

   apiVersion: kubeflow.org/v2beta1
   kind: MPIJob
   metadata:
     name: nccl-tests
   spec:
     runPolicy:
       cleanPodPolicy: Running
       backoffLimit: 20
     slotsPerWorker: 8
     mpiReplicaSpecs:
       Launcher:
         replicas: 1
         template:
            spec:
             restartPolicy: OnFailure
             containers:
             - image: public.ecr.aws/hpc-cloud/nccl-tests:latest
               imagePullPolicy: IfNotPresent
               name: test-nccl-launcher
               env:
                - name: PATH
                  value: $PATH:/opt/amazon/efa/bin:/usr/bin
                - name: LD_LIBRARY_PATH
                  value: /opt/amazon/openmpi/lib:/opt/nccl/build/lib:/opt/amazon/efa/lib:/opt/aws-ofi-nccl/install/lib:/usr/local/nvidia/lib:$LD_LIBRARY_PATH
                - name: NCCL_DEBUG
                  value: INFO
                - name: NCCL_BUFFSIZE
                  value: '8388608'
                - name: NCCL_P2P_NET_CHUNKSIZE
                  value: '524288'
                - name: NCCL_TUNER_PLUGIN
                  value: /opt/aws-ofi-nccl/install/lib/libnccl-ofi-tuner.so
               command:
               - /opt/amazon/openmpi/bin/mpirun
               - --allow-run-as-root
               - --tag-output
               - -np
               - "16"
               - -N
               - "8"
               - --bind-to
               - none
               - -x
               - PATH
               - -x
               - LD_LIBRARY_PATH
               - -x
               - NCCL_DEBUG=INFO
               - -x
               - NCCL_BUFFSIZE
               - -x
               - NCCL_P2P_NET_CHUNKSIZE
               - -x
               - NCCL_TUNER_PLUGIN
               - --mca
               - pml
               - ^cm,ucx
               - --mca
               - btl
               - tcp,self
               - --mca
               - btl_tcp_if_exclude
               - lo,docker0,veth_def_agent
               - /opt/nccl-tests/build/all_reduce_perf
               - -b
               - "8"
               - -e
               - "16G"
               - -f
               - "2"
               - -g
               - "1"
               - -c
               - "1"
               - -n
               - "100"
       Worker:
         replicas: 2
         template:
           spec:
             nodeSelector:
               node.kubernetes.io/instance-type: "p5.48xlarge"
             containers:
             - image: public.ecr.aws/hpc-cloud/nccl-tests:latest
               imagePullPolicy: IfNotPresent
               name: nccl-tests-worker
               volumeMounts:
               - name: shmem
                 mountPath: /dev/shm
               resources:
                 limits:
                   nvidia.com/gpu: 8
                   hugepages-2Mi: 5120Mi
                   vpc.amazonaws.com/efa: 32
                   memory: 32000Mi
                 requests:
                   nvidia.com/gpu: 8
                   hugepages-2Mi: 5120Mi
                   vpc.amazonaws.com/efa: 32
                   memory: 32000Mi
             volumes:
             - name: shmem
               hostPath:
                 path: /dev/shm
   

2. 应用 NCCL-tests MPIJob

   通过应用清单提交 MPIJob。这将创建两个 p5.48xlarge Amazon EC2 实例。

   kubectl apply -f nccl-tests.yaml

   示例输出如下。

   mpijob.kubeflow.org/nccl-tests created

3. 验证作业是否启动了容器组（pod）

   查看您运行的 Pods。

   kubectl get pods
   

   示例输出如下。

   NAME                             READY   STATUS     RESTARTS   AGE
   nccl-tests-launcher-nbql9    0/1     Init:0/1   0          2m49s
   nccl-tests-worker-0          1/1     Running    0          2m49s
   nccl-tests-worker-1          1/1     Running    0          2m49s

   MPI Operator 创建一个启动器 Pod 和 2 个工作线程 Pods（每个节点上一个）。

4. 使用日志来验证作业是否成功运行

   查看 nccl-tests-launcher Pod 的日志。将 nbql9 替换为输出中的值。

   kubectl logs -f nccl-tests-launcher-nbql9