Impartición de formación en machine learning en Amazon EKS con Elastic Fabric Adapter

Determine qué tipos de instancias de Amazon EC2 compatibles con EFA están disponibles en la Región de AWS en la que desea implementar los nodos. Reemplace region-code por la Región de AWS en la que desea implementar su grupo de nodos.

aws ec2 describe-instance-types --region region-code \
    --filters Name=network-info.efa-supported,Values=true \
    --query "InstanceTypes[*].[InstanceType]" --output text

Al implementar nodos, el tipo de instancia que desea implementar debe estar disponible en la Región de AWS en el que está su clúster.

Determine en qué zonas de disponibilidad está disponible el tipo de instancia que desea implementar. En este tutorial, el tipo de instancia p5.48xlarge se utiliza el tipo de instancia y se debe devolver en la salida de la Región de AWS que especificó en el paso anterior. Cuando implemente nodos en un clúster de producción, sustituya p5.48xlarge con cualquier tipo de instancia que se devolvió en el paso anterior.

aws ec2 describe-instance-type-offerings --region region-code \
    --location-type availability-zone --filters Name=instance-type,Values=p4d.24xlarge,p5.48xlarge \
    --query 'InstanceTypeOfferings[*].Location' --output text

Un ejemplo de salida sería el siguiente.

us-west-2a    us-west-2c    us-west-2b

Tenga en cuenta las zonas de disponibilidad devueltas para su uso en pasos posteriores. Al implementar nodos en un clúster, la VPC debe tener subredes con direcciones IP disponibles en una de las zonas de disponibilidad que se muestran en el resultado.

Cree un grupo de nodos mediante eksctl.

Requisito previo

La versión 0.191.0 o posterior de la herramienta de línea de comandos eksctl instalada en su dispositivo o AWS CloudShell. Para instalar o actualizar eksctl, consulte la sección de Instalación en la documentación de eksctl.

Implemente el complemento de EFA del dispositivo de Kubernetes.

El complemento de EFA del dispositivo de Kubernetes detecta y anuncia interfaces de EFA como recursos asignables a Kubernetes. Una aplicación puede consumir el tipo de recurso ampliado vpc.amazonaws.com/efa en una especificación de solicitud de Pod al igual que la CPU y la memoria. Para obtener más información, consulte Consumir recursos ampliados en la documentación de Kubernetes. Una vez solicitado, el complemento asigna automáticamente una interfaz de EFA al Pod y la monta en él. El uso del complemento del dispositivo simplifica la configuración de EFA y no requiere que un Pod se ejecute en modo privilegiado.

helm repo add eks https://aws.github.io/eks-charts
helm install aws-efa-k8s-device-plugin --namespace kube-system eks/aws-efa-k8s-device-plugin

Implementar el operador MPI de Kubeflow

Para las pruebas NCCL puede aplicar el operador MPI de Kubeflow. El operador Message Passing Interface (MPI, interfaz de paso de mensajes) facilita la ejecución de la formación distribuida de estilo AllReduce en Kubernetes. Para obtener más información, consulte Operador de MPI en GitHub.

Ejecución de la prueba de rendimiento de NCCL de varios nodos para verificar GPUDirectRDMA/EFA

Para verificar el rendimiento de NCCL con GPUDirectRDMA en EFA, ejecute la prueba de rendimiento de NCCL estándar. Para obtener más información, consulte el repositorio oficial Pruebas de NCCL en GitHub.

Complete los pasos que se indican a continuación para ejecutar una NCCL Performance Test de dos nodos. En el trabajo de prueba de NCCL de ejemplo, cada trabajo solicita ocho GPU, 5210 Mi de hugepages-2Mi, cuatro EFA y 8000 Mi de memoria, lo que significa que cada trabajo consume todos los recursos de una instancia p5.48xlarge.

1. Creación del manifiesto MPIJob

   Copie lo siguiente en un archivo denominado nccl-tests.yaml:

   apiVersion: kubeflow.org/v2beta1
   kind: MPIJob
   metadata:
     name: nccl-tests
   spec:
     runPolicy:
       cleanPodPolicy: Running
       backoffLimit: 20
     slotsPerWorker: 8
     mpiReplicaSpecs:
       Launcher:
         replicas: 1
         template:
            spec:
             restartPolicy: OnFailure
             containers:
             - image: public.ecr.aws/hpc-cloud/nccl-tests:latest
               imagePullPolicy: IfNotPresent
               name: test-nccl-launcher
               env:
                - name: PATH
                  value: $PATH:/opt/amazon/efa/bin:/usr/bin
                - name: LD_LIBRARY_PATH
                  value: /opt/amazon/openmpi/lib:/opt/nccl/build/lib:/opt/amazon/efa/lib:/opt/aws-ofi-nccl/install/lib:/usr/local/nvidia/lib:$LD_LIBRARY_PATH
                - name: NCCL_DEBUG
                  value: INFO
                - name: NCCL_BUFFSIZE
                  value: '8388608'
                - name: NCCL_P2P_NET_CHUNKSIZE
                  value: '524288'
                - name: NCCL_TUNER_PLUGIN
                  value: /opt/aws-ofi-nccl/install/lib/libnccl-ofi-tuner.so
               command:
               - /opt/amazon/openmpi/bin/mpirun
               - --allow-run-as-root
               - --tag-output
               - -np
               - "16"
               - -N
               - "8"
               - --bind-to
               - none
               - -x
               - PATH
               - -x
               - LD_LIBRARY_PATH
               - -x
               - NCCL_DEBUG=INFO
               - -x
               - NCCL_BUFFSIZE
               - -x
               - NCCL_P2P_NET_CHUNKSIZE
               - -x
               - NCCL_TUNER_PLUGIN
               - --mca
               - pml
               - ^cm,ucx
               - --mca
               - btl
               - tcp,self
               - --mca
               - btl_tcp_if_exclude
               - lo,docker0,veth_def_agent
               - /opt/nccl-tests/build/all_reduce_perf
               - -b
               - "8"
               - -e
               - "16G"
               - -f
               - "2"
               - -g
               - "1"
               - -c
               - "1"
               - -n
               - "100"
       Worker:
         replicas: 2
         template:
           spec:
             nodeSelector:
               node.kubernetes.io/instance-type: "p5.48xlarge"
             containers:
             - image: public.ecr.aws/hpc-cloud/nccl-tests:latest
               imagePullPolicy: IfNotPresent
               name: nccl-tests-worker
               volumeMounts:
               - name: shmem
                 mountPath: /dev/shm
               resources:
                 limits:
                   nvidia.com/gpu: 8
                   hugepages-2Mi: 5120Mi
                   vpc.amazonaws.com/efa: 32
                   memory: 32000Mi
                 requests:
                   nvidia.com/gpu: 8
                   hugepages-2Mi: 5120Mi
                   vpc.amazonaws.com/efa: 32
                   memory: 32000Mi
             volumes:
             - name: shmem
               hostPath:
                 path: /dev/shm
   

2. Aplicación de NCCL-tests MPIJob

   Aplique el manifiesto para enviar MPIJob. Esto creará dos instancias p5.48xlarge de Amazon EC2.

   kubectl apply -f nccl-tests.yaml

   Un ejemplo de salida sería el siguiente.

   mpijob.kubeflow.org/nccl-tests created

3. Comprobación de que el trabajo haya iniciado los pods

   Consulte su ejecución Pods.

   kubectl get pods
   

   Un ejemplo de salida sería el siguiente.

   NAME                             READY   STATUS     RESTARTS   AGE
   nccl-tests-launcher-nbql9    0/1     Init:0/1   0          2m49s
   nccl-tests-worker-0          1/1     Running    0          2m49s
   nccl-tests-worker-1          1/1     Running    0          2m49s

   El operador MPI crea un Pod de lanzamiento y dos Pods de trabajo (uno en cada nodo).

4. Comprobación de que el trabajo se ejecute correctamente con los registros

   Consulte el registro del Pod de nccl-tests-launcher. Sustituya nbql9 con el valor de su salida.

   kubectl logs -f nccl-tests-launcher-nbql9