Unterstützung für die Verbesserung dieser Seite beitragen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Um zu diesem Benutzerhandbuch beizutragen, wählen Sie den GitHub Link Diese Seite bearbeiten auf, der sich im rechten Bereich jeder Seite befindet.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

P6e-GB200 UltraServers Mit Amazon EKS verwenden

In diesem Thema wird beschrieben, wie Sie Amazon EKS mit konfigurieren und verwenden P6e-GB200 UltraServers. Der p6e-gb200.36xlarge Instance-Typ mit 4 NVIDIA Blackwell-GPUs ist nur als verfügbar. P6e-GB200 UltraServers Es gibt zwei Typen von. P6e-GB200 UltraServers Der u-p6e-gb200x36 UltraServer hat 9 p6e-gb200.36xlarge Instanzen und der u-p6e-gb200x72 UltraServer hat 18 p6e-gb200.36xlarge Instanzen.

Weitere Informationen finden Sie auf der Amazon EC2 P6e-GB200 UltraServers EC2-Webseite.

Überlegungen

Komponenten

Die folgenden Komponenten werden für die Ausführung von Workloads auf EKS mit dem empfohlen. P6e-GB200 UltraServers Sie können optional den NVIDIA-GPU-Operator verwenden, um die NVIDIA-Knotenkomponenten zu installieren. Wenn Sie den NVIDIA-GPU-Operator mit dem EKS-optimized AL2023 NVIDIA AMI verwenden, müssen Sie die Installation des Treibers und des Toolkits durch den Operator deaktivieren, da diese bereits im AMI enthalten sind.

Die Knotenkomponenten in der obigen Tabelle erfüllen die folgenden Funktionen:

Verfahren

Im folgenden Abschnitt wird davon ausgegangen, dass Sie über einen EKS-Cluster verfügen, auf dem Kubernetes Version 1.33 oder höher ausgeführt wird, mit einer oder mehreren Knotengruppen, auf P6e-GB200 UltraServers denen das AL2023 ARM NVIDIA Accelerated AMI ausgeführt wird. EKS-optimized Die erforderlichen Schritte Rechenressourcen für AI/ML Workloads auf Amazon EKS verwalten für selbstverwaltete EKS-Knoten und verwaltete Knotengruppen finden Sie unter den Links unter.

Das folgende Verfahren verwendet die folgenden Komponenten.

Installieren Sie den NVIDIA GPU-Operator

Der NVIDIA-GPU-Operator vereinfacht die Verwaltung der Komponenten, die für die Verwendung von GPUs in Kubernetes-Clustern erforderlich sind. Da der NVIDIA-GPU-Treiber und das Container-Toolkit als Teil des EKS-optimized beschleunigten AMI installiert werden, müssen diese false in der Helm-Wertekonfiguration auf eingestellt werden.

Installieren Sie den NVIDIA DRA-Treiber

Ab der NVIDIA-GPU-Operatorversion v25.3.4 muss der NVIDIA-DRA-Treiber separat installiert werden. Es wird empfohlen, die Versionshinweise zum NVIDIA-GPU-Operator zu lesen, da sich dies in einer future Version ändern kann.

Installieren Sie EFA für die übergreifende Kommunikation UltraServer

Um die EFA-Kommunikation zwischen zu nutzen UltraServers, installieren Sie den EFA-DRA-Treiber (DRANET) oder das EFA-Geräte-Plugin. P6e-GB200 Instanzen können mit bis zu 17 Netzwerkkarten konfiguriert werden, und das primäre NCI (Index 0) muss vom Typ sein interface und bis zu 100 Gbit/s ENA-Bandbreite unterstützen. Konfigurieren Sie Ihre EFA- und ENA-Schnittstellen bei der Knotenbereitstellung gemäß Ihren Anforderungen. Weitere Informationen zur EFA-Konfiguration finden Sie in der AWS Dokumentation zur EFA-Konfiguration für P6e-GB200 Instances.

Option 1: Installieren Sie den EFA-DRA-Treiber (DRANET)

Weitere Informationen zur Verwendung des EFA-DRA-Treibers, einschließlich topologieorientierter Zuweisung und Gerätefreigabe, finden Sie unter. EFA-Geräte auf Amazon EKS verwalten

Option 2: Installieren Sie das EFA-Geräte-Plugin

Multi-Node Validieren Sie IMEX über NVLink

Einen NVLINK-NCCL-Test mit mehreren Knoten und andere Mikrobenchmarks finden Sie im Awesome-Distributed-Training Repository. GitHub Die folgenden Schritte zeigen, wie Sie einen NVLink-Test mit mehreren Knoten mit nvbandwidth durchführen.

---
apiVersion: resource.nvidia.com/v1beta1
kind: ComputeDomain
metadata:
  name: nvbandwidth-test-compute-domain
spec:
  numNodes: 0 # This can be set to 0 from NVIDIA DRA Driver version v25.8.0+
  channel:
    resourceClaimTemplate:
      name: nvbandwidth-test-compute-domain-channel

---
apiVersion: kubeflow.org/v2beta1
kind: MPIJob
metadata:
  name: nvbandwidth-test
spec:
  slotsPerWorker: 4 # 4 GPUs per worker node
  launcherCreationPolicy: WaitForWorkersReady
  runPolicy:
    cleanPodPolicy: Running
  sshAuthMountPath: /home/mpiuser/.ssh
  mpiReplicaSpecs:
    Launcher:
      replicas: 1
      template:
        metadata:
          labels:
            nvbandwidth-test-replica: mpi-launcher
        spec:
          affinity:
            nodeAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                nodeSelectorTerms:
                - matchExpressions:
                  # Only schedule on NVIDIA GB200/GB300 nodes
                  - key: node.kubernetes.io/instance-type
                    operator: In
                    values:
                    - p6e-gb200.36xlarge
                    - p6e-gb300.36xlarge
          containers:
          - image: ghcr.io/nvidia/k8s-samples:nvbandwidth-v0.7-8d103163
            name: mpi-launcher
            securityContext:
              runAsUser: 1000
            command:
            - mpirun
            args:
            - --bind-to
            - core
            - --map-by
            - ppr:4:node
            - -np
            - "8"
            - --report-bindings
            - -q
            - nvbandwidth
            - -t
            - multinode_device_to_device_memcpy_read_ce
    Worker:
      replicas: 2 # 2 worker nodes
      template:
        metadata:
          labels:
            nvbandwidth-test-replica: mpi-worker
        spec:
          affinity:
            nodeAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                nodeSelectorTerms:
                - matchExpressions:
                  # Only schedule on NVIDIA GB200/GB300 nodes
                  - key: node.kubernetes.io/instance-type
                    operator: In
                    values:
                    - p6e-gb200.36xlarge
                    - p6e-gb300.36xlarge
            podAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
              - labelSelector:
                  matchExpressions:
                  - key: nvbandwidth-test-replica
                    operator: In
                    values:
                    - mpi-worker
                topologyKey: nvidia.com/gpu.clique
          containers:
          - image: ghcr.io/nvidia/k8s-samples:nvbandwidth-v0.7-8d103163
            name: mpi-worker
            securityContext:
              runAsUser: 1000
            env:
            command:
            - /usr/sbin/sshd
            args:
            - -De
            - -f
            - /home/mpiuser/.sshd_config
            resources:
              limits:
                nvidia.com/gpu: 4  # Request 4 GPUs per worker
              claims:
              - name: compute-domain-channel # Link to IMEX channel
          resourceClaims:
          - name: compute-domain-channel
            resourceClaimTemplateName: nvbandwidth-test-compute-domain-channel

+. Erstellen Sie den ComputeDomain und starten Sie den Job mit dem folgenden Befehl.

+

kubectl apply -f nvbandwidth-test-job.yaml

+. ComputeDomain Bei der Erstellung können Sie sehen, dass der Workload zwei Knoten ComputeDomain hat:

+

kubectl get computedomains.resource.nvidia.com -o yaml

+

status:
  nodes:
  - cliqueID: <ClusterUUID>.<Clique ID>
    ipAddress: <node-ip>
    name: <node-hostname>
  - cliqueID: <ClusterUUID>.<Clique ID>
    ipAddress: <node-ip>
    name: <node-hostname>
  status: Ready

+. Überprüfen Sie die Ergebnisse des Jobs mit dem folgenden Befehl.

+

kubectl logs --tail=-1 -l job-name=nvbandwidth-test-launcher

+ Ein erfolgreicher Test zeigt Bandbreitenstatistiken GB/s für den Memcpy-Test mit mehreren Knoten. Ein Beispiel für eine erfolgreiche Testausgabe ist unten dargestellt.

+

...
nvbandwidth Version: ...
Built from Git version: ...

MPI version: ...
CUDA Runtime Version: ...
CUDA Driver Version: ...
Driver Version: ...

Process 0 (nvbandwidth-test-worker-0): device 0: NVIDIA GB200 (...)
Process 1 (nvbandwidth-test-worker-0): device 1: NVIDIA GB200 (...)
Process 2 (nvbandwidth-test-worker-0): device 2: NVIDIA GB200 (...)
Process 3 (nvbandwidth-test-worker-0): device 3: NVIDIA GB200 (...)
Process 4 (nvbandwidth-test-worker-1): device 0: NVIDIA GB200 (...)
Process 5 (nvbandwidth-test-worker-1): device 1: NVIDIA GB200 (...)
Process 6 (nvbandwidth-test-worker-1): device 2: NVIDIA GB200 (...)
Process 7 (nvbandwidth-test-worker-1): device 3: NVIDIA GB200 (...)

Running multinode_device_to_device_memcpy_read_ce.
memcpy CE GPU(row) -> GPU(column) bandwidth (GB/s)
           0         1         2         3         4         5         6         7
 0       N/A    821.45    822.18    821.73    822.05    821.38    822.61    821.89
 1    822.34       N/A    821.67    822.12    821.94    820.87    821.53    822.08
 2    821.76    822.29       N/A    821.58    822.43    821.15    821.82    822.31
 3    822.19    821.84    822.05       N/A    821.67    821.23    820.95    822.47
 4    821.63    822.38    821.49    822.17       N/A    821.06    821.78    822.22
 5    822.08    821.52    821.89    822.35    821.27       N/A    821.64    822.13
 6    821.94    822.15    821.68    822.04    821.39    820.92       N/A    822.56
 7    822.27    821.73    822.11    821.86    822.38    821.04    821.49       N/A

SUM multinode_device_to_device_memcpy_read_ce ...

NOTE: The reported results may not reflect the full capabilities of the platform.
Performance can vary with software drivers, hardware clocks, and system topology.

+. Wenn der Test abgeschlossen ist, löschen Sie ihn mit dem folgenden Befehl.

+

kubectl delete -f nvbandwidth-test-job.yaml