Amazon EKS에서 NVIDIA DRA 드라이버 또는 디바이스 플러그인 사용

Amazon EKS는 EKS 클러스터에서 NVIDIA GPU 디바이스를 관리하기 위한 두 가지 메커니즘(GPU용 NVIDIA DRA 드라이버 및 NVIDIA Kubernetes 디바이스 플러그인)을 지원합니다.

Karpenter, EKS 관리형 노드 그룹 또는 자체 관리형 노드에서 정적 용량 프로비저닝을 사용할 때는 Kubernetes 버전 1.34 이상의 새 배포에 NVIDIA DRA 드라이버를 사용하는 것이 좋습니다. NVIDIA DRA 드라이버는 현재 EKS Auto Mode에서 지원되지 않습니다. 동적 용량 프로비저닝을 사용하는 경우 EKS Auto Mode 또는 Karpenter에서 NVIDIA 디바이스 플러그인을 사용합니다. 또한 NVIDIA 디바이스 플러그인은 EKS 관리형 노드 그룹 및 자체 관리형 노드에 대해서도 계속 지원됩니다.

다중 인스턴스 GPU(MIG) 또는 시간 분할과 같은 GPU 공유 기능을 사용하는 경우 DRA 드라이버와 함께 정적 구성을 사용하거나 NVIDIA 디바이스 플러그인을 사용하는 것이 좋습니다. 동적 MIG 및 시간 분할은 NVIDIA DRA 드라이버에서 알파 상태입니다. 최신 업데이트는 GitHub의 NVIDIA DRA driver releases를 참조하세요.

NVIDIA DRA 드라이버 및 NVIDIA 디바이스 플러그인 비교

NVIDIA DRA 드라이버 설치

GPU용 NVIDIA DRA 드라이버는 GPU 및 ComputeDomains와 같은 두 가지 유형의 리소스를 관리합니다. 두 개의 DRA kubelet 플러그인(gpu-kubelet-plugin 및 compute-domain-kubelet-plugin)을 실행합니다. 각각 설치 중에 개별적으로 활성화하거나 비활성화할 수 있습니다. 이 가이드는 GPU 할당에 초점을 맞춥니다. ComputeDomains 사용에 대해서는 Amazon EKS에서 P6e-GB200 UltraServers 사용 섹션을 참조하세요.

사전 조건

절차

[settings.kubelet-device-plugins.nvidia]
enabled = false

NVIDIA Kubernetes 디바이스 플러그인 설치

NVIDIA Kubernetes 디바이스 플러그인은 NVIDIA GPU를 nvidia.com/gpu 확장 리소스로 알립니다. 컨테이너 리소스 요청 및 제한에서 GPU를 요청합니다.

사전 조건

절차

포드에서 NVIDIA GPU 요청

디바이스 플러그인을 사용하여 NVIDIA GPU를 요청하려면 컨테이너 리소스 요청 및 제한에서 nvidia.com/gpu 리소스를 지정합니다.

apiVersion: v1
kind: Pod
metadata:
  name: nvidia-smi
spec:
  restartPolicy: OnFailure
  containers:
  - name: gpu-demo
    image: public.ecr.aws/amazonlinux/amazonlinux:2023-minimal
    command: ["/bin/sh", "-c"]
    args: ["nvidia-smi && tail -f /dev/null"]
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Equal"
    value: "true"
    effect: "NoSchedule"

이 테스트를 실행하려면 매니페스트를 적용하고 로그를 봅니다.

kubectl apply -f nvidia-smi.yaml
kubectl logs nvidia-smi

예제 출력은 다음과 같습니다.

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI XXX.XXX.XX            Driver Version: XXX.XXX.XX     CUDA Version: XX.X      |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA L4                      On  |   00000000:31:00.0 Off |                    0 |
| N/A   27C    P8             11W /   72W |       0MiB /  23034MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+