Amazon EKS에서 NVIDIA GPU와 함께 다중 인스턴스 GPU(MIG) 사용

mig.nvidia.com DeviceClass에서 MIG 인스턴스를 요청하는 ResourceClaimTemplate과 이를 참조하는 포드를 생성합니다. 이 예제에서는 프로필을 제약하지 않고 사용 가능한 MIG 인스턴스를 요청합니다.

cat <<EOF | kubectl apply -f -
apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: mig-profile-any
spec:
  spec:
    devices:
      requests:
      - name: mig
        exactly:
          deviceClassName: mig.nvidia.com
          count: 1
---
apiVersion: v1
kind: Pod
metadata:
  name: mig-dra-pod
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
  containers:
    - name: cuda
      image: nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ["nvidia-smi", "-L"]
      resources:
        claims:
        - name: mig
  resourceClaims:
    - name: mig
      resourceClaimTemplateName: mig-profile-any
  restartPolicy: OnFailure
EOF

포드에 단일 MIG 인스턴스가 할당되었는지 확인합니다.

kubectl logs mig-dra-pod

예제 출력은 다음과 같습니다. 포드는 분할된 GPU에서 하나의 MIG 인스턴스를 인식합니다.

GPU 0: NVIDIA A100-SXM4-40GB (UUID: GPU-edd63844-8488-f76a-f6e0-1027a7319a88)
  MIG 2g.10gb     Device  0: (UUID: MIG-a5ad493e-e7e8-5675-9381-1d0f5311a456)

AL2023 P 패밀리 GPU 노드에 대한 EC2NodeClass 및 NodePool을 생성합니다. AL2023에서는 이후 단계에서 GPU Operator에 의해 MIG 파티셔닝이 적용되므로 이는 표준 AL2023 GPU 노드 클래스입니다. 다음 예제에서는 EKS 최적화 AL2023 NVIDIA AMI로 p4d.24xlarge 노드를 프로비저닝합니다.

cat <<EOF | kubectl apply -f -
apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: gpu-mig-al2023
spec:
  amiFamily: AL2023
  amiSelectorTerms:
    - alias: al2023@latest
  role: eksctl-KarpenterNodeRole-<cluster-name>
  subnetSelectorTerms:
    - tags:
        karpenter.sh/discovery: <cluster-name>
  securityGroupSelectorTerms:
    - tags:
        karpenter.sh/discovery: <cluster-name>
  tags:
    karpenter.sh/discovery: <cluster-name>
---
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: gpu-mig-al2023
spec:
  template:
    spec:
      nodeClassRef:
        group: karpenter.k8s.aws
        kind: EC2NodeClass
        name: gpu-mig-al2023
      taints:
        - key: nvidia.com/gpu
          effect: NoSchedule
      requirements:
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["spot", "on-demand"]
        - key: node.kubernetes.io/instance-type
          operator: In
          values: ["p4d.24xlarge"]
        - key: kubernetes.io/arch
          operator: In
          values: ["amd64"]
  limits:
    cpu: 1000
    memory: 5000Gi
EOF

NVIDIA 헬름 리포지토리를 추가합니다.

helm repo add nvidia https://nvidia.github.io/gpu-operator
helm repo update

드라이버 관리를 비활성화하고, 혼합 전략을 선택하고, 적용할 MIG 프로필을 정의하는 gpu-operator-values.yaml 파일을 생성합니다. 다음 예제에서는 p4d.24xlarge 노드에서 8개 GPU 중 4개를 분할하고 나머지는 그대로 두는 p4d-half-balanced 구성을 정의합니다.

cat <<EOF > gpu-operator-values.yaml
driver:
  enabled: false
toolkit:
  enabled: false
devicePlugin:
  enabled: true
nfd:
  enabled: true
gfd:
  enabled: true
mig:
  strategy: mixed
migManager:
  enabled: true
  env:
    - name: WITH_REBOOT
      value: "true"
  config:
    create: true
    name: custom-mig-parted-configs
    default: all-disabled
    data:
      config.yaml: |-
        version: v1
        mig-configs:
          all-disabled:
            - devices: all
              mig-enabled: false
          p4d-half-balanced:
            - devices: [0, 1, 2, 3]
              mig-enabled: true
              mig-devices:
                "1g.5gb": 2
                "2g.10gb": 1
                "3g.20gb": 1
            - devices: [4, 5, 6, 7]
              mig-enabled: false
EOF

값 파일을 사용하여 GPU Operator를 설치합니다.

helm install gpu-operator nvidia/gpu-operator \
    --namespace gpu-operator \
    --create-namespace \
    --values gpu-operator-values.yaml

적용할 프로필 구성으로 MIG 지원 노드에 레이블을 지정합니다. MIG Manager 구성 요소는 이 레이블을 감시하고 그에 따라 GPU를 분할하여 노드를 재부팅함으로써 변경 사항을 적용합니다.

kubectl label nodes -l node.kubernetes.io/instance-type=p4d.24xlarge \
    nvidia.com/mig.config=p4d-half-balanced --overwrite

GPU Operator가 GPU를 분할한 후 포드는 nvidia.com/gpu 대신 리소스 이름으로 특정 MIG 프로필을 요청합니다. 다음 예제에서는 하나의 1g.5gb 인스턴스를 요청하는 포드를 실행합니다.

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: mig-inference
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
  containers:
    - name: cuda
      image: nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ["nvidia-smi", "-L"]
      resources:
        limits:
          nvidia.com/mig-1g.5gb: 1
EOF

노드가 MIG 리소스를 광고하는지 확인합니다. 단일 전략을 사용하면 노드는 인스턴스를 nvidia.com/gpu로 보고합니다. 혼합 전략을 사용하면 노드는 nvidia.com/mig-1g.10gb와 같은 프로필별 리소스를 보고합니다.

kubectl describe node <node-name> | grep nvidia.com

MIG 지원 노드의 포드에서 nvidia-smi를 실행하여 MIG 모드가 활성 상태인지 확인합니다.

nvidia-smi는 MIG 모드가 켜져 있는 GPU에 대해 MIG M.: Enabled를 보고하고 각각에 구성된 MIG 인스턴스를 나열합니다. 다음은 MIG가 활성화되고 3g.20gb, 2g.10gb 및 1g.5gb 인스턴스로 분할된 A100 40GB GPU의 출력 예제입니다.

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.159.03             Driver Version: 580.159.03     CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA A100-SXM4-40GB          On  |   00000000:10:1C.0 Off |                   On |
| N/A   35C    P0             65W /  400W |     213MiB /  40960MiB |     N/A      Default |
|                                         |                        |              Enabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| MIG devices:                                                                            |
+------------------+----------------------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |              Shared Memory-Usage |        Vol|        Shared         |
|      ID  ID  Dev |                Shared BAR1-Usage | SM     Unc| CE ENC  DEC  OFA  JPG |
|                  |                                  |        ECC|                       |
|==================+==================================+===========+=======================|
|  0    1   0   0  |             107MiB / 20096MiB    | 42      0 |  3   0    2    0    0 |
|                  |               0MiB / 12211MiB    |           |                       |
+------------------+----------------------------------+-----------+-----------------------+
|  0    5   0   1  |              71MiB /  9984MiB    | 28      0 |  2   0    1    0    0 |
|                  |               0MiB /  6105MiB    |           |                       |
+------------------+----------------------------------+-----------+-----------------------+
|  0   13   0   2  |              36MiB /  4864MiB    | 14      0 |  1   0    0    0    0 |
|                  |               0MiB /  3052MiB    |           |                       |
+------------------+----------------------------------+-----------+-----------------------+

혼합 전략을 사용하면 포드는 노드의 전체 GPU 레이아웃이 아니라 요청한 MIG 인스턴스만 인식할 수 있습니다. 이전 단계의 mig-inference 포드가 하나의 nvidia.com/mig-1g.5gb 인스턴스를 요청했으므로 해당 포드 내의 nvidia-smi -L에 하나의 MIG 디바이스가 나열됩니다.

kubectl logs mig-inference

예제 출력은 다음과 같습니다.

GPU 0: NVIDIA A100-SXM4-40GB (UUID: GPU-5b7ce860-1951-004c-4881-6ac6997df770)
  MIG 1g.5gb      Device  0: (UUID: MIG-9b065868-21b6-5b8d-8ab9-e99089ed472c)

노드에 있는 모든 GPU의 전체 파티션 레이아웃을 보려면 워크로드 포드 내부가 아닌 호스트에서 nvidia-smi -L을 실행합니다. 다음 명령은 노드에서 권한 있는 디버깅 포드를 시작하고 호스트의 nvidia-smi를 실행합니다. node-name을 MIG 지원 노드의 이름으로 바꿉니다.

kubectl debug node/<node-name> -it --profile=sysadmin --image=nvidia/cuda:12.6.0-base-ubuntu22.04 -- chroot /host nvidia-smi -L

다음은 p4d-half-balanced 구성에 대한 예제 출력입니다. 처음 4개의 GPU는 MIG 인스턴스로 분할되고 나머지 4개는 전체 GPU입니다. 각 MIG 줄은 자체 UUID, 메모리 및 컴퓨팅 슬라이스가 있는 하드웨어 격리 인스턴스입니다.

GPU 0: NVIDIA A100-SXM4-40GB (UUID: GPU-5b7ce860-1951-004c-4881-6ac6997df770)
  MIG 3g.20gb     Device  0: (UUID: MIG-7dc16162-7ba2-5894-abde-d753dc8ecf56)
  MIG 2g.10gb     Device  1: (UUID: MIG-56cfe1f0-0662-50e4-a5f7-111107e4d5e6)
  MIG 1g.5gb      Device  2: (UUID: MIG-1409727e-2ffa-5fd4-9586-204c9e2b36d5)
  MIG 1g.5gb      Device  3: (UUID: MIG-9b065868-21b6-5b8d-8ab9-e99089ed472c)
GPU 1: NVIDIA A100-SXM4-40GB (UUID: GPU-73692a43-dd2d-f1a1-b0df-2f4734e2a87d)
  MIG 3g.20gb     Device  0: (UUID: MIG-745fd93a-9582-57a6-8b3b-9782d289ca1b)
  MIG 2g.10gb     Device  1: (UUID: MIG-8440294e-c4a0-5687-add5-2cc506babb2f)
  MIG 1g.5gb      Device  2: (UUID: MIG-559810c0-f2bb-5ca2-b529-47228d99437f)
  MIG 1g.5gb      Device  3: (UUID: MIG-a91cf3f9-6459-59e9-97a8-dc69b9958eef)
GPU 2: NVIDIA A100-SXM4-40GB (UUID: GPU-4e56019e-84de-eef5-5ac3-85e468e93639)
  MIG 3g.20gb     Device  0: (UUID: MIG-c130392b-fd7c-59f8-9f4b-ecab27a2984b)
  MIG 2g.10gb     Device  1: (UUID: MIG-7d61cf16-ad08-57be-b2c2-ac6e515b28c3)
  MIG 1g.5gb      Device  2: (UUID: MIG-f5388dec-d841-506c-bb7a-6ac136ceee53)
  MIG 1g.5gb      Device  3: (UUID: MIG-02d54020-c6cb-5997-894b-e95af0f49388)
GPU 3: NVIDIA A100-SXM4-40GB (UUID: GPU-4fd894a0-b471-9e77-eb67-0ad15002ed5b)
  MIG 3g.20gb     Device  0: (UUID: MIG-10399b59-2625-5106-b3f8-76ae19da46e1)
  MIG 2g.10gb     Device  1: (UUID: MIG-ef81ee7d-fc48-56ed-8479-8ffa76eb4154)
  MIG 1g.5gb      Device  2: (UUID: MIG-ed9bf59d-6bf2-5e07-80fb-dd0d7ca41f9d)
  MIG 1g.5gb      Device  3: (UUID: MIG-a15d6f7d-661b-514e-8838-06fe4ffe7f75)
GPU 4: NVIDIA A100-SXM4-40GB (UUID: GPU-05b6b91b-da6e-3078-1f4f-a7bbf1ff7ed2)
GPU 5: NVIDIA A100-SXM4-40GB (UUID: GPU-078a8df1-f387-0315-6b0b-af12e082f6d5)
GPU 6: NVIDIA A100-SXM4-40GB (UUID: GPU-6cdeffe7-45f1-7e8e-bcc1-4634399ad877)
GPU 7: NVIDIA A100-SXM4-40GB (UUID: GPU-5f68814a-4e4a-5dec-79b4-8d70a61c7714)