Amazon EKS에서 NVIDIA GPU와 함께 시간 분할 사용

TimeSlicing 공유 전략을 사용하여 GPU를 요청하는 ResourceClaim을 생성합니다. 이 클레임을 참조하는 여러 포드가 동일한 물리적 GPU를 공유합니다.

cat <<EOF | kubectl apply -f -
apiVersion: resource.k8s.io/v1
kind: ResourceClaim
metadata:
  name: shared-timeslice-gpu
spec:
  devices:
    requests:
    - name: gpu
      exactly:
        deviceClassName: gpu.nvidia.com
        count: 1
    config:
    - requests: ["gpu"]
      opaque:
        driver: gpu.nvidia.com
        parameters:
          apiVersion: resource.nvidia.com/v1beta1
          kind: GpuConfig
          sharing:
            strategy: TimeSlicing
            timeSlicingConfig:
              interval: Long
EOF

공유된 ResourceClaim을 이름으로 참조하는 두 개 이상의 포드를 배포합니다. 각 포드는 resourceClaims 및 resources.claims를 통해 클레임을 참조합니다.

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: share-a
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
  containers:
    - name: cuda
      image: nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ["nvidia-smi", "-L"]
      resources:
        claims:
        - name: gpu
  resourceClaims:
    - name: gpu
      resourceClaimName: shared-timeslice-gpu
  restartPolicy: OnFailure
EOF

포드가 동일한 물리적 GPU를 공유하는지 확인합니다. 각 포드에서 nvidia-smi -L을 실행하고 동일한 GPU UUID를 보고하는지 확인합니다.

kubectl logs share-a

예제 출력은 다음과 같습니다. 동일한 클레임을 참조하는 두 번째 포드는 동일한 GPU UUID를 보고하며, 이를 통해 두 포드가 하나의 물리적 GPU를 공유하고 있음을 확인할 수 있습니다.

GPU 0: NVIDIA L4 (UUID: GPU-b41973ee-5d0a-cde8-6287-12b53f861f02)

NVIDIA Kubernetes 디바이스 플러그인 설치에 디바이스 플러그인을 설치한 nvidia 네임스페이스에서 시간 분할 ConfigMap을 생성합니다. 이 예제에서는 GPU당 4개의 슬롯을 구성합니다.

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
  name: nvidia-device-plugin-config
  namespace: nvidia
data:
  config.yaml: |
    version: v1
    sharing:
      timeSlicing:
        renameByDefault: false
        failRequestsGreaterThanOne: true
        resources:
          - name: nvidia.com/gpu
            replicas: 4
EOF

ConfigMap을 config.name 값으로 참조하도록 기존 NVIDIA 디바이스 플러그인 릴리스를 업데이트합니다. --reuse-values 플래그는 NVIDIA Kubernetes 디바이스 플러그인 설치에 디바이스 플러그인을 설치할 때 설정한 값을 유지합니다.

helm upgrade nvdp nvdp/nvidia-device-plugin \
    --namespace nvidia \
    --reuse-values \
    --set config.name=nvidia-device-plugin-config

노드가 구성된 GPU 슬롯 수를 광고하는지 확인합니다. GPU당 슬롯이 4개인 경우 물리적 GPU가 1개인 노드는 4를 보고합니다.

kubectl get nodes "-o=custom-columns=NAME:.metadata.name,GPU:.status.allocatable.nvidia\.com/gpu"

예제 출력은 다음과 같습니다.

NAME                                           GPU
ip-192-168-11-225.us-west-2.compute.internal   4

각각 하나의 GPU 슬롯을 요청하는 복제본을 4개 실행하는 배포를 생성합니다.

cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: timeslicing-demo
spec:
  replicas: 4
  selector:
    matchLabels:
      app: timeslicing-demo
  template:
    metadata:
      labels:
        app: timeslicing-demo
    spec:
      tolerations:
        - key: nvidia.com/gpu
          operator: Exists
          effect: NoSchedule
      containers:
        - name: cuda
          image: nvidia/cuda:12.6.0-base-ubuntu22.04
          command: ["bash", "-c", "nvidia-smi --query-gpu=uuid --format=csv,noheader; sleep infinity"]
          resources:
            limits:
              nvidia.com/gpu: 1
EOF

4개의 포드가 모두 동일한 노드에 예약되어 있는지 확인합니다.

kubectl get pods -l app=timeslicing-demo -o wide

4개의 포드가 모두 동일한 GPU UUID를 보고하는지 확인합니다. 4개의 포드 모두에서 공유되는 단일 UUID는 하나의 물리적 GPU가 시간 멀티플렉싱되고 있음을 확인해 줍니다.

kubectl logs -l app=timeslicing-demo --prefix

예제 출력은 다음과 같습니다.

[pod/timeslicing-demo-xxxxxxxxxx-aaaaa/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03
[pod/timeslicing-demo-xxxxxxxxxx-bbbbb/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03
[pod/timeslicing-demo-xxxxxxxxxx-ccccc/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03
[pod/timeslicing-demo-xxxxxxxxxx-ddddd/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03