Amazon EKS 上の NVIDIA GPU でタイムスライシングを使用する

TimeSlicing 共有戦略を使用して GPU をリクエストする ResourceClaim を作成します。このクレームを参照する複数の Pod は、同じ物理 GPU を共有します。

cat <<EOF | kubectl apply -f -
apiVersion: resource.k8s.io/v1
kind: ResourceClaim
metadata:
  name: shared-timeslice-gpu
spec:
  devices:
    requests:
    - name: gpu
      exactly:
        deviceClassName: gpu.nvidia.com
        count: 1
    config:
    - requests: ["gpu"]
      opaque:
        driver: gpu.nvidia.com
        parameters:
          apiVersion: resource.nvidia.com/v1beta1
          kind: GpuConfig
          sharing:
            strategy: TimeSlicing
            timeSlicingConfig:
              interval: Long
EOF

名前で共有された ResourceClaim を参照する 2 つ以上の Pod をデプロイします。各 Pod は、resourceClaims および resources.claims を通じてクレームを参照します。

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: share-a
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
  containers:
    - name: cuda
      image: nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ["nvidia-smi", "-L"]
      resources:
        claims:
        - name: gpu
  resourceClaims:
    - name: gpu
      resourceClaimName: shared-timeslice-gpu
  restartPolicy: OnFailure
EOF

Pod が同じ物理 GPU を共有していることを確認します。各 Pod で nvidia-smi -L を実行し、同じ GPU UUID がレポートされていることを確認します。

kubectl logs share-a

出力例は次のとおりです。同じクレームを参照する 2 番目の Pod は、同一の GPU UUID をレポートし、両方の Pod が 1 つの物理 GPU を共有していることを確認します。

GPU 0: NVIDIA L4 (UUID: GPU-b41973ee-5d0a-cde8-6287-12b53f861f02)

NVIDIA Kubernetes デバイスプラグインをインストールする にデバイスプラグインをインストールした nvidia 名前空間にタイムスライシング ConfigMap を作成します。この例では、GPU ごとに 4 個のスロットを設定します。

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
  name: nvidia-device-plugin-config
  namespace: nvidia
data:
  config.yaml: |
    version: v1
    sharing:
      timeSlicing:
        renameByDefault: false
        failRequestsGreaterThanOne: true
        resources:
          - name: nvidia.com/gpu
            replicas: 4
EOF

既存の NVIDIA デバイスプラグインリリースを更新して、config.name 値で ConfigMap を参照します。--reuse-values フラグは、NVIDIA Kubernetes デバイスプラグインをインストールする にデバイスプラグインをインストールしたときに設定した値を保持します。

helm upgrade nvdp nvdp/nvidia-device-plugin \
    --namespace nvidia \
    --reuse-values \
    --set config.name=nvidia-device-plugin-config

設定された数の GPU スロットをノードがアドバタイズしていることを確認します。GPU ごとに 4 個のスロットがある場合、1 個の物理 GPU を持つノードは 4 をレポートします。

kubectl get nodes "-o=custom-columns=NAME:.metadata.name,GPU:.status.allocatable.nvidia\.com/gpu"

出力例は次のとおりです。

NAME                                           GPU
ip-192-168-11-225.us-west-2.compute.internal   4

4 個のレプリカを実行するデプロイを作成し、それぞれが 1 個の GPU スロットをリクエストします。

cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: timeslicing-demo
spec:
  replicas: 4
  selector:
    matchLabels:
      app: timeslicing-demo
  template:
    metadata:
      labels:
        app: timeslicing-demo
    spec:
      tolerations:
        - key: nvidia.com/gpu
          operator: Exists
          effect: NoSchedule
      containers:
        - name: cuda
          image: nvidia/cuda:12.6.0-base-ubuntu22.04
          command: ["bash", "-c", "nvidia-smi --query-gpu=uuid --format=csv,noheader; sleep infinity"]
          resources:
            limits:
              nvidia.com/gpu: 1
EOF

4 個の Pod がすべて同じノードでスケジュールされていることを確認します。

kubectl get pods -l app=timeslicing-demo -o wide

4 個の Pod がすべて同じ GPU UUID をレポートしていることを確認します。4 個の Pod すべてにまたがる単一の共有 UUID は、1 個の物理 GPU が時間多重化されていることを確認します。

kubectl logs -l app=timeslicing-demo --prefix

出力例は次のとおりです。

[pod/timeslicing-demo-xxxxxxxxxx-aaaaa/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03
[pod/timeslicing-demo-xxxxxxxxxx-bbbbb/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03
[pod/timeslicing-demo-xxxxxxxxxx-ccccc/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03
[pod/timeslicing-demo-xxxxxxxxxx-ddddd/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03