CLI를 사용하여 AI/ML 워크로드용 Amazon EKS 클러스터 설정

이 섹션에서는 Amazon EKS에서 CLI 명령을 통해 훈련 또는 추론 워크로드를 실행하는 데 필요한 인프라를 생성하는 단계를 안내합니다. 이 단계에는 EKS 클러스터 생성, EKS 자율 모드 또는 Karpenter를 사용하는 GPU 지원 노드, Prometheus 및 Grafana를 사용하는 모니터링 스택, 모델 가중치를 위한 Amazon S3 스토리지가 포함됩니다.

이러한 기능이 EKS 클러스터에서 EC2 인스턴스를 프로비저닝하고 자동으로 규모를 조정하는 방법에 대한 자세한 내용은 EKS 자율 모드 및 Karpenter 설명서를 참조하세요.

상위 수준 아키텍처 및 워크플로

다이어그램은 이 섹션의 설정에 대한 AWS 상위 수준 아키텍처를 보여줍니다. 오른쪽의 번호가 매겨진 단계는 아래 단계에서 구성을 완료하는 순서를 나타냅니다.

사전 조건

eksctl 버전 확인:

eksctl version

0.227.0 이전 버전을 사용하는 경우 eksctl 설치 안내서에 따라 최신 릴리스로 업그레이드하세요.

환경 변수 설정

이러한 단계 동안 다음 클러스터 이름과 AWS 리전을 일관되게 유지하세요. 이를 변경하면 후속 명령이 잘못된 EKS 클러스터를 대상으로 지정할 수 있습니다.

export CLUSTER_NAME=ai-eks-docs
export AWS_REGION=us-east-2

사용 가능한 모든 AZ를 사용하면 내결함성이 향상되고 GPU 용량을 확보할 가능성이 높아집니다.

export AZS=$(aws ec2 describe-availability-zones \
  --region ${AWS_REGION} \
  --query "AvailabilityZones[?ZoneId!='use1-az3' && ZoneId!='usw1-az2' && ZoneId!='cac1-az3'].ZoneName" \
  --output text | tr '\t' ',')
echo $AZS

예상 결과:

us-east-2a,us-east-2b,us-east-2c

출력의 AZ는 리전마다 다릅니다. 이 예제는 us-east-2 리전에 사용할 수 있는 AZ를 보여줍니다.

클러스터 및 GPU NodePool 생성

이 섹션에서는 다음 다이어그램에 나온 것처럼 EKS 클러스터와 GPU 지원 노드를 생성하는 두 가지 경로를 제공합니다. 가이드 전체에서 하나의 옵션만 선택하세요.

EKS 클러스터 옵션: EKS 자율 모드와 자체 관리형 Karpenter

다음 각 단계에서 경로(EKS 자율 모드, Karpenter)를 선택하고 끝까지 따릅니다. 선택한 경로의 단계를 완료하면 GPU NodePool이 있는 EKS 클러스터가 GPU 워크로드를 예약할 준비가 됩니다.

1단계: 클러스터 생성

먼저 EKS 클러스터를 생성하고 GPU 워크로드에 필요한 클러스터 구성 요소를 설치합니다.

EKS 자율 모드를 사용하면 단일 eksctl create cluster --enable-auto-mode 명령으로 GPU 워크로드에 사용할 준비가 된 EKS 클러스터를 프로비저닝할 수 있습니다.

자체 관리형 Karpenter를 사용하면 eksctl create cluster 명령이 핵심 네트워킹 추가 기능을 프로비저닝합니다. 그런 다음 Karpenter 기능 게이트를 통해 자동 노드 복구를 활성화하고, EKS 노드 모니터링 에이전트를 설치하고, NVIDIA 디바이스 플러그인을 설치하기 위한 추가 단계가 필요합니다.

2단계: 동적 GPU NodePool 생성

온디맨드를 폴백으로 사용하는 스팟 용량을 사용하여 4세대 보다 상위의 G 패밀리 GPU 인스턴스를 동적으로 프로비저닝하는 NodePool을 정의합니다. EKS 자율 모드 경로와 Karpenter 경로 모두 동일한 NodePool API를 사용합니다. 유일한 차이점은 이 API가 가리키는 NodeClass입니다. EKS 자율 모드에서 번들링된 default NodeClass는 이미 올바른 AMI를 선택하고 SOCI 병렬 풀을 구성하므로, NodePool은 사용자가 생성하는 유일한 객체입니다. 자체 관리형 Karpenter에서는 AMI를 고정하고 SOCI를 튜닝하는 사용자 지정 EC2NodeClass도 필요합니다.

NodePool이 생성되었는지 확인합니다.

kubectl get nodepool gpu-inf

예상 결과:

NAME      NODECLASS   NODES   READY   AGE
gpu-inf   default     0       True    8s

자체 관리형 Karpenter 경로에서는 NODECLASS 열에 gpu-inf 대신 default가 표시됩니다.

3단계: 샘플 포드로 테스트

nvidia-smi 포드를 사용하여 GPU NodePool 설정을 테스트합니다.

cat << EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: nvidia-smi
  labels:
    guide: ai-eks-docs
spec:
  tolerations:
    - key: "nvidia.com/gpu"
      operator: "Exists"
      effect: "NoSchedule"
  containers:
    - name: nvidia-smi
      image: public.ecr.aws/amazonlinux/amazonlinux:2023-minimal
      command: ["nvidia-smi"]
      resources:
        limits:
          nvidia.com/gpu: 1
  restartPolicy: OnFailure
EOF

포드가 예약되고 성공적으로 완료되었는지 확인합니다.

kubectl get pods

예상 결과:

NAME         READY   STATUS      RESTARTS   AGE
nvidia-smi   0/1     Completed   0          67s

상태: 완료됨은 nvidia-smi 명령이 실행되고 종료되었음을 의미합니다. 포드 로그를 확인하여 노드에서 감지된 GPU를 확인합니다.

kubectl logs nvidia-smi

예상 결과:

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.126.09             Driver Version: 580.126.09     CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA RTX PRO 6000 Blac...    On  |   00000000:2B:00.0 Off |                    0 |
| N/A   30C    P0             81W /  600W |       0MiB /  97887MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

출력에는 GPU 모델, 드라이버 버전, CUDA 버전, 사용 가능한 메모리가 표시됩니다. 이 예제에서 Karpenter는 메모리가 96GB인 NVIDIA RTX PRO 6000 Blackwell GPU가 있는 G7e 인스턴스를 프로비저닝했습니다. 30C는 현재 GPU 온도이고 P0는 GPU가 최고 성능 상태(유휴 상태이지만 준비됨)임을 의미합니다. 81W/600W는 현재 전력 소비 대 최대 전력 용량을 보여주고, 0MiB/97887MiB는 현재 사용된 GPU 메모리와 사용 가능한 총 GPU 메모리를 보여줍니다. 포드가 방금 nvidia-smi를 실행하고 종료했으므로 GPU를 사용하는 워크로드가 없어 메모리는 0이고 전원은 유휴 상태입니다. NVIDIA GPU 드라이버 버전(580.126.09)은 Bottlerocket AMI에서 가져오고, CUDA 버전(13.0)은 컨테이너 이미지에서 가져옵니다. GPU 모델과 메모리는 Karpenter가 선택하는 인스턴스 유형에 따라 달라집니다. G5 인스턴스에는 NVIDIA A10G GPU(24GB)가 있고, G6e 인스턴스에는 NVIDIA L40S GPU(48GB)가 있으며, G7e 인스턴스에는 NVIDIA RTX PRO 6000 GPU(96GB)가 있습니다.

노드를 프로비저닝하고 포드를 배치하기 위해 Karpenter와 Kubernetes 스케줄러가 어떻게 조정되는지 이해하려면 포드의 수명 주기 이벤트를 확인하세요.

kubectl describe po nvidia-smi

예상 결과:

Events:
  Type     Reason                  Age   From                   Message
  ----     ------                  ----  ----                   -------
  Warning  FailedScheduling        60s   default-scheduler      0/2 nodes are available: 2 node(s) had untolerated taint(s). no new claims to deallocate, preemption: 0/2 nodes are available: 2 Preemption is not helpful for scheduling.
  Normal   Nominated               59s   eks-auto-mode/compute  Pod should schedule on: nodeclaim/gpu-inf-vxcnj
  Normal   Scheduled               24s   default-scheduler      Successfully assigned default/nvidia-smi to i-0fb17a09bc4203164
  Warning  FailedCreatePodSandBox  21s   kubelet                Failed to create pod sandbox: rpc error: code = Unknown desc = failed to setup network for sandbox "7f85e25b220c8fb245187758dbbbc8efb3d40f3e49e13054404880daf4c3b2f0": plugin type="aws-cni" name="aws-cni" failed (add): add cmd: failed to setup network policy
  Normal   Pulling                  7s   kubelet                spec.containers{nvidia-smi}: Pulling image "public.ecr.aws/amazonlinux/amazonlinux:2023-minimal"
  Normal   Pulled                   5s   kubelet                spec.containers{nvidia-smi}: Successfully pulled image "public.ecr.aws/amazonlinux/amazonlinux:2023-minimal" in 1.237s (1.237s including waiting). Image size: 37442701 bytes.
  Normal   Created                  5s   kubelet                spec.containers{nvidia-smi}: Container created
  Normal   Started                  5s   kubelet                spec.containers{nvidia-smi}: Container started

이러한 이벤트는 포드 예약 시퀀스를 보여줍니다. 처음에 포드가 GPU 노드가 없어 예약에 실패하고(FailedScheduling), Karpenter가 새 NodeClaim을 지명하고(Nominated), 노드가 준비되면 스케줄러가 포드를 할당한 다음(Scheduled) 컨테이너 이미지를 가져와 시작합니다. EKS 자율 모드는 G, P, Trn 인스턴스에 SOCI(Seekable OCI) 병렬 풀이 설치되고 바로 사용할 수 있도록 구성된 상태로 제공됩니다. SOCI 병렬 풀로 인해 컨테이너 이미지를 2초 이내에(1.237초) ECR에서 가져왔습니다.

NodeClaim은 Karpenter가 특정 노드를 프로비저닝하기 위해 생성하는 요청입니다. 이 요청은 인스턴스 유형, 용량 유형, AZ, 노드 준비 여부를 보여줍니다.

kubectl get nodeclaims

예상 NodeClaim 출력:

NAME            TYPE          CAPACITY    ZONE         NODE                  READY   AGE
gpu-inf-xxxxx   g7e.2xlarge   spot        us-east-2a   i-0xxxxxxxxxxxx       True    2m

인스턴스 유형과 AZ는 다양합니다. 4세대 보다 상위의 G 패밀리 인스턴스라면 사용할 수 있습니다.

kubectl describe pod nvidia-smi의 FailedCreatePodSandBox 경고는 일시적이며 예상된 것입니다. VPC CNI는 노드 조인 후 비동기적으로 초기화되고 kubelet이 자동으로 재시도합니다. 포드가 ContainerCreating 상태에 남아 있는 경우 kubectl describe node <node-name>를 사용하여 노드 이벤트를 확인합니다.

kubectl get events | grep InsufficientCapacityError

4단계: NodePool에 예약 용량 추가(선택 사항)

스팟/온디맨드 폴백에 예약 용량을 먼저 사용하려면 ODCR을 생성하여 NodeClass에 연결한 다음 2단계의 동적 NodePool을 업데이트하여 reserved 용량도 허용합니다. 예약 API 직접 호출은 두 경로에서 동일하지만, EKS 자율 모드와 자체 관리형 Karpenter가 사용하는 NodeClass 종류는 서로 다르기 때문에 NodeClass 연결이 다릅니다.

용량 예약 생성:

CR_AZ="us-east-2a"
INSTANCE_TYPE="g6e.4xlarge"

aws ec2 create-capacity-reservation \
  --instance-type $INSTANCE_TYPE \
  --instance-platform Linux/UNIX \
  --availability-zone "$CR_AZ" \
  --instance-count 1 \
  --instance-match-criteria open \
  --end-date-type unlimited

InsufficientInstanceCapacity 오류가 발생하면 CR_AZ를 다른 AZ로 변경하고 다시 시도하세요.

용량 예약 ID를 조회하고 다음 단계를 위해 쉘 변수에 저장합니다.

CAPACITY_RESERVATION_ID=$(aws ec2 describe-capacity-reservations \
  --filters "Name=state,Values=active" "Name=instance-type,Values=${INSTANCE_TYPE}" \
  --query 'CapacityReservations[0].CapacityReservationId' \
  --output text \
  --region ${AWS_REGION})
echo "Capacity reservation ID: ${CAPACITY_RESERVATION_ID}"

그런 다음 경로에서 NodeClass 및 NodePool 변경 사항을 적용합니다.

Karpenter는 reserved를 가장 비용 효율적인 옵션으로 취급하고 먼저 시작합니다. 예약이 가득 차면 스팟 또는 온디맨드로 대체합니다.

cat << 'EOF' | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: gpu-overflow-test
  labels:
    guide: ai-eks-docs
spec:
  replicas: 2
  selector:
    matchLabels:
      app: gpu-overflow-test
  template:
    metadata:
      labels:
        app: gpu-overflow-test
        guide: ai-eks-docs
    spec:
      tolerations:
        - key: nvidia.com/gpu
          operator: Exists
          effect: NoSchedule
      containers:
        - name: nvidia-smi
          image: public.ecr.aws/amazonlinux/amazonlinux:2023-minimal
          command: ["sh", "-c", "nvidia-smi && sleep infinity"]
          resources:
            limits:
              nvidia.com/gpu: 1
EOF

kubectl get pods -l app=gpu-overflow-test -o wide

NAME                                 READY   STATUS    RESTARTS   AGE     IP                NODE                  NOMINATED NODE   READINESS GATES
gpu-overflow-test-59b97944fb-lq56c   1/1     Running   0          2m42s   192.168.186.240   i-057692590480155da   <none>           <none>
gpu-overflow-test-59b97944fb-z4zcx   1/1     Running   0          2m42s   192.168.130.64    i-0521ecd1849fa0578   <none>           <none>

kubectl get nodeclaims

NAME            TYPE          CAPACITY    ZONE         NODE                  READY   AGE
gpu-inf-shg5w   g6e.xlarge    reserved    us-east-2a   i-0ea91fdeef65b8cb6   True    2m2s
gpu-inf-ssnqf   g7e.2xlarge   spot        us-east-2b   i-00ccf7ce65cf3f6ca   True    112s

kubectl delete deployment gpu-overflow-test

모니터링

클러스터, 노드, GPU 지표를 수집하는 모니터링 스택을 Amazon Managed Service for Prometheus(AMP)에 설치하고 Grafana로 시각화합니다. kube-prometheus-stack 헬름 차트는 Prometheus를 배포하여 지표를 스크레이프하고 AMP에 원격으로 쓰며, 대시보드용 자체 관리형 Grafana를 배포합니다. NVIDIA DCGM Exporter는 GPU별 지표(사용률, 메모리, 온도, 전력, NVLink, 텐서 활동)를 추가합니다.

GPU 노드에는 nvidia.com/gpu:NoSchedule 테인트가 있기 때문에 Prometheus, Grafana, 연산자는 기본적으로 비 GPU 노드에 랜딩합니다. node-exporter와 DCGM Exporter는 모두 GPU 노드에서 실행되므로 플릿 전체에서 호스트 및 GPU 지표를 스크레이프할 수 있습니다.

새 터미널을 연 경우 클러스터 이름과 리전을 설정합니다.

export CLUSTER_NAME=ai-eks-docs
export AWS_REGION=us-east-2

AMP 워크스페이스 생성

지표를 저장할 AMP 워크스페이스를 생성합니다.

aws amp create-workspace \
  --alias "amp-ws-${CLUSTER_NAME}" \
  --region ${AWS_REGION}

워크스페이스 ID를 가져옵니다.

AMP_WORKSPACE_ID=$(aws amp list-workspaces \
  --alias "amp-ws-${CLUSTER_NAME}" \
  --query 'workspaces[0].workspaceId' \
  --output text \
  --region ${AWS_REGION})

echo "AMP Workspace ID: ${AMP_WORKSPACE_ID}"

원격 쓰기 엔드포인트를 가져옵니다.

AMP_ENDPOINT=$(aws amp describe-workspace \
  --workspace-id ${AMP_WORKSPACE_ID} \
  --query 'workspace.prometheusEndpoint' \
  --output text \
  --region ${AWS_REGION})

echo "AMP Endpoint: ${AMP_ENDPOINT}"

IAM 정책 및 EKS Pod Identity 연결 생성

Prometheus가 지표를 원격으로 쓰고 Grafana가 이를 쿼리하도록 허용하는 IAM 정책을 생성합니다.

ACCOUNT_ID=$(aws sts get-caller-identity --query Account --output text)

AMP_POLICY_ARN=$(aws iam create-policy \
  --policy-name "${CLUSTER_NAME}-amp-grafana-policy" \
  --policy-document "{\"Version\": \"2012-10-17\", \"Statement\": [{\"Sid\": \"AllowAMPReadWrite\", \"Effect\": \"Allow\", \"Action\": [\"aps:ListWorkspaces\", \"aps:DescribeWorkspace\", \"aps:GetMetricMetadata\", \"aps:GetSeries\", \"aps:QueryMetrics\", \"aps:RemoteWrite\", \"aps:GetLabels\"], \"Resource\": \"arn:aws:aps:${AWS_REGION}:${ACCOUNT_ID}:workspace/*\"}, {\"Sid\": \"AllowCloudWatchMetrics\", \"Effect\": \"Allow\", \"Action\": [\"cloudwatch:DescribeAlarmsForMetric\", \"cloudwatch:ListMetrics\", \"cloudwatch:GetMetricData\", \"cloudwatch:GetMetricStatistics\"], \"Resource\": \"*\"}]}" \
  --query 'Policy.Arn' \
  --output text)

echo "AMP Policy ARN: ${AMP_POLICY_ARN}"

Prometheus와 Grafana의 모니터링 네임스페이스 및 서비스 계정을 생성합니다.

kubectl create namespace monitoring
kubectl create serviceaccount amp-iamproxy-ingest-service-account -n monitoring
kubectl create serviceaccount grafana-sa -n monitoring

EKS Pod Identity 연결을 생성하여 서비스 계정을 IAM 정책에 연결합니다.

eksctl create podidentityassociation \
  --cluster ${CLUSTER_NAME} \
  --namespace monitoring \
  --service-account-name amp-iamproxy-ingest-service-account \
  --role-name "${CLUSTER_NAME}-amp-ingest-role" \
  --permission-policy-arns ${AMP_POLICY_ARN} \
  --region ${AWS_REGION}

eksctl create podidentityassociation \
  --cluster ${CLUSTER_NAME} \
  --namespace monitoring \
  --service-account-name grafana-sa \
  --role-name "${CLUSTER_NAME}-grafana-role" \
  --permission-policy-arns ${AMP_POLICY_ARN} \
  --region ${AWS_REGION}

두 EKS Pod Identity 연결이 모두 생성되었는지 확인합니다.

eksctl get podidentityassociation --cluster ${CLUSTER_NAME} --region ${AWS_REGION}

예상 출력은 monitoring 네임스페이스에 amp-iamproxy-ingest-service-account와 grafana-sa를 모두 포함해야 합니다.

kube-prometheus-stack 설치

헬름 리포지토리를 추가합니다.

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

이 값 파일에는 Prometheus, Grafana, 연산자를 위한 nodeSelector가 생략되어 있습니다. GPU 노드의 nvidia.com/gpu:NoSchedule 테인트가 GPU 노드에서 이들을 차단하기 때문에 이들은 기본적으로 시스템 또는 범용 풀에 랜딩합니다. node-exporter는 와일드카드 톨러레이션을 사용하므로 GPU 노드를 포함한 모든 노드에서 실행되어 플릿 전체의 지표를 수집합니다.

값 파일을 생성합니다.

cat << EOF > /tmp/kube-prometheus-values.yaml
prometheus:
  serviceAccount:
    create: false
    name: amp-iamproxy-ingest-service-account
  prometheusSpec:
    serviceAccountName: amp-iamproxy-ingest-service-account
    remoteWrite:
      - url: "${AMP_ENDPOINT}api/v1/remote_write"
        sigv4:
          region: "${AWS_REGION}"
        queueConfig:
          maxSamplesPerSend: 1000
          maxShards: 200
          capacity: 2500
    retention: 5h
    scrapeInterval: 30s
    evaluationInterval: 30s
    podMonitorSelectorNilUsesHelmValues: false
    serviceMonitorSelectorNilUsesHelmValues: false

alertmanager:
  enabled: false

grafana:
  enabled: true
  serviceAccount:
    create: false
    name: grafana-sa
  grafana.ini:
    auth.sigv4:
      enabled: true
  sidecar:
    datasources:
      defaultDatasourceEnabled: false
  plugins:
    - grafana-amazonprometheus-datasource
  additionalDataSources:
    - name: Amazon-Managed-Prometheus
      type: grafana-amazonprometheus-datasource
      access: proxy
      url: "${AMP_ENDPOINT}"
      isDefault: true
      jsonData:
        sigV4Auth: true
        defaultRegion: "${AWS_REGION}"
        sigV4Region: "${AWS_REGION}"
      editable: true
  dashboardProviders:
    dashboardproviders.yaml:
      apiVersion: 1
      providers:
        - name: default
          orgId: 1
          folder: 'GPU Monitoring'
          type: file
          disableDeletion: false
          editable: true
          options:
            path: /var/lib/grafana/dashboards/default
  dashboards:
    default:
      nvidia-dcgm:
        gnetId: 25261
        revision: 1
        datasource:
          - name: DS_PROMETHEUS
            value: Amazon-Managed-Prometheus
      vllm:
        gnetId: 25263
        revision: 1
        datasource:
          - name: DS_PROMETHEUS
            value: Amazon-Managed-Prometheus

prometheus-node-exporter:
  tolerations:
    - operator: Exists
EOF

변수가 올바르게 채워졌는지 확인합니다.

grep -E "url:|region:|tolerations:" /tmp/kube-prometheus-values.yaml

전체 AMP 엔드포인트 URL(https://aps-workspaces…​로 시작), 리전, node-exporter tolerations: 줄이 표시되어야 합니다. 비어 있는 것이 있으면 변수를 다시 내보내고 파일을 다시 생성합니다.

차트를 설치합니다.

helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack \
  --namespace monitoring \
  -f /tmp/kube-prometheus-values.yaml

포드가 실행 중인지 확인합니다.

kubectl get pods -n monitoring

예상 결과:

NAME                                                       READY   STATUS    RESTARTS   AGE
kube-prometheus-stack-grafana-7c58f54f77-rftrj             3/3     Running   0          4m
kube-prometheus-stack-kube-state-metrics-d68dcbc84-5smxq   1/1     Running   0          4m
kube-prometheus-stack-operator-5895df479f-ttm47            1/1     Running   0          4m
kube-prometheus-stack-prometheus-node-exporter-t9q7s       1/1     Running   0          4m
kube-prometheus-stack-prometheus-node-exporter-x6vfb       1/1     Running   0          4m
prometheus-kube-prometheus-stack-prometheus-0              2/2     Running   0          4m

스택은 다음 구성 요소를 배포합니다.

이 설정에서는 Alertmanager가 비활성화됩니다.

Grafana에 액세스

별도의 터미널을 열고 포트 포워딩을 통해 Grafana에 액세스합니다.

kubectl port-forward svc/kube-prometheus-stack-grafana 3000:80 -n monitoring

브라우저에서 http://localhost:3000을 엽니다. 다음 명령에서 사용자 이름 admin과 암호를 사용하여 로그인합니다.

kubectl --namespace monitoring get secrets kube-prometheus-stack-grafana -o jsonpath="{.data.admin-password}" | base64 -d ; echo

지표 파이프라인이 종단 간 작동하는지 확인하려면:

up에 결과가 표시되면 파이프라인(클러스터 → Prometheus → AMP → Grafana)이 작동하는 것입니다.

GPU 지표용 DCGM Exporter 배포

kube-prometheus-stack은 노드 수준 CPU 및 메모리 지표를 수집하지만 GPU 지표는 수집하지 않습니다. NVIDIA DCGM Exporter는 GPU 사용률, 메모리 사용량, 온도, 전력 소비, NVLink 대역폭, 텐서 활동을 추가합니다.

helm repo add gpu-helm-charts https://nvidia.github.io/dcgm-exporter/helm-charts
helm repo update

경로의 GPU 노드 선택기 키를 설정합니다. EKS 자율 모드와 자체 관리형 Karpenter는 GPU 제조업체에 서로 다른 레이블 키를 사용합니다.

DCGM Exporter 값 파일을 생성합니다.

cat << EOF > /tmp/dcgm-exporter-values.yaml
resources:
  requests:
    memory: "512Mi"
    cpu: "100m"
  limits:
    memory: "1Gi"
    cpu: "500m"

serviceMonitor:
  enabled: true
  additionalLabels:
    release: kube-prometheus-stack

nodeSelector:
  ${GPU_NODE_SELECTOR_KEY}: nvidia

tolerations:
  - key: "nvidia.com/gpu"
    operator: "Exists"
    effect: "NoSchedule"

customMetrics: |
  # Clocks
  DCGM_FI_DEV_SM_CLOCK,  gauge, SM clock frequency (in MHz).
  DCGM_FI_DEV_MEM_CLOCK, gauge, Memory clock frequency (in MHz).
  # Temperature
  DCGM_FI_DEV_MEMORY_TEMP, gauge, Memory temperature (in C).
  DCGM_FI_DEV_GPU_TEMP,    gauge, GPU temperature (in C).
  # Power
  DCGM_FI_DEV_POWER_USAGE,              gauge, Power draw (in W).
  DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION, counter, Total energy consumption since boot (in mJ).
  # PCIe
  DCGM_FI_PROF_PCIE_TX_BYTES,  counter, Number of bytes transmitted through PCIe TX (in KB) via NVML.
  DCGM_FI_PROF_PCIE_RX_BYTES,  counter, Number of bytes received through PCIe RX (in KB) via NVML.
  DCGM_FI_DEV_PCIE_REPLAY_COUNTER, counter, Total number of PCIe retries.
  # Utilization (the sample period varies depending on the product)
  DCGM_FI_DEV_GPU_UTIL,      gauge, GPU utilization (in %).
  DCGM_FI_DEV_MEM_COPY_UTIL, gauge, Memory utilization (in %).
  DCGM_FI_DEV_ENC_UTIL,      gauge, Encoder utilization (in %).
  DCGM_FI_DEV_DEC_UTIL,      gauge, Decoder utilization (in %).
  # Errors and violations
  DCGM_FI_DEV_XID_ERRORS,            gauge, Value of the last XID error encountered.
  DCGM_EXP_XID_ERRORS_COUNT,         gauge, Value of count of XID errors encountered.
  DCGM_FI_DEV_POWER_VIOLATION,       counter, Throttling duration due to power constraints (in us).
  DCGM_FI_DEV_THERMAL_VIOLATION,     counter, Throttling duration due to thermal constraints (in us).
  DCGM_FI_DEV_SYNC_BOOST_VIOLATION,  counter, Throttling duration due to sync-boost constraints (in us).
  DCGM_FI_DEV_BOARD_LIMIT_VIOLATION, counter, Throttling duration due to board limit constraints (in us).
  DCGM_FI_DEV_LOW_UTIL_VIOLATION,    counter, Throttling duration due to low utilization (in us).
  DCGM_FI_DEV_RELIABILITY_VIOLATION, counter, Throttling duration due to reliability constraints (in us).
  # Memory usage
  DCGM_FI_DEV_FB_FREE, gauge, Framebuffer memory free (in MiB).
  DCGM_FI_DEV_FB_USED, gauge, Framebuffer memory used (in MiB).
  # Retired pages
  DCGM_FI_DEV_RETIRED_SBE,     counter, Total number of retired pages due to single-bit errors.
  DCGM_FI_DEV_RETIRED_DBE,     counter, Total number of retired pages due to double-bit errors.
  DCGM_FI_DEV_RETIRED_PENDING, counter, Total number of pages pending retirement.
  # NVLink
  DCGM_FI_DEV_NVLINK_BANDWIDTH_TOTAL, counter, Total number of NVLink bandwidth counters for all lanes.
  DCGM_FI_PROF_NVLINK_TX_BYTES,       counter, The rate of data transmitted over NVLink not including protocol headers in bytes per second.
  DCGM_FI_PROF_NVLINK_RX_BYTES,       counter, The rate of data received over NVLink not including protocol headers in bytes per second.
  # DCP metrics
  DCGM_FI_PROF_GR_ENGINE_ACTIVE,   gauge, Ratio of time the graphics engine is active (in %).
  DCGM_FI_PROF_SM_ACTIVE,          gauge, The ratio of cycles an SM has at least 1 warp assigned (in %).
  DCGM_FI_PROF_SM_OCCUPANCY,       gauge, The ratio of number of warps resident on an SM (in %).
  DCGM_FI_PROF_PIPE_TENSOR_ACTIVE, gauge, Ratio of cycles the tensor (HMMA) pipe is active (in %).
  DCGM_FI_PROF_DRAM_ACTIVE,        gauge, Ratio of cycles the device memory interface is active sending or receiving data (in %).
  DCGM_FI_DEV_CLOCK_THROTTLE_REASONS, gauge, Current clock throttle reasons (bitmask of DCGM_CLOCKS_THROTTLE_REASON_*).
  DCGM_FI_DEV_GPU_NVLINK_ERRORS,      gauge, Identifies a GPU NVLink error type returned by DCGM_FI_DEV_GPU_NVLINK_ERRORS.
  ## NVLink
  DCGM_FI_DEV_NVLINK_BANDWIDTH_L0, counter, The number of bytes of active NVLink rx or tx data including both header and payload.
  ## Remapped rows
  DCGM_FI_DEV_UNCORRECTABLE_REMAPPED_ROWS, counter, Number of remapped rows for uncorrectable errors.
  DCGM_FI_DEV_CORRECTABLE_REMAPPED_ROWS, counter, Number of remapped rows for correctable errors.
  DCGM_FI_DEV_ROW_REMAP_FAILURE, gauge, whether remapping of rows has failed.
  ## Profiling metrics
  DCGM_FI_PROF_PIPE_FP64_ACTIVE, gauge, Ratio of cycles the fp64 pipes are active (in %).
  DCGM_FI_PROF_PIPE_FP32_ACTIVE, gauge, Ratio of cycles the fp32 pipes are active (in %).
  DCGM_FI_PROF_PIPE_FP16_ACTIVE, gauge, Ratio of cycles the fp16 pipes are active (in %).
  # ECC
  DCGM_FI_DEV_ECC_SBE_VOL_TOTAL, counter, Total number of single-bit volatile ECC errors.
  DCGM_FI_DEV_ECC_DBE_VOL_TOTAL, counter, Total number of double-bit volatile ECC errors.
EOF

customMetrics 필드는 NVLink 대역폭, 텐서 활동, PCIe 처리량, ECC 오류, 열 스로틀링을 포함하는 확장 지표 세트로 DCGM Exporter의 기본 지표 세트를 재정의합니다. 추론 워크로드의 경우 이러한 지표는 GPU 컴퓨팅 유닛이 완전히 활용되는지, 낮은 배치 크기로 인해 요청 사이에 GPU가 유휴 상태인지, CPU와 GPU 간 데이터 전송에 병목 현상이 있는지, 열 스로틀링으로 인해 지연 시간이 급증하는지, 더 큰 배치를 위한 GPU 메모리 헤드룸이 얼마나 남아 있는지 이해하는 데 도움이 됩니다.

DCGM Exporter를 설치합니다.

helm install dcgm-exporter gpu-helm-charts/dcgm-exporter \
  --namespace monitoring \
  -f /tmp/dcgm-exporter-values.yaml

tolerations를 사용하면 2단계에서 프로비저닝한 GPU 테인트 노드에서 Exporter를 실행할 수 있습니다. release: kube-prometheus-stack 레이블이 있는 serviceMonitor를 통해 Prometheus가 이를 자동으로 검색하고 스크레이프할 수 있습니다.

DCGM Exporter DaemonSet를 확인합니다.

kubectl get daemonset dcgm-exporter -n monitoring

GPU 노드가 실행되면 준비된 포드가 하나 표시됩니다. DCGM 지표를 검증하려면 Grafana에서 드릴다운 > 지표로 이동하여 DCGM_을 검색합니다.

Grafana에서 DCGM 지표 검증

대시보드를 보려면 대시보드 > GPU 모니터링 > NVIDIA DCGM Exporter Dashboard로 이동합니다.

Grafana의 NVIDIA DCGM Exporter Dashboard

모델 가중치 S3 버킷

모델 가중치를 저장할 Amazon S3 버킷을 생성하고 워크로드 포드가 읽고 쓸 수 있도록 EKS Pod Identity 연결을 구성합니다.

새 터미널을 연 경우 클러스터 이름과 리전을 설정합니다.

export CLUSTER_NAME=ai-eks-docs
export AWS_REGION=us-east-2

S3 버킷을 생성합니다.

이름 충돌을 방지하려면 무작위 접미사로 버킷을 생성합니다.

BUCKET_SUFFIX=$(head -c 4 /dev/urandom | od -An -tx1 | tr -d ' \n')
MODEL_BUCKET="${CLUSTER_NAME}-models-${BUCKET_SUFFIX}"

aws s3 mb s3://${MODEL_BUCKET} --region ${AWS_REGION}

2023년 1월 이후에 생성된 S3 버킷은 서버 측 암호화(AES256)와 퍼블릭 액세스 차단이 기본적으로 활성화되어 있습니다.

S3 액세스를 위한 EKS Pod Identity 구성

model-storage-sa ServiceAccount를 default 네임스페이스에 생성하고, 모델 버킷으로 범위가 지정된 IAM 정책과 이를 연결하는 EKS Pod Identity 연결을 생성합니다. serviceAccountName: model-storage-sa를 설정하는 워크로드 포드는 버킷을 읽고 쓸 수 있습니다.

kubectl create serviceaccount model-storage-sa

IAM 정책 생성:

POLICY_ARN=$(aws iam create-policy \
  --policy-name "${CLUSTER_NAME}-model-storage-policy" \
  --policy-document "{\"Version\": \"2012-10-17\", \"Statement\": [{\"Effect\": \"Allow\", \"Action\": [\"s3:GetObject\", \"s3:PutObject\", \"s3:ListBucket\", \"s3:DeleteObject\"], \"Resource\": [\"arn:aws:s3:::${MODEL_BUCKET}\", \"arn:aws:s3:::${MODEL_BUCKET}/*\"]}]}" \
  --query 'Policy.Arn' \
  --output text)

echo "Policy ARN: ${POLICY_ARN}"

EKS Pod Identity 연결을 생성합니다. eksctl은 올바른 신뢰 정책을 사용하여 IAM 역할을 생성하고 ServiceAccount에 연결합니다.

eksctl create podidentityassociation \
  --cluster ${CLUSTER_NAME} \
  --namespace default \
  --service-account-name model-storage-sa \
  --role-name "${CLUSTER_NAME}-model-storage-role" \
  --permission-policy-arns ${POLICY_ARN} \
  --region ${AWS_REGION}

연결을 확인합니다.

eksctl get podidentityassociation --cluster ${CLUSTER_NAME} --region ${AWS_REGION}

출력의 default 네임스페이스에 model-storage-sa 연결이 포함되어야 합니다.

cat << EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: s3-test
  labels:
    guide: ai-eks-docs
spec:
  serviceAccountName: model-storage-sa
  containers:
    - name: aws-cli
      image: public.ecr.aws/aws-cli/aws-cli:2.27.0
      command:
        - sh
        - -c
        - |
          echo "=== Caller Identity ==="
          aws sts get-caller-identity
          echo ""
          echo "=== S3 Write Test ==="
          echo "pod identity works" | aws s3 cp - s3://${MODEL_BUCKET}/test.txt
          echo ""
          echo "=== S3 List Test ==="
          aws s3 ls s3://${MODEL_BUCKET}/
          echo ""
          echo "=== S3 Delete Test ==="
          aws s3 rm s3://${MODEL_BUCKET}/test.txt
  restartPolicy: Never
EOF

kubectl wait --for=jsonpath='{.status.phase}'=Succeeded pod/s3-test --timeout=300s
kubectl logs s3-test

=== Caller Identity ===
{
    "UserId": "AROA...:eks-ai-eks-docs-model-s-...",
    "Account": "123456789012",
    "Arn": "arn:aws:sts::123456789012:assumed-role/ai-eks-docs-model-storage-role/eks-ai-eks-docs-model-s-..."
}

=== S3 Write Test ===
upload: - to s3://ai-eks-docs-models-01234567/test.txt

=== S3 List Test ===
2026-05-04 12:00:00         19 test.txt

=== S3 Delete Test ===
delete: s3://ai-eks-docs-models-01234567/test.txt

kubectl delete pod s3-test

다음 단계

클러스터가 준비되면 모델 로드 및 제공으로 이동하여 대규모 언어 모델을 배포하고 추론 엔드포인트와 상호 작용할 수 있습니다.

정리

export CLUSTER_NAME=ai-eks-docs
export AWS_REGION=us-east-2

kubectl delete pod nvidia-smi --ignore-not-found
kubectl delete deployment gpu-overflow-test --ignore-not-found

INSTANCE_TYPE="g6e.4xlarge"
CAPACITY_RESERVATION_ID=$(aws ec2 describe-capacity-reservations \
  --filters "Name=state,Values=active" "Name=instance-type,Values=${INSTANCE_TYPE}" \
  --query 'CapacityReservations[0].CapacityReservationId' \
  --output text \
  --region ${AWS_REGION})
aws ec2 cancel-capacity-reservation --capacity-reservation-id ${CAPACITY_RESERVATION_ID}

AMP_POLICY_ARN=$(aws iam list-policies \
  --scope Local \
  --query "Policies[?PolicyName=='${CLUSTER_NAME}-amp-grafana-policy'].Arn" \
  --output text)
echo "AMP Policy ARN: ${AMP_POLICY_ARN}"

AMP_WORKSPACE_ID=$(aws amp list-workspaces \
  --alias "amp-ws-${CLUSTER_NAME}" \
  --query 'workspaces[0].workspaceId' \
  --output text \
  --region ${AWS_REGION})
echo "AMP Workspace ID: ${AMP_WORKSPACE_ID}"

helm uninstall dcgm-exporter -n monitoring

helm uninstall kube-prometheus-stack -n monitoring

eksctl delete podidentityassociation \
  --cluster ${CLUSTER_NAME} \
  --namespace monitoring \
  --service-account-name amp-iamproxy-ingest-service-account \
  --region ${AWS_REGION}

eksctl delete podidentityassociation \
  --cluster ${CLUSTER_NAME} \
  --namespace monitoring \
  --service-account-name grafana-sa \
  --region ${AWS_REGION}

aws iam delete-policy --policy-arn ${AMP_POLICY_ARN}

aws amp delete-workspace --workspace-id ${AMP_WORKSPACE_ID} --region ${AWS_REGION}

kubectl delete namespace monitoring

MODEL_BUCKET=$(aws s3api list-buckets \
  --query "Buckets[?starts_with(Name, '${CLUSTER_NAME}-models-')].Name | [0]" \
  --output text)
echo "Model bucket: ${MODEL_BUCKET}"

POLICY_ARN=$(aws iam list-policies \
  --scope Local \
  --query "Policies[?PolicyName=='${CLUSTER_NAME}-model-storage-policy'].Arn" \
  --output text)
echo "Policy ARN: ${POLICY_ARN}"

aws s3 rb s3://${MODEL_BUCKET} --force

eksctl delete podidentityassociation \
  --cluster ${CLUSTER_NAME} \
  --namespace default \
  --service-account-name model-storage-sa \
  --region ${AWS_REGION}

aws iam delete-policy --policy-arn ${POLICY_ARN}

kubectl delete serviceaccount model-storage-sa

kubectl delete nodepool gpu-inf --ignore-not-found
kubectl delete nodeclass gpu-inf --ignore-not-found
kubectl delete ec2nodeclass gpu-inf --ignore-not-found
eksctl delete cluster --name=$CLUSTER_NAME --region=$AWS_REGION