AI/ML 워크로드를 위한 Amazon EKS 클러스터 설정

향후 예정된 Amazon EKS AI/ML 워크숍에 등록합니다.

이 섹션에서는 필요한 AWS IAM 권한과 함께 GPU를 사용한 컴퓨팅, 모니터링 스택, 모델 가중치를 위한 Amazon S3 스토리지를 포함하여 추론 워크로드를 실행할 준비가 된 Amazon EKS 클러스터를 생성하는 방법을 안내합니다.

아키텍처 개요

설정이 생성하는 인프라는 다음과 같습니다.

GPU 지원 노드가 있는 EKS 클러스터 - 온디맨드 폴백이 있는 스팟 용량을 사용하여 G 패밀리 GPU 인스턴스를 동적으로 프로비저닝하는 Karpenter 관리형 NodePool입니다.
모니터링 스택 - Prometheus는 클러스터, 노드, GPU 지표를 스크레이프하고 Amazon Managed Service for Prometheus(AMP)에 원격으로 씁니다. Grafana는 시각화를 위한 대시보드를 제공합니다. NVIDIA DCGM Exporter는 사용률, 메모리, 온도, 전력 소비, NVLink 대역폭, 텐서 활동을 포함한 GPU별 지표를 추가합니다.
모델 가중치 S3 버킷 - 모델 가중치를 저장하기 위한 Amazon S3 버킷으로, 워크로드 포드에 읽기/쓰기 액세스 권한을 부여하는 EKS Pod Identity 연결이 있습니다.

이 가이드에서는 클러스터를 설정하기 위한 두 가지 경로를 제공합니다. 하나를 선택하고 모든 단계에서 해당 경로를 일관되게 따르세요.

EKS 자율 모드 - 단일 명령이 EKS 자율 모드가 활성화된 EKS 클러스터를 프로비저닝합니다. Karpenter 기반 오토 스케일링, EKS 노드 모니터링 에이전트, SOCI를 사용한 빠른 컨테이너 풀, NVIDIA 디바이스 플러그인 등 필요한 모든 구성 요소가 바로 사용할 수 있는 상태로 제공됩니다.
자체 관리형 Karpenter - 각 구성 요소(eksctl을 통해 Karpenter, 기능 게이트를 통해 자동 노드 복구, EKS 추가 기능으로 EKS 노드 모니터링 에이전트, 헬름을 통해 NVIDIA 디바이스 플러그인)를 명시적으로 설치하고 구성합니다. 또한 EKS 최적화 NVIDIA AL2023 AMI를 사용하고 SOCI를 구성하는 사용자 지정 EC2NodeClass를 생성합니다.

단계	설명
클러스터 생성	GPU 워크로드에 필요한 EKS 컨트롤 플레인 및 클러스터 수준 구성 요소를 프로비저닝합니다.
동적으로 프로비저닝된 GPU 노드 생성	워크로드가 예약될 때 G 패밀리 GPU 인스턴스를 프로비저닝하는 동적 GPU NodePool을 정의합니다.
샘플 포드로 테스트	Karpenter가 GPU 지원 노드를 프로비저닝하도록 트리거하는 `nvidia-smi` 포드를 실행하여 설정을 종단 간 검증합니다.
예약 용량 추가(선택 사항)	스팟/온디맨드 폴백을 사용하여 먼저 예약된 NodeClass에 온디맨드 용량 예약(ODCR)을 연결합니다.
모니터링 설치	AMP에 원격 쓰기 및 GPU 지표용 NVIDIA DCGM Exporter를 사용하여 kube-prometheus-stack(Prometheus + Grafana)을 배포합니다.
모델 가중치 버킷 생성	워크로드 포드가 모델 가중치를 읽고 쓸 수 있도록 S3 버킷을 생성하고 EKS Pod Identity를 구성합니다.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

EKS의 AI/ML

명령줄 인터페이스(CLI)