Amazon에서 오케스트레이션한 SageMaker HyperPod 클러스터에서 작업 실행 EKS

다음 주제에서는 Amazon과 오케스트레이션된 프로비저닝된 SageMaker HyperPod 클러스터에서 컴퓨팅 노드에 액세스하고 ML 워크로드를 실행하는 절차와 예제를 제공합니다. EKS 클러스터에서 환경을 설정한 방법에 따라 HyperPod 클러스터에서 ML 워크로드를 실행하는 다양한 방법이 있습니다. HyperPod

데이터 사이언티스트 사용자는 EKS 클러스터 세트를 클러스터의 오케스트레이터로 사용하여 기본 모델을 교육할 수 있습니다. SageMaker HyperPod 과학자들은 SageMaker HyperPod CLI및 기본 kubectl 명령을 활용하여 사용 가능한 SageMaker HyperPod 클러스터를 찾고, 교육 작업 (포드) 을 제출하고, 워크로드를 관리합니다. 는 교육 작업 스키마 파일을 사용하여 작업을 제출할 수 SageMaker HyperPod CLI 있도록 하고 작업 목록, 설명, 취소 및 실행 기능을 제공합니다. 과학자들은 Kubeflow Training Operator인 Kueue (K8s 작업 대기열 도구) 및 SageMakerMLflow-Managed를 사용하여 ML 실험 및 교육 실행을 관리할 수 있습니다.