Amazon에서 오케스트레이션한 SageMaker HyperPod 클러스터에서 작업 실행 EKS

다음 주제에서는 Amazon 로 오케스트레이션된 프로비저닝된 SageMaker HyperPod 클러스터에서 컴퓨팅 노드에 액세스하고 ML 워크로드를 실행하는 절차와 예제를 제공합니다EKS. HyperPod 클러스터에서 환경을 설정한 방식에 따라 HyperPod 클러스터에서 ML 워크로드를 실행하는 방법에는 여러 가지가 있습니다.

데이터 사이언티스트 사용자는 EKS 클러스터 세트를 SageMaker HyperPod 클러스터의 오케스트레이터로 사용하여 기본 모델을 훈련할 수 있습니다. 과학자는 SageMaker HyperPod CLI 및 네이티브 kubectl 명령을 활용하여 사용 가능한 SageMaker HyperPod 클러스터를 찾고, 훈련 작업(포드)을 제출하고, 워크로드를 관리합니다. 는 SageMaker HyperPod CLI 훈련 작업 스키마 파일을 사용하여 작업 제출을 활성화하고 작업 목록, 설명, 취소 및 실행 기능을 제공합니다. 과학자는 Kubeflow 훈련 운영자 , Kueue(작업 대기열용 K8s 도구) 및 SageMaker관리형 MLflow 를 사용하여 ML 실험 및 훈련 실행을 관리할 수 있습니다.