기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
시작하기
HyperPod의 Ray는 오픈 소스 KubeRay 연산자와 해당 사용자 지정 리소스에서 변경 없이 실행됩니다. 시작하려면 Amazon EKS에서 오케스트레이션한 HyperPod 클러스터와 KubeRay 운영자만 설치하면 됩니다. 그런 다음 HyperPod는 두 가지 방법 중 하나로 채택한 Ray 관련 기능을 추가합니다.
시작하기
이 두 단계는 HyperPod에서 Ray를 실행하는 데 필요한 단계입니다.
-
Amazon EKS에서 오케스트레이션한 HyperPod 클러스터를 생성합니다. 자세한 내용은 Amazon EKS 오케스트레이션을 사용하여 SageMaker HyperPod 클러스터 생성 단원을 참조하십시오.
-
클러스터에 KubeRay 연산자를 설치합니다. 모든 Ray 사용자 지정 리소스를 관리합니다. 자세한 내용은 HyperPod Amazon EKS에 KubeRay 설치 단원을 참조하십시오.
HyperPod의 Ray 기능
HyperPod는 Ray에 대한 기능을 추가하며 이를 채택하는 두 가지 방법이 있습니다. 설정은 어느 쪽이든 동일하며, 둘 다 동일한 오픈 소스 Ray와 동일한 KubeRay 사용자 지정 리소스를 실행합니다. 차이점은 팀이 기능을 사용하는 방식이며, 한 가지로 시작하여 나중에 다른 기능을 추가할 수 있습니다.
특별히 구축된 데이터 과학자 경험. Amazon SageMaker Studio는 이러한 기능을 하나의 인터페이스로 통합합니다. Kubernetes 매니페스트를 작성하지 않고 Ray 클러스터를 생성 및 관리하고, 연결된 공간에서 대화형으로 개발하고, 브라우저 링크를 통해 Ray 대시보드에 도달하고, Grafana 대시보드를 엽니다. 먼저 Ray용 Amazon SageMaker Studio를 설정합니다. 자세한 내용은 Studio for Ray 설정 단원을 참조하십시오. 그런 다음 대화형 개발을 위한 SageMaker AI Spaces 추가 기능 및 대시보드를 위한 HyperPod 관찰성 추가 기능과 같은 각 기능을 개별적으로 옵트인할 수 있습니다.
기존 내부 ML 플랫폼에 기능을 통합합니다. Amazon EKS에서 자체 내부 ML 플랫폼을 실행하고 도구 및 워크플로를 유지하려는 경우이 옵션을 선택합니다. Amazon EKS 클러스터에 HyperPod 컴퓨팅을 연결하고 누락된 기능만 채택합니다. Amazon SageMaker Studio가 필요한 것은 없습니다. 각 기능은 별도의 추가 기능 또는 Python 패키지이므로 하나를 채택하고 중지할 수 있습니다.
모든 기능은 두 가지 방법으로 사용할 수 있습니다. 특별히 구축된 경험은 웹 인터페이스에 각각 래핑되며 자체 플랫폼에서를 사용하여 동일한 기능을 구동합니다kubectl.
| 기능 | Amazon SageMaker Studio에서 특별히 구축된 환경 | 자체 플랫폼 |
|---|---|---|
| Ray 워크로드 관리 | Amazon SageMaker Studio 웹 인터페이스에서 Ray 클러스터 생성 및 관리 | kubectl 및 자체 RayCluster 매니페스트 |
| IDE 및 노트북 | Ray 개발 환경을 생성하기 위한 웹 UI | 를 사용하여 스페이스 연결 kubectl |
| Ray Dashboard 액세스 및 작업 제출 | Studio 스페이스 노트북 및 코드 편집기에서 원클릭 인증된 액세스 및 원격 작업 제출 | kubectl Ray Dashboard 링크를 생성하는 명령 |
| Observability | HyperPod Observability 추가 기능의 Grafana 대시보드 | 동일한 추가 기능 또는 자체 Prometheus |
| 작업 거버넌스를 사용한 리소스 공유 및 작업 대기열 | Ray 워크로드 생성 중에 리소스 할당 지표를 보고 UI에서 대기열에 제출 | 를 통해 kubectl |
| 복원력 있는 훈련(노드 자동 복구, 중단된 작업 감지, 계층형 체크포인트) | 인프라 계층에서 지원됨 | 인프라 계층에서 지원됨 |
| 가속화된 추론(Ray Serve, 관리형 계층형 KV 캐시, Auto Scaling) | 인프라 계층에서 지원됨 | 인프라 계층에서 지원됨 |