기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
SageMaker HyperPod의 Ray
Ray는 AI 및 Python 애플리케이션을 확장하기 위한 오픈 소스 통합 프레임워크입니다. 병렬 처리를 위한 컴퓨팅 계층을 제공하므로 클러스터에서 작업을 실행하는 데 분산 시스템 전문가가 될 필요가 없습니다. Ray Core는 작업을 배포하며 Ray AI 라이브러리는 데이터 처리, 분산 훈련, 하이퍼파라미터 튜닝, 강화 학습 및 모델 제공을 다룹니다. 자세한 내용은 Ray 설명서의 개요를
Ray on SageMaker HyperPod는 오픈 소스 KubeRay 연산자를 사용하여 Amazon EKS에서 오케스트레이션한 HyperPod 컴퓨팅에서 Ray 워크로드를 실행합니다. KubeRay Ray 코드, Ray APIs 및 KubeRay 사용자 지정 리소스는 변경되지 않습니다.
HyperPod는 오픈 소스 Ray와 완벽하게 연계된 상태로 어떤 부분도 대체하지 않고 주변에 기능을 추가합니다.
-
Amazon SageMaker Studio에서 Ray 워크로드를 운영하기 위해 특별히 구축된 웹 인터페이스로, 단일 인터페이스에서 아래의 모든 기능을 제공합니다.
-
JupyterLab, 코드 편집기 또는 원격 IDE 세션이 Ray 클러스터에 연결되고
ray.init()연결되는 대화형 개발입니다. -
를 사용하지 않고 인증된 브라우저 링크를 통해 Ray Dashboard에 안전하게 액세스합니다
kubectl port-forward. -
Ray Serve에 대한 첫 번째 토큰, JumpStart 모델 배포 및 관리형 Karpenter Autoscaling까지의 시간을 단축하는 관리형 계층형 KV 캐시입니다.
-
팀 컴퓨팅 할당, 우선 순위 기반 예약, HyperPod 작업 거버넌스를 통한 유휴 컴퓨팅 대여 및 차용.
-
HyperPod Observability 추가 기능으로 프로비저닝된 Ray 지표 및 Grafana 대시보드.
-
인프라 계층에서 자동 노드 복구, 중단된 작업 감지 및 계층형 체크포인트를 통한 복원력 있는 훈련.
이 모든 것을 채택하거나 누락된 기능만 설치할 수 있습니다. 두 가지 접근 방식에 대한 자세한 내용은 단원을 참조하십시오시작하기.
사전 조건
HyperPod의 Ray에는 Amazon EKS에서 오케스트레이션한 HyperPod 클러스터가 필요합니다. 생성에 대한 자세한 내용은 섹션을 참조하세요Amazon EKS 오케스트레이션을 사용하여 SageMaker HyperPod 클러스터 생성.
리전
HyperPod의 Ray는 SageMaker HyperPod AWS 리전 가 Amazon EKS 오케스트레이션을 지원하는 모든에서 사용할 수 있습니다. 리전 목록은 섹션을 참조하세요AWS 리전 SageMaker HyperPod에서 지원.
주제
