관찰성

SageMaker HyperPod Observability 추가 기능은 Ray 지표를 수집하고 Ray 워크로드에 대한 Grafana 대시보드를 프로비저닝합니다. 추가 기능을 설치하면 Ray 헤드 포드, 작업자 포드 및 KubeRay 연산자를 스크레이프하는 수집기가 배포됩니다. 수집기는 Amazon Managed Service for Prometheus에 지표를 쓰고 대시보드는 Amazon Managed Grafana로 가져옵니다. 수동 Prometheus 및 Grafana 설정을 건너뜁니다.

추가 기능은 Ray에만 국한되지 않습니다. 또한 하드웨어 상태, 리소스 사용률 및 작업 성능에 대한 클러스터 지표를 수집합니다. 소스에는 NVIDIA DCGM, Kubernetes 노드 내보내기, Elastic Fabric Adapter, 통합 파일 시스템 및 Kueue가 포함됩니다. 한 번의 설치로 Ray 워크로드와 해당 워크로드가 실행되는 클러스터가 포함됩니다.