Amazon SageMaker HyperPod 릴리스 정보

에 Amazon EKS 지원이 추가되었습니다 SageMaker HyperPod. 자세한 내용은 Amazon을 통한 SageMaker HyperPod 클러스터 오케스트레이팅 EKS을 참조하십시오.

NVIDIA 드라이버 v550.90.07 설치

EFA 드라이버 v2.10 설치

최신 버전의 AWS Neuron을 설치했습니다. SDK

SageMaker HyperPod 자동 재개 기능을 개선하여 일반RESources()에 연결된 Slurm 노드의 복원력 기능을 확장했습니다GRES.

일반 리소스(GRES)가 Slurm 노드에 연결된 경우 Slurm은 일반적으로 노드 교체와 같은 노드 할당 변경을 허용하지 않으므로 가 실패한 작업을 재개할 수 없습니다. 명시적으로 금지되지 HyperPod 않는 한 자동 재개 기능은 GRES활성화된 노드와 연결된 모든 결함 있는 작업을 자동으로 다시 대기열에 추가합니다. 이 프로세스에는 작업을 중지하고 작업 대기열에 다시 배치한 다음 처음부터 작업을 다시 시작하는 작업이 포함됩니다.

slurmrestd 에 미리 패키징되어 있습니다 SageMaker HyperPod AMI.

시스템 응답성과 작업 처리를 개선하기 위해 ResumeTimeout 및 의 기본값을 60초UnkillableStepTimeout에서 300초slurm.conf로 변경했습니다.

NVIDIA Data Center GPU Manager(DCGM) 및 NVIDIA 시스템 관리 인터페이스(nvidia-smi)의 상태 확인을 약간 개선했습니다.

HyperPod 자동 재개 플러그인은 유휴 노드를 사용하여 작업을 재개할 수 있습니다.

다음 명령을 실행하여 를 호출UpdateClusterSoftwareAPI하여 기존 HyperPod 클러스터를 최신 로 업데이트합니다 HyperPod DLAMI. 자세한 지침은 섹션을 참조하세요클러스터의 SageMaker HyperPod 플랫폼 소프트웨어 업데이트.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

SageMaker HyperPod 클러스터 인스턴스에 추가 스토리지를 연결하는 새로운 기능이 추가되었습니다. 이 기능을 사용하면 SageMaker HyperPod 콘솔 또는 CreateCluster 및 를 통해 클러스터 생성 또는 업데이트 프로세스 중에 인스턴스 그룹 구성 수준에서 추가 스토리지를 구성할 수 있습니다UpdateClusterAPIs. 추가 EBS 볼륨은 SageMaker HyperPod 클러스터 내의 각 인스턴스에 연결되고 에 탑재됩니다/opt/sagemaker. SageMaker HyperPod 클러스터에서 이를 구현하는 방법에 대한 자세한 내용은 다음 페이지의 업데이트된 설명서를 참조하세요.

이 기능을 사용하려면 HyperPod 클러스터 소프트웨어를 업데이트해야 합니다. HyperPod 클러스터 소프트웨어를 패치한 후 새 인스턴스 그룹을 추가하여 2024년 6월 20일 이전에 생성된 기존 SageMaker HyperPod 클러스터에 이 기능을 사용할 수 있습니다. 이 기능은 2024년 6월 20일 이후에 생성된 모든 SageMaker HyperPod 클러스터에 대해 완전히 유효합니다.

다음 명령을 실행하여 를 호출UpdateClusterSoftwareAPI하여 기존 HyperPod 클러스터를 최신 로 업데이트합니다 HyperPod DLAMI. 자세한 지침은 섹션을 참조하세요클러스터의 SageMaker HyperPod 플랫폼 소프트웨어 업데이트.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

의 ThreadsPerCore 파라미터로 버그를 수정했습니다ClusterInstanceGroupSpecificationAPI. 수정을 사용하면 CreateCluster 및 가 를 통해 사용자 입력을 UpdateCluster APIs 적절하게 가져와 적용합니다ThreadsPerCore. 이 수정 사항은 2024년 4월 24일 이후에 생성된 HyperPod 클러스터에 적용됩니다. 이 버그에 문제가 있어 클러스터에 이 수정 사항을 적용하려면 새 클러스터를 생성해야 합니다. 의 지침에 따라 새 클러스터로 이동하는 동안 작업을 백업하고 복원해야 합니다에서 제공하는 백업 스크립트 사용 SageMaker HyperPod.

이번 릴리스에서 Slurm은 HyperPod DLAMI, JSON YAML및 JWT 지원이 포함된 REST 서비스(slurmestd)로 구축되었습니다.

Slurm을 v23.11.3로 업그레이드

다음 명령을 실행하여 를 호출UpdateClusterSoftwareAPI하여 기존 HyperPod 클러스터를 최신 로 업데이트합니다 HyperPod DLAMI. 자세한 지침은 섹션을 참조하세요클러스터의 SageMaker HyperPod 플랫폼 소프트웨어 업데이트.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

자동 재개 서비스 제한 시간을 60분으로 늘렸습니다.

Slurm 컨트롤러를 다시 시작하지 않도록 인스턴스 교체 프로세스를 개선했습니다.

인스턴스 시작 시 다운로드 오류 및 인스턴스 상태 확인 오류와 같은 실행 수명 주기 스크립트의 오류 메시지가 개선되었습니다.

시간 동기화 문제를 일으킨 시간제 서비스의 버그를 수정했습니다.

구문 분석으로 버그를 수정했습니다slurm.conf.

NVIDIA go-dcgm 라이브러리 관련 문제를 해결했습니다.

Slurm을 v23.11.1로 업그레이드

에서 SlurmPMIx을 활성화하기 위한 OpenPMIx v4.2.6이 추가되었습니다.

2023-10-26에 릴리스된 AWS Deep Learning BaseGPUAMI(Ubuntu 20.04) 기반

기본 패키지 외에도 이 HyperPod DLAMI 에 사전 설치된 패키지의 전체 목록 AMI

다음 명령을 실행하여 를 호출UpdateClusterSoftwareAPI하여 기존 HyperPod 클러스터를 최신 로 업데이트합니다 HyperPod DLAMI. 자세한 지침은 섹션을 참조하세요클러스터의 SageMaker HyperPod 플랫폼 소프트웨어 업데이트.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

HyperPod 이제 는 를 통해 제공된 파티션 이름 전달provisioning_params.json을 적절하게 지원하고 제공된 입력을 기반으로 파티션을 적절하게 생성합니다. provisioning_params.json에 대한 자세한 내용은 SageMaker HyperPod 양식 및 수명 주기 스크립트를 사용하여 클러스터 사용자 지정 SageMaker HyperPod 를 참조하십시오.

SageMaker HyperPod 보안 패치에 UpdateClusterSoftware API 대한 새 를 추가했습니다. 보안 패치를 사용할 수 있게 되면 를 실행하여 계정의 기존 SageMaker HyperPod 클러스터를 업데이트하는 것이 좋습니다aws sagemaker update-cluster-software --cluster-name your-cluster-name. 향후 보안 패치에 대한 후속 조치를 취하려면 이 Amazon SageMaker HyperPod 릴리스 정보 페이지를 계속 추적하세요. 의 UpdateClusterSoftware API 작동 방식을 알아보려면 섹션을 참조하세요클러스터의 SageMaker HyperPod 플랫폼 소프트웨어 업데이트.

AWS re:Invent 2023 SageMaker HyperPod 에서 Amazon을 출시했습니다.

2023-10-18에 릴리스된 AWS Deep Learning BaseGPUAMI(Ubuntu 20.04) 기반

기본 패키지 외에도 이 HyperPod DLAMI 에 사전 설치된 패키지의 전체 목록 AMI