SageMaker 데이터 병렬화 라이브러리 출시 노트 - Amazon SageMaker
SMDDP v2.3.0SMDDP v2.2.0SMDDP v2.1.0SMDDP v2.0.1

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

SageMaker 데이터 병렬화 라이브러리 출시 노트

SageMaker 분산 데이터 병렬화 (SMDDP) 라이브러리의 최신 업데이트를 추적하려면 다음 릴리스 노트를 참조하십시오.

SageMaker 분산 데이터 병렬화 라이브러리 v2.3.0

날짜: 2024년 6월 11일

새로운 기능

  • CUDA v12.1 및 PyTorch Python v3.11과 함께 v2.3.0에 대한 지원이 추가되었습니다.

  • PyTorch 라이트닝 v2.2.5에 대한 지원이 추가되었습니다. 이는 v2.3.0용 SageMaker PyTorch 프레임워크 컨테이너에 통합되어 있습니다.

  • 지원되지 않는 인스턴스 유형에서 SMDDP 라이브러리가 로드되지 않도록 가져오기 중에 인스턴스 유형 검증을 추가했습니다. SMDDP 라이브러리와 호환되는 인스턴스 유형 목록은 을 참조하십시오. 지원되는 프레임워크 AWS 리전, 인스턴스 유형

프레임워크 컨테이너에 SageMaker 통합

이 버전의 SMDDP 라이브러리는 다음 SageMaker 프레임워크 컨테이너로 마이그레이션됩니다.

  • PyTorch v2.3.0

    763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker

SMDDP 라이브러리 및 사전 빌드된 컨테이너의 전체 버전 목록은 을 참조하십시오. 지원되는 프레임워크 AWS 리전, 인스턴스 유형

이번 릴리스의 바이너리 파일

다음 URL을 사용하여 라이브러리를 다운로드하거나 설치할 수 있습니다.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl

기타 변경사항

  • SMDDP 라이브러리 v2.2.0은 v2.2.0용 SageMaker 프레임워크 컨테이너에 통합되었습니다. PyTorch

분산 데이터 병렬화 라이브러리 v2.2.0 SageMaker

날짜: 2024년 3월 4일

새로운 기능

  • CUDA v12.1에는 PyTorch v2.2.0에 대한 지원이 추가되었습니다.

모델 병렬성 (SMP) 라이브러리를 통해 배포된 Docker 컨테이너에 SageMaker 통합

이 버전의 SMDDP 라이브러리는 로 마이그레이션되었습니다. SageMaker 모델 병렬 처리 라이브러리 v2.2.0 

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

SMP Docker 이미지를 사용할 수 있는 지역에 대한 내용은 을 참조하십시오. AWS 리전

이번 릴리스의 바이너리 파일

다음 URL을 사용하여 라이브러리를 다운로드하거나 설치할 수 있습니다.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl

SageMaker 분산 데이터 병렬화 라이브러리 v2.1.0

날짜: 2024년 3월 1일

새로운 기능

  • CUDA v12.1에는 PyTorch v2.1.0에 대한 지원이 추가되었습니다.

버그 수정

  • 에서 CPU 메모리 누수 문제가 해결되었습니다. SMDDP v2.0.1

SageMaker 프레임워크 컨테이너에 통합

이 버전의 SMDDP 라이브러리는 벤치마크 테스트를 통과했으며 다음 프레임워크 컨테이너로 마이그레이션되었습니다. SageMaker

  • PyTorch v2.1.0

    763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker

SageMaker 모델 병렬성 (SMP) 라이브러리를 통해 배포된 Docker 컨테이너에 통합

이 버전의 SMDDP 라이브러리는 로 마이그레이션되었습니다. SageMaker 모델 병렬 처리 라이브러리 v2.1.0 

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

SMP Docker 이미지를 사용할 수 있는 지역에 대한 내용은 을 참조하십시오. AWS 리전

이번 릴리스의 바이너리 파일

다음 URL을 사용하여 라이브러리를 다운로드하거나 설치할 수 있습니다.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl

SageMaker 분산 데이터 병렬화 라이브러리 v2.0.1

날짜: 2023년 12월 7일

새로운 기능

  • AWS 컴퓨팅 리소스 및 네트워크 인프라에 최적화된 AllGather 공동 운영의 새로운 SMDDP 구현을 추가했습니다. 자세한 내용은 SMDDP AllGather 집단 연산 섹션을 참조하세요.

  • SMDDP AllGather 집단 운영은 FSDP 및 와 호환됩니다. PyTorch DeepSpeed 자세한 내용은 PyTorch 훈련 스크립트에서 SMDDP 라이브러리 사용 섹션을 참조하세요.

  • v2.0.1에 대한 지원이 추가되었습니다. PyTorch

알려진 문제

  • DDP 모드에서 AllReduce SMDDP를 사용하여 훈련하는 동안 CPU 메모리가 점진적으로 증가하여 CPU 메모리 누수 문제가 발생합니다.

프레임워크 컨테이너에 통합 SageMaker

이 버전의 SMDDP 라이브러리는 벤치마크 테스트를 통과했으며 다음 프레임워크 컨테이너로 마이그레이션되었습니다. SageMaker

  • PyTorch v2.0.1

    763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker

이번 릴리스의 바이너리 파일

다음 URL을 사용하여 라이브러리를 다운로드하거나 설치할 수 있습니다.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl

기타 변경사항

  • 이번 릴리스부터 SMDDP 라이브러리 설명서가 이 Amazon SageMaker 개발자 안내서에서 완전히 제공됩니다. Amazon 개발자 안내서에 수록된 SMDDP v2에 대한 전체 SageMaker 개발자 안내서를 사용하기 위해 SageMaker Python SDK 설명서의 SMDDP v1.x에 대한 추가 참조 문서는 더 이상 지원되지 않습니다. 여전히 SMP v1.x 설명서가 필요한 경우 SageMaker Python SDK v2.212.0 설명서에서 설명서의 다음 스냅샷을 참조하십시오.