SageMaker AI 데이터 병렬화 라이브러리 릴리스 정보 - Amazon SageMaker AI
SMDDP v2.5.0SMDDP v2.3.0SMDDP v2.2.0SMDDP v2.1.0SMDDP v2.0.1

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

SageMaker AI 데이터 병렬화 라이브러리 릴리스 정보

SageMaker AI 분산 데이터 병렬 처리(SMDDP) 라이브러리의 최신 업데이트를 추적하려면 다음 릴리스 정보를 참조하세요.

SageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.5.0

날짜: 2024년 10월 17일

새로운 기능

  • PyTorch v12.1에서 CUDA v2.4.1에 대한 지원이 추가되었습니다.

SageMaker AI 모델 병렬 처리(SMP) 라이브러리에서 배포한 Docker 컨테이너에 통합

이 버전의 SMDDP 라이브러리는 로 마이그레이션됩니다 SageMaker 모델 병렬 처리 라이브러리 v2.6.0.

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

SMP Docker 이미지를 사용할 수 있는 리전은 섹션을 참조하세요AWS 리전.

이 릴리스의 바이너리 파일

다음를 사용하여 라이브러리를 다운로드하거나 설치할 수 있습니다URL.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.4.1/cu121/2024-10-09/smdistributed_dataparallel-2.5.0-cp311-cp311-linux_x86_64.whl

SageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.3.0

날짜: 2024년 6월 11일

새로운 기능

  • PyTorch v12.1 및 Python CUDA v3.11에서 v2.3.0에 대한 지원이 추가되었습니다.

  • PyTorch Lightning v2.2.5에 대한 지원이 추가되었습니다. 이는 PyTorch v2.3.0용 SageMaker AI 프레임워크 컨테이너에 통합됩니다.

  • 지원되지 않는 인스턴스 유형에 SMDDP 라이브러리를 로드하지 않도록 가져오기 중에 인스턴스 유형 검증을 추가했습니다. SMDDP 라이브러리와 호환되는 인스턴스 유형 목록은 섹션을 참조하세요지원되는 프레임워크 AWS 리전및 인스턴스 유형.

SageMaker AI 프레임워크 컨테이너에 통합

이 SMDDP 라이브러리 버전은 다음 SageMaker AI 프레임워크 컨테이너로 마이그레이션됩니다.

  • PyTorch v2.3.0

    763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker

SMDDP 라이브러리 및 사전 구축된 컨테이너의 전체 버전 목록은 섹션을 참조하세요지원되는 프레임워크 AWS 리전및 인스턴스 유형.

이 릴리스의 바이너리 파일

다음를 사용하여 라이브러리를 다운로드하거나 설치할 수 있습니다URL.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl

기타 변경사항

  • SMDDP 라이브러리 v2.2.0은 PyTorch v2.2.0용 SageMaker AI 프레임워크 컨테이너에 통합됩니다.

SageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.2.0

날짜: 2024년 3월 4일

새로운 기능

  • PyTorch v12.1에서 CUDA v2.2.0에 대한 지원이 추가되었습니다.

SageMaker AI 모델 병렬 처리(SMP) 라이브러리에서 배포한 Docker 컨테이너에 통합

이 버전의 SMDDP 라이브러리는 로 마이그레이션됩니다 SageMaker 모델 병렬 처리 라이브러리 v2.2.0.

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

SMP Docker 이미지를 사용할 수 있는 리전은 섹션을 참조하세요AWS 리전.

이 릴리스의 바이너리 파일

다음를 사용하여 라이브러리를 다운로드하거나 설치할 수 있습니다URL.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl

SageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.1.0

날짜: 2024년 3월 1일

새로운 기능

  • PyTorch v12.1에서 CUDA v2.1.0에 대한 지원이 추가되었습니다.

버그 수정

  • 에서 CPU 메모리 누수 문제를 해결했습니다SMDDP v2.0.1.

SageMaker AI Framework 컨테이너에 통합

이 SMDDP 라이브러리 버전은 벤치마크 테스트를 통과했으며 다음 SageMaker AI 프레임워크 컨테이너로 마이그레이션됩니다.

  • PyTorch v2.1.0

    763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker

SageMaker AI 모델 병렬 처리(SMP) 라이브러리에서 배포한 Docker 컨테이너에 통합

이 버전의 SMDDP 라이브러리는 로 마이그레이션됩니다 SageMaker 모델 병렬 처리 라이브러리 v2.1.0.

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

SMP Docker 이미지를 사용할 수 있는 리전은 섹션을 참조하세요AWS 리전.

이 릴리스의 바이너리 파일

다음를 사용하여 라이브러리를 다운로드하거나 설치할 수 있습니다URL.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl

SageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.0.1

날짜: 2023년 12월 7일

새로운 기능

  • AWS 컴퓨팅 리소스 및 네트워크 인프라에 최적화된 AllGather 집합적 운영의 새로운 SMDDP구현을 추가했습니다. 자세한 내용은 SMDDP AllGather 집합 작업을 참조하십시오.

  • SMDDP AllGather 집합 작업은 PyTorch FSDP 및와 호환됩니다 DeepSpeed. 자세한 내용은 PyTorch 훈련 스크립트에서 SMDDP 라이브러리 사용을 참조하십시오.

  • PyTorch v2.0.1에 대한 지원이 추가되었습니다.

알려진 문제

  • SMDDP AllReduce DDP 모드에서를 사용하여 훈련하는 동안 점진적 CPU 메모리 증가로 인한 CPU 메모리 누수 문제가 있습니다.

SageMaker AI 프레임워크 컨테이너에 통합

이 SMDDP 라이브러리 버전은 벤치마크 테스트를 통과했으며 다음 SageMaker AI 프레임워크 컨테이너로 마이그레이션됩니다.

  • PyTorch v2.0.1

    763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker

이 릴리스의 바이너리 파일

다음를 사용하여 라이브러리를 다운로드하거나 설치할 수 있습니다URL.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl

기타 변경사항