기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
SageMaker AI 분산 데이터 병렬 처리(SMDDP) 라이브러리의 최신 업데이트를 추적하려면 다음 릴리스 정보를 참조하세요.
SageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.5.0
날짜: 2024년 10월 17일
새로운 기능
-
CUDA v12.1이 포함된 PyTorch v2.4.1에 대한 지원이 추가되었습니다.
SageMaker AI 모델 병렬 처리(SMP) 라이브러리에서 배포한 Docker 컨테이너에 통합
이 버전의 SMDDP 라이브러리는 SageMaker 모델 병렬화 라이브러리 v2.6.0으로 마이그레이션됩니다.
658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121SMP Docker 이미지를 사용할 수 있는 리전은 AWS 리전 섹션을 참조하세요.
이 릴리스의 바이너리 파일
다음 URL을 사용하여 라이브러리를 다운로드 또는 설치할 수 있습니다.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.4.1/cu121/2024-10-09/smdistributed_dataparallel-2.5.0-cp311-cp311-linux_x86_64.whlSageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.3.0
날짜: 2024년 6월 11일
새로운 기능
-
CUDA v12.1 및 Python v3.11을 사용하는 PyTorch v2.3.0에 대한 지원이 추가되었습니다.
-
PyTorch Lightning v2.2.5에 대한 지원이 추가됨 이는 PyTorch v2.3.0용 SageMaker AI 프레임워크 컨테이너에 통합됩니다.
-
지원되지 않는 인스턴스 유형에 SMDDP 라이브러리를 로드하지 않도록 가져오기 중에 인스턴스 유형 검증이 추가되었습니다. SMDDP 라이브러리와 호환되는 인스턴스 유형 목록은 지원되는 프레임워크 AWS 리전및 인스턴스 유형 섹션을 참조하세요.
SageMaker AI 프레임워크 컨테이너에 통합
이 버전의 SMDDP 라이브러리는 다음 SageMaker AI 프레임워크 컨테이너
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
SMDDP 라이브러리 및 사전 구축된 컨테이너의 전체 버전 목록은 지원되는 프레임워크 AWS 리전및 인스턴스 유형 섹션을 참조하세요.
이 릴리스의 바이너리 파일
다음 URL을 사용하여 라이브러리를 다운로드 또는 설치할 수 있습니다.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl기타 변경사항
-
SMDDP 라이브러리 v2.2.0은 PyTorch v2.2.0용 SageMaker AI 프레임워크 컨테이너에 통합됩니다.
SageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.2.0
날짜: 2024년 3월 4일
새로운 기능
-
CUDA v12.1이 포함된 PyTorch v2.2.0에 대한 지원이 추가되었습니다.
SageMaker AI 모델 병렬 처리(SMP) 라이브러리에서 배포한 Docker 컨테이너에 통합
이 버전의 SMDDP 라이브러리는 SageMaker 모델 병렬화 라이브러리 v2.2.0으로 마이그레이션됩니다.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121SMP Docker 이미지를 사용할 수 있는 리전은 AWS 리전 섹션을 참조하세요.
이 릴리스의 바이너리 파일
다음 URL을 사용하여 라이브러리를 다운로드 또는 설치할 수 있습니다.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whlSageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.1.0
날짜: 2024년 3월 1일
새로운 기능
-
CUDA v12.1이 포함된 PyTorch v2.1.0에 대한 지원이 추가되었습니다.
버그 수정
-
SMDDP v2.0.1에서 CPU 메모리 누수 문제를 해결했습니다.
SageMaker AI 프레임워크 컨테이너에 통합
이 버전의 SMDDP 라이브러리는 벤치마크 테스트를 통과했으며 다음 SageMaker AI 프레임워크 컨테이너
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
SageMaker AI 모델 병렬 처리(SMP) 라이브러리에서 배포한 Docker 컨테이너에 통합
이 버전의 SMDDP 라이브러리는 SageMaker 모델 병렬화 라이브러리 v2.1.0으로 마이그레이션됩니다.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121SMP Docker 이미지를 사용할 수 있는 리전은 AWS 리전 섹션을 참조하세요.
이 릴리스의 바이너리 파일
다음 URL을 사용하여 라이브러리를 다운로드 또는 설치할 수 있습니다.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whlSageMaker AI 분산 데이터 병렬 처리 라이브러리 v2.0.1
날짜: 2023년 12월 7일
새로운 기능
-
AWS 컴퓨팅 리소스 및 네트워크 인프라에 최적화된
AllGather집합 작업에 대한 새로운 SMDDP 구현이 추가되었습니다. 자세한 내용은 SMDDP AllGather 집합 작업을 참조하십시오. -
SMDDP
AllGather집합 작업은 PyTorch FSDP 및 DeepSpeed 와 호환됩니다. 자세한 내용은 PyTorch 훈련 스크립트에서 SMDDP 라이브러리 사용을 참조하십시오. -
PyTorch v2.0.1에 대한 지원이 추가됨
알려진 문제
-
AllReduceDDP 모드에서 SMDDP로 훈련하는 동안 점진적 CPU 메모리 증가로 인해 CPU 메모리 누수 문제가 발생합니다.
SageMaker AI 프레임워크 컨테이너에 통합
이 버전의 SMDDP 라이브러리는 벤치마크 테스트를 통과했으며 다음 SageMaker AI 프레임워크 컨테이너
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
이 릴리스의 바이너리 파일
다음 URL을 사용하여 라이브러리를 다운로드 또는 설치할 수 있습니다.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl기타 변경사항
-
이 릴리스부터 SMDDP 라이브러리에 대한 설명서는이 Amazon SageMaker AI 개발자 안내서에서 모두 확인할 수 있습니다. Amazon SageMaker AI 개발자 안내서에 포함된 SMDDP v2에 대한 전체 개발자 안내서를 위해 SageMaker AI Python SDK 설명서의 SMDDP v1.x에 대한 추가 참조
에 대한 설명서는 더 이상 지원되지 않습니다. SageMaker 그래도 SMP v1.x 설명서가 필요한 경우 SageMaker Python SDK v2.212.0 설명서의 다음 설명서 스냅샷 을 참조하세요.
