기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
지원되는 프레임워크 및 AWS 리전
SageMaker 모델 병렬 처리 라이브러리를 사용하기 전에 지원되는 프레임워크 및 인스턴스 유형을 확인하고 AWS 계정 및에 충분한 할당량이 있는지 확인합니다 AWS 리전.
참고
라이브러리의 최신 업데이트 및 릴리스 노트를 확인하려면 SageMaker Python SDK 문서
지원되는 프레임워크
SageMaker 모델 병렬 처리 라이브러리는 다음과 같은 딥 러닝 프레임워크를 지원하며 AWS 딥 러닝 컨테이너(DLC)에서 사용하거나 바이너리 파일로 다운로드할 수 있습니다.
SageMaker AI 및 SageMaker 모델 병렬 처리 라이브러리에서 지원되는 PyTorch 버전
| PyTorch 버전 | SageMaker 모델 병렬 처리 라이브러리 버전 | smdistributed-modelparallel 통합 DLC 이미지 URI |
바이너리 파일의 URL** |
|---|---|---|---|
| v2.0.0 | smdistributed-modelparallel==v1.15.0 |
|
https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/pytorch-2.0.0/build-artifacts/2023-04-14-20-14/smdistributed_modelparallel-1.15.0-cp310-cp310-linux_x86_64.whl |
| v1.13.1 | smdistributed-modelparallel==v1.15.0 |
|
https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/pytorch-1.13.1/build-artifacts/2023-04-17-15-49/smdistributed_modelparallel-1.15.0-cp39-cp39-linux_x86_64.whl |
| v1.12.1 | smdistributed-modelparallel==v1.13.0 |
|
https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/pytorch-1.12.1/build-artifacts/2022-12-08-21-34/smdistributed_modelparallel-1.13.0-cp38-cp38-linux_x86_64.whl |
| v1.12.0 | smdistributed-modelparallel==v1.11.0 |
|
https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/pytorch-1.12.0/build-artifacts/2022-08-12-16-58/smdistributed_modelparallel-1.11.0-cp38-cp38-linux_x86_64.whl |
| v1.11.0 | smdistributed-modelparallel==v1.10.0 |
|
https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/pytorch-1.11.0/build-artifacts/2022-07-11-19-23/smdistributed_modelparallel-1.10.0-cp38-cp38-linux_x86_64.whl |
| v1.10.2 |
smdistributed-modelparallel==v1.7.0 |
|
- |
| v1.10.0 |
smdistributed-modelparallel==v1.5.0 |
|
- |
| v1.9.1 |
smdistributed-modelparallel==v1.4.0 |
|
- |
| v1.8.1* |
smdistributed-modelparallel==v1.6.0 |
|
- |
참고
SageMaker 모델 병렬 처리 라이브러리 v1.6.0 이상에서는 PyTorch를 위한 확장된 기능을 제공합니다. 자세한 내용은 SageMaker 모델 병렬화 라이브러리의 핵심 기능 섹션을 참조하세요.
** 바이너리 파일의 URL은 SageMaker 모델 병렬 처리 라이브러리를 사용자 지정 컨테이너에 설치하기 위한 것입니다. 자세한 내용은 SageMaker 분산 모델 병렬 라이브러리로 자체 Docker 컨테이너 생성 단원을 참조하십시오.
SageMaker AI 및 SageMaker 모델 병렬 처리 라이브러리에서 지원되는 TensorFlow 버전
| TensorFlow 버전 | SageMaker 모델 병렬 처리 라이브러리 버전 | smdistributed-modelparallel 통합 DLC 이미지 URI |
|---|---|---|
| v2.6.0 | smdistributed-modelparallel==v1.4.0 |
763104351884.dkr.ecr. |
| v2.5.1 | smdistributed-modelparallel==v1.4.0
|
763104351884.dkr.ecr.
|
SageMaker AI 및 SageMaker 분산 데이터 병렬 라이브러리에서 지원하는 Hugging Face Transformers 버전
Hugging Face용 AWS 딥 러닝 컨테이너는 PyTorch 및 TensorFlow용 SageMaker 훈련 컨테이너를 기본 이미지로 사용합니다. Hugging Face Transformer 라이브러리 버전과 페어링된 PyTorch 및 TensorFlow 버전을 찾아보려면 최신 Hugging Face Container
AWS 리전
SageMaker 데이터 병렬 라이브러리는 AWS SageMaker용 딥 러닝 컨테이너
지원되는 인스턴스 유형
SageMaker 모델 병렬 처리 라이브러리에는 다음과 같은 ML 인스턴스 유형 중 하나가 필요합니다.
| 인스턴스 유형 |
|---|
ml.g4dn.12xlarge |
ml.p3.16xlarge |
ml.p3dn.24xlarge
|
ml.p4d.24xlarge |
ml.p4de.24xlarge |
인스턴스 유형의 사양은 Amazon EC2 인스턴스 유형 페이지
다음과 유사한 오류 메시지가 발생한 경우 SageMaker AI 리소스에 대한 서비스 할당량 증가 요청의 지침을 따르세요.
ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge for training job usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please contact AWS support to request an increase for this limit.
