SageMaker 모델 병렬 처리 라이브러리 릴리스 노트

SageMaker HyperPod 레시피 지원이 추가되었습니다.

CUDA v12.1이 포함된 PyTorch v2.4.1용 SMP Docker 컨테이너

658645717510.dkr.ecr.<us-west-2>.smdistributed-modelparallel:2.4.1-gpu-py311-cu121

CUDA v12.1이 포함된 PyTorch v2.4.1용 SMP Enroot 컨테이너

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh

사전 설치된 패키지

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

SMP v2.6.0에서 이전 훈련 스크립트를 사용할 때 발생하는 ImportError 문제를 수정했습니다. 이렇게 하면 SMP v2.6.0과의 이전 버전과의 비호환성이 수정됩니다.

에 DeprecationWarning 대한를 추가했습니다torch.sagemaker.distributed.fsdp.checkpoint. 이 모듈은 SMP v2.7.0에서 더 이상 사용되지 않고 제거됩니다. 현재 코드torch.sagemaker.distributed.fsdp.checkpoint에서를 사용 중인 경우 향후 문제를 방지하기 위해 SMP v2.7.0 릴리스 전에 스크립트를 업데이트해야 합니다.

SMP v2.6.0에서 식별된 이전 버전과의 호환성 문제를 수정했습니다. 이 문제는 SMP v2.6.0에서 USE_PG_WITH_UTIL 체크포인트 메서드의 사용 중단과 관련이 있었으며, 이는 이전 버전의 훈련 스크립트와의 이전 버전 호환성을 깨뜨렸습니다. 이 문제를 해결하려면 PyTorch 훈련 작업을 다시 실행하여 SMP v2.6.1로 패키징된 최신 SMP 컨테이너를 픽업합니다.

CUDA v12.1이 포함된 PyTorch v2.4.1용 SMP Docker 컨테이너

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

사전 설치된 패키지

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

다음 LLM 모델 구성에 대한 지원이 추가되었습니다. 컨텍스트 병렬 처리 및 텐서 병렬화를 사용할 수 있습니다.

다음 Mixtral 모델 구성에 대한 텐서 병렬화 지원이 추가되었습니다.

AllGather 통신 집합체를 사용하여 키-값 텐서의 전체 시퀀스를 얻는 AllGather 기반 컨텍스트 병렬 구현에 대한 지원이 추가되었습니다. 사용 가능한 구현은 p2p 및 all_gather입니다. p2p 구현에서는 주의력 계산 중에 키-값(KV) 텐서 누적에 대한 피어-투-피어 전송-수신 호출을 활용하여 비동기적으로 실행하고 통신이 계산과 겹치도록 허용합니다. 반면, all_gather 구현은 KV 텐서 누적을 위한 AllGather 통신 집합 작업을 사용합니다. 이러한 컨텍스트 병렬 구현을 적용하는 방법은 컨텍스트 병렬 처리 섹션을 참조하세요.

회전 위치 임베딩(RoPE) 세타 값을 튜닝하기 위한 지원이 추가되었습니다.

지연된 파라미터가 활성화된 경우 사전 훈련 중에 회전 위치 임베딩(RoPE )이 제대로 초기화되지 않는 버그를 수정했습니다.

Transformer Engine은 현재 컨텍스트 병렬 처리 또는 슬라이딩 창 주의가 활성화된 FP8을 지원하지 않습니다. 따라서 슬라이딩 창 구성이 null이 아닌 값으로 설정된 경우 Mistral 변환기의 SMP 버전은 컨텍스트 병렬 처리 또는 FP8 훈련을 지원하지 않습니다.

v2.4.1로 업그레이드된 PyTorch

Megatron을 v0.8.0으로 업그레이드

TransformerEngine 라이브러리를 v1.10으로 업그레이드했습니다.

트랜스포머를 v4.44.2로 업그레이드

cuDNN을 v9.4.0.58로 업그레이드

CUDA v12.1이 포함된 PyTorch v2.4.1용 SMP Docker 컨테이너

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

사전 설치된 패키지

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Mixtral 모델의 P5 인스턴스에서 FP8 데이터 형식을 사용하는 혼합 정밀도 훈련에 대한 지원이 추가되었습니다.

다음 모델 구성에 대한 컨텍스트 병렬 처리 지원이 추가되었습니다.

체크포인트를 비동기적으로 저장하기 위한 지원이 추가되었습니다. 자세한 내용은 SMP를 사용한 체크포인트 지정을 참조하십시오.

사전 훈련된 모델 체크포인트를 로드하고 텐서 병렬 처리를 사용할 때 Llama 미세 조정 중에 예기치 않게 높은 초기 손실을 일으킨 문제를 해결했습니다.

FP8 혼합 정밀도로 Mixtral에 활성화 체크포인트를 사용하려면 주의와 전문가 계층을 별도로 체크포인트해야 합니다. 올바르게 설정하는 예제는 Amazon SageMaker AI 예제 리포지토리의 예제 훈련 스크립트를 참조하세요.

MoE 구성(torch.sagemaker.moe.moe_config.MoEConfig)의 균형 로드 밸런싱 유형은 현재 활성화 체크포인트와 호환되지 않습니다.

컨텍스트 병렬 처리를 통해 GPT-NeoX는 훈련 전과 미세 조정 모두에서 성능 회귀를 보여줍니다.

P4 인스턴스의 GPT-NeoX의 경우 지연된 파라미터 초기화 변환 모델에서 Hugging Face 변환기 모델로 가중치를 직접 로드하면 첫 번째 단계에서 손실 불일치가 발생합니다.

FlashAttention 라이브러리를 v2.5.8로 업그레이드했습니다

Transformer Engine 라이브러리를 v1.8로 업그레이드했습니다

CUDA v12.1이 포함된 PyTorch v2.3.1용 SMP Docker 컨테이너

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

지원되는 리전 목록은 AWS 리전 섹션을 참조하세요.

사전 설치된 패키지

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

SMP 변환기를 사용하는 동안 레이블이 순방향 패스로 전달되지 않을 때 잘못된 로짓 모양을 유발하는 버그를 수정했습니다.

PyTorch v2.3.1에 대한 지원이 추가됨

Python v3.11에 대한 지원을 추가했습니다.

Hugging Face Transformers 라이브러리 v4.40.1에 대한 지원이 추가되었습니다.

Python v3.10에 대한 지원이 중단되었습니다

v4.40.1 이전의 Hugging Face Transformers 라이브러리 버전에 대한 지원이 중단되었습니다.

서로 다른 순위에서 중복 제거된 텐서 저장을 전환하는 패치가 포함되어 있습니다. 자세한 내용은 PyTorch GitHub 리포지토리의 토론 스레드를 참조하세요.

손실이 급증했다가 텐서 병렬 처리로 Llama-3 70B를 미세 조정하는 동안 더 높은 손실 값으로 재개될 수 있는 알려진 문제가 있습니다.

SMDDP 라이브러리를 v2.3.0으로 업그레이드했습니다

NCCL 라이브러리를 v2.21.5로 업그레이드했습니다

EFA 소프트웨어를 v1.32.0으로 업그레이드했습니다

Torch Distributed Experimental(torchdistX) 라이브러리 설치를 중단했습니다.

CUDA v12.1이 포함된 PyTorch v2.3.1용 SMP Docker 컨테이너

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

사전 설치된 패키지

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

전문가 병렬 처리를 위해 torch.sagemaker.moe.moe_config.MoEConfig에서 moe_load_balancing=balanced를 사용할 때 발생하는 ImportError 문제를 해결했습니다.

load_state_dict_from_rank0이 활성화될 때 torch.sagemaker.transform 호출이 KeyError를 제기하는 미세 조정 문제를 수정했습니다.

미세 조정을 위해 Mixtral 8x22B 와 같은 대규모 전문가 혼합(MoE) 모델을 로드할 때 발생하는 메모리 부족(OOM) 오류를 수정했습니다.

CUDA v12.1이 포함된 PyTorch v2.2.0용 SMP Docker 컨테이너

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Mixture of Experts 변환기 모델을 지원하기 위해 새로운 핵심 기능인 전문가 병렬 처리가 추가되었습니다. 자세한 내용은 전문가 병렬 처리을 참조하십시오.

CUDA v12.1이 포함된 PyTorch v2.2.0용 SMP Docker 컨테이너

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Transformer Engine 통합이 포함된 P5 인스턴스에서 다음 Hugging Face 변환기 모델의 FP8 훈련에 대한 지원이 추가되었습니다.

텐서 병렬 처리 훈련 중에 AllGather 집합 호출 전에 텐서가 연속적이라고 보장되지 않는 버그를 수정했습니다.

PyTorch v2.2.0.에 대한 지원이 추가됨

SMDDP 라이브러리를 v2.2.0으로 업그레이드했습니다.

FlashAttention 라이브러리를 v2.3.3으로 업그레이드했습니다.

NCCL 라이브러리를 v2.19.4로 업그레이드했습니다.

v1.2.0 이전의 Transformer Engine 버전에 대한 지원이 중단되었습니다.

SMP 활성화 오프로딩 기능은 현재 작동하지 않습니다. 대신 기본 PyTorch 활성화 오프로드를 사용합니다.

PyTorch GitHub 리포지토리의 https://github.com/pytorch/pytorch/issues/117748 문제 스레드에서 설명한 성능 회귀를 수정하는 패치가 포함되었습니다.

CUDA v12.1이 포함된 PyTorch v2.2.0용 SMP Docker 컨테이너

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

PyTorch v2.1.2에 대한 지원이 추가됨.

Hugging Face Transformers v4.31.0에 대한 지원이 중단되었습니다.

attn_implementation=flash_attention_2 및 FSDP를 사용하여 Hugging Face Llama 2 모델을 미세 조정하면 모델이 분기되는 문제가 발견되었습니다. 자세한 내용은 Hugging Face Transformers GitHub 리포지토리의 문제 티켓을 참조하세요. 분산 문제를 방지하려면 attn_implementation=sdpa를 사용합니다. 또는 use_smp_implementation=True를 설정하여 SMP 변환기 모델 구현을 사용합니다.

CUDA v12.1이 포함된 PyTorch v2.1.2용 SMP Docker 컨테이너

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

SMP v1.x의 이전 torch.sagemaker 패키지에서 완전히 수정된 새 smdistributed.modelparallel.torch 패키지입니다.

PyTorch 2.0.1에 대한 지원이 추가됨

PyTorch FSDP 지원.

Transformer Engine 라이브러리와 통합하여 Tensor 병렬 처리 구현.

SageMaker 훈련과 SageMaker HyperPod를 모두 지원합니다.

SMP v2APIs를 완전히 개정하고 torch.sagemaker 패키지를 제공합니다. 대부분 torch.sagemaker.init() 모듈로 초기화하고 모델 병렬 구성 파라미터를 전달하기만 하면 됩니다. 이 새 패키지를 사용하면 훈련 스크립트에서 코드 수정을 크게 단순화할 수 있습니다. SMP v2를 사용하도록 훈련 스크립트를 조정하는 방법에 대한 자세한 내용은 섹션을 참조하세요SageMaker 모델 병렬 처리 라이브러리 v2 사용.

SMP v1을 사용하여 Hugging Face Transformer 모델을 훈련하고 SMP v2에서 모델을 재사용하려는 경우 섹션을 참조하세요SMP v1에서 SMP v2로 업그레이드.

PyTorch FSDP 훈련의 경우 SMP v2를 사용해야 합니다.

활성화 체크포인트는 현재 FSDP를 사용하는 다음 래핑 정책에서만 작동합니다.

활성화 오프로딩를 사용하려면 FSDP 활성화 체크포인트 유형이 REENTRANT여야 합니다.

샤딩된 데이터 병렬 각도가 로 설정된 상태에서 텐서 병렬이 활성화된 상태로 실행 1중인 경우 를 사용해야 합니다backend = nccl. 이 시나리오에서는 smddp 백엔드 옵션이 지원되지 않습니다.

텐서 병렬 처리를 사용하지 않는 경우에도 SMP 라이브러리에서 PyTorch를 사용하려면 Transformer Engine이 필요합니다.

이 릴리스부터 SageMaker 모델 병렬 처리 라이브러리에 대한 설명서는이 Amazon SageMaker AI 개발자 안내서에서 모두 확인할 수 있습니다. Amazon SageMaker AI 개발자 안내서의 SMP v2에 대한이 전체 개발자 안내서를 위해 SageMaker Python SDK 설명서의 SMP v1.x에 대한 추가 참조는 더 이상 사용되지 않습니다. SMP v1.x에 대한 설명서가 여전히 필요한 경우 SMP v1.x에 대한 개발자 안내서는 에서 사용할 수 (보관됨) SageMaker 모델 병렬 처리 라이브러리 v1.x있으며 SMP Python 라이브러리 v1.x 참조는 SageMaker Python SDK v2.199.0 설명서 에서 사용할 수 있습니다.

TensorFlow 에 대한 지원이 중단되었습니다.

SMP v2에서는 파이프라인 병렬 처리를 지원하지 않습니다.

기본 PyTorch FSDP에 유리한 DeepSpeed 라이브러리는 지원되지 않습니다.

CUDA v12.1이 포함된 PyTorch v2.0.1용 SMP Docker 컨테이너

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121