PyTorch 훈련 스크립트에서 SMDDP 라이브러리 사용

SageMaker AI 분산 데이터 병렬 처리(SMDDP) 라이브러리 v1.4.0부터 라이브러리를 PyTorch 분산 패키지의 백엔드 옵션으로 사용할 수 있습니다. SMDDP AllReduce 및 AllGather 집합 작업을 사용하려면 훈련 스크립트의 시작 부분에만 SMDDP 라이브러리를 가져오고 프로세스 그룹 초기화 중에 PyTorch 분산 모듈의 백엔드로 SMDDP를 설정해야 합니다. 백엔드 사양의 단일 라인을 사용하면 모든 기본 PyTorch 분산 모듈과 전체 훈련 스크립트를 변경하지 않고 유지할 수 있습니다. 다음 코드 조각은 라이브러리를 분산 PyTorch 데이터 병렬(DDP), PyTorch 완전 샤딩된 데이터 병렬(FSDP), DeepSpeed및 Megatron-DeepSpeed PyTorch의 기반 분산 훈련 패키지의 SMDDP 백엔드로 사용하는 방법을 보여줍니다.

또는의 경우 PyTorch DDP FSDP

다음과 같이 프로세스 그룹을 초기화합니다.

import torch.distributed as dist
import smdistributed.dataparallel.torch.torch_smddp

dist.init_process_group(backend="smddp")

DeepSpeed 또는 Megatron용-DeepSpeed

다음과 같이 프로세스 그룹을 초기화합니다.

import deepspeed
import smdistributed.dataparallel.torch.torch_smddp

deepspeed.init_distributed(dist_backend="smddp")

export SMDATAPARALLEL_OPTIMIZE_SDP=true

훈련 스크립트 작성에 PyTorch FSDP 대한 일반적인 지침은 설명서의 완전 샤딩된 데이터 병렬(FSDP)을 사용한 고급 모델 훈련을 PyTorch 참조하세요.

훈련 스크립트 작성에 PyTorch DDP 대한 일반적인 지침은 PyTorch 설명서의 분산 데이터 병렬 시작하기를 참조하세요.

훈련 스크립트 조정을 완료한 후 SageMaker Python을 SMDDP 사용하여를 사용하여 분산 훈련 작업 시작 SDK 섹션으로 넘어갑니다.