SageMaker 모델 병렬화 라이브러리 v2의 핵심 기능

Amazon SageMaker 모델 병렬화 라이브러리 v2 (SMPv2) 는 샤딩된 데이터 병렬화, 텐서 병렬 처리, 체크포인팅과 같은 분산 전략 및 메모리 절약 기술을 제공합니다. SMPv2에서 제공하는 모델 병렬화 전략 및 기법은 학습 속도와 메모리 소비를 최적화하는 동시에 대형 모델을 여러 디바이스에 배포하는 데 도움이 됩니다. SMPv2는 또한 몇 줄의 코드 변경으로 훈련 스크립트를 조정할 수 있도록 Python 패키지를 torch.sagemaker 제공합니다.

이 안내서는 에서 SageMaker 모델 병렬화 라이브러리 v2로 시작하기 소개한 기본 2단계 흐름을 따릅니다. SMPv2의 핵심 기능 및 사용 방법에 대해 자세히 알아보려면 다음 항목을 참조하십시오.