기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon SageMaker AI 모델 병렬 처리 라이브러리 v1 예제
이 페이지에서는 SageMaker SageMaker AI에서 분산 훈련 작업을 실행하기 위해 SageMaker 모델 병렬 처리(SMP) 라이브러리 v1을 구현하는 실제 예를 보여주는 블로그 및 Jupyter 노트북 목록을 제공합니다.
블로그 및 사례 연구
다음 블로그에서는 SMP v1 사용에 대한 사례 연구를 설명합니다.
-
Amazon SageMaker AI 모델 병렬 처리 라이브러리의 새로운 성능 개선
사항, AWS Machine Learning 블로그(2022년 12월 16일) -
Amazon SageMaker AI, 기계 학습 블로그(2022년 10월 31일)에서 샤딩된 데이터 병렬 처리를 사용하여 거의 선형적인 조정으로 대규모 모델 훈련
AWS Machine Learning
예제 노트북
예제 노트북은 SageMaker AI 예제 GitHub 리포지토리training/distributed_training/pytorch/model_parallel로 이동합니다.
참고
다음 SageMaker AI ML IDEs에서 예제 노트북을 복제하고 실행합니다.
-
SageMaker JupyterLab(2023년 12월 이후에 생성된 Studio에서 사용 가능)
-
SageMaker 코드 편집기(2023년 12월 이후에 생성된 Studio에서 사용 가능)
-
Studio Classic(2023년 12월 이후에 생성된 Studio에서 애플리케이션으로 사용 가능)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel
PyTorch용 SMP v1 예제 노트북
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-2 훈련하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-2 미세 튜닝하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-NeoX-20B 훈련하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 및 텐서 병렬화 기법을 사용하여 GPT-J 6B 훈련하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 FLAN-T5 훈련하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 Falcon 훈련하기
TensorFlow용 SMP v1 예제 노트북
