기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon SageMaker 모델 병렬화 라이브러리 v1 예제
이 페이지는 분산 교육 작업을 실행하기 위해 SageMaker 모델 병렬화 (SMP) 라이브러리 v1을 구현하는 실제 사례를 제시하는 블로그 및 Jupyter 노트북 목록을 제공합니다. SageMaker
블로그 및 사례 연구
다음 블로그에서는 SMP v1 사용에 대한 사례 연구를 설명합니다.
-
Amazon SageMaker 모델 병렬 처리 라이브러리의 새로운 성능 개선 사항
, AWS Machine Learning 블로그 (2022년 12월 16일) -
Amazon, Machine Learning Blog에서 샤딩된 데이터 병렬화를 사용하여 거의 선형에 가까운 스케일링으로 거대한 모델을 SageMaker AWS
학습시킵니다.
예제 노트북
예제 노트북은 예제 리포지토리에 제공됩니다. SageMaker GitHub training/distributed_training/pytorch/model_parallel.
참고
다음 SageMaker ML IDE에서 예제 노트북을 복제하고 실행합니다.
-
SageMaker JupyterLab(2023년 12월 이후에 만든 스튜디오에서 사용 가능)
-
SageMaker 코드 편집기 (2023년 12월 이후에 만든 스튜디오에서 사용 가능)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel
SMP v1 예제 노트북 PyTorch
-
모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 선형에 가까운 스케일링으로 GPT-2 학습시키기 SageMaker
-
모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 근선형 스케일링으로 GPT-2 미세 조정 SageMaker
-
모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-NEOX-20b를 학습시키세요. SageMaker
-
모델 병렬화 라이브러리의 샤딩 데이터 병렬화 및 텐서 병렬화 기법을 사용하여 GPT-J 6B를 훈련시키세요. SageMaker
-
모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 선형에 가까운 스케일링으로 FLAN-T5 학습시키기 SageMaker
-
모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 근선형 스케일링으로 Falcon을 훈련시키세요. SageMaker
SMP v1 예제 노트북 TensorFlow
