기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon SageMaker 데이터 병렬화 라이브러리 예제
이 페이지에서는 분산 교육 작업을 실행하기 위한 SageMaker 분산 데이터 병렬화 (SMDDP) 라이브러리 구현 예제를 제시하는 Jupyter 노트북을 제공합니다. SageMaker
블로그 및 사례 연구
다음 블로그에서는 SMDDP 라이브러리 사용에 대한 사례 연구를 설명합니다.
SMDDP v2 블로그
-
Amazon SageMaker 데이터 병렬 라이브러리, AWS Machine Learning 블로그를 통해 더 빠르게 학습할 수 있도록
하세요 (2023년 12월 5일)
SMDDP v1 블로그
-
SageMaker미디엄에서 안정적인 확산을 위해 10TB를 학습시킨 방법 (2022년
11월 29일) -
아마존 SageMaker 트레이닝에서 PyTorch 라이트닝 및 네이티브 PyTorch DDP를 실행하세요. Amazon Search,AWS Machine
Learning 블로그 특집 (2022년 8월 18일) -
분산 SageMaker 데이터 병렬 라이브러리 사용 PyTorch 및 Medium에 AWS 대한 YoloV5 교육
(2022년 5월 6일) -
SageMaker With PyTorch 및 SageMaker 분산 데이터 병렬 라이브러리, Medium을 통한 EfficientNet 모델 학습 가속화
(2022년 3월 21일) -
SageMaker 분산 데이터 병렬 라이브러리를 AWS 통한 EfficientNet 교육 가속화, 데이터
과학을 향하여 (2022년 1월 12일) -
Amazon을 활용한 자율주행 모델의 ML 모델 교육 시간을 단축한 현대자동차 SageMaker
, AWS Machine Learning 블로그 (2021년 6월 25일) -
분산 교육: Hugging Face 웹 사이트인 SageMaker Hugging Face 웹 사이트인 Amazon과 트랜스포머를 사용하여 BART/T5에 요약을 위한
교육 (2021년 4월 8일)
예제 노트북
예제 노트북은 예제 리포지토리에 제공됩니다. SageMaker GitHub training/distributed_training/pytorch/data_parallel
.
참고
다음 SageMaker ML IDE에서 예제 노트북을 복제하고 실행합니다.
-
SageMaker JupyterLab(2023년 12월 이후에 만든 스튜디오에서 사용 가능)
-
SageMaker 코드 편집기 (2023년 12월 이후에 만든 스튜디오에서 사용 가능)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
SMDDP v2 예제
SMDDP v1 예제