기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon SageMaker AI 데이터 병렬 처리 라이브러리 예제
이 페이지에서는 SageMaker AI에서 분산 훈련 작업을 실행하기 위해 SageMaker AI 분산 데이터 병렬 처리(SMDDP) 라이브러리를 구현하는 예를 제공하는 Jupyter 노트북SageMaker 제공합니다.
블로그 및 사례 연구
다음 블로그에서는 SMDDP 라이브러리 사용에 대한 사례 연구를 설명합니다.
SMDDP v2 블로그
-
Amazon SageMaker AI 데이터 병렬 라이브러리, 기계 학습 블로그(2023년 12월 5일)를 사용하여 더 빠른 훈련 활성화
AWS Machine Learning
SMDDP v1 블로그
-
SageMaker AI에서 10TB의 안정적인 확산을 중형으로 훈련한 방법
(2022년 11월 29일) -
Amazon 검색 기능을 갖춘 Amazon SageMaker 훈련에서 PyTorch Lightning 및 네이티브 PyTorch DDP 실행하기
(AWS Machine Learning Blog에 게시, 2022년 8월 18일) -
PyTorch 및 SageMaker AI 분산 데이터 병렬 라이브러리를 AWS 사용하여에서 YOLOv5 훈련
, 중간(2022년 5월 6일) -
SageMaker AI 분산 데이터 병렬 라이브러리, Towards Data Science(2022년 1월 12일) AWS 를 사용하여에서 EfficientNet 훈련 속도 향상
-
현대, Amazon SageMaker AI, 기계 학습 블로그를 사용하여 자율 주행 모델의 ML 모델 훈련 시간 단축
(2021년 6월 25일) AWS Machine Learning -
분산 훈련: Hugging Face 웹 사이트인 Transformer 및 Amazon SageMaker AI를 사용하여 요약을 위한 BART/T5 교육
(2021년 4월 8일)
예제 노트북
예제 노트북은 SageMaker AI 예제 GitHub 리포지토리training/distributed_training/pytorch/data_parallel
로 이동합니다.
참고
다음 SageMaker AI ML IDEs에서 예제 노트북을 복제하고 실행합니다.
-
SageMaker AI JupyterLab(2023년 12월 이후에 생성된 Studio에서 사용 가능)
-
SageMaker AI 코드 편집기(2023년 12월 이후에 생성된 Studio에서 사용 가능)
-
Studio Classic(2023년 12월 이후에 생성된 Studio에서 애플리케이션으로 사용 가능)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
SMDDP v2 예제
SMDDP v1 예제