Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esempi di librerie di parallelismo dei dati di Amazon SageMaker AI
Questa pagina fornisce notebook Jupyter che presentano esempi di implementazione della libreria SageMaker AI Distributed Data Parallelism (SMDDP) per eseguire lavori di formazione distribuiti sull'IA. SageMaker
Blog e casi di studio
I blog seguenti illustrano casi di studio sull'utilizzo della libreria SMDDP.
Blog SMDDP v2
-
Abilita una formazione più rapida con la libreria parallela di dati Amazon SageMaker AI
, AWS Machine Learning Blog (05 dicembre 2023)
Blog SMDDP v1
-
Come ho addestrato 10 TB per la diffusione stabile su SageMaker AI
in Medium (29 novembre 2022) -
Esegui PyTorch Lightning e PyTorch DDP nativo su Amazon SageMaker Training, con Amazon Search
, AWS Machine Learning Blog (18 agosto 2022) -
Formazione YOLOv5 su AWS with PyTorch and the SageMaker AI distributed data parallel library
, Medium (6 maggio 2022) -
Accelera l'addestramento dei EfficientNet modelli sull' SageMaker intelligenza SageMaker artificiale con PyTorch la libreria parallela di dati distribuiti AI
, Medium (21 marzo 2022) -
Accelera la EfficientNet formazione AWS con la libreria parallela di dati distribuiti di SageMaker intelligenza artificiale
, Towards Data Science (12 gennaio 2022) -
Hyundai riduce i tempi di formazione sui modelli di machine learning per i modelli di guida autonoma utilizzando Amazon SageMaker AI
, AWS Machine Learning Blog (25 giugno 2021) -
Formazione distribuita: addestrare BART/T5 per il riepilogo utilizzando Transformers e Amazon AI, SageMaker il
sito Web di Hugging Face (8 aprile 2021)
Notebook di esempio
I taccuini di esempio sono disponibili nell'archivio degli esempi di AI. SageMaker GitHub training/distributed_training/pytorch/data_parallel
Nota
Clona ed esegui i notebook di esempio nel seguente AI ML. SageMaker IDEs
-
SageMaker AI JupyterLab (disponibile in Studio creato dopo dicembre 2023)
-
SageMaker AI Code Editor (disponibile in Studio creato dopo dicembre 2023)
-
Studio Classic (disponibile come applicazione in Studio creata dopo dicembre 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
Esempi di SMDDP v2
Esempi di SMDDP v1
