As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Esta página fornece notebooks Jupyter que apresentam exemplos de implementação da biblioteca de paralelismo de dados distribuídos de SageMaker IA (SMDDP) para executar trabalhos de treinamento distribuídos em IA. SageMaker
Blogs e estudos de caso
Os blogs a seguir discutem estudos de caso a respeito do uso da biblioteca SMDDP.
Blogs do SMDDP v2
-
Permita um treinamento mais rápido com a biblioteca paralela de dados de SageMaker IA da Amazon
, Blog de AWS Machine Learning (05 de dezembro de 2023)
Blogs do SMDDP v1
-
Como treinei 10 TB para difusão estável em SageMaker IA no
Medium (29 de novembro de 2022) -
Execute o PyTorch Lightning e o PyTorch DDP nativo no Amazon SageMaker Training, com o Amazon Search
, AWS Machine Learning Blog (18 de agosto de 2022) -
Treinamento YOLOv5 em AWS with PyTorch and the SageMaker AI Distributed Data Parallel Library
, Medium (6 de maio de 2022) -
Acelere o treinamento de EfficientNet modelos em SageMaker IA com PyTorch a biblioteca paralela de dados distribuídos de SageMaker IA
, Medium (21 de março de 2022) -
Acelere o EfficientNet treinamento AWS com a biblioteca paralela de dados distribuídos de SageMaker IA
, Towards Data Science (12 de janeiro de 2022) -
Hyundai reduz o tempo de treinamento de modelos de ML para modelos de direção autônoma usando Amazon SageMaker AI
, AWS Machine Learning Blog (25 de junho de 2021) -
Treinamento distribuído: Treine o BART/T5 para resumir usando Transformers e Amazon AI, SageMaker o site
Hugging Face (8 de abril de 2021)
Cadernos de exemplo
Os notebooks de exemplo são fornecidos no GitHub repositório de exemplos de SageMaker IAtraining/distributed_training/pytorch/data_parallel:
nota
Clone e execute os notebooks de exemplo no SageMaker AI ML a seguir. IDEs
-
SageMaker AI JupyterLab (disponível no Studio criado após dezembro de 2023)
-
SageMaker Editor de código AI (disponível no Studio criado após dezembro de 2023)
-
Studio Classic (disponível como uma aplicação no Studio criado após dezembro de 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallelExemplos de SMDDP v2
Exemplos de SMDDP v1
-
CNN com PyTorch e a biblioteca de SageMaker paralelismo de dados de IA
-
BERT com PyTorch e a biblioteca de SageMaker paralelismo de dados de IA
-
CNN com TensorFlow 2.3.1 e a biblioteca de paralelismo de dados SageMaker AI
-
BERT com TensorFlow 2.3.1 e a biblioteca de SageMaker paralelismo de dados AI
-
HuggingFace Treinamento paralelo de dados distribuídos TensorFlow em SageMaker IA
