Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Ejemplos de bibliotecas SageMaker de paralelismo de datos de Amazon
Esta página proporciona cuadernos de Jupyter con ejemplos de implementación de la biblioteca de paralelismo de datos SageMaker distribuidos (SMDDP) para ejecutar trabajos de formación distribuidos. SageMaker
Blogs y casos prácticos
En los siguientes blogs se analizan casos prácticos sobre el uso de la biblioteca SMDDP.
Blogs sobre SMDDP v2
-
Realice un entrenamiento más rápido con la biblioteca paralela de SageMaker datos de Amazon
, AWS Machine Learning Blog (5 de diciembre de 2023)
Blogs sobre SMDDP v1
-
Cómo entrené 10 TB para Stable Diffusion SageMaker en
Medium (29 de noviembre de 2022) -
Ejecute PyTorch Lightning y el PyTorch DDP nativo en Amazon SageMaker Training, que incluye Amazon Search
, AWS Machine Learning Blog (18 de agosto de 2022) -
Capacitación para YoloV5 sobre AWS la biblioteca paralela de datos SageMaker distribuidos
, Medium (6 de mayo de 2022) PyTorch -
Acelere el entrenamiento de EfficientNet modelos SageMaker con PyTorch la biblioteca paralela de datos SageMaker distribuidos
, Medium (21 de marzo de 2022) -
Acelere la EfficientNet formación AWS con la biblioteca paralela de datos SageMaker distribuidos
, Towards Data Science (12 de enero de 2022) -
Hyundai reduce el tiempo de entrenamiento de los modelos de aprendizaje automático para los modelos de conducción autónoma mediante Amazon SageMaker
, AWS Machine Learning Blog (25 de junio de 2021) -
Capacitación distribuida: entrena a BART/T5 para resumir utilizando Transformers y Amazon, el
sitio web SageMaker Hugging Face (8 de abril de 2021)
Cuadernos de ejemplo
Se proporcionan cuadernos de ejemplo en el repositorio de ejemplos. SageMaker GitHub training/distributed_training/pytorch/data_parallel.
nota
Clona y ejecuta los cuadernos de ejemplo en los siguientes IDE de SageMaker ML.
-
SageMaker JupyterLab(disponible en Studio creado después de diciembre de 2023)
-
SageMaker Editor de código (disponible en Studio creado después de diciembre de 2023)
-
Studio Classic (disponible como aplicación en Studio creada después de diciembre de 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
Ejemplos de SMDDP v2
Ejemplos de SMDDP v1
-
CNN con PyTorch y la biblioteca de paralelismo de SageMaker datos
-
BERT con PyTorch y la biblioteca de paralelismo de datos SageMaker
-
CNN con la TensorFlow versión 2.3.1 y la biblioteca de paralelismo de datos SageMaker
-
BERT con TensorFlow 2.3.1 y la biblioteca de paralelismo de datos SageMaker
-
HuggingFace Formación paralela sobre datos distribuidos TensorFlow SageMaker
