Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Ejemplos de bibliotecas de paralelismo de datos de Amazon SageMaker AI
En esta página se proporcionan cuadernos de Jupyter con ejemplos de implementación de la biblioteca de paralelismo de datos distribuidos () SMDDP de SageMaker IA para realizar tareas de formación distribuidas sobre IA. SageMaker
Blogs y casos prácticos
En los siguientes blogs se analizan casos prácticos sobre el uso de la biblioteca. SMDDP
SMDDPblogs de la versión 2
-
Realice un entrenamiento más rápido con la biblioteca paralela de datos Amazon SageMaker AI
, AWS Machine Learning Blog (5 de diciembre de 2023)
SMDDPblogs v1
-
Cómo entrené 10 TB para una difusión estable con SageMaker IA en
Medium (29 de noviembre de 2022) -
Ejecute PyTorch Lightning y Native PyTorch DDP en Amazon SageMaker Training, con Amazon Search
, AWS Machine Learning Blog (18 de agosto de 2022) -
Capacitación YOLOv5 sobre la biblioteca paralela de datos distribuidos AWS con PyTorch SageMaker IA
, Medium (6 de mayo de 2022) -
Acelere el entrenamiento de EfficientNet modelos sobre SageMaker IA con PyTorch la biblioteca paralela de datos distribuidos de SageMaker IA
, Medium (21 de marzo de 2022) -
Acelere el EfficientNet entrenamiento AWS con la biblioteca paralela de datos distribuidos de SageMaker IA
, Towards Data Science (12 de enero de 2022) -
Hyundai reduce el tiempo de entrenamiento de los modelos de aprendizaje automático para modelos de conducción autónoma mediante Amazon SageMaker AI
, AWS Machine Learning Blog (25 de junio de 2021) -
Capacitación distribuida: entrena a BART /T5 para resumir con Transformers y SageMaker Amazon
AI, el sitio web Hugging Face (8 de abril de 2021)
Cuadernos de ejemplo
En el repositorio de ejemplos de IA se proporcionan cuadernos de ejemplo. SageMaker GitHub training/distributed_training/pytorch/data_parallel.
nota
Clona y ejecuta los cuadernos de ejemplo en el siguiente SageMaker AI ML. IDEs
-
SageMaker IA JupyterLab (disponible en Studio creado después de diciembre de 2023)
-
SageMaker Editor de código AI (disponible en Studio creado después de diciembre de 2023)
-
Studio Classic (disponible como aplicación en Studio creado después de diciembre de 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
SMDDPEjemplos de la versión 2
SMDDPEjemplos de la versión 1
-
CNNcon PyTorch y la biblioteca de paralelismo de datos de SageMaker IA
-
BERTcon PyTorch y la biblioteca de paralelismo de datos de SageMaker IA
-
CNNcon la TensorFlow versión 2.3.1 y la biblioteca de paralelismo de datos de IA SageMaker
-
BERTcon TensorFlow 2.3.1 y la biblioteca de paralelismo de datos de IA SageMaker
-
HuggingFace Formación paralela sobre datos distribuidos TensorFlow sobre la IA SageMaker
