SageMaker biblioteca de paralelismo de modelos v2

La biblioteca de paralelismo de modelos de SageMaker IA de Amazon es una capacidad de la SageMaker IA que permite un entrenamiento optimizado a gran escala y de alto rendimiento en instancias de cómputo aceleradas por SageMaker IA. Las Características principales de la biblioteca de paralelismo de SageMaker modelos v2 incluyen técnicas y optimizaciones para acelerar y simplificar el entrenamiento de modelos grandes, como paralelismo híbrido de datos particionados, paralelismo de tensores, puntos de comprobación de activación y descarga de activaciones. Puede utilizar la biblioteca SMP para acelerar el entrenamiento y el ajuste de modelos de lenguaje de gran tamaño (LLMs), modelos de visión a gran escala () y modelos básicos (LVMsFMs) con cientos de miles de millones de parámetros.

La biblioteca de paralelismo de SageMaker modelos v2 (SMP v2) alinea los métodos APIs y la biblioteca con el paralelismo de datos PyTorch totalmente fragmentado (FSDP) de código abierto, lo que permite optimizar el rendimiento del SMP con cambios mínimos en el código. Con SMP v2, puede mejorar el rendimiento computacional del entrenamiento de un modelo grande en IA al incorporar sus guiones de entrenamiento del FSDP a la IA. state-of-the-art SageMaker PyTorch SageMaker

Puedes usar SMP v2 para los trabajos de SageMaker formación generales y para distribuir las cargas de trabajo de formación en clústeres. Amazon SageMaker HyperPod