Más información sobre la SageMaker biblioteca de paralelismo de modelos v2

La biblioteca de paralelismo de SageMaker modelos de Amazon es una capacidad SageMaker que permite un entrenamiento optimizado a gran escala y de alto rendimiento para SageMaker acelerar las instancias de procesamiento. Características principales de la biblioteca de paralelismo de SageMaker modelos v2Incluyen técnicas y optimizaciones para acelerar y simplificar el entrenamiento de modelos grandes, como el paralelismo híbrido de datos fragmentados, el paralelismo tensorial, los puntos de control de activación y la descarga de activaciones. Puede utilizar la SMP biblioteca para acelerar el entrenamiento y el ajuste de modelos de lenguaje de gran tamaño (), modelos de visión amplia () y modelos básicos (LLMs) con cientos de miles de millones de parámetros. LVMs FMs

La biblioteca de paralelismo de SageMaker modelos v2 (SMPv2) alinea los métodos APIs y la biblioteca con el código abierto PyTorch Fully Sharded Data Parallelism (FSDP), que ofrece la ventaja de optimizar el rendimiento con cambios mínimos en el código. SMP Con la SMP versión 2, puede mejorar el rendimiento computacional del entrenamiento de un modelo state-of-the-art grande incorporando sus guiones de entrenamiento a. SageMaker PyTorch FSDP SageMaker

Puede utilizar la SMP versión 2 para los trabajos de SageMaker formación generales y para distribuir las cargas de trabajo de formación en Amazon SageMaker HyperPod clústeres.