SageMaker Mejores prácticas de paralelismo de modelos distribuidos

Uso de tipos de instancias de GPU grandes

• En el ámbito del paralelismo de modelos, lo mejor es utilizar instancias potentes con memorias de GPU grandes para gestionar la sobrecarga de las operaciones de paralelismo de modelos, como la partición de modelos en varias GPU. Recomendamos utilizar las instancias ml.p4d o ml.p3dn para entrenar modelos de aprendizaje profundo grandes. Estas instancias también están equipadas con Elastic Fabric Adapter (EFA), que proporciona un mayor ancho de banda de red y permite un entrenamiento a gran escala con paralelismo de modelos.

Estado del optimizador de fragmentos

• El impacto del estado del optimizador de fragmentos depende del número de rangos del paralelismo de datos. Normalmente, un mayor grado de paralelismo de datos (proporcional al tamaño del nodo informático) puede mejorar la eficiencia del uso de la memoria.

  Cuando quiera reducir el tamaño de un clúster, asegúrese de comprobar la configuración de fragmentación de estado del optimizador. Por ejemplo, un modelo de aprendizaje profundo grande con fragmentación del estado del optimizador que cabe en un clúster de procesamiento con 16 GPU (por ejemplo, dos instancias P4d o P4de) puede que no siempre quepa en un nodo con 8 GPU (por ejemplo, una sola instancia P4d o P4de). Esto se debe a que la memoria combinada de 8 GPU es inferior a la memoria combinada de 16 GPU, y la memoria requerida por GPU para fragmentar más de 8 GPU también es mayor que la memoria por GPU para fragmentar en el escenario de 16 GPU. Como resultado, es posible que el aumento de los requisitos de memoria no quepa en un clúster más pequeño.

  Para obtener más información, consulte Partición del estado del optimizador.

Puntos de control de activación

• La eficiencia de la memoria se puede mejorar mediante el control de activación de un grupo de módulos. Cuanto más agrupe los módulos, más eficiente será el uso de la memoria. Al seleccionar módulos secuenciales de puntos de control para capas, el argumento strategy de la función smp.set_activation_checkpointing agrupa las capas para marcar puntos de control. Por ejemplo, agrupar dos o más capas para hacer puntos de control es más eficiente en la memoria que el punto de control de una capa a la vez, y esto controla un tiempo de cálculo adicional para reducir el uso de la memoria.

  Para obtener más información, consulte Puntos de control de activación.

Paralelismo de tensores

• El grado de paralelismo de tensores debe ser una potencia de dos (2, 4, 8, ..., 2ⁿ), donde el grado máximo debe ser igual al número de GPU por nodo. Por ejemplo, si utiliza un nodo con 8 GPU, los números posibles para el grado de paralelismo de tensores son 2, 4 y 8. No recomendamos números arbitrarios (como 3, 5, 6 y 7) para el grado de paralelismo de tensores. Cuando utiliza varios nodos, la configuración incorrecta del grado de paralelismo de tensores podría provocar la ejecución del paralelismo de tensores en los nodos; esto añade una sobrecarga significativa de la comunicación de las activaciones en los nodos y puede resultar costosa computacionalmente.

  Para obtener más información, consulte Paralelismo de tensores.

Paralelismo de canalización entre nodos

• Puede ejecutar paralelismo de canalización tanto en un solo nodo como en varios nodos. Cuando utiliza el paralelismo de canalización en combinación con el paralelismo de tensores, le recomendamos ejecutar paralelismo de canalización en varios nodos y mantener el paralelismo de tensores dentro de nodos individuales.

• El paralelismo de canalización viene con los tres mandos siguientes: microbatches, active_microbatches y prescaled_batch.

  • Cuando utiliza paralelismo de tensores con paralelismo de canalización, le recomendamos activar prescaled_batch de modo que se pueda aumentar el tamaño del lote por grupo de paralelismo de modelos para una canalización eficiente. Al activar prescaled_batch, el tamaño de lote establecido en el script de entrenamiento pasa a ser tp_size veces el tamaño del lote establecido para cada rango sin prescaled_batch.

  • Aumentar el número de microbatches ayuda a lograr una canalización eficiente y un mejor rendimiento. Tenga en cuenta que el tamaño efectivo del microlote es el tamaño del lote dividido por el número de microlotes. Si aumenta el número de microlotes manteniendo constante el tamaño del lote, cada microlote procesa menos muestras.

  • El número de active_microbatches es el número máximo de microlotes que están en proceso simultáneamente durante la canalización. Para cada microlote activo en proceso, sus activaciones y degradados ocupan memoria de la GPU. Por lo tanto, un aumento de active_microbatches ocupa más memoria de la GPU.

• Si la memoria de la GPU y la GPU están infrautilizadas, aumenteactive_microbatches para una mejor paralelización durante la canalización.

• Para obtener más información sobre cómo utilizar el paralelismo de tensores con paralelismo de canalización, consulte Paralelismo tensorial combinado con paralelismo de canalización.

• Para encontrar descripciones de los parámetros antes mencionados, consulte Parámetros de smdistributed en la documentación del SDK de SageMaker Python.

Descarga de activaciones a la CPU

• Asegúrese de que se utilice en combinación con el punto de control de activación y el paralelismo de canalización. Para garantizar que la descarga y la precarga se produzcan en segundo plano, especifique un valor superior a 1 para el parámetro microlotes.

• Al descargar activaciones, es posible que pueda aumentar active_microbatches y, a veces, coincide con el número total de microlotes. Esto depende de qué módulos estén marcados y de cómo se divide el modelo.

  Para obtener más información, consulte Descarga de activación.

• Antes de utilizar las funciones de la biblioteca paralela de SageMaker modelos en su guion de entrenamiento, revíselasConsejos y dificultades de configuración de la biblioteca de paralelismo de modelos SageMaker distribuidos.

• Para iniciar un trabajo de entrenamiento más rápido, utilice el modo SageMaker local. Esto le ayuda a ejecutar rápidamente un trabajo de formación de forma local en una instancia de SageMaker notebook. Según la escala de la instancia de aprendizaje automático en la que se ejecute la instancia de su SageMaker notebook, es posible que necesite ajustar el tamaño del modelo cambiando las configuraciones del modelo, como el ancho oculto, el número de capas de transformadores y los cabezales de atención. Valide si el modelo reducido funciona bien en la instancia de cuaderno antes de utilizar un clúster grande para entrenar el modelo completo.

• Para utilizar FSx para Lustre, agregue AmazonFSxFullAccess.

• Para utilizar Amazon S3 como canal de datos, agregue AmazonS3FullAccess.

• Para utilizar Docker, cree su propio contenedor y enviarlo a Amazon ECR, agregue AmazonEC2ContainerRegistryFullAccess.

• Para tener acceso completo y utilizar todo el conjunto de funciones, añada. SageMaker AmazonSageMakerFullAccess