Notas de SageMaker HyperPod lanzamiento de Amazon

Se agregó el EKS soporte de Amazon en SageMaker HyperPod. Para obtener más información, consulte Organización de SageMaker HyperPod clústeres con Amazon EKS.

Se instaló el NVIDIA controlador v5.0.90.07

Se instaló el controlador v2.10 EFA

Se instaló la última versión de Neuron AWS SDK

Se mejoró la funcionalidad de SageMaker HyperPod reanudación automática, ampliando la capacidad de resiliencia de los nodos Slurm conectados a Generic (). RESources GRES

Cuando los recursos genéricos (GRES) se conectan a un nodo de Slurm, Slurm normalmente no permite cambios en la asignación de nodos, como la sustitución de nodos, y, por lo tanto, no permite reanudar un trabajo fallido. A menos que se prohíba explícitamente, la función de HyperPod reanudación automática vuelve a poner en cola automáticamente cualquier trabajo defectuoso asociado a los GRES nodos habilitados. Este proceso implica detener el trabajo, volver a colocarlo en la cola de trabajos y, a continuación, reiniciarlo desde el principio.

Preempaquetado slurmrestden el SageMaker HyperPod AMI.

Se modificaron los valores predeterminados UnkillableStepTimeout de 60 segundos a 300 segundos slurm.conf para mejorar la capacidad de respuesta del sistema y la gestión de las tareas. ResumeTimeout

Se realizaron pequeñas mejoras en las comprobaciones de estado de NVIDIA Data Center GPU Manager (DCGM) y la interfaz de administración del NVIDIA sistema (nvidia-smi).

El complemento de HyperPod reanudación automática puede utilizar nodos inactivos para reanudar un trabajo.

Ejecute el siguiente comando para llamar UpdateClusterSoftwareAPIal y actualizar los HyperPod clústeres existentes con la versión más reciente HyperPod DLAMI. Para obtener más instrucciones, consulteActualice el software de la SageMaker HyperPod plataforma de un clúster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Se agregó una nueva capacidad de adjuntar almacenamiento adicional a las instancias SageMaker HyperPod del clúster. Con esta capacidad, puedes configurar el almacenamiento adicional en el nivel de configuración del grupo de instancias durante los procesos de creación o actualización del clúster, ya sea a través de la SageMaker HyperPod consola o del comando CreateClusterand UpdateClusterAPIs. El EBS volumen adicional se adjunta a cada instancia de un SageMaker HyperPod clúster y se monta en él/opt/sagemaker. Para obtener más información sobre cómo implementarlo en su SageMaker HyperPod clúster, consulte la documentación actualizada en las páginas siguientes.

Tenga en cuenta que debe actualizar el software del HyperPod clúster para utilizar esta capacidad. Después de aplicar los parches al software de HyperPod clústeres, puedes utilizar esta capacidad para SageMaker HyperPod los clústeres existentes creados antes del 20 de junio de 2024 añadiendo nuevos grupos de instancias. Esta capacidad es totalmente efectiva para cualquier SageMaker HyperPod clúster creado después del 20 de junio de 2024.

Ejecute el siguiente comando para llamar UpdateClusterSoftwareAPIal y actualizar los HyperPod clústeres existentes con la versión más reciente HyperPod DLAMI. Para obtener más instrucciones, consulteActualice el software de la SageMaker HyperPod plataforma de un clúster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Se ha corregido un error con el ThreadsPerCore parámetro de ClusterInstanceGroupSpecificationAPI. Con la corrección, CreateClustery toman y aplican UpdateClusterAPIscorrectamente la entrada del usuarioThreadsPerCore. Esta corrección es efectiva en HyperPod los clústeres creados después del 24 de abril de 2024. Si ha tenido problemas con este error y desea aplicar esta corrección a su clúster, debe crear uno nuevo. Asegúrate de hacer copias de seguridad del trabajo y restaurarlo mientras te mueves a un clúster nuevo siguiendo las instrucciones que se indican enUtilice el script de respaldo proporcionado por SageMaker HyperPod.

En esta versión de HyperPod DLAMI, Slurm se ha creado con REST service (slurmestd) con JSONYAML, y JWT soporte.

Se actualizó Slurm a la versión 23.11.3

Ejecute el siguiente comando para llamar UpdateClusterSoftwareAPIal y actualizar los HyperPod clústeres existentes con la versión más reciente HyperPod DLAMI. Para obtener más instrucciones, consulteActualice el software de la SageMaker HyperPod plataforma de un clúster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Se aumentó el tiempo de espera del servicio de reanudación automática a 60 minutos.

Se mejoró el proceso de reemplazo de instancias para no reiniciar el controlador Slurm.

Se han mejorado los mensajes de error al ejecutar scripts de ciclo de vida, como los errores de descarga y los errores de comprobación del estado de la instancia al iniciar la instancia.

Se ha corregido un error en el servicio Chrony que provocaba un problema con la sincronización horaria.

Se ha corregido un error con el análisisslurm.conf.

Se ha corregido un problema con la NVIDIAgo-dcgmbiblioteca.

Se actualizó Slurm a la versión 23.11.1

Se agregó O penPMIx v4.2.6 para habilitar Slurm con. PMIx

Basado en la base de aprendizaje AWS profundo GPU AMI (Ubuntu 20.04) publicada el 26 de octubre de 2023

Además de la base, incluye una lista completa de los paquetes preinstalados HyperPod DLAMI AMI

Ejecute el siguiente comando para llamar UpdateClusterSoftwareAPIal y actualizar los HyperPod clústeres existentes con la versión más reciente HyperPod DLAMI. Para obtener más instrucciones, consulteActualice el software de la SageMaker HyperPod plataforma de un clúster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

HyperPod ahora admite correctamente el paso de los nombres de las particiones proporcionados provisioning_params.json y crea las particiones de forma adecuada en función de las entradas proporcionadas. Para obtener más información sobre provisioning_params.json, consulte SageMaker HyperPod formularios y Personalice SageMaker HyperPod los clústeres mediante scripts de ciclo de vida.

Se agregó un nuevo UpdateClusterSoftware API parche SageMaker HyperPod de seguridad. Cuando los parches de seguridad estén disponibles, te recomendamos que actualices SageMaker HyperPod los clústeres existentes en tu cuenta aws sagemaker update-cluster-software --cluster-name your-cluster-name ejecutándolos. Para hacer un seguimiento de los futuros parches de seguridad, sigue consultando esta página de notas SageMaker HyperPod de lanzamiento de Amazon. Para saber cómo UpdateClusterSoftware API funciona, consulteActualice el software de la SageMaker HyperPod plataforma de un clúster.

Lanzó Amazon SageMaker HyperPod en AWS re:Invent 2023.

Basado en la base de aprendizaje AWS profundo GPU AMI (Ubuntu 20.04) publicada el 18 de octubre de 2023

Además de la base, incluye una lista completa de los paquetes preinstalados HyperPod DLAMI AMI