Notes de SageMaker HyperPod publication d'Amazon

Ajout du EKS support Amazon dans SageMaker HyperPod. Pour en savoir plus, consultez Orchestration de SageMaker HyperPod clusters avec Amazon EKS.

Amélioration de la fonctionnalité de SageMaker HyperPod reprise automatique, en étendant la capacité de résilience des nœuds Slurm attachés à Generic (). RESources GRES

Lorsque des ressources génériques (GRES) sont attachées à un nœud Slurm, Slurm n'autorise généralement pas les modifications de l'allocation des nœuds, telles que le remplacement de nœuds, et n'autorise donc pas la reprise d'une tâche ayant échoué. Sauf interdiction explicite, la fonctionnalité de HyperPod reprise automatique met automatiquement en file d'attente toute tâche défectueuse associée aux GRES nœuds activés. Ce processus implique d'arrêter le travail, de le replacer dans la file d'attente des travaux, puis de le redémarrer depuis le début.

Préemballé slurmrestddans le. SageMaker HyperPod AMI

Modification des valeurs par défaut pendant ResumeTimeout et UnkillableStepTimeout de 60 secondes à 300 secondes slurm.conf afin d'améliorer la réactivité du système et la gestion des tâches.

Améliorations mineures apportées aux contrôles de santé de NVIDIA Data Center GPU Manager (DCGM) et de l'interface de gestion du NVIDIA système (nvidia-smi).

Le plug-in de HyperPod reprise automatique peut utiliser des nœuds inactifs pour reprendre une tâche.

Exécutez la commande suivante pour appeler le UpdateClusterSoftwareAPIafin de mettre à jour vos HyperPod clusters existants avec la dernière version HyperPod DLAMI. Pour obtenir des instructions supplémentaires, consultezMettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Ajout d'une nouvelle fonctionnalité permettant d'associer du stockage supplémentaire aux instances de SageMaker HyperPod cluster. Grâce à cette fonctionnalité, vous pouvez configurer un stockage supplémentaire au niveau de la configuration du groupe d'instances lors des processus de création ou de mise à jour du cluster, via la SageMaker HyperPod console ou le CreateClusteret UpdateClusterAPIs. Le EBS volume supplémentaire est attaché à chaque instance d'un SageMaker HyperPod cluster et monté dessus/opt/sagemaker. Pour en savoir plus sur son implémentation dans votre SageMaker HyperPod cluster, consultez la documentation mise à jour sur les pages suivantes.

Notez que vous devez mettre à jour le logiciel du HyperPod cluster pour utiliser cette fonctionnalité. Après avoir appliqué le correctif au logiciel de HyperPod cluster, vous pouvez utiliser cette fonctionnalité pour les SageMaker HyperPod clusters existants créés avant le 20 juin 2024 en ajoutant de nouveaux groupes d'instances. Cette fonctionnalité est pleinement efficace pour tous les SageMaker HyperPod clusters créés après le 20 juin 2024.

Exécutez la commande suivante pour appeler le UpdateClusterSoftwareAPIafin de mettre à jour vos HyperPod clusters existants avec la dernière version HyperPod DLAMI. Pour obtenir des instructions supplémentaires, consultezMettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Correction d'un bug avec le ThreadsPerCore paramètre dans le ClusterInstanceGroupSpecificationAPI. Avec le correctif, et prennent CreateClusteret appliquent UpdateClusterAPIscorrectement les entrées de l'utilisateurThreadsPerCore. Ce correctif est effectif sur les HyperPod clusters créés après le 24 avril 2024. Si vous avez rencontré des problèmes avec ce bogue et que vous souhaitez appliquer ce correctif à votre cluster, vous devez créer un nouveau cluster. Assurez-vous de sauvegarder et de restaurer votre travail lorsque vous passez à un nouveau cluster en suivant les instructions deUtilisez le script de sauvegarde fourni par SageMaker HyperPod.

Dans cette version du HyperPod DLAMI, Slurm est construit avec REST service (slurmestd) avec JSONYAML, et JWT support.

Mise à niveau de Slurm vers la version 23.11.3

Exécutez la commande suivante pour appeler le UpdateClusterSoftwareAPIafin de mettre à jour vos HyperPod clusters existants avec la dernière version HyperPod DLAMI. Pour obtenir des instructions supplémentaires, consultezMettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Le délai d'expiration du service de reprise automatique a été augmenté à 60 minutes.

Processus de remplacement d'instance amélioré pour ne pas redémarrer le contrôleur Slurm.

Messages d'erreur améliorés liés à l'exécution de scripts de cycle de vie, tels que les erreurs de téléchargement et les erreurs de vérification de l'état de l'instance au démarrage de l'instance.

Correction d'un bug lié au service Chrony qui provoquait un problème de synchronisation horaire.

Correction d'un bug lié à l'analyse syntaxique. slurm.conf

Correction d'un problème lié à NVIDIAgo-dcgmla bibliothèque.

Mise à niveau de Slurm vers la version 23.11.1

Ajout de O penPMIx v4.2.6 pour activer Slurm avec. PMIx

Construit sur le AWS Deep Learning Base GPU AMI (Ubuntu 20.04) publié le 26/10/2023

Une liste complète des packages préinstallés s'y trouve HyperPod DLAMI en plus de la base AMI

Exécutez la commande suivante pour appeler le UpdateClusterSoftwareAPIafin de mettre à jour vos HyperPod clusters existants avec la dernière version HyperPod DLAMI. Pour obtenir des instructions supplémentaires, consultezMettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

HyperPod prend désormais correctement en charge la transmission des noms de partition fournis provisioning_params.json et crée des partitions de manière appropriée en fonction des entrées fournies. Pour plus d'informations sur provisioning_params.json, consultez SageMaker HyperPod formulaires et SageMaker HyperPod meilleures pratiques de configuration du cycle de vie.

Ajout d'un nouveau UpdateClusterSoftware API correctif de SageMaker HyperPod sécurité. Lorsque des correctifs de sécurité seront disponibles, nous vous recommandons de mettre à jour les SageMaker HyperPod clusters existants de votre compte en exécutantaws sagemaker update-cluster-software --cluster-name your-cluster-name. Pour effectuer le suivi des futurs correctifs de sécurité, suivez cette page des notes SageMaker HyperPod de publication d'Amazon. Pour en savoir plus sur UpdateClusterSoftware API son fonctionnement, voirMettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster.

A lancé Amazon SageMaker HyperPod à AWS RE:INVENT 2023.

Construit sur le AWS Deep Learning Base GPU AMI (Ubuntu 20.04) publié le 18/10/2023

Une liste complète des packages préinstallés s'y trouve HyperPod DLAMI en plus de la base AMI