View a markdown version of this page

HyperPod fonctionnalités de formation sans point de contrôle - Amazon SageMaker AI
Référentiels

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

HyperPod fonctionnalités de formation sans point de contrôle

Consultez les pages suivantes pour en savoir plus sur les fonctionnalités de formation de la formation sans point de contrôle.

Rubriques

Référentiels SageMaker HyperPod de formation Amazon Checkpointless

HyperPod l'entraînement sans contrôle accélère la restauration suite à des défaillances de cluster dans des environnements de formation distribués à grande échelle grâce à des optimisations au niveau du framework. Ces optimisations sont fournies via une image de conteneur de base qui inclut des améliorations améliorées de l'initialisation NCCL, des optimisations du chargement des données et des composants de restauration en cours de traitement et sans point de contrôle. Le module de formation HyperPod Checkpointless repose sur cette base.

L'entraînement sans point de contrôle est activé via trois pistes d'optimisation exécutées de concert :

  • Améliorations de l'initialisation des communications (NCCL et Gloo) - Éliminez les goulots d'étranglement en matière de communication en décentralisant les informations de rang, d'homologue et de sonnerie (encadré rouge ci-dessous).

  • Optimisations du chargement des données  : réduisez le temps nécessaire pour fournir le premier lot de données lors des opérations de redémarrage (encadrés oranges ci-dessous).

  • Réduction des frais de redémarrage du programme  : minimisez les coûts de redémarrage et permettez un réapprovisionnement sans point de contrôle grâce à la restauration des processus sur les nœuds sains (cases bleues et vertes ci-dessous).

Deux GPU exécutent les étapes d'entraînement des modèles en parallèle, les données alimentant chaque étape et les points de contrôle étant enregistrés périodiquement.