Formation sans point de contrôle sur Amazon SageMaker HyperPod

La formation sans point de contrôle sur Amazon SageMaker HyperPod permet une restauration plus rapide en cas de défaillance de l'infrastructure de formation. La documentation suivante vous aide à démarrer avec l'entraînement sans point de contrôle et la mise au point des modèles. NeMo-supported

La formation Checkpointless comporte les prérequis suivants :

La formation Checkpointless SageMaker HyperPod est basée sur le guide de l'utilisateur du NVIDIA NeMo Framework. Vous pouvez organiser un entraînement sans point de contrôle avec des recettes SageMaker HyperPod pré-créées. Si vous les connaissez NeMo, le processus d'utilisation des recettes d'entraînement sans point de contrôle est similaire. Avec des modifications mineures, vous pouvez commencer à entraîner un modèle à l'aide de fonctionnalités d'entraînement sans point de contrôle qui vous permettent de récupérer rapidement les erreurs d'entraînement.

Les HyperPod recettes suivantes sont préconfigurées avec des optimisations d'entraînement sans point de contrôle. Vous pouvez spécifier vos chemins de données dans le cadre de la recette et utiliser le script de lancement associé pour exécuter la formation (voir le guide de démarrage rapide ci-dessous) :

Le guide de démarrage rapide suivant propose des didacticiels sur l'utilisation de recettes de formation sans point de contrôle :

Exemples de mise en route

Si vous souhaitez pré-entraîner ou peaufiner des modèles personnalisés, consultez. Tutoriels - Préformation ou réglage fin des modèles personnalisés avec Amazon SageMaker HyperPod Checkpointless

Pour en savoir plus sur l'intégration de composants de formation spécifiques sans point de contrôle,. HyperPod fonctionnalités de formation sans point de contrôle