Gestion des chemins de stockage pour différents types de stockage local d'instance

Si vous souhaitez stocker des artefacts d'entraînement pour un entraînement distribué dans le répertoire /opt/ml/output/data, vous devez attribuer correctement des sous-répertoires ou utiliser des noms de fichiers uniques aux artefacts via votre définition de modèle ou votre script d'entraînement. Si les sous-répertoires et les noms de fichiers ne sont pas correctement configurés, toutes les applications de travail d'entraînement distribué peuvent écrire des sorties sous le même nom de fichier dans le même chemin de sortie dans Amazon S3.

Si vous utilisez un conteneur de formation personnalisé, assurez-vous d'installer le kit de SageMaker formation qui permet de configurer l'environnement pour les tâches de SageMaker formation. Sinon, vous devez spécifier les variables d'environnement explicitement dans votre fichier Docker. Pous plus amples informations, consultez Création d'un conteneur avec vos propres algorithmes et modèles

Lorsque vous utilisez une instance ML avec des NVMeSSDvolumes, SageMaker AI ne fournit pas de stockage Amazon EBS gp2. Le stockage disponible est fixé à la capacité de stockage de l'instance NVMe -type. SageMaker L'IA configure les chemins de stockage pour les ensembles de données d'entraînement, les points de contrôle, les artefacts du modèle et les sorties afin d'utiliser toute la capacité de stockage de l'instance. Par exemple, les familles d'instances ML dotées du stockage NVMe d'instance -type incluent ml.p4dml.g4dn, etml.g5. Lorsque vous utilisez une instance ML avec l'option de stockage EBS -only et sans stockage d'instance, vous devez définir la taille du EBS volume via le volume_size paramètre de la classe d'estimateur SageMaker AI (ou VolumeSizeInGB si vous utilisez le). ResourceConfig API Par exemple, les familles d'instances ML qui utilisent EBS des volumes incluent ml.c5 etml.p2. Pour rechercher les types d'instances ainsi que leurs types et volumes de stockage d'EC2instance, consultez Amazon Instance Types.

Les chemins par défaut pour les tâches de SageMaker formation sont montés sur les EBS volumes Amazon ou sur les NVMe SSD volumes de l'instance ML. Lorsque vous adaptez votre script d'entraînement à l' SageMaker IA, assurez-vous d'utiliser les chemins par défaut répertoriés dans la rubrique précédente à ce sujetSageMaker Les variables d'environnement de l'IA et les chemins par défaut pour les emplacements de stockage des formations. Nous vous recommandons d'utiliser le répertoire /tmp comme espace auxiliaire pour stocker temporairement des objets volumineux pendant l'entraînement. Cela signifie que vous ne devez pas utiliser de répertoires montés sur un petit espace disque alloué au système, tels que /user et/home, pour éviter les out-of-space erreurs.