View a markdown version of this page

Bénéficiez d'une capacité de calcul pour les tâches SageMaker de formation - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Bénéficiez d'une capacité de calcul pour les tâches SageMaker de formation

Avant de demander une capacité de calcul, vérifiez que votre AWS compte répond aux conditions préalables suivantes. Le respect de ces exigences dans l'ordre vous permet d'éviter les échecs de provisionnement courants.

Étape 1 : vérifier la disponibilité de l'instance dans votre région

Tous les types d'instances ne sont pas disponibles dans toutes les AWS régions. Avant de sélectionner un type d'instance pour votre charge de travail de formation, vérifiez qu'il est disponible dans votre région cible.

  • Pour consulter la disponibilité des instances et les tarifs par région, consultez la rubrique Tarification de SageMaker l'IA. Sélectionnez l'onglet Formation et choisissez votre région pour voir les types d'instances disponibles, les spécifications et la tarification horaire.

Si le type d'instance n'est pas disponible dans votre région :

  • Choisissez un autre type d'instance disponible dans votre région. À des fins de GPU-accelerated formation, identifiez les familles d'instances dotées de capacités réseau et de mémoire GPU comparables.

  • Si votre charge de travail nécessite un type d'instance spécifique et que vos exigences en matière de résidence et de conformité des données le permettent, envisagez d'exécuter la formation dans une autre région où ce type d'instance est disponible. Assurez-vous que vos données d'entraînement sont accessibles depuis la région cible ou planifiez un transfert de données entre régions.

Vérifier la disponibilité des instances par zone de disponibilité

La disponibilité des instances varie également en fonction de la zone de disponibilité d'une région. Un type d'instance proposé dans votre région ne l'est pas nécessairement dans toutes les zones de disponibilité de cette région. Cela est important lorsque vous exécutez des tâches de formation dans un VPC privé, car les sous-réseaux que vous spécifiez déterminent les zones de disponibilité que l' SageMaker IA peut utiliser pour provisionner des instances. Pour de plus amples informations, veuillez consulter Étape 3 : Configuration de votre VPC et de vos sous-réseaux (facultatif).

Pour répertorier les zones de disponibilité qui proposent un type d'instance dans une région, utilisez l'DescribeInstanceTypeOfferingsAPI Amazon Elastic Compute Cloud :

aws ec2 describe-instance-type-offerings \ --location-type availability-zone \ --filters Name=instance-type,Values=p5.48xlarge \ --region us-east-1 \ --query 'InstanceTypeOfferings[].Location' \ --output table
Note

Spécifiez le type d'instance Amazon Elastic Compute Cloud (p5.48xlarge), et non le type d'instance SageMaker AI (ml.p5.48xlarge). SageMaker Les types d'instances de formation à l'IA correspondent au type d'instance Amazon Elastic Compute Cloud équivalent dont le ml. préfixe a été supprimé.

Étape 2 : Vérifier et demander des quotas de service

Votre AWS compte possède des quotas par défaut qui limitent le nombre d'instances que vous pouvez utiliser simultanément pour les tâches de SageMaker formation. Chaque type d'instance possède son propre quota.

  • Pour consulter vos quotas actuels, ouvrez la console Service Quotas et filtrez en fonction du type d'instance que vous comptez utiliser.

  • Si votre quota est insuffisant par rapport au nombre d'instances que nécessite votre poste de formation, demandez une augmentation de quota. Les augmentations de quotas ne sont pas immédiates. Soumettez votre demande avant la séance d'entraînement prévue.

Astuce

Pour les plans de formation flexibles, votre quota de service doit être égal ou supérieur au nombre d'instances de votre plan. Pour de plus amples informations, veuillez consulter Consultez les quotas SageMaker des plans de formation à l'aide du AWS console de gestion.

Étape 3 : Configuration de votre VPC et de vos sous-réseaux (facultatif)

Cette étape s'applique uniquement si vous exécutez des tâches de formation dans un VPC privé. Par défaut, les tâches de SageMaker formation s'exécutent dans un environnement SageMaker AI-managed réseau et ne nécessitent pas de configuration VPC. Si votre organisation a besoin de formations pour accéder aux ressources d'un VPC privé (par exemple, des données stockées dans Amazon S3 via un point de terminaison VPC ou des systèmes de fichiers), vous devez spécifier Subnets et SecurityGroupIds dans le VpcConfig paramètre de l'CreateTrainingJobAPI.

Lorsque vous configurez un VPC, les sous-réseaux que vous spécifiez déterminent les zones de disponibilité que l' SageMaker IA peut utiliser pour provisionner des instances.

  • Fournissez des sous-réseaux dans plusieurs zones de disponibilité. SageMaker L'IA fournit des instances de formation à partir de pools par Availability-Zone capacité. L'inclusion de sous-réseaux dans un plus grand nombre de zones de disponibilité augmente le pool de capacités dont l' SageMaker IA peut tirer parti, ce qui augmente les chances de réussite du provisionnement des instances et réduit les temps d'attente. Spécifiez des sous-réseaux dans au moins trois zones de disponibilité dans la mesure du possible.

    SageMaker L'IA lance toujours toutes les instances pour une tâche donnée au sein d'un seul sous-réseau (une seule zone de disponibilité) afin de les maintenir physiquement proches et de minimiser la latence entre les nœuds. Les sous-réseaux supplémentaires ne font qu'élargir les options parmi lesquelles l' SageMaker IA peut choisir. Ils ne répartissent pas les instances d'une tâche entre les zones de disponibilité.

  • Pour des plans de formation flexibles, alignez les sous-réseaux sur votre capacité réservée. Chaque bloc de capacité réservée est provisionné dans une zone de disponibilité spécifique. Vous VpcConfig devez inclure les zones de disponibilité Subnets dans lesquelles vos blocs de capacité réservée sont provisionnés. Pour les plans comportant plusieurs blocs couvrant différentes zones de disponibilité, incluez des sous-réseaux dans toutes les zones pertinentes.

  • Alignez les sources de données avec les zones de disponibilité des instances de formation. Si vos données de formation se trouvent dans un service de Availability-Zone-specific stockage tel qu'Amazon EFS, vérifiez que le système de fichiers est accessible depuis les zones de disponibilité où vos instances de formation seront exécutées.

Choisissez une option de capacité

On-Demand Instances

On-Demand est l'option de capacité par défaut pour SageMaker Training Jobs. Les instances sont provisionnées au début d'une tâche de formation et libérées à la fin de celle-ci. Vous payez par seconde de calcul, sans engagement initial pour exécuter des tâches ad hoc. La capacité requise pour les emplois est allouée dans la mesure du possible, en fonction de la disponibilité dans la Région au moment de la soumission de l'offre.

Si On-Demand la capacité n'est pas disponible pour le type d'instance que vous avez demandé, la tâche de formation passe en état d'attente. Vous pouvez configurer la période d'attente de 2 heures à 28 jours en réglantMaxPendingTimeInSeconds. Si la capacité n'est pas disponible au cours de cette période, le travail échoue avec unInsufficientCapacityError.

Astuce

Pour préserver la On-Demand capacité entre des sessions de formation consécutives, activez Managed Warm Pools. Les Warm Pools conservent les instances provisionnées une fois qu'une tâche est terminée, de sorte que les tâches suivantes réutilisent les mêmes instances sans réacquérir de capacité. Cela est utile pour les charges de travail itératives telles que le réglage des hyperparamètres ou le débogage de la formation distribuée.

Entraînement Spot géré

Managed Spot Training utilise la capacité supplémentaire d'Amazon EC2 Spot, ce qui permet de réaliser jusqu'à 90 % d'économies par rapport à la On-Demand tarification. SageMaker L'IA gère le cycle de vie du Spot, y compris les interruptions et les redémarrages automatiques. Avec Spot Training, les charges de travail peuvent être interrompues, et des stratégies de point de contrôle sont recommandées pour reprendre les tâches depuis le dernier état enregistré.

Les pools de capacités ponctuelles sont définis par type d'instance et par zone de disponibilité. Pour optimiser la disponibilité du spot, spécifiez des sous-réseaux dans plusieurs zones de disponibilité dansVpcConfig.Subnets. Réglez StoppingCondition.MaxWaitTimeInSeconds pour contrôler la durée pendant laquelle SageMaker l'IA attend la capacité du Spot avant d'arrêter la tâche.

Pour de plus amples informations, veuillez consulter Formation ponctuelle gérée dans Amazon SageMaker AI.

Plans de formation flexibles

Les plans d'entraînement flexibles vous permettent de réserver la capacité du GPU à l'avance pour une date et une durée spécifiques. En réservant de la capacité, vous bénéficiez d'un accès prévisible aux types d'instances GPU les plus demandés, vous planifiez et budgétisez vos coûts de formation à l'avance et vous bénéficiez d'une gestion automatisée des ressources et d'une tolérance aux pannes. La tarification dépend du type d'instance, du nombre d'instances, de la durée de réservation et de la date de début. Pour consulter les tarifs correspondant à votre configuration spécifique, utilisez l'SearchTrainingPlanOfferingsAPI ou la console SageMaker AI. Pour les types d'instances pris en charge, consultezRéservez des plans de formation flexibles pour les charges de travail de machine learning.

Avant d'acheter un plan, recherchez les offres de plans de formation disponibles sur la console SageMaker AI de votre AWS compte ou en utilisant l'SearchTrainingPlanOfferingsAPI. Les offres disponibles incluent les types d'instances, les durées, les prix et les zones de disponibilité dans lesquelles la capacité est provisionnée.

Note

Pour rechercher et acheter des plans de formation flexibles, votre identité IAM doit disposer des autorisations appropriées, notamment sagemaker:SearchTrainingPlanOfferings etsagemaker:CreateTrainingPlan. Pour obtenir la liste complète des actions requises, consultez la section Actions définies par Amazon SageMaker.

Astuce

Si vos tâches de formation sont exécutées dans un VPC privé, chaque bloc de capacité réservée est provisionné dans une zone de disponibilité spécifique. Vous VpcConfig devez inclure les zones de disponibilité Subnets dans lesquelles vos blocs de capacité réservée sont provisionnés. Pour les plans comportant plusieurs blocs couvrant différentes zones de disponibilité, incluez des sous-réseaux dans toutes les zones pertinentes.

Les plans de formation flexibles prennent en charge un ensemble spécifique de types d'instances et sont disponibles dans certaines AWS régions. Pour les configurations prises en charge, consultezRéservez des plans de formation flexibles pour les charges de travail de machine learning. Pour les tarifs, voir SageMaker AI Pricing.

Astuce

Pour connaître les meilleures pratiques en matière de charges de travail de formation distribuées avec SageMaker Training Jobs, voir Formation de modèles linguistiques étendus sur Amazon SageMaker : meilleures pratiques.