Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Provisionnement continu pour des opérations de cluster améliorées sur Amazon EKS

SageMaker HyperPod Les clusters Amazon créés avec l'orchestration Amazon EKS prennent désormais en charge le provisionnement continu, une nouvelle fonctionnalité qui permet une flexibilité et une efficacité accrues lors de l'exécution de charges de travail à grande échelle. AI/ML Le provisionnement continu vous permet de démarrer l’entraînement rapidement, de procéder facilement à une mise à l’échelle, d’effectuer la maintenance sans interrompre les opérations et de bénéficier d’une visibilité granulaire sur les opérations du cluster.

Comment ça marche

Le système de provisionnement continu introduit une architecture à état souhaité qui remplace le modèle traditionnel basé sur les demandes. Cette nouvelle architecture permet des opérations parallèles et non bloquantes sur différents niveaux de ressources tout en préservant la stabilité et les performances du système. Le système de provisionnement continu :

Le provisionnement continu est désactivé par défaut. Pour utiliser cette fonctionnalité, définissez --node-provisioning-mode sur Continuous.

Lorsque le provisionnement continu est activé, vous pouvez lancer plusieurs opérations de mise à l’échelle simultanément sans attendre la fin des opérations précédentes. Cela vous permet de mettre à l’échelle simultanément différents groupes d’instances dans le même cluster et de soumettre plusieurs demandes de mise à l’échelle au même groupe d’instances.

Le provisionnement continu vous permet également d'accéder à une DescribeClusterEvent surveillance détaillée ListClusterEvent des événements et à une visibilité opérationnelle.

Comptage d’utilisation

HyperPod les clusters dotés d'un provisionnement continu utilisent des compteurs au niveau de l'instance pour fournir une facturation précise qui reflète l'utilisation réelle des ressources. Cette approche des mesures diffère de la facturation traditionnelle au niveau du cluster, car elle permet de suivre chaque instance indépendamment.

Instance-level facturation

Avec le provisionnement continu, la facturation commence et s’arrête au niveau de l’instance individuelle au lieu d’attendre les changements d’état au niveau du cluster. Cette approche présente les avantages suivants :

Cycle de vie de facturation

Chaque instance de votre HyperPod cluster suit ce cycle de vie de facturation :

Création d’un cluster avec le provisionnement continu activé

L' AWS CLI opération suivante crée un HyperPod cluster avec un groupe d'instances et le provisionnement continu est activé.

aws sagemaker create-cluster \ 
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "ig-1",
   "InstanceType": "ml.c5.2xlarge",
   "InstanceCount": 2,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create_noop.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'",
   "ThreadsPerCore": 1,
   "TrainingPlanArn": ""
}' \
--node-provisioning-mode Continuous


// Expected Output:
{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:<account-id>:cluster/<cluster-id>"
}

Après avoir créé votre cluster, vous pouvez utiliser ListClusterNodes ou DescribeClusterNode pour obtenir plus d'informations sur les nœuds du cluster.

L'appel à ces opérations renverra un ClusterInstanceStatusDetails objet avec l'une des valeurs suivantes :

Exigences de capacité minimale (MinCount)

MinCount Cette fonctionnalité vous permet de spécifier le nombre minimum d'instances qui doivent être correctement provisionnées avant qu'un groupe d'instances ne passe au InService statut. Cette fonctionnalité permet de mieux contrôler les opérations de dimensionnement et permet d'éviter les scénarios dans lesquels des groupes d'instances partiellement provisionnés ne peuvent pas être utilisés efficacement pour les charges de travail de formation.

Comment MinCount fonctionne

Lorsque vous créez ou mettez à jour un groupe d'instances avec MinCount activé, le comportement suivant se produit :

État du groupe d'instances pendant MinCount les opérations

Les groupes d'instances MinCount configurés présentent le comportement d'état suivant :

Pendant Creating ou pendant le Updating statut, les restrictions suivantes s'appliquent :

Comportement de restauration automatique

Si un groupe d'instances ne peut pas atteindre le sien MinCount dans les 3 heures, le système lance automatiquement un rollback pour éviter une attente indéfinie :

Le délai d'expiration de 3 heures est réinitialisé à chaque MinCount mise à jour. Par exemple, si vous effectuez MinCount plusieurs mises à jour, le délai d'expiration recommence à partir de la dernière mise à jour.

MinCount événements

Le système émet des événements spécifiques pour vous aider à suivre les MinCount opérations :

Vous pouvez surveiller ces événements ListClusterEvents pour suivre la progression de vos MinCount opérations.

Utilisation de l'API

MinCount est spécifié à l'aide du MinInstanceCount paramètre dans les configurations de groupes d'instances :

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "worker-group",
   "InstanceType": "ml.p4d.24xlarge",
   "InstanceCount": 64,
   "MinInstanceCount": 50,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}' \
--node-provisioning-mode Continuous

Principales considérations relatives à MinCount l'utilisation :

Groupes d'instances flexibles

Les groupes d'instances flexibles vous permettent de spécifier plusieurs types d'instances au sein d'un seul groupe d'instances. Cela simplifie la gestion des clusters en réduisant le nombre de groupes d'instances que vous devez créer et gérer, en particulier pour les charges de travail d'inférence qui utilisent la mise à l'échelle automatique.

Grâce à des groupes d'instances flexibles, HyperPod :

Création d'un cluster avec un groupe d'instances flexible

Utilisez InstanceRequirements instead of InstanceType pour créer un groupe d'instances flexible. L'ordre des types d'instances dans la liste détermine la priorité de provisionnement.

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET_AZ1'", "'$SUBNET_AZ2'"]
}' \
--instance-groups '[{
   "InstanceGroupName": "flexible-ig",
   "InstanceRequirements": {
      "InstanceTypes": ["ml.p5.48xlarge", "ml.p4d.24xlarge", "ml.g6.48xlarge"]
   },
   "InstanceCount": 10,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}]' \
--node-provisioning-mode Continuous

Mise à l'échelle ciblée avec BatchAddClusterNodes

Lorsque vous utilisez des groupes d'instances flexibles, vous pouvez BatchAddClusterNodes ajouter des nœuds avec des types d'instances et des zones de disponibilité spécifiques. Cela est particulièrement utile lorsque le dimensionnement automatique de Karpenter détermine le type d'instance et la zone de disponibilité optimaux pour votre charge de travail.

aws sagemaker batch-add-cluster-nodes \
--cluster-name $HP_CLUSTER_NAME \
--nodes-to-add '[
   {
      "InstanceGroupName": "flexible-ig",
      "IncrementTargetCountBy": 1,
      "InstanceTypes": ["ml.p5.48xlarge"],
      "AvailabilityZones": ["us-west-2a"]
   }
]'

Afficher les détails des groupes d'instances flexibles

Utilisez cette DescribeCluster option pour afficher les types d'instances et la répartition par type de votre groupe d'instances flexible. La réponse inclut :

Utilisation de groupes d'instances flexibles avec la mise à l'échelle automatique de Karpenter

Les groupes d'instances flexibles s'intègrent à HyperPod la mise à l'échelle automatique gérée par Karpenter. Pour plus d'informations sur la configuration de Karpenter, consultezAutoscaling sur EKS SageMaker HyperPod. Lorsque vous faites référence à un groupe d'instances flexible dans une HyperPodNodeClass configuration, Karpenter :

Cela élimine le besoin de créer des groupes d'instances distincts pour chaque type d'instance et de configurer manuellement Karpenter pour référencer plusieurs groupes.