Création de nœuds autogérés avec des blocs de capacité pour ML

Créez un modèle de lancement applicable à votre charge de travail. Pour plus d’informations, consultez la section Utiliser des blocs de capacité pour les charges de travail de machine learning dans le Guide de l’utilisateur Amazon EC2 Auto Scaling.

Assurez-vous que les LaunchTemplateData incluent les éléments suivants :

Utilisez le modèle de lancement pour créer un groupe de nœuds autogérés. Si vous le faites avant que la réserve de capacité ne soit active, définissez la capacité souhaitée sur 0. Lorsque vous créez le groupe de nœuds, assurez-vous que vous ne spécifiez que le sous-réseau correspondant à la zone de disponibilité dans laquelle la capacité est réservée.

Voici un exemple de CloudFormation modèle auquel vous pouvez faire référence lors de la création d'un modèle applicable à votre charge de travail. Cet exemple récupère le LaunchTemplateId et la Version de la ressource  AWS::Amazon EC2::LaunchTemplate indiquée à l’étape précédente. Il obtient également les valeurs pour DesiredCapacity, MaxSize, MinSize, et VPCZoneIdentifier qui sont déclarées ailleurs dans le même modèle.

NodeGroup:
  Type: "AWS::AutoScaling::AutoScalingGroup"
  Properties:
    DesiredCapacity: !Ref NodeAutoScalingGroupDesiredCapacity
    LaunchTemplate:
      LaunchTemplateId: !Ref NodeLaunchTemplate
      Version: !GetAtt NodeLaunchTemplate.LatestVersionNumber
    MaxSize: !Ref NodeAutoScalingGroupMaxSize
    MinSize: !Ref NodeAutoScalingGroupMinSize
    VPCZoneIdentifier: !Ref Subnets
    Tags:
      - Key: Name
        PropagateAtLaunch: true
        Value: !Sub ${ClusterName}-${NodeGroupName}-Node
      - Key: !Sub kubernetes.io/cluster/${ClusterName}
        PropagateAtLaunch: true
        Value: owned

Une fois que le groupe de nœuds a été créé avec succès, assurez-vous d'enregistrer le NodeInstanceRole pour le groupe de nœuds qui a été créé. Vous en avez besoin pour vous assurer que, lorsque le groupe de nœuds est mis à l’échelle, les nouveaux nœuds rejoignent bien le cluster et que Kubernetes les reconnaisse. Pour plus d'informations, consultez les AWS Management Console instructions de la section Création de nœuds Amazon Linux autogérés.

Nous vous recommandons de créer une politique de mise à l'échelle programmée pour le groupe Auto Scaling qui s'aligne sur les heures de réserve du bloc de capacité. Pour plus d'informations, consultez la section Mise à l'échelle programmée pour Amazon EC2 Auto Scaling dans le Guide de l'utilisateur d'Amazon EC2 Auto Scaling.

Vous pouvez utiliser toutes les instances que vous avez réservées jusqu'à 30 minutes avant l'heure de fin du bloc de capacité. Les instances encore en cours d'exécution à ce moment-là commenceront à prendre fin. Afin de disposer de suffisamment de temps pour vidanger le(s) nœud(s) de manière gracieuse, nous vous conseillons de programmer une mise à l'échelle jusqu'à zéro plus de 30 minutes avant l'heure de fin de la réserve du bloc de capacité.

Si, au lieu de cela, vous souhaitez effectuer l’augmentation verticale manuellement la capacité chaque fois que la réserve de capacité devient Active, vous devez mettre à jour la capacité souhaitée du groupe Auto Scaling au moment du début de la réserve du bloc de capacité. Ensuite, vous devrez également réduire manuellement la capacité plus de 30 minutes avant l'heure de fin de la réserve du bloc de capacité.

Le groupe de nœuds est maintenant prêt à accueillir les charges de travail et à programmer des pods.

Pour que vos pods soient correctement vidés, nous vous recommandons de configurer AWS Node Termination Handler. Ce gestionnaire sera en mesure de surveiller les événements du cycle de vie « ASG Scale-in » liés à Amazon EC2 Auto Scaling en utilisant le plan de contrôle Kubernetes EventBridge et de permettre au plan de contrôle Kubernetes de prendre les mesures nécessaires avant que l'instance ne soit indisponible. Dans le cas contraire, vos pods et objets Kubernetes risquent de rester bloqués à l’état d’attente. Pour plus d'informations, consultez AWS Node Termination Handler activé GitHub.

Si vous ne configurez pas de gestionnaire d’arrêt des nœuds Node Termination Handler, nous vous recommandons de commencer à évacuer vos pods manuellement avant la fenêtre des 30 minutes, afin de leur laisser suffisamment de temps pour être évacués correctement.