View a markdown version of this page

Démarrez avec le support Amazon EKS dans SageMaker HyperPod - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Démarrez avec le support Amazon EKS dans SageMaker HyperPod

Outre les informations générales Prérequis pour l'utilisation SageMaker HyperPod pour SageMaker HyperPod, consultez les exigences et considérations suivantes pour l'orchestration de SageMaker HyperPod clusters à l'aide d'Amazon EKS.

Important

Vous pouvez configurer la configuration des ressources pour créer des SageMaker HyperPod clusters à l'aide des Console de gestion AWS touches et CloudFormation. Pour plus d’informations, consultez Création d'un SageMaker HyperPod cluster avec l'orchestration Amazon EKS et Création de SageMaker HyperPod clusters à l'aide de CloudFormation modèles.

Exigences

Note

Avant de créer un HyperPod cluster, vous avez besoin d'un cluster Amazon EKS en cours d'exécution configuré avec VPC et installé à l'aide de Helm.

Lorsque vous provisionnez votre cluster Amazon EKS, tenez compte des points suivants :

  1. Prise en charge des versions de Kubernetes

    • SageMaker HyperPod prend en charge les versions 1.30, 1.31, 1.32, 1.33, 1.34 et 1.35 de Kubernetes.

  2. Mode d’authentification du cluster Amazon EKS

    • Le mode d'authentification d'un cluster Amazon EKS pris en charge par SageMaker HyperPod are API etAPI_AND_CONFIG_MAP.

  3. Réseaux

  4. Rôles IAM

  5. Modules complémentaires du cluster Amazon EKS

    • Vous pouvez continuer à utiliser les différents modules complémentaires fournis par Amazon EKS Kube-proxy, tels que CoreDNS, le plug-in Amazon VPC Container Network Interface (CNI), l'identité du pod Amazon EKS, l' GuardDutyagent, le pilote Amazon FSx Container Storage Interface (CSI), le pilote Mountpoint for Amazon S3 CSI, le Distro for et l'agent Observability. AWS OpenTelemetry CloudWatch

      Important

      N'installez pas de pilote CSI qui gère le stockage d'instance NVMe (parfois appelé pilote CSI de stockage d'instance local) sur les HyperPod nœuds qui utilisent l'AMI. SageMaker HyperPod L'AMI configure un groupe de volumes LVM (vg.01) sur le magasin d'instances NVMe au démarrage, avant que le pilote CSI ne démarre, et un pilote CSI qui cible les mêmes périphériques NVMe entrera en conflit avec cette configuration et provoquera des défaillances. I/O Le pilote Amazon EBS CSI, le pilote Amazon FSx CSI, le pilote Amazon EFS CSI et le pilote Mountpoint for Amazon S3 CSI ne sont pas concernés car ils ne gèrent pas le stockage d'instance NVMe local. Pour plus de détails et les étapes de correction, consultez la section Considérations dansUtilisation du pilote Amazon EBS CSI sur SageMaker HyperPod des clusters EKS.

Considérations relatives à la configuration de SageMaker HyperPod clusters avec Amazon EKS

  • Vous devez utiliser des rôles IAM distincts en fonction du type de vos nœuds. Pour HyperPod les nœuds, utilisez un rôle basé surRôle IAM pour SageMaker HyperPod. Pour les nœuds Amazon EKS, consultez Rôle IAM de nœud Amazon EKS.

  • Vous pouvez provisionner et monter des volumes Amazon EBS supplémentaires sur des SageMaker HyperPod nœuds en utilisant deux approches : utiliser InstanceStorageConfigs pour le provisionnement de volumes au niveau du cluster (disponible lors de la création ou de la mise à jour de groupes d'instances), ou utiliser le pilote Amazon Elastic Block Store (Amazon EBS) Container Storage Interface (CSI) pour une gestion dynamique des volumes au niveau des pods. Avec InstanceStorageConfigs , définissez le chemin local sur /opt/sagemaker pour monter correctement les volumes sur vos pods Amazon EKS. Pour plus d'informations sur la façon de déployer le contrôleur Amazon EBS CSI sur les HyperPod nœuds, consultez. Utilisation du pilote Amazon EBS CSI sur SageMaker HyperPod des clusters EKS Pour utiliser le stockage d'instance NVMe HyperPod, utilisez la configuration LVM intégrée de l'AMI /opt/sagemaker plutôt que d'installer un pilote NVMe-targeting CSI distinct.

  • Si vous utilisez des étiquettes de type d'instance pour définir des contraintes de planification, assurez-vous d'utiliser les types d'instance SageMaker AI ML préfixés par. ml. Par exemple, pour les instances P5, utilisez ml.p5.48xlarge à la place de p5.48xlarge.

Considérations relatives à la configuration du réseau pour les SageMaker HyperPod clusters avec Amazon EKS

  • Chaque instance de HyperPod cluster prend en charge une interface réseau élastique (ENI). Pour connaître le nombre maximal de pods par type d’instance, reportez-vous au tableau suivant.

    Type d’instance Nombre maximal de pods
    ml.p4d.24xlarge 49
    ml.p4de.24xlarge 49
    ml.p5.48xlarge 49
    ml.trn1.32xlarge 49
    ml.trn1n.32xlarge 49
    ml.g5.xlarge 14
    ml.g5.2xlarge 14
    ml.g5.4xlarge 29
    ml.g5.8xlarge 29
    ml.g5.12xlarge 49
    ml.g5.16xlarge 29
    ml.g5.24xlarge 49
    ml.g5.48xlarge 49
    ml.c5.large 9
    ml.c5.xlarge 14
    ml.c5.2xlarge 14
    ml.c5.4xlarge 29
    ml.c5.9xlarge 29
    ml.c5.12xlarge 29
    ml.c5.18xlarge 49
    ml.c5.24xlarge 49
    ml.c5n.large 9
    ml.c5n.2xlarge 14
    ml.c5n.4xlarge 29
    ml.c5n.9xlarge 29
    ml.c5n.18xlarge 49
    ml.m5.large 9
    ml.m5.xlarge 14
    ml.m5.2xlarge 14
    ml.m5.4xlarge 29
    ml.m5.8xlarge 29
    ml.m5.12xlarge 29
    ml.m5.16xlarge 49
    ml.m5.24xlarge 49
    ml.t3.medium 5
    ml.t3.large 11
    ml.t3.xlarge 14
    ml.t3.2xlarge 14
    ml.g6.xlarge 14
    ml.g6.2xlarge 14
    ml.g6.4xlarge 29
    ml.g6.8xlarge 29
    ml.g6.12xlarge 29
    ml.g6.16xlarge 49
    ml.g6.24xlarge 49
    ml.g6.48xlarge 49
    ml.gr6.4xlarge 29
    ml.gr6.8xlarge 29
    ml.g6e.xlarge 14
    ml.g6e.2xlarge 14
    ml.g6e.4xlarge 29
    ml.g6e.8xlarge 29
    ml.g6e.12xlarge 29
    ml.g6e.16xlarge 49
    ml.g6e.24xlarge 49
    ml.g6e.48xlarge 49
    ml.p5e.48xlarge 49
    ml.p6-b 300,48 x large 49
    ml. R 5 D. 16 x large 49
    ml.g7e.2xlarge 49
    ml. 7 x 4 x large 49
    ml. 7 x 8 x large 49
    ml. G7E x 12 x large 49
    Ml.g7e.24 x large 49
    Ml.g7e.48 x large 49
    ml.g4dn.xlarge 9
    ml.g4dn.2xlarge 9
    ml.g4dn.4xlarge 9
    ml.g4dn.8xlarge 14
    ml.g4dn.12xlarge 29
    ml.g4dn.16xlarge 14
    ml.c6g.medium 3
    ml.c6g.large 9
    ml.c6g.xlarge 14
    ml. C 6 g. 2 x large 14
    Ml.c6g.4xlarge 29
    Ml.c6g.8x large 29
    Ml.c6g.12xlarge 29
    Ml.c6g.16xlarge 49
    ml.c7g.medium 3
    ml.c7g.large 9
    ml.c7g.xlarge 14
    ml. C7g. 2 x large 14
    Ml.c7g.4xlarge 29
    ml. C7g.8 x large 29
    ml. C7 g. 12 x large 29
    ml. C7 g. 16 x large 49
    ml.c8g.medium 3
    ml.c8g.large 9
    ml.c8g.xlarge 14
    ml. C 8 g. 2 x large 14
    Ml.c8g.4xlarge 29
    Ml.c8g.8x large 29
    Ml.c8g.12xlarge 29
    Ml.c8g.16xlarge 49
    Ml.c8g.24xlarge 49
    Ml.c8g.48xlarge 49
    ml.c6a.large 9
    ml.c6a.xlarge 14
    ml.c6a.2xlarge 14
    ml.c6a.4xlarge 29
    ml.c6a.8xlarge 29
    ml. C6A. 12 x large 29
    ml. C6A. 16 x large 49
    ml. C6A. 24 x large 49
    ml. C6A. 32 x large 49
    ml. C6A. 48 x large 49
    ml.m6a.large 9
    ml.m6a.xlarge 14
    ml.m6a.2xlarge 14
    ml.m6a.4xlarge 29
    ml.m6a.8xlarge 29
    ml. M 6 A. 12 x large 29
    ml. M 6 A. 16 x large 49
    ml. M 6 A. 24 x large 49
    ml. M 6 A. 32 x large 49
    ml. M 6 A. 48 x large 49
    ml.m6g.moyen 3
    ml.m6g.large 9
    ml.m6g.xlarge 14
    ml. 6 g. 2 x large 14
    ml. 6 g. 4 x large 29
    Ml.m6g.8x large 29
    ml. 6 g. 12 x large 29
    ml. 6 g. 16 x large 49
    ml.m7g.moyen 3
    ml.m7g.large 9
    ml.m7g.xlarge 14
    ml. 7 g. 2 x large 14
    ml. 7 g. 4 x large 29
    ml. 7 x 6 x large 29
    ml. 7 g. 12 x large 29
    ml. 7 g. 16 x large 49
    ml.m8g.moyen 3
    ml.m8g.large 9
    ml.m8g.xlarge 14
    ml. 8 g. 2 x large 14
    ml. 8 g. 4 x large 29
    Ml.m8g.8x large 29
    ml. 8 g. 12 x large 29
    ml. 8 g. 16 x large 49
    Ml. 8 g. 24 x large 49
    ml. 8 g. 48 x large 49

  • Par défaut, seuls les pods avec hostNetwork = true ont accès au service de métadonnées d’instance (IMDS) d’Amazon EC2. Utilisez l'identité Amazon EKS Pod ou les rôles IAM pour les comptes de service (IRSA) pour gérer l'accès aux AWS informations d'identification des Pods.

  • EKS-orchestrated HyperPod les clusters prennent en charge deux modes d'adressage IP, ce qui permet la configuration avec IPv4 ou IPv6 pour les clusters Amazon EKS IPv6 dans les environnements IPv6-enabled VPC et de sous-réseaux. Pour de plus amples informations, veuillez consulter Configuration SageMaker HyperPod avec un Amazon VPC personnalisé.

Considérations relatives à l'utilisation des HyperPod fonctionnalités de résilience des clusters

  • Le remplacement automatique des nœuds n’est pas pris en charge pour les instances CPU.

  • L'agent HyperPod de surveillance de l'état doit être installé pour que la restauration automatique des nœuds fonctionne. L’agent peut être installé à l’aide de Helm. Pour de plus amples informations, veuillez consulter Installation de packages sur le cluster Amazon EKS à l’aide de Helm.

  • L'agent de contrôle de santé HyperPod approfondi et de surveillance de l'état prend en charge les instances GPU et Trn.

  • SageMaker L'IA applique la caractéristique suivante aux nœuds lorsqu'ils font l'objet de contrôles de santé approfondis :

    effect: NoSchedule
key: sagemaker.amazonaws.com/node-health-status
value: Unschedulable
    Note

    Vous ne pouvez pas ajouter de rejets personnalisés aux nœuds des groupes d’instances lorsque DeepHealthChecks est activé.

Une fois que votre cluster Amazon EKS est en cours d'exécution, configurez-le à l'aide du gestionnaire de packages Helm comme indiqué Installation de packages sur le cluster Amazon EKS à l’aide de Helm avant de créer votre HyperPod cluster.