Créer un cluster SageMaker HyperPod

Ouvrez la console Amazon SageMaker AI à l'adresse https://console.aws.amazon.com/sagemaker/.

Choisissez HyperPod Clusters dans le volet de navigation de gauche, puis Gestion des clusters.

Sur la page SageMaker HyperPod d'accueil, choisissez Create HyperPod cluster.

Dans le menu déroulant de Create HyperPod cluster, choisissez Orchestrated by Amazon EKS.

Dans la liste des clusters Amazon EKS, choisissez le cluster EKS avec lequel vous souhaitez configurer le nouveau HyperPod cluster.

Sur la page Configurer un nouveau HyperPod cluster, configurez les informations de base du cluster, telles que le nom, les options permettant d'activer les fonctionnalités de résilience du HyperPod cluster et les balises.

Pour Nom du cluster, spécifiez le nom du nouveau cluster.

Pour Résilience du cluster : restauration des nœuds, spécifiez Automatic l'activation de la restauration automatique des nœuds. SageMaker HyperPodremplace ou redémarre les instances (nœuds) lorsque des problèmes sont détectés par l'agent de surveillance de l'état.

Pour les balises, ajoutez des paires clé/valeur au nouveau cluster et gérez le cluster en tant que AWS ressource. Pour en savoir plus, consultez la section Marquage de vos AWS ressources.

À l'étape 2 : Configuration avancée, configurez les paramètres réseau au sein du cluster et in-and-out du cluster. Pour l'orchestration du SageMaker HyperPod cluster avec Amazon EKS, le VPC est automatiquement défini sur celui configuré avec le cluster EKS que vous avez sélectionné.

À l'étape 3 : Configuration des groupes d'instances, choisissez Créer un groupe d'instances. Chaque groupe d'instances peut être configuré différemment, et vous pouvez créer un cluster hétérogène composé de plusieurs groupes d'instances avec différents types d'instances. Dans la fenêtre contextuelle Créer un groupe d'instances, renseignez les informations de configuration du groupe d'instances.

Créez une page contextuelle de groupe d'instances, configurez un nouveau groupe d'instances en suivant les instructions de l'interface utilisateur.

1. Pour Nom du groupe d'instances, spécifiez un nom pour le groupe d'instances.

2. Pour Sélectionner le type d'instance, choisissez l'instance pour le groupe d'instances.

3. Pour Quantité, spécifiez un entier ne dépassant pas le quota d'instance pour l'utilisation du cluster.

4. Préparez un script de configuration du cycle de vie et chargez-le dans un compartiment Amazon S3, tel ques3://amzn-s3-demo-bucket/Lifecycle-scripts/base-config/.

   Pour démarrer rapidement, téléchargez l'exemple on_create.shde script depuis le GitHub référentiel AWS ome Distributed Training et chargez-le dans le compartiment S3. Ce script configure le fichier de journalisation /var/log/provision/provisioning.log requis CloudWatch pour collecter les journaux des conteneurs Pod. Vous pouvez également inclure des instructions de configuration supplémentaires, une série de scripts de configuration ou des commandes à exécuter pendant la phase de provisionnement du HyperPod cluster.

5. Pour l'URI du compartiment S3 pour les scripts de cycle de vie, entrez le chemin Amazon S3 dans lequel les scripts de cycle de vie sont stockés.

6. Pour le chemin du répertoire vers le script du point d'entrée dans le chemin Amazon S3 de base, entrez le nom de fichier du script de cycle de vie sous le chemin Amazon S3 vers les fichiers de script de cycle de vie. Si vous utilisez l'exemple de script fourni, entrezon_create.sh.

7. Pour le rôle IAM, choisissez le rôle IAM que vous avez créé pour les SageMaker HyperPod ressources, en suivant la section. Rôle IAM pour SageMaker HyperPod

8. Sous Configuration avancée, vous pouvez configurer les configurations facultatives suivantes.

   1. (Facultatif) Pour Threads par cœur, spécifiez 1 pour désactiver le multithreading et 2 pour activer le multi-threading. Pour savoir quel type d'instance prend en charge le multithreading, consultez le tableau de référence des cœurs de processeur et des threads par cœur de processeur et par type d'instance dans le guide de EC2 l'utilisateur Amazon.

   2. (Facultatif) Pour les configurations de stockage d'instance supplémentaires, spécifiez un entier compris entre 1 et 16 384 pour définir la taille d'un volume Elastic Block Store (EBS) supplémentaire en gigaoctets (Go). Le volume EBS est attaché à chaque instance du groupe d'instances. Le chemin de montage par défaut pour le volume EBS supplémentaire est/opt/sagemaker. Une fois le cluster créé avec succès, vous pouvez accéder aux instances du cluster (nœuds) par SSH et vérifier si le volume EBS est correctement monté en exécutant la df -h commande. L'attachement d'un volume EBS supplémentaire fournit un stockage stable, hors instance et persistant de manière indépendante, comme décrit dans la section sur les volumes Amazon EBS du guide de l'utilisateur d'Amazon Elastic Block Store.

Pour un contrôle de santé approfondi, sélectionnez les contrôles de santé avancés que vous souhaitez exécuter sur les instances. Pour en savoir plus, consultez Contrôles de santé approfondis.

À l'étape 4 : révision et création, passez en revue la configuration que vous avez définie de l'étape 1 à l'étape 3 et terminez la soumission de la demande de création de cluster.

Une fois que le statut du cluster est passé à « activé »InService, vous pouvez commencer à vous connecter aux nœuds du cluster. Pour accéder aux nœuds du cluster et commencer à exécuter des charges de travail ML, consultezOffres d'emploi sur SageMaker HyperPod des clusters.