Création d'un nouveau cluster Décrire un cluster Répertorier les détails des nœuds du cluster Décrire les détails d'un nœud de cluster Lister les clusters Mettre à jour la configuration du cluster Mettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster Supprimer un cluster

À l'aide du AWS CLI

Les rubriques suivantes fournissent des conseils sur la rédaction de fichiers de SageMaker HyperPod API demande au JSON format et leur exécution à l'aide des AWS CLI commandes.

Rubriques

Création d'un nouveau cluster
Décrire un cluster
Répertorier les détails des nœuds du cluster
Décrire les détails d'un nœud de cluster
Lister les clusters
Mettre à jour la configuration du cluster
Mettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster
Supprimer un cluster

Création d'un nouveau cluster

Préparez des scripts de configuration du cycle de vie et téléchargez-les dans un compartiment S3, tel ques3://sagemaker-<amzn-s3-demo-bucket>/<lifecycle-script-directory>/src/. L'étape 2 suivante suppose qu'un script de point d'entrée est nommé on_create.sh dans le compartiment S3 spécifié.

Important
Assurez-vous de définir le chemin S3 pour commencers3://sagemaker-. Le IAMrôle pour SageMaker HyperPod gestionnaire est AmazonSageMakerClusterInstanceRolePolicyattaché, ce qui permet d'accéder aux compartiments S3 avec le préfixe sagemaker- spécifique.

Préparez un fichier de CreateClusterAPIdemande au JSON format. Vous devez configurer les groupes d'instances pour qu'ils correspondent au cluster Slurm que vous concevez dans le provisioning_params.json fichier qui sera utilisé lors de la création du cluster dans le cadre de l'exécution d'un ensemble de scripts de cycle de vie. Pour en savoir plus, consultez Personnalisez les SageMaker HyperPod clusters à l'aide de scripts de cycle. Le modèle suivant comporte deux groupes d'instances répondant aux exigences minimales d'un cluster Slurm : un nœud de contrôleur (tête) et un nœud de calcul (de travail). PourExecutionRole, indiquez le ARN IAM rôle que vous avez créé avec le rôle géré AmazonSageMakerClusterInstanceRolePolicy dans la sectionIAMrôle pour SageMaker HyperPod.


// create_cluster.json
{
    "ClusterName": "your-hyperpod-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-<amzn-s3-demo-bucket>/<lifecycle-script-directory>/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        }, 
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.p4d.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-<amzn-s3-demo-bucket>/<lifecycle-script-directory>/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster"
        }
    ],
    // Optional
    "Tags": [ 
        { 
           "Key": "string",
           "Value": "string"
        }
    ],
    // Optional
    "VpcConfig": { 
        "SecurityGroupIds": [ "string" ],
        "Subnets": [ "string" ]
    }
}

Selon la façon dont vous concevez la structure du cluster par le biais de vos scripts de cycle de vie, vous pouvez configurer jusqu'à 20 groupes d'instances selon le InstanceGroups paramètre.

Pour le paramètre de Tags requête, vous pouvez ajouter des balises personnalisées pour gérer le SageMaker HyperPod cluster en tant que AWS ressource. Vous pouvez ajouter des balises à votre cluster de la même manière que vous les ajoutez dans d'autres AWS services qui prennent en charge le balisage. Pour en savoir plus sur le balisage AWS des ressources en général, consultez le Guide de l'utilisateur AWS des ressources de balisage.

Pour le paramètre de VpcConfig requête, spécifiez les informations d'un que VPC vous souhaitez utiliser. Pour de plus amples informations, veuillez consulter Configuration SageMaker HyperPod avec Amazon VPC.

Exécutez la commande create-cluster comme suit.


aws sagemaker create-cluster \
    --cli-input-json file://complete/path/to/create_cluster.json

Cela devrait renvoyer le ARN du nouveau cluster.

Décrire un cluster

Exécutez describe-cluster pour vérifier l'état du cluster. Vous pouvez spécifier le nom ou le nom ARN du cluster.


aws sagemaker describe-cluster --cluster-name your-hyperpod-cluster

Une fois que le statut du cluster est passé à InService zéro, passez à l'étape suivante. Grâce à celaAPI, vous pouvez également récupérer les messages d'échec liés à l'exécution d'autres HyperPod API opérations.

Répertorier les détails des nœuds du cluster

Exécutez list-cluster-nodespour vérifier les informations clés des nœuds du cluster.


aws sagemaker list-cluster-nodes --cluster-name your-hyperpod-cluster

Cela renvoie une réponse, et InstanceId c'est ce que vous devez utiliser pour vous y connecter (utiliseraws ssm).

Décrire les détails d'un nœud de cluster

Exécutez describe-cluster-nodepour récupérer les détails d'un nœud de cluster. Vous pouvez obtenir l'ID du nœud du cluster à partir de la list-cluster-nodes sortie. Vous pouvez spécifier le nom ou le nom ARN du cluster.


aws sagemaker describe-cluster-node \
    --cluster-name your-hyperpod-cluster \
    --node-id i-111222333444555aa

Lister les clusters

Exécutez list-clusters pour répertorier tous les clusters de votre compte.


aws sagemaker list-clusters

Vous pouvez également ajouter des indicateurs supplémentaires pour filtrer la liste des clusters vers le bas. Pour en savoir plus sur le fonctionnement de cette commande à bas niveau et sur les indicateurs supplémentaires pour le filtrage, consultez la ListClustersAPIréférence.

Mettre à jour la configuration du cluster

Exécutez update-cluster pour mettre à jour la configuration d'un cluster.

Créez un fichier de UpdateCluster demande au JSON format. Assurez-vous de spécifier le nom de cluster et le nom de groupe d'instances appropriés à mettre à jour. Vous pouvez modifier le type d'instance, le nombre d'instances, le script d'entrée de configuration du cycle de vie et le chemin d'accès au script.
1. PourClusterName, spécifiez le nom du cluster que vous souhaitez mettre à jour.
2. Pour InstanceGroupName
  1. Pour mettre à jour un groupe d'instances existant, spécifiez le nom du groupe d'instances que vous souhaitez mettre à jour.
  2. Pour ajouter un nouveau groupe d'instances, spécifiez un nouveau nom qui n'existe pas dans votre cluster.
3. Pour InstanceType
  1. Pour mettre à jour un groupe d'instances existant, vous devez associer le type d'instance que vous avez initialement spécifié au groupe.
  2. Pour ajouter un nouveau groupe d'instances, spécifiez le type d'instance avec lequel vous souhaitez configurer le groupe.
4. Pour InstanceCount
  1. Pour mettre à jour un groupe d'instances existant, spécifiez un entier supérieur au nombre actuel d'instances. Actuellement, vous ne pouvez qu'augmenter le nombre d'instances.
  2. Pour ajouter un nouveau groupe d'instances, spécifiez un entier supérieur ou égal à 1.
5. En effetLifeCycleConfig, vous pouvez modifier à la fois les OnCreat valeurs SourceS3Uri et les valeurs comme vous le souhaitez pour mettre à jour le groupe d'instances.
6. Pour ExecutionRole
  1. Pour mettre à jour un groupe d'instances existant, continuez à utiliser le même IAM rôle que celui que vous avez attribué lors de la création du cluster.
  2. Pour ajouter un nouveau groupe d'instances, spécifiez IAM le rôle que vous souhaitez associer.
7. Pour TreadsPerCore
  1. Pour mettre à jour un groupe d'instances existant, continuez à utiliser la même valeur que celle que vous avez spécifiée lors de la création du cluster.
  2. Pour ajouter un nouveau groupe d'instances, vous pouvez choisir n'importe quelle valeur parmi les options autorisées par type d'instance. Pour plus d'informations, recherchez le type d'instance et consultez la colonne Nombre de processus valides par cœur dans le tableau de référence relatif aux CPUcœurs et aux threads par CPU cœur par type d'instance du guide de l'EC2utilisateur Amazon.
L'extrait de code suivant est un modèle de fichier de JSON demande que vous pouvez utiliser. Pour plus d'informations sur la syntaxe de la demande et ses paramètresAPI, consultez la UpdateClusterAPIréférence.
```
// update_cluster.json
{
    // Required
    "ClusterName": "name-of-cluster-to-update",
    // Required
    "InstanceGroups": [
        {
            "InstanceGroupName": "name-of-instance-group-to-update",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-<amzn-s3-demo-bucket>/<lifecycle-script-directory>/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        },
        // add more blocks of instance groups as needed
        { ... }
    ]
}
```

Exécutez la update-cluster commande suivante pour envoyer la demande.


aws sagemaker update-cluster \
    --cli-input-json file://complete/path/to/update_cluster.json

Mettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster

Exécutez update-cluster-softwarepour mettre à jour les clusters existants avec les logiciels et les correctifs de sécurité fournis par le SageMaker HyperPod service. Pour--cluster-name, spécifiez le nom ou le ARN cluster à mettre à jour.

Important

Notez que vous devez sauvegarder votre travail avant de l'exécuterAPI. Le processus d'application des correctifs remplace le volume racine par le volume mis à jourAMI, ce qui signifie que les données précédemment stockées dans le volume racine de l'instance seront perdues. Assurez-vous de sauvegarder vos données depuis le volume racine de l'instance vers Amazon S3 ou Amazon FSx for Lustre. Pour de plus amples informations, veuillez consulter Utilisez le script de sauvegarde fourni par SageMaker HyperPod.


aws sagemaker update-cluster-software --cluster-name your-hyperpod-cluster

Cette commande appelle le UpdateClusterSoftwareAPI. Après l'APIappel, SageMaker HyperPod met à jour les instances de cluster pour utiliser les dernières versions SageMaker HyperPod DLAMI et exécute vos scripts de cycle de vie dans le compartiment S3 que vous avez spécifié lors de la création ou de la mise à jour du cluster. L'équipe SageMaker HyperPod de service déploie régulièrement de nouvelles SageMaker HyperPod DLAMI solutions pour renforcer la sécurité et améliorer l'expérience utilisateur. Nous vous recommandons de toujours vous tenir au courant des dernières nouveautés SageMaker HyperPod DLAMI. Pour les futures SageMaker HyperPod DLAMI mises à jour relatives aux correctifs de sécurité, contactez. Notes de SageMaker HyperPod publication d'Amazon

Astuce

Si le correctif de sécurité échoue, vous pouvez récupérer les messages d'échec en exécutant le correctif DescribeClusterAPIcomme indiqué surDécrire un cluster.

Note

Vous ne pouvez l'exécuter que API par programmation. La fonctionnalité d'application de correctifs n'est pas implémentée dans l'interface utilisateur de la SageMaker HyperPod console.

Utilisez le script de sauvegarde fourni par SageMaker HyperPod

SageMaker HyperPod fournit un script pour sauvegarder et restaurer vos données 1.architectures/5.sagemaker-hyperpod/patching-backup.shdans le GitHub référentiel Awsome Distributed Training. Le script fournit les deux fonctions suivantes.

Pour sauvegarder les données dans un compartiment S3 avant d'appliquer des correctifs


sudo bash patching-backup.sh --create <s3-buckup-bucket-path>

Après avoir exécuté la commande, le script vérifie squeue s'il existe des tâches en file d'attente, arrête Slurm s'il n'y a aucune tâche dans la file d'attentemariadb, sauvegarde et copie les éléments locaux sur le disque défini ci-dessous. LOCAL_ITEMS Vous pouvez ajouter d'autres fichiers et répertoires àLOCAL_ITEMS.


# Define files and directories to back up.
LOCAL_ITEMS=(
    "/var/spool/slurmd"
    "/var/spool/slurmctld"
    "/etc/systemd/system/slurmctld.service"
    "/home/ubuntu/backup_slurm_acct_db.sql"
    # ... Add more items as needed
)

Vous pouvez également ajouter du code personnalisé au script fourni pour sauvegarder toutes les applications adaptées à votre cas d'utilisation.

Pour restaurer les données d'un compartiment S3 après l'application d'un correctif


sudo bash patching-backup.sh --restore <s3-buckup-bucket-path>

Supprimer un cluster

Exécutez delete-cluster pour supprimer un cluster. Vous pouvez spécifier le nom ou le nom ARN du cluster.


aws sagemaker delete-cluster --cluster-name your-hyperpod-cluster

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Utilisation de l'interface utilisateur SageMaker HyperPod de la console

Personnalisez les SageMaker HyperPod clusters à l'aide de scripts de cycle