Utilisation de AWS CLI commandes pour SageMaker HyperPod APIs

Tout d'abord, préparez et chargez des scripts de cycle de vie dans un compartiment Amazon S3. Lors de la création du cluster, HyperPod exécutez-les dans chaque groupe d'instances. Téléchargez des scripts de cycle de vie sur Amazon S3 à l'aide de la commande suivante.

aws s3 sync \
    ~/local-dir-to-lifecycle-scripts/* \ 
    s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Si vous partez de zéro, utilisez des exemples de scripts de cycle de vie fournis dans le GitHub référentiel Awsome Distributed Training. Les sous-étapes suivantes montrent comment télécharger, ce qu'il faut modifier et comment charger les exemples de scripts de cycle de vie dans un compartiment Amazon S3.

1. Téléchargez une copie des exemples de script de cycle de vie dans un répertoire de votre ordinateur local.

   git clone https://github.com/aws-samples/awsome-distributed-training/

2. Accédez au répertoire 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config, où vous trouverez un ensemble de scripts de cycle de vie.

   cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

   Pour en savoir plus sur les exemples de scripts de cycle de vie, consultezPréparez des scripts de cycle de vie pour configurer Slurm sur SageMaker HyperPod.

3. Ecrivez un fichier de configuration Slurm et enregistrez-le sous. provisioning_params.json Dans le fichier, spécifiez les paramètres de configuration de base de Slurm pour attribuer correctement les nœuds Slurm aux groupes d'instances du SageMaker HyperPod cluster. Dans ce didacticiel, configurez trois nœuds Slurm nommésmy-controller-group, et my-login-groupworker-group-1, comme indiqué dans l'exemple de configuration suivant. provisioning_params.json

   {
       "version": "1.0.0",
       "workload_manager": "slurm",
       "controller_group": "my-controller-group",
       "login_group": "my-login-group",
       "worker_groups": [
           {
               "instance_group_name": "worker-group-1",
               "partition_name": "partition-1"
           }
       ]
   }

4. Téléchargez les scripts surs3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src. Vous pouvez le faire en utilisant la console Amazon S3 ou en exécutant les commandes suivantes AWS CLI commande Amazon S3.

   aws s3 sync \
       ~/local-dir-to-lifecycle-scripts/* \ 
       s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Préparez un fichier de CreateClusterdemande au JSON format et enregistrez-le souscreate_cluster.json. Le modèle de demande suivant s'aligne sur la configuration du nœud Slurm définie provisioning_params.json à l'étape 1.c. PourExecutionRole, indiquez le ARN IAM rôle que vous avez créé avec le rôle géré AmazonSageMakerClusterInstanceRolePolicy dansConditions préalables pour l'utilisation du SageMaker HyperPod..

{
    // Required: Specify the name of the cluster.
    "ClusterName": "my-hyperpod-cluster",
    // Required: Configure instance groups to be launched in the cluster
    "InstanceGroups": [
        {
            // Required: Specify the basic configurations to set up a controller node.
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        }
    ]
}

Exécutez la commande suivante pour créer le cluster.

aws sagemaker create-cluster --cli-input-json file://complete/path/to/create_cluster.json

Cela devrait renvoyer ARN le cluster créé.

Si vous recevez un message d'erreur dû à des limites de ressources, assurez-vous de remplacer le type d'instance par un type comportant des quotas suffisants sur votre compte, ou demandez des quotas supplémentaires en suivant le lien surSageMaker HyperPod quotas.

Exécutez describe-cluster pour vérifier l'état du cluster.

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

Une fois que le statut du cluster est passé à InService zéro, passez à l'étape suivante.

Exécutez list-cluster-nodes pour vérifier les détails des nœuds du cluster.

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

Cela renvoie une réponse, et InstanceId c'est ce dont les utilisateurs de votre cluster ont besoin pour s'y connecter (aws ssm). Pour plus d'informations sur la connexion aux nœuds du cluster et l'exécution de charges de travail ML, consultezExécuter des tâches sur SageMaker HyperPod des clusters.