Utilizzando i comandi per AWS CLI SageMaker HyperPod APIs

Innanzitutto, prepara e carica gli script del ciclo di vita in un bucket Amazon S3. Durante la creazione del cluster, li HyperPod esegue in ogni gruppo di istanze. Carica gli script del ciclo di vita su Amazon S3 utilizzando il seguente comando.

aws s3 sync \
    ~/local-dir-to-lifecycle-scripts/* \ 
    s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Se parti da zero, usa gli script del ciclo di vita di esempio forniti nell'archivio Awsome Distributed Training. GitHub I seguenti passaggi secondari mostrano come scaricare, cosa modificare e come caricare gli script del ciclo di vita di esempio in un bucket Amazon S3.

1. Scarica una copia degli esempi di script del ciclo di vita in una directory sul tuo computer locale.

   git clone https://github.com/aws-samples/awsome-distributed-training/

2. Accedi alla directory 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config, dove puoi trovare un set di script del ciclo di vita.

   cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

   Per ulteriori informazioni sugli esempi di script del ciclo di vita, consulta. Personalizza SageMaker HyperPod i cluster utilizzando gli script del ciclo di vita

3. Scrivere un file di configurazione Slurm e salvarlo con nome. provisioning_params.json Nel file, specifica i parametri di configurazione Slurm di base per assegnare correttamente i nodi Slurm ai gruppi di istanze del cluster. SageMaker HyperPod In questo tutorial, imposta tre nodi Slurm denominati, e my-controller-group my-login-groupworker-group-1, come mostrato nella configurazione di esempio seguente. provisioning_params.json

   {
       "version": "1.0.0",
       "workload_manager": "slurm",
       "controller_group": "my-controller-group",
       "login_group": "my-login-group",
       "worker_groups": [
           {
               "instance_group_name": "worker-group-1",
               "partition_name": "partition-1"
           }
       ]
   }

4. Carica gli script su. s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src Puoi farlo utilizzando la console Amazon S3 o eseguendo il seguente comando Amazon AWS CLI S3.

   aws s3 sync \
       ~/local-dir-to-lifecycle-scripts/* \ 
       s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Prepara un file di CreateClusterrichiesta in JSON formato e salvalo con nome. create_cluster.json Il seguente modello di richiesta si allinea alla configurazione del nodo Slurm definita provisioning_params.json nel passaggio 1.c. PerExecutionRole, fornisci il ARN IAM ruolo che hai creato con il managed in. AmazonSageMakerClusterInstanceRolePolicy Prerequisiti per l'utilizzo di SageMaker HyperPod

{
    // Required: Specify the name of the cluster.
    "ClusterName": "my-hyperpod-cluster",
    // Required: Configure instance groups to be launched in the cluster
    "InstanceGroups": [
        {
            // Required: Specify the basic configurations to set up a controller node.
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        }
    ]
}

Esegui il comando seguente per creare il cluster.

aws sagemaker create-cluster --cli-input-json file://complete/path/to/create_cluster.json

Questo dovrebbe restituire ARN il cluster creato.

Se ricevi un errore dovuto ai limiti delle risorse, assicurati di cambiare il tipo di istanza con una con quote sufficienti nel tuo account oppure richiedi quote aggiuntive seguendo l'indirizzo. SageMaker HyperPod quote

Esegui describe-cluster per verificare lo stato del cluster.

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

Dopo che lo stato del cluster diventaInService, procedi al passaggio successivo.

Esegui list-cluster-nodes per controllare i dettagli dei nodi del cluster.

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

Ciò restituisce una risposta ed InstanceId è ciò di cui gli utenti del cluster hanno bisogno per accedere (aws ssm) ad essi. Per ulteriori informazioni sull'accesso ai nodi del cluster e sull'esecuzione di carichi di lavoro ML, consulta. Offerte di lavoro sui SageMaker HyperPod cluster