Uso de AWS CLI comandos para el SageMaker HyperPod APIs

En primer lugar, prepare y cargue los scripts del ciclo de vida en un bucket de Amazon S3. Durante la creación del clúster, los HyperPod ejecuta en cada grupo de instancias. Cargue los scripts del ciclo de vida en Amazon S3 mediante el siguiente comando.

aws s3 sync \
    ~/local-dir-to-lifecycle-scripts/* \ 
    s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Si va a empezar desde cero, utilice ejemplos de scripts de ciclo de vida que se proporcionan en el repositorio Awsome Distributed Training. GitHub Los siguientes subpasos muestran cómo descargar, qué modificar y cómo cargar los scripts de ciclo de vida de muestra en un bucket de Amazon S3.

1. Descargue una copia de los ejemplos de scripts del ciclo de vida en un directorio de su ordenador local.

   git clone https://github.com/aws-samples/awsome-distributed-training/

2. Vaya al directorio 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config, donde encontrará un conjunto de scripts de ciclo de vida.

   cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

   Para obtener más información sobre los ejemplos de scripts de ciclo de vida, consultePrepare los scripts del ciclo de vida para configurar Slurm on SageMaker HyperPod.

3. Escriba un archivo de configuración de Slurm y guárdelo como. provisioning_params.json En el archivo, especifique los parámetros de configuración básicos de Slurm para asignar correctamente los nodos de Slurm a los grupos de instancias del clúster. SageMaker HyperPod En este tutorial, configura tres nodos de Slurm denominados y my-controller-groupmy-login-group, como se muestra en el siguiente worker-group-1 ejemplo de configuración. provisioning_params.json

   {
       "version": "1.0.0",
       "workload_manager": "slurm",
       "controller_group": "my-controller-group",
       "login_group": "my-login-group",
       "worker_groups": [
           {
               "instance_group_name": "worker-group-1",
               "partition_name": "partition-1"
           }
       ]
   }

4. Cargue los scripts en. s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src Puede hacerlo mediante la consola Amazon S3 o ejecutando lo siguiente AWS CLI Comando Amazon S3.

   aws s3 sync \
       ~/local-dir-to-lifecycle-scripts/* \ 
       s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Prepare un archivo de CreateClustersolicitud en JSON formato y guárdelo comocreate_cluster.json. La siguiente plantilla de solicitud se alinea con la configuración de nodos de Slurm definida provisioning_params.json en el paso 1.c. Para ExecutionRole ello, proporcione el ARN IAM rol que creó junto con el administrado. AmazonSageMakerClusterInstanceRolePolicy Requisitos previos para utilizar SageMaker HyperPod

{
    // Required: Specify the name of the cluster.
    "ClusterName": "my-hyperpod-cluster",
    // Required: Configure instance groups to be launched in the cluster
    "InstanceGroups": [
        {
            // Required: Specify the basic configurations to set up a controller node.
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        }
    ]
}

Ejecute el siguiente comando para crear el clúster.

aws sagemaker create-cluster --cli-input-json file://complete/path/to/create_cluster.json

Esto debería devolver el ARN del clúster creado.

Si recibes un error debido a los límites de recursos, asegúrate de cambiar el tipo de instancia por uno con cuotas suficientes en tu cuenta o solicita cuotas adicionales siguiendo este enlaceSageMaker HyperPod cuotas.

Ejecuta describe-cluster para comprobar el estado del clúster.

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

Cuando el estado del clúster cambie aInService, continúe con el siguiente paso.

Ejecute list-cluster-nodes para comprobar los detalles de los nodos del clúster.

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

Esto devuelve una respuesta y InstanceId es lo que los usuarios del clúster necesitan para iniciar sesión (aws ssm) en ellos. Para obtener más información sobre cómo iniciar sesión en los nodos del clúster y ejecutar cargas de trabajo de aprendizaje automático, consulteEjecute trabajos en SageMaker HyperPod clústeres.