Usando os AWS CLI comandos para o SageMaker HyperPod APIs

Primeiro, prepare e carregue scripts de ciclo de vida em um bucket do Amazon S3. Durante a criação do cluster, eles são HyperPod executados em cada grupo de instâncias. Faça upload de scripts de ciclo de vida para o Amazon S3 usando o comando a seguir.

aws s3 sync \
    ~/local-dir-to-lifecycle-scripts/* \ 
    s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Se você está começando do zero, use exemplos de scripts de ciclo de vida fornecidos no repositório do Awsome Distributed Training. GitHub As subetapas a seguir mostram como baixar, o que modificar e como carregar os scripts de ciclo de vida de amostra em um bucket do Amazon S3.

1. Faça o download de uma cópia das amostras de script do ciclo de vida em um diretório no seu computador local.

   git clone https://github.com/aws-samples/awsome-distributed-training/

2. Acesse o diretório 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config, onde você pode encontrar um conjunto de scripts de ciclo de vida.

   cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

   Para saber mais sobre os exemplos de scripts de ciclo de vida, consulte. Personalize SageMaker HyperPod clusters usando scripts de ciclo de vida

3. Escreva um arquivo de configuração do Slurm e salve-o como. provisioning_params.json No arquivo, especifique os parâmetros básicos de configuração do Slurm para atribuir adequadamente os nós do Slurm aos grupos de instâncias do SageMaker HyperPod cluster. Neste tutorial, configure três nós do Slurm chamadosmy-controller-group,, e my-login-groupworker-group-1, conforme mostrado no exemplo de configuração a seguir. provisioning_params.json

   {
       "version": "1.0.0",
       "workload_manager": "slurm",
       "controller_group": "my-controller-group",
       "login_group": "my-login-group",
       "worker_groups": [
           {
               "instance_group_name": "worker-group-1",
               "partition_name": "partition-1"
           }
       ]
   }

4. Faça o upload dos scripts paras3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src. Você pode fazer isso usando o console do Amazon S3 ou executando o seguinte comando do Amazon AWS CLI S3.

   aws s3 sync \
       ~/local-dir-to-lifecycle-scripts/* \ 
       s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Prepare um arquivo de CreateClustersolicitação em JSON formato e salve comocreate_cluster.json. O modelo de solicitação a seguir está alinhado com a configuração do nó Slurm definida provisioning_params.json na Etapa 1.c. ParaExecutionRole, forneça ARN a IAM função que você criou com o managed AmazonSageMakerClusterInstanceRolePolicy inPré-requisitos para usar o SageMaker HyperPod.

{
    // Required: Specify the name of the cluster.
    "ClusterName": "my-hyperpod-cluster",
    // Required: Configure instance groups to be launched in the cluster
    "InstanceGroups": [
        {
            // Required: Specify the basic configurations to set up a controller node.
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        }
    ]
}

Execute o comando a seguir para criar o cluster.

aws sagemaker create-cluster --cli-input-json file://complete/path/to/create_cluster.json

Isso deve retornar o ARN do cluster criado.

Se você receber um erro devido aos limites de recursos, altere o tipo de instância para uma com cotas suficientes em sua conta ou solicite cotas adicionais seguindo em. SageMaker HyperPod cotas

Execute describe-cluster para verificar o status do cluster.

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

Depois que o status do cluster mudar paraInService, vá para a próxima etapa.

Execute list-cluster-nodes para verificar os detalhes dos nós do cluster.

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

Isso retorna uma resposta e InstanceId é o que os usuários do cluster precisam para logar (aws ssm) neles. Para obter mais informações sobre como fazer login nos nós do cluster e executar cargas de trabalho de ML, consulteTrabalhos em SageMaker HyperPod clusters.