SageMaker HyperPod APIs에 대한 AWS CLI 명령 사용

먼저 수명 주기 스크립트를 준비하고 Amazon S3 버킷에 업로드합니다. 클러스터를 생성하는 동안 HyperPod는 각 인스턴스 그룹에서 실행됩니다. 다음 명령을 사용하여 수명 주기 스크립트를 Amazon S3에 업로드합니다.

aws s3 sync \
    ~/local-dir-to-lifecycle-scripts/* \ 
    s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

처음부터 시작하는 경우 Awsome Distributed Training GitHub 리포지토리 에 제공된 샘플 수명 주기 스크립트를 사용합니다. 다음 하위 단계에서는 Amazon S3 버킷에 샘플 수명 주기 스크립트를 다운로드하는 방법, 수정할 내용 및 업로드하는 방법을 보여줍니다.

1. 수명 주기 스크립트 샘플 사본을 로컬 컴퓨터의 디렉터리에 다운로드합니다.

   git clone https://github.com/aws-samples/awsome-distributed-training/

2. 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config 디렉터리로 이동하여 수명 주기 스크립트 세트를 찾을 수 있습니다.

   cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

   수명 주기 스크립트 샘플에 대한 자세한 내용은 수명 주기 스크립트를 사용하여 SageMaker HyperPod 클러스터 사용자 지정 섹션을 참조하세요.

3. Slurm 구성 파일을 작성하고 provisioning_params.json으로 저장합니다. 파일에서 기본 Slurm 구성 파라미터를 지정하여 SageMaker HyperPod 클러스터 인스턴스 그룹에 Slurm 노드를 올바르게 할당합니다. 이 자습서에서는 다음 예제 구성 provisioning_params.json과 같이 my-controller-group, my-login-group 및 worker-group-1이라는 세 개의 Slurm 노드를 설정합니다.

   {
       "version": "1.0.0",
       "workload_manager": "slurm",
       "controller_group": "my-controller-group",
       "login_group": "my-login-group",
       "worker_groups": [
           {
               "instance_group_name": "worker-group-1",
               "partition_name": "partition-1"
           }
       ]
   }

4. s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src에 스크립트를 업로드하세요. 이렇게 하려면 Amazon EC2 콘솔에을 사용하거나 AWS CLI Amazon S3 명령을 실행합니다.

   aws s3 sync \
       ~/local-dir-to-lifecycle-scripts/* \ 
       s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

CreateCluster 요청 파일을 JSON 형식으로 준비하고 create_cluster.json으로 저장합니다. 다음 요청 템플릿은 1.c단계의 provisioning_params.json에 정의된 Slurm 노드 구성과 일치합니다. ExecutionRole의 경우 SageMaker HyperPod 사용을 위한 사전 조건에서 관리형 AmazonSageMakerClusterInstanceRolePolicy로 생성한 IAM 역할의 ARN을 제공합니다.

{
    // Required: Specify the name of the cluster.
    "ClusterName": "my-hyperpod-cluster",
    // Required: Configure instance groups to be launched in the cluster
    "InstanceGroups": [
        {
            // Required: Specify the basic configurations to set up a controller node.
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        }
    ]
}

다음 명령을 실행하여 클러스터를 생성합니다.

aws sagemaker create-cluster --cli-input-json file://complete/path/to/create_cluster.json

이렇게 하면 생성된 클러스터의 ARN이 반환됩니다.

리소스 제한으로 인해 오류가 발생하는 경우 계정의 할당량이 충분한 인스턴스 유형으로 변경하거나 SageMaker HyperPod 할당량에 따라 추가 할당량을 요청해야 합니다.

describe-cluster를 실행하여 클러스터의 상태를 확인합니다.

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

클러스터 상태가 InService으로 전환되면 다음 단계로 진행합니다.

list-cluster-nodes를 실행하여 클러스터 노드의 세부 정보를 확인합니다.

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

이렇게 하면 응답이 반환되고 InstanceId는 클러스터 사용자가 이에 로그인(aws ssm)하는 데 필요한 것입니다. 클러스터 노드에 로그인하고 ML 워크로드를 실행하는 방법에 대한 자세한 내용은 SageMaker HyperPod 클러스터의 작업 섹션을 참조하세요.