SageMaker HyperPod API の AWS CLI コマンドの使用 APIs

まず、ライフサイクルスクリプトを準備して Amazon S3 バケットにアップロードします。クラスターの作成中、HyperPod は各インスタンスグループでそれらを実行します。次のコマンドを使用して、ライフサイクルスクリプトを Amazon S3 にアップロードします。

aws s3 sync \
    ~/local-dir-to-lifecycle-scripts/* \ 
    s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

ゼロから開始する場合、Awsome Distributed Training GitHub リポジトリで提供されているサンプルライフサイクルスクリプトを使用します。以下のサブステップでは、ダウンロード方法、変更内容、サンプルライフサイクルスクリプトを Amazon S3 バケットにアップロードする方法を示します。

1. ライフサイクルスクリプトのサンプルのコピーをローカルコンピュータのディレクトリにダウンロードします。

   git clone https://github.com/aws-samples/awsome-distributed-training/

2. ディレクトリ 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config に移動し、一連のライフサイクルスクリプトを見つけます。

   cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

   ライフサイクルスクリプトのサンプルの詳細については、「ライフサイクルスクリプトを使用して SageMaker HyperPod クラスターをカスタマイズする」を参照してください。

3. Slurm 設定ファイルを書き込み、provisioning_params.json という名前で保存します。ファイルで基本的な Slurm 設定パラメータを指定し、Slurm ノードを SageMaker HyperPod クラスターインスタンスグループに適切に割り当てます。このチュートリアルでは、次の設定例 provisioning_params.json に示すように、my-controller-group、my-login-group、worker-group-1 という名前の 3 つの Slurm ノードを設定します。

   {
       "version": "1.0.0",
       "workload_manager": "slurm",
       "controller_group": "my-controller-group",
       "login_group": "my-login-group",
       "worker_groups": [
           {
               "instance_group_name": "worker-group-1",
               "partition_name": "partition-1"
           }
       ]
   }

4. スクリプトを s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src にアップロードします。これを行うには、Amazon S3 コンソールを使用するか、次の AWS CLI Amazon S3 コマンドを実行します。

   aws s3 sync \
       ~/local-dir-to-lifecycle-scripts/* \ 
       s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

CreateCluster リクエストファイルを JSON 形式で準備し、create_cluster.json という名前で保存します。次のリクエストテンプレートは、ステップ 1.c の provisioning_params.json で定義されている Slurm ノード設定と一致しています。ExecutionRole には、「SageMaker HyperPod を使用するための前提条件」でマネージド AmazonSageMakerClusterInstanceRolePolicy を使用して作成した IAM ロールの ARN を指定します。

{
    // Required: Specify the name of the cluster.
    "ClusterName": "my-hyperpod-cluster",
    // Required: Configure instance groups to be launched in the cluster
    "InstanceGroups": [
        {
            // Required: Specify the basic configurations to set up a controller node.
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": integer,
                   }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        }
    ]
}

次のコマンドを実行してクラスターを作成します。

aws sagemaker create-cluster --cli-input-json file://complete/path/to/create_cluster.json

これにより、作成されたクラスターの ARN が返されます。

リソースの制限が原因でエラーが発生した場合、アカウントに十分なクォータを持つインスタンスタイプに変更するか、「SageMaker HyperPod クォータ」に従って追加のクォータをリクエストしてください。

describe-cluster を実行して、クラスターのステータスを確認します。

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

クラスターのステータスが InService になったら、次のステップに進みます。

list-cluster-nodes を実行して、クラスターノードの詳細を確認します。

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

これによりレスポンスが返されます。クラスターユーザーがログ記録 (aws ssm) するには InstanceId が必要です。クラスターノードへのログインと ML ワークロードの実行の詳細については、「SageMaker HyperPod クラスター上のジョブ」を参照してください。