が提供するベースライフサイクルスクリプトから開始する HyperPod

provisioning_parameters.json – これは ですで Slurm ノードをプロビジョニングするための設定フォーム HyperPod。on_create.sh スクリプトは、このJSONファイルを見つけ、そのファイルへのパスを識別するための環境変数を定義します。このJSONファイルを使用して、Amazon FSx for Lustre for Slurm などの Slurm ノードとストレージオプションを通信するように設定できます。ではprovisioning_parameters.json、 で指定した名前を使用して HyperPod クラスターインスタンスグループcreate_cluster.jsonを、セットアップ方法に基づいて適切に Slurm ノードに割り当てます。

次の図は、 HyperPod インスタンスグループを Slurm ノードに割り当てるために provisioning_parameters.json 2 つのJSON設定ファイル create_cluster.json と を書き込む方法の例を示しています。この例では、コントローラー (管理) ノード、ログインノード (オプション）、コンピューティング (ワーカー) ノードの 3 つの Slurm ノードをセットアップする場合を想定しています。

図： クラスター作成create_cluster.jsonと HyperPod Slurm 設定provisiong_params.jsonの を直接比較します。のインスタンスグループの数は、Slurm ノードとして設定するノードの数と一致するcreate_cluster.json必要があります。図の例では、3 つのインスタンスグループの HyperPod クラスターに 3 つの Slurm ノードが設定されます。それに応じてインスタンスグループ名を指定して、 HyperPod クラスターインスタンスグループを Slurm ノードに割り当てる必要があります。

resource_config.json – クラスターの作成中に、lifecycle_script.pyスクリプトは からのresource_config.jsonファイルを期待するように書き込まれます HyperPod。このファイルには、インスタンスタイプや IP アドレスなど、クラスターに関する情報が含まれています。

を実行するとCreateClusterAPI、 HyperPodは ファイル/opt/ml/config/resource_config.jsonに基づいて でリソース設定create_cluster.jsonファイルを作成します。ファイルパスは、 という名前の環境変数に保存されますSAGEMAKER_RESOURCE_CONFIG_PATH。

{

    "ClusterConfig": {
        "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde01234yz",
        "ClusterName": "your-hyperpod-cluster"
    },
    "InstanceGroups": [
        {
            "Name": "controller-machine",
            "InstanceType": "ml.c5.xlarge",
            "Instances": [
                {
                    "InstanceName": "controller-machine-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "Instances": [
                {
                    "InstanceName": "login-group-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "compute-nodes",
            "InstanceType": "ml.trn1.32xlarge",
            "Instances": [
                {
                    "InstanceName": "compute-nodes-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-2",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-3",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-4",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        }
    ]
}

lifecycle_script.py – これは、プロビジョニング中に HyperPod クラスターで Slurm をセットアップするライフサイクルスクリプトをまとめて実行するメイン Python スクリプトです。このスクリプトは、 で指定または識別されたパスprovisioning_parameters.jsonresource_config.jsonを読み取りon_create.sh、関連情報を各ライフサイクルスクリプトに渡してから、ライフサイクルスクリプトを順番に実行します。

ライフサイクルスクリプトは、Slurm のセットアップ、ユーザーの作成、Conda または Docker のインストールなど、クラスターの作成中にソフトウェアパッケージをインストールしたり、必要な設定やカスタム設定をセットアップしたりするためにカスタマイズできる完全な柔軟性を持つスクリプトのセットです。サンプルlifecycle_script.pyスクリプトは、Slurm deamons (start_slurm.sh) の起動、Amazon FSx for Lustre () のマウント、MariaDB アカウンティング (mount_fsx.sh) とアカRDSウンティング (setup_mariadb_accounting.sh) の設定など、リポジトリで他のベースライフサイクルスクリプトを実行する準備ができていますsetup_rds_accounting.sh。また、スクリプトを追加し、同じディレクトリにパッケージ化し、コード行を に追加lifecycle_script.pyして、スクリプト HyperPod の実行を許可することもできます。ベースライフサイクルスクリプトの詳細については、Awsome Distributed Training GitHub リポジトリ の「3.1 Lifecycle scripts」も参照してください。

デフォルト設定に加えて、以下のソフトウェアをインストールするためのスクリプトがutilsフォルダで利用できます。lifecycle_script.py ファイルには、インストールスクリプトを実行するためのコード行を含める準備が既にできているため、以下の項目を参照して行を検索し、コメントを解除してアクティブ化します。