从提供的基本生命周期脚本开始 HyperPod

provisioning_parameters.json— 这是一个用于在上配置 Slurm 节点的配置表 HyperPod. 该on_create.sh脚本会找到此JSON文件并定义用于标识其路径的环境变量。通过此JSON文件，你可以配置 Slurm 节点和要与之通信的存储选项，例如 Ama FSx zon for Lustre for Slurm。在中provisioning_parameters.json，请确保根据计划设置方式，使用您在中create_cluster.json指定的名称将 HyperPod 集群实例组适当地分配给 Slurm 节点。

下图显示了如何编写两个JSON配置文件create_cluster.json和provisioning_parameters.json以将 HyperPod 实例组分配给 Slurm 节点的示例。在此示例中，我们假设设置了三个 Slurm 节点：控制器（管理）节点、登录节点（可选）和计算（工作节点）。

图： HyperPod集群创建和 Slurm 配置之间的create_cluster.json直接比较。provisiong_params.json中的实例组数量create_cluster.json应与您要配置为 Slurm 节点的节点数量相匹配。对于图中的示例，将在由三个实例组组组成的 HyperPod 集群上配置三个 Slurm 节点。您应通过相应地指定实例组名称将 HyperPod 集群实例组分配给 Slurm 节点。

resource_config.json— 在创建集群期间，编写lifecycle_script.py脚本是为了期望有来自的resource_config.json文件 HyperPod。此文件包含有关集群的信息，例如实例类型和 IP 地址。

运行时 CreateClusterAPI， HyperPod会/opt/ml/config/resource_config.json根据该文件在上创建一个资源配置create_cluster.json文件。文件路径保存到名为的环境变量中SAGEMAKER_RESOURCE_CONFIG_PATH。

{

    "ClusterConfig": {
        "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde01234yz",
        "ClusterName": "your-hyperpod-cluster"
    },
    "InstanceGroups": [
        {
            "Name": "controller-machine",
            "InstanceType": "ml.c5.xlarge",
            "Instances": [
                {
                    "InstanceName": "controller-machine-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "Instances": [
                {
                    "InstanceName": "login-group-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "compute-nodes",
            "InstanceType": "ml.trn1.32xlarge",
            "Instances": [
                {
                    "InstanceName": "compute-nodes-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-2",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-3",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-4",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        }
    ]
}

lifecycle_script.py— 这是主要 Python 脚本，它在配置时共同运行在 HyperPod 集群上设置 Slurm 的生命周期脚本。此脚本读取中provisioning_parameters.json指定或标识的路径on_create.sh，将相关信息传递给每个生命周期脚本，然后按顺序运行生命周期脚本。resource_config.json

生命周期脚本是一组脚本，您可以完全灵活地对其进行自定义，以便在集群创建期间安装软件包并设置必要的或自定义配置，例如设置 Slurm、创建用户、安装 Conda 或 Docker。该示例lifecycle_script.py脚本已准备好在存储库中运行其他基本生命周期脚本，例如启动 Slurm deamons () start_slurm.sh、安装 Ama FSx zon for Lustre (mount_fsx.sh) 以及设置 MariaDB 会计 () 和记账 ()。setup_mariadb_accounting.shRDSsetup_rds_accounting.sh您还可以添加更多脚本，将它们打包到同一个目录下，然后向中添加代码行lifecycle_script.py以让脚本 HyperPod 运行。有关基本生命周期脚本的更多信息，另请参阅 Awsome Distributed Training GitHub 存储库中的 3.1 生命周期脚本。

除了默认设置外，该utils文件夹下还有更多用于安装以下软件的脚本。该lifecycle_script.py文件已经准备好包含用于运行安装脚本的代码行，因此请参阅以下项目来搜索这些行并取消注释以激活它们。