에서 제공하는 기본 수명 주기 스크립트로 시작합니다. HyperPod

provisioning_parameters.json - 입니다Slurm 노드를 프로비저닝하기 위한 구성 양식 HyperPod. on_create.sh 스크립트는 이 JSON 파일을 찾고 해당 파일의 경로를 식별하기 위한 환경 변수를 정의합니다. 이 JSON 파일을 통해 Slurm 노드와 Slurm용 Amazon FSx for Lustre와 같은 스토리지 옵션을 구성하여 통신할 수 있습니다. 에서 provisioning_parameters.json에 지정한 이름을 사용하여 HyperPod 클러스터 인스턴스 그룹을 설정 방식에 따라 적절하게 create_cluster.json Slurm 노드에 할당해야 합니다.

다음 다이어그램은 인스턴스 HyperPod 그룹을 Slurm 노드에 할당하기 위해 두 JSON 구성 파일 create_cluster.json 및 를 provisioning_parameters.json 작성해야 하는 방법의 예를 보여줍니다. 이 예제에서는 컨트롤러(관리) 노드, 로그인 노드(선택 사항) 및 컴퓨팅(작업자) 노드라는 세 개의 Slurm 노드를 설정하는 경우를 가정합니다.

그림: create_cluster.json 클러스터 생성과 Slurm 구성을 provisiong_params.json 직접 비교 HyperPod합니다. 의 인스턴스 그룹 수는 Slurm 노드로 구성하려는 노드 수와 일치해야 create_cluster.json 합니다. 그림의 예제의 경우 세 개의 인스턴스 그룹 HyperPod 클러스터에 세 개의 Slurm 노드가 구성됩니다. 그에 따라 인스턴스 그룹 이름을 지정하여 HyperPod 클러스터 인스턴스 그룹을 Slurm 노드에 할당해야 합니다.

resource_config.json - 클러스터를 생성하는 동안 lifecycle_script.py 스크립트는 에서 resource_config.json 파일을 예상하도록 작성됩니다 HyperPod. 이 파일에는 인스턴스 유형 및 IP 주소와 같은 클러스터에 대한 정보가 포함되어 있습니다.

를 실행하면 CreateCluster HyperPod는 파일을 /opt/ml/config/resource_config.json 기반으로 에서 리소스 구성 create_cluster.json 파일을 API생성합니다. 파일 경로는 라는 환경 변수에 저장됩니다SAGEMAKER_RESOURCE_CONFIG_PATH.

{

    "ClusterConfig": {
        "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde01234yz",
        "ClusterName": "your-hyperpod-cluster"
    },
    "InstanceGroups": [
        {
            "Name": "controller-machine",
            "InstanceType": "ml.c5.xlarge",
            "Instances": [
                {
                    "InstanceName": "controller-machine-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "Instances": [
                {
                    "InstanceName": "login-group-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "compute-nodes",
            "InstanceType": "ml.trn1.32xlarge",
            "Instances": [
                {
                    "InstanceName": "compute-nodes-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-2",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-3",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-4",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        }
    ]
}

lifecycle_script.py - 프로비저닝되는 동안 HyperPod 클러스터에서 Slurm을 설정하는 수명 주기 스크립트를 집합적으로 실행하는 기본 Python 스크립트입니다. 이 스크립트는 에 지정되거나 식별된 경로resource_config.json에서 provisioning_parameters.json 와 를 읽고 관련 정보를 각 수명 주기 스크립트에 on_create.sh전달한 다음 수명 주기 스크립트를 순서대로 실행합니다.

수명 주기 스크립트는 Slurm 설정, 사용자 생성, Conda 또는 Docker 설치와 같이 클러스터 생성 중에 소프트웨어 패키지를 설치하고 필수 또는 사용자 지정 구성을 설정할 수 있는 완전한 유연성을 가진 스크립트 세트입니다. 샘플 lifecycle_script.py 스크립트는 리포지토리에서 Slurm 데몬(start_slurm.sh) 시작, Amazon FSx for Lustre(mount_fsx.sh) 탑재, MariaDB 계정(setup_mariadb_accounting.sh) 및 RDS 계정 설정()과 같은 다른 기본 수명 주기 스크립트를 실행할 준비가 되어 있습니다setup_rds_accounting.sh. 스크립트를 더 추가하고, 동일한 디렉터리에서 패키징하고, lifecycle_script.py에 코드 라인을 추가하여 스크립트를 HyperPod 실행할 수도 있습니다. 기본 수명 주기 스크립트에 대한 자세한 내용은 Awsome Distributed Training GitHub 리포지토리의 3.1 수명 주기 스크립트도 참조하세요.

기본 설정 외에도 utils 폴더 아래에서 다음 소프트웨어를 설치하기 위한 스크립트를 더 많이 사용할 수 있습니다. lifecycle_script.py 파일은 설치 스크립트를 실행하기 위한 코드 라인을 포함하도록 이미 준비되었습니다. 따라서 다음 항목을 참조하여 해당 행을 검색하고 주석을 제거하여 활성화합니다.