ODCR(온디맨드 용량 예약)로 인스턴스 시작

그룹 용량까지 리소스 그룹을 생성합니다.

$ aws resource-groups create-group --name EC2CRGroup \ 
    --configuration '{"Type":"AWS::EC2::CapacityReservationPool"}' '{"Type":"AWS::ResourceGroups::Generic", "Parameters": [{"Name": "allowed-resource-types", "Values": ["AWS::EC2::CapacityReservation"]}]}'

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationId": "cr-abcdef01234567890"
                }
            }
        }
    }
}
EOF

리소스 그룹에 용량 예약을 추가합니다. 새 ODCR을 생성할 때마다 그룹 예약에 추가합니다. ACCOUNT_ID를 계정 ID로, PLACEHOLDER_CAPACITY_RESERVATION를 용량 예약 ID로,를 AWS 리전 ID(예: us-east-1)REGION_ID로 바꿉니다.

$ aws resource-groups group-resources --region REGION_ID --group EC2CRGroup \
    --resource-arns arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/PLACEHOLDER_CAPACITY_RESERVATION

로컬 컴퓨터에서 정책 문서를 생성합니다. ACCOUNT_ID를 계정 ID로 바꾸고를 AWS 리전 IDREGION_ID로 바꿉니다(예: us-east-1).

cat > policy.json << EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RunInstancesInCapacityReservation",
            "Effect": "Allow",
            "Action": "ec2:RunInstances",
            "Resource": [
                "arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/*",
                "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/*"
            ]
        }
    ]
}
EOF

생성한 json 파일을 AWS 계정 사용하여에서 IAM 정책을 생성합니다.

$ aws iam create-policy --policy-name RunInstancesCapacityReservation --policy-document file://policy.json

다음 설치 후 스크립트를 인스턴스에 로컬로 생성하고 이름을 postinstall.sh로 지정합니다.

ACCOUNT_ID를 AWS 계정 ID로,를 AWS 리전 IDREGION_ID로 바꿉니다(예: us-east-1).

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationResourceGroupArn": "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/EC2CRGroup"
                }
            }
        }
    }
}
EOF

Amazon S3 버킷에 이미지 파일을 업로드합니다. amzn-s3-demo-bucket을 특정 S3 버킷 이름으로 바꿉니다.

$ aws s3 mb s3://amzn-s3-demo-bucket
aws s3 cp postinstall.sh s3://amzn-s3-demo-bucket/postinstall.sh

자리 표시자를 자체 값으로 대체하여 로컬 클러스터 구성을 생성합니다.

Region: REGION_ID
Image:
  Os: alinux2
HeadNode:
  InstanceType: c5.2xlarge
  Ssh:
    KeyName: YOUR_SSH_KEY
  Iam:
    S3Access:
      - BucketName: amzn-s3-demo-bucket
    AdditionalIamPolicies:
      - Policy: arn:aws:iam::ACCOUNT_ID:policy/RunInstancesCapacityReservation
  ## This post-install script is executed after the node is configured.
  ## It is used to install scripts at boot time and specific configurations
  ## In the script below we are overriding the calls to RunInstance to force
  ## the provisioning of our my-queue partition to go through
  ## the On-Demand Capacity Reservation
  CustomActions:
    OnNodeConfigured:
      Script: s3://amzn-s3-demo-bucket/postinstall.sh
  Networking:
    SubnetId: YOUR_PUBLIC_SUBNET_IN_TARGET_AZ

Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: my-queue
      ComputeResources:
        - MinCount: 0
          MaxCount: 100
          InstanceType: p4d.24xlarge
          Name: my-compute-resource
          Efa:
            Enabled: true
      Networking:
        ## PlacementGroup:
        ##   Enabled: true ## Keep PG disabled if using targeted ODCR
        SubnetIds:
          - YOUR_PRIVATE_SUBNET_IN_TARGET_AZ

클러스터를 생성합니다.

다음 명령을 사용하여 클러스터를 생성합니다. 구성 파일 이름을 cluster-config.yaml으로 바꾸고, 클러스터 이름을 cluster-dl로 바꾸고 REGION_ID를 사용자의 리전 ID(예: us-east-1)로 바꾸세요.

$ pcluster create-cluster --cluster-configuration cluster-config.yaml --cluster-name cluster-dl --region REGION_ID

클러스터가 생성되면 헤드 노드에서 설치 후 스크립트가 실행됩니다. 스크립트는 run_instances_overrides.json 파일을 생성하고 RunInstances에 대한 호출을 재정의하여 온디맨드 용량 예약을 통해 파티션 프로비저닝을 강제로 진행합니다.

클러스터 조정을 담당하는 AWS ParallelCluster 데몬은 시작된 새 인스턴스에 대해이 구성을 자동으로 사용합니다. 다음 로그 파일을 보면 지정된 파라미터가 인스턴스를 프로비저닝하는 데 사용되고 있는지 확인할 수 있습니다.

파라미터가 정확하면 다음을 포함하는 로그 항목을 찾을 수 있습니다.

Found RunInstances parameters override. Launching instances with: <parameters_list>