Luncurkan instans dengan On-Demand Reservasi Kapasitas (ODCR)

Buat grup sumber daya, untuk kapasitas grup.

$ aws resource-groups create-group --name EC2CRGroup \ 
    --configuration '{"Type":"AWS::EC2::CapacityReservationPool"}' '{"Type":"AWS::ResourceGroups::Generic", "Parameters": [{"Name": "allowed-resource-types", "Values": ["AWS::EC2::CapacityReservation"]}]}'

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationId": "cr-abcdef01234567890"
                }
            }
        }
    }
}
EOF

Tambahkan reservasi kapasitas ke grup sumber daya. Setiap kali Anda membuat ODCR baru, tambahkan ke Reservasi Grup. Ganti ACCOUNT_ID dengan ID akun Anda, PLACEHOLDER_CAPACITY_RESERVATION dengan ID reservasi kapasitas Anda, dan REGION_ID dengan Wilayah AWS ID Anda (misalnya, us-east-1).

$ aws resource-groups group-resources --region REGION_ID --group EC2CRGroup \
    --resource-arns arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/PLACEHOLDER_CAPACITY_RESERVATION

Buat dokumen kebijakan di komputer lokal Anda. Ganti ACCOUNT_ID dengan ID akun Anda dan REGION_ID dengan Wilayah AWS ID Anda (misalnya, us-east-1).

cat > policy.json << EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RunInstancesInCapacityReservation",
            "Effect": "Allow",
            "Action": "ec2:RunInstances",
            "Resource": [
                "arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/*",
                "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/*"
            ]
        }
    ]
}
EOF

Buat kebijakan IAM pada Akun AWS penggunaan file json yang Anda buat.

$ aws iam create-policy --policy-name RunInstancesCapacityReservation --policy-document file://policy.json

Buat skrip pasca instal berikut secara lokal pada instance dan beri namapostinstall.sh.

Ganti ACCOUNT_ID dengan Akun AWS ID Anda, dan REGION_ID dengan Wilayah AWS ID Anda (misalnya, us-east-1).

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationResourceGroupArn": "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/EC2CRGroup"
                }
            }
        }
    }
}
EOF

Unggah file ke bucket Amazon S3. Ganti amzn-s3-demo-bucket dengan nama bucket S3 spesifik Anda.

$ aws s3 mb s3://amzn-s3-demo-bucket
aws s3 cp postinstall.sh s3://amzn-s3-demo-bucket/postinstall.sh

Buat konfigurasi cluster lokal, ganti placeholder dengan nilai Anda sendiri.

Region: REGION_ID
Image:
  Os: alinux2023
HeadNode:
  InstanceType: c5.2xlarge
  Ssh:
    KeyName: YOUR_SSH_KEY
  Iam:
    S3Access:
      - BucketName: amzn-s3-demo-bucket
    AdditionalIamPolicies:
      - Policy: arn:aws:iam::ACCOUNT_ID:policy/RunInstancesCapacityReservation
  ## This post-install script is executed after the node is configured.
  ## It is used to install scripts at boot time and specific configurations
  ## In the script below we are overriding the calls to RunInstance to force
  ## the provisioning of our my-queue partition to go through
  ## the On-Demand Capacity Reservation
  CustomActions:
    OnNodeConfigured:
      Script: s3://amzn-s3-demo-bucket/postinstall.sh
  Networking:
    SubnetId: YOUR_PUBLIC_SUBNET_IN_TARGET_AZ

Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: my-queue
      ComputeResources:
        - MinCount: 0
          MaxCount: 100
          InstanceType: p4d.24xlarge
          Name: my-compute-resource
          Efa:
            Enabled: true
      Networking:
        ## PlacementGroup:
        ##   Enabled: true ## Keep PG disabled if using targeted ODCR
        SubnetIds:
          - YOUR_PRIVATE_SUBNET_IN_TARGET_AZ

Buat cluster.

Gunakan perintah berikut untuk membuat cluster. Ganti cluster-config.yaml dengan nama file konfigurasi Anda, cluster-dl dengan nama cluster Anda, dan REGION_ID dengan ID Wilayah Anda (misalnya, us-east-1).

$ pcluster create-cluster --cluster-configuration cluster-config.yaml --cluster-name cluster-dl --region REGION_ID

Setelah cluster dibuat, skrip pasca-instalasi berjalan di node kepala. Skrip membuat run_instances_overrides.json file dan mengganti panggilan RunInstances untuk memaksa penyediaan partisi untuk melewati Reservasi On-Demand Kapasitas.

AWS ParallelCluster Daemon yang bertanggung jawab untuk penskalaan cluster secara otomatis menggunakan konfigurasi ini untuk instans baru yang diluncurkan. Untuk mengonfirmasi bahwa parameter yang ditentukan digunakan untuk menyediakan instance, Anda dapat melihat file log berikut:

Jika parameternya benar, Anda akan menemukan entri log berisi yang berikut ini.

Found RunInstances parameters override. Launching instances with: <parameters_list>