Iniciar instâncias com Reservas de Capacidade Sob Demanda (ODCR)

Crie um grupo de recursos, para agrupar a capacidade.

$ aws resource-groups create-group --name EC2CRGroup \ 
    --configuration '{"Type":"AWS::EC2::CapacityReservationPool"}' '{"Type":"AWS::ResourceGroups::Generic", "Parameters": [{"Name": "allowed-resource-types", "Values": ["AWS::EC2::CapacityReservation"]}]}'

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationId": "cr-abcdef01234567890"
                }
            }
        }
    }
}
EOF

Adicione reservas de capacidade ao grupo de recursos. Toda vez que você criar um novo ODCR, adicione-o à Reserva de Grupo. Substitua ACCOUNT_ID pelo ID da sua conta, PLACEHOLDER_CAPACITY_RESERVATION pelo seu ID de reserva de capacidade e REGION_ID pelo seu ID da Região da AWS (por exemplo, us-east-1).

$ aws resource-groups group-resources --region REGION_ID --group EC2CRGroup \
    --resource-arns arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/PLACEHOLDER_CAPACITY_RESERVATION

Crie um documento de política no computador local. Substitua ACCOUNT_ID pelo ID da sua conta e REGION_ID pelo seu ID da Região da AWS (por exemplo, us-east-1).

cat > policy.json << EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RunInstancesInCapacityReservation",
            "Effect": "Allow",
            "Action": "ec2:RunInstances",
            "Resource": [
                "arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/*",
                "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/*"
            ]
        }
    ]
}
EOF

Crie a política do IAM em sua Conta da AWS usando o arquivo json que você criou.

$ aws iam create-policy --policy-name RunInstancesCapacityReservation --policy-document file://policy.json

Crie o seguinte script de pós-instalação localmente na instância e o nomeie como postinstall.sh.

Substitua ACCOUNT_ID pelo seu ID da Conta da AWS e REGION_ID pelo seu ID da Região da AWS (por exemplo, us-east-1).

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationResourceGroupArn": "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/EC2CRGroup"
                }
            }
        }
    }
}
EOF

Faça upload do arquivo para um bucket do Amazon S3. Substitua amzn-s3-demo-bucket pelo nome específico do bucket S3.

$ aws s3 mb s3://amzn-s3-demo-bucket
aws s3 cp postinstall.sh s3://amzn-s3-demo-bucket/postinstall.sh

Crie a configuração do cluster local, substituindo os espaços reservados com valores próprios.

Region: REGION_ID
Image:
  Os: alinux2
HeadNode:
  InstanceType: c5.2xlarge
  Ssh:
    KeyName: YOUR_SSH_KEY
  Iam:
    S3Access:
      - BucketName: amzn-s3-demo-bucket
    AdditionalIamPolicies:
      - Policy: arn:aws:iam::ACCOUNT_ID:policy/RunInstancesCapacityReservation
  ## This post-install script is executed after the node is configured.
  ## It is used to install scripts at boot time and specific configurations
  ## In the script below we are overriding the calls to RunInstance to force
  ## the provisioning of our my-queue partition to go through
  ## the On-Demand Capacity Reservation
  CustomActions:
    OnNodeConfigured:
      Script: s3://amzn-s3-demo-bucket/postinstall.sh
  Networking:
    SubnetId: YOUR_PUBLIC_SUBNET_IN_TARGET_AZ

Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: my-queue
      ComputeResources:
        - MinCount: 0
          MaxCount: 100
          InstanceType: p4d.24xlarge
          Name: my-compute-resource
          Efa:
            Enabled: true
      Networking:
        ## PlacementGroup:
        ##   Enabled: true ## Keep PG disabled if using targeted ODCR
        SubnetIds:
          - YOUR_PRIVATE_SUBNET_IN_TARGET_AZ

Crie um cluster.

Use o seguinte comando para criar o cluster: Substitua cluster-config.yaml pelo nome do arquivo de configuração, cluster-dl pelo nome do seu cluster e REGION_ID pelo ID da região (por exemplo, us-east-1).

$ pcluster create-cluster --cluster-configuration cluster-config.yaml --cluster-name cluster-dl --region REGION_ID

Depois que o cluster é criado, o script de pós-instalação é executado no nó principal. O script cria o arquivo run_instances_overrides.json e substitui as chamadas enviadas a RunInstances para forçar o provisionamento da partição a passar pela reserva de capacidade sob demanda.

Os daemons AWS ParallelCluster responsáveis pelo dimensionamento do cluster usam automaticamente essa configuração para novas instâncias que são iniciadas. Para confirmar se os parâmetros especificados estão sendo usados para provisionamento de instâncias, consulte os seguintes arquivos de log:

Se os parâmetros estiverem corretos, você encontrará uma entrada de log que contém o seguinte:

Found RunInstances parameters override. Launching instances with: <parameters_list>