Inicio de instancias con reservas de capacidad bajo demanda (ODCR)

Cree un grupo de recursos para agrupar la capacidad.

$ aws resource-groups create-group --name EC2CRGroup \ 
    --configuration '{"Type":"AWS::EC2::CapacityReservationPool"}' '{"Type":"AWS::ResourceGroups::Generic", "Parameters": [{"Name": "allowed-resource-types", "Values": ["AWS::EC2::CapacityReservation"]}]}'

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationId": "cr-abcdef01234567890"
                }
            }
        }
    }
}
EOF

Agregue reservas de capacidad al grupo de recursos. Cada vez que cree una ODCR nueva, agréguela a la reserva de grupo. Sustituya ACCOUNT_ID por su ID de cuenta, PLACEHOLDER_CAPACITY_RESERVATION por su ID de reserva de capacidad y REGION_ID por su ID de Región de AWS (por ejemplo, us-east-1).

$ aws resource-groups group-resources --region REGION_ID --group EC2CRGroup \
    --resource-arns arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/PLACEHOLDER_CAPACITY_RESERVATION

Cree un documento de política en su equipo local. Sustituya ACCOUNT_ID por su ID de cuenta y REGION_ID por su ID de Región de AWS (por ejemplo, us-east-1).

cat > policy.json << EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RunInstancesInCapacityReservation",
            "Effect": "Allow",
            "Action": "ec2:RunInstances",
            "Resource": [
                "arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/*",
                "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/*"
            ]
        }
    ]
}
EOF

Cree la política de IAM en su Cuenta de AWS utilizando el archivo json que ha creado.

$ aws iam create-policy --policy-name RunInstancesCapacityReservation --policy-document file://policy.json

Cree el siguiente script posterior a la instalación de forma local en la instancia y llámelo postinstall.sh.

Sustituya ACCOUNT_ID por su ID de Cuenta de AWS y REGION_ID por su ID de Región de AWS (por ejemplo, us-east-1).

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationResourceGroupArn": "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/EC2CRGroup"
                }
            }
        }
    }
}
EOF

Cargue el archivo en un bucket de Amazon S3. Sustituya amzn-s3-demo-bucket por el nombre del bucket de específico de S3.

$ aws s3 mb s3://amzn-s3-demo-bucket
aws s3 cp postinstall.sh s3://amzn-s3-demo-bucket/postinstall.sh

Cree la configuración del clúster local y sustituya los marcadores de posición por sus propios valores.

Region: REGION_ID
Image:
  Os: alinux2
HeadNode:
  InstanceType: c5.2xlarge
  Ssh:
    KeyName: YOUR_SSH_KEY
  Iam:
    S3Access:
      - BucketName: amzn-s3-demo-bucket
    AdditionalIamPolicies:
      - Policy: arn:aws:iam::ACCOUNT_ID:policy/RunInstancesCapacityReservation
  ## This post-install script is executed after the node is configured.
  ## It is used to install scripts at boot time and specific configurations
  ## In the script below we are overriding the calls to RunInstance to force
  ## the provisioning of our my-queue partition to go through
  ## the On-Demand Capacity Reservation
  CustomActions:
    OnNodeConfigured:
      Script: s3://amzn-s3-demo-bucket/postinstall.sh
  Networking:
    SubnetId: YOUR_PUBLIC_SUBNET_IN_TARGET_AZ

Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: my-queue
      ComputeResources:
        - MinCount: 0
          MaxCount: 100
          InstanceType: p4d.24xlarge
          Name: my-compute-resource
          Efa:
            Enabled: true
      Networking:
        ## PlacementGroup:
        ##   Enabled: true ## Keep PG disabled if using targeted ODCR
        SubnetIds:
          - YOUR_PRIVATE_SUBNET_IN_TARGET_AZ

Cree el clúster.

Utilice el siguiente comando para crear el clúster. Sustituya cluster-config.yaml por el nombre del archivo de configuración, cluster-dl por el nombre del clúster y REGION_ID por el ID de la región (por ejemplo, us-east-1).

$ pcluster create-cluster --cluster-configuration cluster-config.yaml --cluster-name cluster-dl --region REGION_ID

Una vez creado el clúster, el script posterior a la instalación se ejecuta en el nodo principal. El script crea el archivo run_instances_overrides.json y anula las llamadas a RunInstances para forzar el aprovisionamiento de la partición a través de la reserva de capacidad bajo demanda.

Los daemons de AWS ParallelCluster responsables del escalado de los clústeres utilizan automáticamente esta configuración para las nuevas instancias que se lanzan. Para confirmar que los parámetros especificados se utilizan para el aprovisionamiento de instancias, puede consultar los siguientes archivos de registro:

Si los parámetros son correctos, encontrará una entrada de registro que contiene lo siguiente.

Found RunInstances parameters override. Launching instances with: <parameters_list>