Lance instancias con reservas de capacidad bajo demanda (ODCR)

Cree un grupo de recursos para agrupar la capacidad.

$ aws resource-groups create-group --name EC2CRGroup \ 
    --configuration '{"Type":"AWS::EC2::CapacityReservationPool"}' '{"Type":"AWS::ResourceGroups::Generic", "Parameters": [{"Name": "allowed-resource-types", "Values": ["AWS::EC2::CapacityReservation"]}]}'

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationId": "cr-abcdef01234567890"
                }
            }
        }
    }
}
EOF

Agregue reservas de capacidad al grupo de recursos. Cada vez que cree una ODCR nueva, agréguela a la reserva de grupo. ACCOUNT_IDSustitúyala por tu ID de cuenta, PLACEHOLDER_CAPACITY_RESERVATIONpor tu ID de reserva de capacidad y REGION_IDpor tu Región de AWS ID (por ejemplo, us-east-1).

$ aws resource-groups group-resources --region REGION_ID --group EC2CRGroup \
    --resource-arns arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/PLACEHOLDER_CAPACITY_RESERVATION

Cree un documento de política en su equipo local. ACCOUNT_IDSustitúyala por tu ID de cuenta y REGION_IDpor tu Región de AWS ID (por ejemplo, us-east-1).

cat > policy.json << EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RunInstancesInCapacityReservation",
            "Effect": "Allow",
            "Action": "ec2:RunInstances",
            "Resource": [
                "arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/*",
                "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/*"
            ]
        }
    ]
}
EOF

Cree su política de IAM Cuenta de AWS utilizando el archivo json que creó.

$ aws iam create-policy --policy-name RunInstancesCapacityReservation --policy-document file://policy.json

Cree el siguiente script posterior a la instalación de forma local en la instancia y llámelo postinstall.sh.

ACCOUNT_IDSustitúyala por tu Cuenta de AWS ID y REGION_ID por tu Región de AWS ID (por ejemplo, us-east-1).

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationResourceGroupArn": "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/EC2CRGroup"
                }
            }
        }
    }
}
EOF

Cargue el archivo en un bucket de Amazon S3. Sustituya S3_NAME_BUCKET por el nombre del bucket específico de Amazon S3.

$ aws s3 mb s3://S3_NAME_BUCKET
aws s3 cp postinstall.sh s3://S3_NAME_BUCKET/postinstall.sh

Cree la configuración del clúster local y sustituya los marcadores de posición por sus propios valores.

Region: REGION_ID
Image:
  Os: alinux2
HeadNode:
  InstanceType: c5.2xlarge
  Ssh:
    KeyName: YOUR_SSH_KEY
  Iam:
    S3Access:
      - BucketName: S3_NAME_BUCKET
    AdditionalIamPolicies:
      - Policy: arn:aws:iam::ACCOUNT_ID:policy/RunInstancesCapacityReservation
  ## This post-install script is executed after the node is configured.
  ## It is used to install scripts at boot time and specific configurations
  ## In the script below we are overriding the calls to RunInstance to force
  ## the provisioning of our my-queue partition to go through
  ## the On-Demand Capacity Reservation
  CustomActions:
    OnNodeConfigured:
      Script: s3://S3_NAME_BUCKET/postinstall.sh
  Networking:
    SubnetId: YOUR_PUBLIC_SUBNET_IN_TARGET_AZ

Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: my-queue
      ComputeResources:
        - MinCount: 0
          MaxCount: 100
          InstanceType: p4d.24xlarge
          Name: my-compute-resource
          Efa:
            Enabled: true
      Networking:
        ## PlacementGroup:
        ##   Enabled: true ## Keep PG disabled if using targeted ODCR
        SubnetIds:
          - YOUR_PRIVATE_SUBNET_IN_TARGET_AZ

Cree el clúster.

Utilice el siguiente comando para crear el clúster. Sustituya cluster-config.yaml por el nombre del archivo de configuración, cluster-dl por el nombre del clúster y REGION_ID por el ID de la región (por ejemplo, us-east-1).

$ pcluster create-cluster --cluster-configuration cluster-config.yaml --cluster-name cluster-dl --region REGION_ID

Una vez creado el clúster, el script posterior a la instalación se ejecuta en el nodo principal. El script crea el archivo run_instances_overrides.json y anula las llamadas a RunInstances para forzar el aprovisionamiento de la partición a través de la reserva de capacidad bajo demanda.

Los AWS ParallelCluster daemons responsables del escalado de clústeres utilizan automáticamente esta configuración para las nuevas instancias que se lanzan. Para confirmar que los parámetros especificados se utilizan para el aprovisionamiento de instancias, puede consultar los siguientes archivos de registro:

Si los parámetros son correctos, encontrará una entrada de registro que contiene lo siguiente.

Found RunInstances parameters override. Launching instances with: <parameters_list>