Lancez des instances avec des réservations de capacité à la demande (ODCR)

Créez un groupe de ressources pour regrouper les capacités.

$ aws resource-groups create-group --name EC2CRGroup \ 
    --configuration '{"Type":"AWS::EC2::CapacityReservationPool"}' '{"Type":"AWS::ResourceGroups::Generic", "Parameters": [{"Name": "allowed-resource-types", "Values": ["AWS::EC2::CapacityReservation"]}]}'

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationId": "cr-abcdef01234567890"
                }
            }
        }
    }
}
EOF

Ajoutez des réservations de capacité au groupe de ressources. Chaque fois que vous créez un nouvel ODCR, ajoutez-le à la réservation de groupe. ACCOUNT_IDRemplacez-le par votre identifiant de compte, PLACEHOLDER_CAPACITY_RESERVATIONpar votre numéro de réservation de capacité et REGION_IDpar votre Région AWS identifiant (par exemple, us-east-1).

$ aws resource-groups group-resources --region REGION_ID --group EC2CRGroup \
    --resource-arns arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/PLACEHOLDER_CAPACITY_RESERVATION

Créez un document de politique sur votre ordinateur local. ACCOUNT_IDRemplacez-le par votre identifiant de compte et REGION_IDpar votre Région AWS identifiant (par exemple, us-east-1).

cat > policy.json << EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RunInstancesInCapacityReservation",
            "Effect": "Allow",
            "Action": "ec2:RunInstances",
            "Resource": [
                "arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/*",
                "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/*"
            ]
        }
    ]
}
EOF

Créez la politique IAM qui vous convient à Compte AWS l'aide du fichier json que vous avez créé.

$ aws iam create-policy --policy-name RunInstancesCapacityReservation --policy-document file://policy.json

Créez le script de post-installation suivant localement sur l'instance et nommez-lepostinstall.sh.

ACCOUNT_IDRemplacez-le par votre Compte AWS identifiant et REGION_ID par votre Région AWS identifiant (par exemple, us-east-1).

#!/bin/bash
set -e

# Override run_instance attributes
cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF
{
    "my-queue": {
        "my-compute-resource": {
            "CapacityReservationSpecification": {
                "CapacityReservationTarget": {
                    "CapacityReservationResourceGroupArn": "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/EC2CRGroup"
                }
            }
        }
    }
}
EOF

Téléchargez le fichier dans un compartiment Amazon S3. Remplacez S3_NAME_BUCKET par le nom de votre compartiment S3 spécifique.

$ aws s3 mb s3://S3_NAME_BUCKET
aws s3 cp postinstall.sh s3://S3_NAME_BUCKET/postinstall.sh

Créez la configuration du cluster local en remplaçant les espaces réservés par vos propres valeurs.

Region: REGION_ID
Image:
  Os: alinux2
HeadNode:
  InstanceType: c5.2xlarge
  Ssh:
    KeyName: YOUR_SSH_KEY
  Iam:
    S3Access:
      - BucketName: S3_NAME_BUCKET
    AdditionalIamPolicies:
      - Policy: arn:aws:iam::ACCOUNT_ID:policy/RunInstancesCapacityReservation
  ## This post-install script is executed after the node is configured.
  ## It is used to install scripts at boot time and specific configurations
  ## In the script below we are overriding the calls to RunInstance to force
  ## the provisioning of our my-queue partition to go through
  ## the On-Demand Capacity Reservation
  CustomActions:
    OnNodeConfigured:
      Script: s3://S3_NAME_BUCKET/postinstall.sh
  Networking:
    SubnetId: YOUR_PUBLIC_SUBNET_IN_TARGET_AZ

Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: my-queue
      ComputeResources:
        - MinCount: 0
          MaxCount: 100
          InstanceType: p4d.24xlarge
          Name: my-compute-resource
          Efa:
            Enabled: true
      Networking:
        ## PlacementGroup:
        ##   Enabled: true ## Keep PG disabled if using targeted ODCR
        SubnetIds:
          - YOUR_PRIVATE_SUBNET_IN_TARGET_AZ

Créez le cluster.

Utilisez la commande suivante pour créer le cluster. cluster-config.yamlRemplacez-le par le nom de votre fichier de configuration, cluster-dlpar le nom de votre cluster, et REGION_ID par votre ID de région (par exemple, us-east-1).

$ pcluster create-cluster --cluster-configuration cluster-config.yaml --cluster-name cluster-dl --region REGION_ID

Une fois le cluster créé, le script de post-installation s'exécute dans le nœud principal. Le script crée le run_instances_overrides.json fichier et remplace les appels pour RunInstances forcer le provisionnement de la partition à passer par la réservation de capacité à la demande.

Les AWS ParallelCluster démons responsables de la mise à l'échelle du cluster utilisent automatiquement cette configuration pour les nouvelles instances lancées. Pour vérifier que les paramètres spécifiés sont utilisés pour provisionner les instances, vous pouvez consulter les fichiers journaux suivants :

Si les paramètres sont corrects, vous trouverez une entrée de journal contenant les éléments suivants.

Found RunInstances parameters override. Launching instances with: <parameters_list>