Luncurkan instans dengan Reservasi Kapasitas Sesuai Permintaan () ODCR - AWS ParallelCluster

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Luncurkan instans dengan Reservasi Kapasitas Sesuai Permintaan () ODCR

Dengan Reservasi Kapasitas Sesuai Permintaan (ODCR), Anda dapat memesan kapasitas untuk EC2 instans Amazon klaster Anda di Availability Zone tertentu. Dengan cara ini, Anda dapat membuat dan mengelola Reservasi Kapasitas secara independen dari akun penagihan yang ditawarkan Savings Plans atau Instans Cadangan regional.

Anda dapat mengkonfigurasi open atau targetedODCR. Buka ODCR tutup setiap instance yang cocok dengan ODCR atribut. Atribut ini adalah tipe instance, platform, dan Availability Zone. Anda harus secara eksplisit mendefinisikan Targeted ODCR dalam konfigurasi cluster. Untuk menentukan apakah ODCR is open atautargeted, jalankan EC2 describe-capacity-reservationperintah AWS CLI Amazon.

Anda juga dapat membuat ODCR grup penempatan klaster yang disebut grup penempatan klaster reservasi kapasitas sesuai permintaan (CPGODCR).

Beberapa ODCRs dapat dikelompokkan dalam grup sumber daya. Ini dapat didefinisikan dalam file konfigurasi cluster. Untuk informasi selengkapnya tentang grup sumber daya, lihat Apa itu grup sumber daya? dalam Panduan Pengguna Resource Groups dan Tags.

Menggunakan ODCR dengan AWS ParallelCluster

AWS ParallelCluster mendukung terbukaODCR. Saat menggunakan openODCR, Anda tidak perlu menentukan apa pun AWS ParallelCluster. Instance dipilih secara otomatis untuk cluster. Anda dapat menentukan grup penempatan yang ada atau AWS ParallelCluster membuat yang baru untuk Anda.

ODCRdalam konfigurasi cluster

Dimulai dengan AWS ParallelCluster versi 3.3.0, Anda dapat menentukan ODCRs dalam file konfigurasi cluster, tanpa perlu menentukan penggantian instans EC2 run-Amazon.

Anda mulai dengan membuat reservasi kapasitas dan grup sumber daya menggunakan metode yang dijelaskan dalam dokumentasi tertaut untuk masing-masing. Anda harus menggunakan AWS CLI metode untuk membuat grup reservasi kapasitas. Jika Anda menggunakan AWS Management Console, Anda hanya dapat membuat grup sumber daya berbasis Tag atau Stack. Grup sumber daya berbasis tag dan berbasis Stack tidak didukung oleh AWS ParallelCluster atau AWS CLI saat meluncurkan instance dengan reservasi kapasitas.

Setelah reservasi kapasitas dan grup sumber daya dibuat, tentukan dalam SlurmQueues/CapacityReservationTargetatau/SlurmQueuesComputeResources/CapacityReservationTargetseperti yang ditunjukkan pada contoh konfigurasi cluster berikut. Ganti values lampu merah tinggi dengan nilai valid Anda.

Image: Os: os HeadNode: InstanceType: head_node_instance Networking: SubnetId: public_subnet_id Ssh: KeyName: key_name Scheduling: Scheduler: scheduler SlurmQueues: - Name: queue1 Networking: SubnetIds: - private_subnet_id ComputeResources: - Name: cr1 Instances: - InstanceType: instance MaxCount: max_queue_size MinCount: max_queue_size Efa: Enabled: true CapacityReservationTarget: CapacityReservationResourceGroupArn: capacity_reservation_arn
Awas
  • Dimulai dengan AWS ParallelCluster versi 3.3.0, kami tidak merekomendasikan metode ini. Bagian ini tetap sebagai referensi untuk implementasi menggunakan versi sebelumnya.

  • Metode ini tidak kompatibel dengan alokasi tipe instance Multiple dengan Slurm.

Support untuk targeted ODCRs ditambahkan di AWS ParallelCluster 3.1.1. Dalam rilis ini, mekanisme diperkenalkan yang mengganti EC2 RunInstances parameter dan meneruskan informasi tentang reservasi yang akan digunakan untuk setiap sumber daya komputasi yang dikonfigurasi. AWS ParallelCluster Mekanisme ini kompatibel dengan targetedODCR. Namun, saat Anda menggunakan targetedODCR, Anda harus menentukan konfigurasi run-instances override. Ditargetkan ODCRs harus didefinisikan secara eksplisit dalam perintah AWS CLI Amazon EC2 run-instances. Untuk menentukan apakah ODCR adalah open atau targeted menjalankan EC2 perintah AWS CLI Amazon describe-capacity-reservation.

Beberapa ODCRs dapat dikelompokkan dalam grup sumber daya. Ini dapat digunakan dalam run-instance override untuk menargetkan beberapa ODCRs pada saat yang bersamaan.

Jika Anda menggunakan targetedODCR, Anda dapat menentukan grup penempatan. Namun, Anda juga perlu menentukan konfigurasi run-instances override.

Misalkan itu AWS dibuat targeted ODCR untuk Anda atau Anda memiliki satu set Instans Cadangan tertentu. Kemudian, Anda tidak dapat menentukan grup penempatan. Aturan yang dikonfigurasi oleh AWS mungkin bertentangan dengan pengaturan grup penempatan. Jadi, jika grup penempatan diperlukan untuk aplikasi Anda, gunakan file CPGODCR. Dalam kedua kasus tersebut, Anda juga harus menentukan konfigurasi run-instances override.

Jika Anda menggunakan CPGODCR, Anda harus menentukan konfigurasi run-instances override dan Anda harus menentukan grup penempatan yang sama dalam konfigurasi cluster.

Menggunakan Instans Cadangan dengan AWS ParallelCluster

Instans cadangan berbeda dari Reservasi Kapasitas ()ODCR. Ada 2 jenis instance cadangan. Instans Cadangan Regional tidak menyimpan kapasitas. Instans Cadangan zona cadangan kapasitas di Availability Zone yang ditentukan.

Jika Anda memiliki Instans Cadangan Regional, tidak ada reservasi kapasitas dan Anda bisa mendapatkan Kesalahan Kapasitas Tidak Cukup. Jika Anda memiliki Instans Cadangan zona, Anda memiliki reservasi kapasitas, tetapi tidak ada run-instances API parameter yang dapat Anda gunakan untuk menentukannya.

Instans cadangan didukung oleh AWS ParallelCluster versi apa pun. Anda tidak perlu menentukan apa pun AWS ParallelCluster dan instance dipilih secara otomatis.

Saat menggunakan Instans Cadangan zona, Anda dapat menghindari potensi Kesalahan Kapasitas Tidak Cukup dengan menghilangkan spesifikasi grup penempatan dalam konfigurasi cluster.

Awas
  • Dimulai dengan AWS ParallelCluster versi 3.3.0, kami tidak merekomendasikan metode ini. Bagian ini tetap sebagai referensi untuk implementasi menggunakan versi sebelumnya.

  • Metode ini tidak kompatibel dengan alokasi tipe instance Multiple dengan Slurm.

Anda dapat mengganti EC2 RunInstances parameter Amazon untuk setiap sumber daya komputasi yang dikonfigurasi dalam antrean klaster. Untuk melakukannya, buat /opt/slurm/etc/pcluster/run_instances_overrides.json file di node kepala cluster dengan konten potongan kode berikut:

  • ${queue_name}adalah nama antrian yang ingin Anda terapkan penggantian.

  • ${compute_resource_name}adalah sumber daya komputasi yang ingin Anda terapkan penggantian.

  • ${overrides}adalah JSON objek arbitrer yang berisi daftar RunInstances penggantian yang akan digunakan untuk kombinasi spesifik antrian dan tipe instance. Sintaks overrides harus mengikuti spesifikasi yang sama yang didokumentasikan dalam panggilan boto3 run_instances.

{     "${queue_name}": {         "${compute_resource_name}": {             ${overrides}         },         ...     },     ... }

Misalnya, berikut ini JSON mengonfigurasi ODCR grup group_arn yang akan digunakan untuk p4d.24xlarge instance yang dikonfigurasi dalam my-queue dan. my-compute-resource

{     "my-queue": {         "my-compute-resource": {             "CapacityReservationSpecification": {                 "CapacityReservationTarget": {                     "CapacityReservationResourceGroupArn": "group_arn"                 }             }         }     } }

Setelah JSON file ini dibuat, AWS ParallelCluster daemon yang bertanggung jawab untuk penskalaan klaster secara otomatis menggunakan konfigurasi override untuk peluncuran misalnya. Untuk mengonfirmasi bahwa parameter yang ditentukan sedang digunakan untuk penyediaan contoh, lihat file log berikut:

  • /var/log/parallelcluster/clustermgtd(untuk kapasitas statis)

  • /var/log/parallelcluster/slurm_resume.log(untuk kapasitas dinamis)

Jika parameternya benar, Anda akan menemukan entri log yang berisi yang berikut ini:

Found RunInstances parameters override. Launching instances with: <parameters_list>
Awas
  • Dimulai dengan AWS ParallelCluster versi 3.3.0, kami tidak merekomendasikan metode ini. Bagian ini tetap sebagai referensi untuk implementasi menggunakan versi sebelumnya.

  • Metode ini tidak kompatibel denganBeberapa alokasi tipe instans dengan Slurm.

  1. Buat grup sumber daya, untuk kapasitas grup.

    $ aws resource-groups create-group --name EC2CRGroup \   --configuration '{"Type":"AWS::EC2::CapacityReservationPool"}' '{"Type":"AWS::ResourceGroups::Generic", "Parameters": [{"Name": "allowed-resource-types", "Values": ["AWS::EC2::CapacityReservation"]}]}'
    catatan

    Grup sumber daya tidak mendukung sumber daya yang dibagikan oleh akun lain.

    Jika target ODCR dibagikan oleh akun lain, Anda tidak perlu membuat grup sumber daya. Gunakan CapacityReservationId alih-alih grup sumber daya di langkah 3.

    #!/bin/bash set -e # Override run_instance attributes cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF {     "my-queue": {         "my-compute-resource": {             "CapacityReservationSpecification": {                 "CapacityReservationTarget": {                     "CapacityReservationId": "cr-abcdef01234567890"                 }             }         }     } } EOF

    Tambahkan reservasi kapasitas ke grup sumber daya. Setiap kali Anda membuat yang baruODCR, tambahkan ke Reservasi Grup. Ganti ACCOUNT_ID dengan ID akun Anda, PLACEHOLDER_CAPACITY_RESERVATION dengan ID reservasi kapasitas Anda, dan REGION_ID dengan Wilayah AWS ID Anda (misalnya, us-east-1).

    $ aws resource-groups group-resources --region REGION_ID --group EC2CRGroup \   --resource-arns arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/PLACEHOLDER_CAPACITY_RESERVATION

    Buat dokumen kebijakan di komputer lokal Anda. Ganti ACCOUNT_ID dengan ID akun Anda dan REGION_ID dengan Wilayah AWS ID Anda (misalnya, us-east-1).

    cat > policy.json << EOF {     "Version": "2012-10-17",     "Statement": [         {             "Sid": "RunInstancesInCapacityReservation",             "Effect": "Allow",             "Action": "ec2:RunInstances",             "Resource": [                 "arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/*",                 "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/*"             ]         }     ] } EOF
  2. Buat IAM kebijakan tentang Anda Akun AWS menggunakan file json yang Anda buat.

    $ aws iam create-policy --policy-name RunInstancesCapacityReservation --policy-document file://policy.json
  3. Buat skrip instalasi posting berikut secara lokal pada instance dan beri nama. postinstall.sh

    Ganti ACCOUNT_ID dengan Akun AWS ID Anda, dan REGION_ID dengan Wilayah AWS ID Anda (misalnya, us-east-1).

    #!/bin/bash set -e # Override run_instance attributes cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF {     "my-queue": {         "my-compute-resource": {             "CapacityReservationSpecification": {                 "CapacityReservationTarget": {                     "CapacityReservationResourceGroupArn": "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/EC2CRGroup"                 }             }         }     } } EOF

    Unggah file ke bucket Amazon S3. Ganti amzn-s3-demo-bucket dengan nama bucket S3 spesifik Anda.

    $ aws s3 mb s3://amzn-s3-demo-bucket aws s3 cp postinstall.sh s3://amzn-s3-demo-bucket/postinstall.sh
  4. Buat konfigurasi cluster lokal, ganti placeholder dengan nilai Anda sendiri.

    Region: REGION_ID Image:   Os: alinux2 HeadNode:   InstanceType: c5.2xlarge   Ssh:     KeyName: YOUR_SSH_KEY   Iam:     S3Access:       - BucketName: amzn-s3-demo-bucket     AdditionalIamPolicies:       - Policy: arn:aws:iam::ACCOUNT_ID:policy/RunInstancesCapacityReservation   ## This post-install script is executed after the node is configured.   ## It is used to install scripts at boot time and specific configurations   ## In the script below we are overriding the calls to RunInstance to force   ## the provisioning of our my-queue partition to go through   ## the On-Demand Capacity Reservation   CustomActions:     OnNodeConfigured:       Script: s3://amzn-s3-demo-bucket/postinstall.sh   Networking:     SubnetId: YOUR_PUBLIC_SUBNET_IN_TARGET_AZ Scheduling:   Scheduler: slurm   SlurmQueues:     - Name: my-queue       ComputeResources:         - MinCount: 0           MaxCount: 100           InstanceType: p4d.24xlarge           Name: my-compute-resource           Efa:             Enabled: true       Networking:         ## PlacementGroup:         ##   Enabled: true ## Keep PG disabled if using targeted ODCR         SubnetIds:           - YOUR_PRIVATE_SUBNET_IN_TARGET_AZ
  5. Buat cluster.

    Gunakan perintah berikut untuk membuat cluster. Ganti cluster-config.yaml dengan nama file konfigurasi Anda, kluster-dl dengan nama cluster Anda, dan REGION_ID dengan ID Wilayah Anda (misalnya, us-east-1).

    $ pcluster create-cluster --cluster-configuration cluster-config.yaml --cluster-name cluster-dl --region REGION_ID

    Setelah cluster dibuat, skrip pasca-instal berjalan di node kepala. Skrip membuat run_instances_overrides.json file dan mengganti panggilan untuk memaksa penyediaan partisi RunInstances untuk melalui Reservasi Kapasitas Sesuai Permintaan.

    AWS ParallelCluster Daemon yang bertanggung jawab untuk penskalaan klaster secara otomatis menggunakan konfigurasi ini untuk instance baru yang diluncurkan. Untuk mengonfirmasi bahwa parameter yang ditentukan sedang digunakan untuk menyediakan instance, Anda dapat melihat file log berikut:

    • /var/log/parallelcluster/clustermgtd(untuk kapasitas statis - MinCount > 0)

    • /var/log/parallelcluster/slurm_resume.log(untuk kapasitas dinamis)

    Jika parameternya benar, Anda akan menemukan entri log berisi yang berikut ini.

    Found RunInstances parameters override. Launching instances with: <parameters_list>

Memperbarui RunInstances penggantian

Anda dapat memperbarui JSON konfigurasi yang dihasilkan kapan saja tanpa menghentikan armada komputasi. Setelah perubahan diterapkan, semua instance baru diluncurkan dengan konfigurasi yang diperbarui. Jika Anda perlu menerapkan konfigurasi yang diperbarui ke node yang sedang berjalan, daur ulang node dengan memaksa penghentian instance dan tunggu AWS ParallelCluster untuk mengganti node tersebut. Anda dapat melakukannya dengan menghentikan instance dari EC2 konsol Amazon atau AWS CLI, atau dengan menyetel Slurm node dalam DRAIN keadaan DOWN atau.

Gunakan perintah berikut untuk mengatur Slurm simpul ke DOWN atauDRAIN.

$ scontrol update nodename=my-queue-dy-my-compute-resource-1 state=down reason=your_reason scontrol update nodename=my-queue-dy-my-compute-resource-1 state=drain reason=your_reason