Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Luncurkan instans dengan Reservasi Kapasitas Sesuai Permintaan () ODCR
Dengan Reservasi Kapasitas Sesuai Permintaan (ODCR), Anda dapat memesan kapasitas untuk EC2 instans Amazon klaster Anda di Availability Zone tertentu. Dengan cara ini, Anda dapat membuat dan mengelola Reservasi Kapasitas secara independen dari akun penagihan yang ditawarkan Savings Plans
Anda dapat mengkonfigurasi open
atau targeted
ODCR. Buka ODCR tutup setiap instance yang cocok dengan ODCR atribut. Atribut ini adalah tipe instance, platform, dan Availability Zone. Anda harus secara eksplisit mendefinisikan Targeted ODCR dalam konfigurasi cluster. Untuk menentukan apakah ODCR is open
atautargeted
, jalankan EC2 describe-capacity-reservation
perintah AWS CLI
Amazon.
Anda juga dapat membuat ODCR grup penempatan klaster yang disebut grup penempatan klaster reservasi kapasitas sesuai permintaan (CPGODCR).
Beberapa ODCRs dapat dikelompokkan dalam grup sumber daya. Ini dapat didefinisikan dalam file konfigurasi cluster. Untuk informasi selengkapnya tentang grup sumber daya, lihat Apa itu grup sumber daya? dalam Panduan Pengguna Resource Groups dan Tags.
Menggunakan ODCR dengan AWS ParallelCluster
AWS ParallelCluster mendukung terbukaODCR. Saat menggunakan openODCR, Anda tidak perlu menentukan apa pun AWS ParallelCluster. Instance dipilih secara otomatis untuk cluster. Anda dapat menentukan grup penempatan yang ada atau AWS ParallelCluster membuat yang baru untuk Anda.
ODCRdalam konfigurasi cluster
Dimulai dengan AWS ParallelCluster versi 3.3.0, Anda dapat menentukan ODCRs dalam file konfigurasi cluster, tanpa perlu menentukan penggantian instans EC2 run-Amazon.
Anda mulai dengan membuat reservasi kapasitas dan grup sumber daya menggunakan metode yang dijelaskan dalam dokumentasi tertaut untuk masing-masing. Anda harus menggunakan AWS CLI metode untuk membuat grup reservasi kapasitas. Jika Anda menggunakan AWS Management Console, Anda hanya dapat membuat grup sumber daya berbasis Tag atau Stack. Grup sumber daya berbasis tag dan berbasis Stack tidak didukung oleh AWS ParallelCluster atau AWS CLI saat meluncurkan instance dengan reservasi kapasitas.
Setelah reservasi kapasitas dan grup sumber daya dibuat, tentukan dalam SlurmQueues/CapacityReservationTargetatau/SlurmQueuesComputeResources/CapacityReservationTargetseperti yang ditunjukkan pada contoh konfigurasi cluster berikut. Ganti values
lampu merah tinggi dengan nilai valid Anda.
Image: Os:
os
HeadNode: InstanceType:head_node_instance
Networking: SubnetId:public_subnet_id
Ssh: KeyName:key_name
Scheduling: Scheduler:scheduler
SlurmQueues: - Name: queue1 Networking: SubnetIds: -private_subnet_id
ComputeResources: - Name: cr1 Instances: - InstanceType:instance
MaxCount:max_queue_size
MinCount:max_queue_size
Efa: Enabled: true CapacityReservationTarget: CapacityReservationResourceGroupArn:capacity_reservation_arn
Awas
-
Dimulai dengan AWS ParallelCluster versi 3.3.0, kami tidak merekomendasikan metode ini. Bagian ini tetap sebagai referensi untuk implementasi menggunakan versi sebelumnya.
-
Metode ini tidak kompatibel dengan alokasi tipe instance Multiple dengan Slurm.
Support untuk targeted
ODCRs ditambahkan di AWS ParallelCluster 3.1.1. Dalam rilis ini, mekanisme diperkenalkan yang mengganti EC2 RunInstances
parameter dan meneruskan informasi tentang reservasi yang akan digunakan untuk setiap sumber daya komputasi yang dikonfigurasi. AWS ParallelCluster Mekanisme ini kompatibel dengan targeted
ODCR. Namun, saat Anda menggunakan targeted
ODCR, Anda harus menentukan konfigurasi run-instances
override. Ditargetkan ODCRs harus didefinisikan secara eksplisit dalam perintah AWS CLI Amazon EC2 run-instances
. Untuk menentukan apakah ODCR adalah open
atau targeted
menjalankan EC2 perintah AWS CLI Amazon describe-capacity-reservation
.
Beberapa ODCRs dapat dikelompokkan dalam grup sumber daya. Ini dapat digunakan dalam run-instance override untuk menargetkan beberapa ODCRs pada saat yang bersamaan.
Jika Anda menggunakan targeted
ODCR, Anda dapat menentukan grup penempatan. Namun, Anda juga perlu menentukan konfigurasi run-instances
override.
Misalkan itu AWS dibuat targeted
ODCR untuk Anda atau Anda memiliki satu set Instans Cadangan tertentu. Kemudian, Anda tidak dapat menentukan grup penempatan. Aturan yang dikonfigurasi oleh AWS mungkin bertentangan dengan pengaturan grup penempatan. Jadi, jika grup penempatan diperlukan untuk aplikasi Anda, gunakan file CPGODCR. Dalam kedua kasus tersebut, Anda juga harus menentukan konfigurasi run-instances
override.
Jika Anda menggunakan CPGODCR, Anda harus menentukan konfigurasi run-instances
override dan Anda harus menentukan grup penempatan yang sama dalam konfigurasi cluster.
Menggunakan Instans Cadangan dengan AWS ParallelCluster
Instans cadangan berbeda dari Reservasi Kapasitas ()ODCR. Ada 2 jenis instance cadangan. Instans Cadangan Regional tidak menyimpan kapasitas. Instans Cadangan zona cadangan kapasitas di Availability Zone yang ditentukan.
Jika Anda memiliki Instans Cadangan Regional, tidak ada reservasi kapasitas dan Anda bisa mendapatkan Kesalahan Kapasitas Tidak Cukup. Jika Anda memiliki Instans Cadangan zona, Anda memiliki reservasi kapasitas, tetapi tidak ada run-instances
API parameter yang dapat Anda gunakan untuk menentukannya.
Instans cadangan didukung oleh AWS ParallelCluster versi apa pun. Anda tidak perlu menentukan apa pun AWS ParallelCluster dan instance dipilih secara otomatis.
Saat menggunakan Instans Cadangan zona, Anda dapat menghindari potensi Kesalahan Kapasitas Tidak Cukup dengan menghilangkan spesifikasi grup penempatan dalam konfigurasi cluster.
Awas
-
Dimulai dengan AWS ParallelCluster versi 3.3.0, kami tidak merekomendasikan metode ini. Bagian ini tetap sebagai referensi untuk implementasi menggunakan versi sebelumnya.
-
Metode ini tidak kompatibel dengan alokasi tipe instance Multiple dengan Slurm.
Anda dapat mengganti EC2 RunInstances
parameter Amazon untuk setiap sumber daya komputasi yang dikonfigurasi dalam antrean klaster. Untuk melakukannya, buat /opt/slurm/etc/pcluster/run_instances_overrides.json
file di node kepala cluster dengan konten potongan kode berikut:
-
${queue_name}
adalah nama antrian yang ingin Anda terapkan penggantian. -
${compute_resource_name}
adalah sumber daya komputasi yang ingin Anda terapkan penggantian. -
${overrides}
adalah JSON objek arbitrer yang berisi daftarRunInstances
penggantian yang akan digunakan untuk kombinasi spesifik antrian dan tipe instance. Sintaks overrides harus mengikuti spesifikasi yang sama yang didokumentasikan dalam panggilan boto3 run_instances.
{ "${queue_name}": { "${compute_resource_name}": { ${overrides} }, ... }, ... }
Misalnya, berikut ini JSON mengonfigurasi ODCR grup group_arn
yang akan digunakan untuk p4d.24xlarge
instance yang dikonfigurasi dalam my-queue
dan. my-compute-resource
{
"my-queue"
: {"my-compute-resource"
: { "CapacityReservationSpecification": { "CapacityReservationTarget": { "CapacityReservationResourceGroupArn":"group_arn"
} } } } }
Setelah JSON file ini dibuat, AWS ParallelCluster daemon yang bertanggung jawab untuk penskalaan klaster secara otomatis menggunakan konfigurasi override untuk peluncuran misalnya. Untuk mengonfirmasi bahwa parameter yang ditentukan sedang digunakan untuk penyediaan contoh, lihat file log berikut:
-
/var/log/parallelcluster/clustermgtd
(untuk kapasitas statis) -
/var/log/parallelcluster/slurm_resume.log
(untuk kapasitas dinamis)
Jika parameternya benar, Anda akan menemukan entri log yang berisi yang berikut ini:
Found RunInstances parameters override. Launching instances with: <parameters_list>
Awas
-
Dimulai dengan AWS ParallelCluster versi 3.3.0, kami tidak merekomendasikan metode ini. Bagian ini tetap sebagai referensi untuk implementasi menggunakan versi sebelumnya.
-
Metode ini tidak kompatibel denganBeberapa alokasi tipe instans dengan Slurm.
-
Buat grup sumber daya, untuk kapasitas grup.
$
aws resource-groups create-group --name
EC2CRGroup
\ --configuration '{"Type":"AWS::EC2::CapacityReservationPool"}' '{"Type":"AWS::ResourceGroups::Generic", "Parameters": [{"Name": "allowed-resource-types", "Values": ["AWS::EC2::CapacityReservation"]}]}'catatan
Grup sumber daya tidak mendukung sumber daya yang dibagikan oleh akun lain.
Jika target ODCR dibagikan oleh akun lain, Anda tidak perlu membuat grup sumber daya. Gunakan
CapacityReservationId
alih-alih grup sumber daya di langkah 3.#!/bin/bash set -e # Override run_instance attributes cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF { "my-queue": { "my-compute-resource": { "CapacityReservationSpecification": { "CapacityReservationTarget": { "CapacityReservationId": "cr-abcdef01234567890" } } } } } EOF
Tambahkan reservasi kapasitas ke grup sumber daya. Setiap kali Anda membuat yang baruODCR, tambahkan ke Reservasi Grup. Ganti
dengan ID akun Anda,ACCOUNT_ID
dengan ID reservasi kapasitas Anda, danPLACEHOLDER_CAPACITY_RESERVATION
dengan Wilayah AWS ID Anda (misalnya, us-east-1).REGION_ID
$
aws resource-groups group-resources --region
REGION_ID
--groupEC2CRGroup
\ --resource-arns arn:aws:ec2:REGION_ID
:ACCOUNT_ID
:capacity-reservation/PLACEHOLDER_CAPACITY_RESERVATION
Buat dokumen kebijakan di komputer lokal Anda. Ganti
dengan ID akun Anda danACCOUNT_ID
dengan Wilayah AWS ID Anda (misalnya, us-east-1).REGION_ID
cat > policy.json << EOF { "Version": "2012-10-17", "Statement": [ { "Sid": "RunInstancesInCapacityReservation", "Effect": "Allow", "Action": "ec2:RunInstances", "Resource": [ "arn:aws:ec2:
REGION_ID
:ACCOUNT_ID
:capacity-reservation/*", "arn:aws:resource-groups:REGION_ID
:ACCOUNT_ID
:group/*" ] } ] } EOF -
Buat IAM kebijakan tentang Anda Akun AWS menggunakan file json yang Anda buat.
$
aws iam create-policy --policy-name
RunInstancesCapacityReservation
--policy-document file://policy.json -
Buat skrip instalasi posting berikut secara lokal pada instance dan beri nama.
postinstall.sh
Ganti
dengan Akun AWS ID Anda, danACCOUNT_ID
dengan Wilayah AWS ID Anda (misalnya, us-east-1).REGION_ID
#!/bin/bash set -e # Override run_instance attributes cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF { "my-queue": { "my-compute-resource": { "CapacityReservationSpecification": { "CapacityReservationTarget": { "CapacityReservationResourceGroupArn": "arn:aws:resource-groups:
REGION_ID
:ACCOUNT_ID
:group/EC2CRGroup
" } } } } } EOFUnggah file ke bucket Amazon S3. Ganti
amzn-s3-demo-bucket
dengan nama bucket S3 spesifik Anda.$
aws s3 mb s3://
amzn-s3-demo-bucket
aws s3 cp postinstall.sh s3://amzn-s3-demo-bucket
/postinstall.sh -
Buat konfigurasi cluster lokal, ganti placeholder dengan nilai Anda sendiri.
Region:
REGION_ID
Image: Os: alinux2 HeadNode: InstanceType: c5.2xlarge Ssh: KeyName:YOUR_SSH_KEY
Iam: S3Access: - BucketName:amzn-s3-demo-bucket
AdditionalIamPolicies: - Policy: arn:aws:iam::ACCOUNT_ID
:policy/RunInstancesCapacityReservation ## This post-install script is executed after the node is configured. ## It is used to install scripts at boot time and specific configurations ## In the script below we are overriding the calls to RunInstance to force ## the provisioning of our my-queue partition to go through ## the On-Demand Capacity Reservation CustomActions: OnNodeConfigured: Script: s3://amzn-s3-demo-bucket
/postinstall.sh Networking: SubnetId:YOUR_PUBLIC_SUBNET_IN_TARGET_AZ
Scheduling: Scheduler: slurm SlurmQueues: - Name: my-queue ComputeResources: - MinCount: 0 MaxCount: 100 InstanceType: p4d.24xlarge Name:my-compute-resource
Efa: Enabled: true Networking: ## PlacementGroup: ## Enabled: true ## Keep PG disabled if using targeted ODCR SubnetIds: -YOUR_PRIVATE_SUBNET_IN_TARGET_AZ
-
Buat cluster.
Gunakan perintah berikut untuk membuat cluster. Ganti
dengan nama file konfigurasi Anda,cluster-config.yaml
dengan nama cluster Anda, dankluster-dl
REGION_ID
dengan ID Wilayah Anda (misalnya, us-east-1).$
pcluster create-cluster --cluster-configuration
cluster-config.yaml
--cluster-namecluster-dl
--regionREGION_ID
Setelah cluster dibuat, skrip pasca-instal berjalan di node kepala. Skrip membuat
run_instances_overrides.json
file dan mengganti panggilan untuk memaksa penyediaan partisiRunInstances
untuk melalui Reservasi Kapasitas Sesuai Permintaan.AWS ParallelCluster Daemon yang bertanggung jawab untuk penskalaan klaster secara otomatis menggunakan konfigurasi ini untuk instance baru yang diluncurkan. Untuk mengonfirmasi bahwa parameter yang ditentukan sedang digunakan untuk menyediakan instance, Anda dapat melihat file log berikut:
-
/var/log/parallelcluster/clustermgtd
(untuk kapasitas statis - MinCount> 0
) -
/var/log/parallelcluster/slurm_resume.log
(untuk kapasitas dinamis)
Jika parameternya benar, Anda akan menemukan entri log berisi yang berikut ini.
Found RunInstances parameters override. Launching instances with: <parameters_list>
-
Memperbarui RunInstances
penggantian
Anda dapat memperbarui JSON konfigurasi yang dihasilkan kapan saja tanpa menghentikan armada komputasi. Setelah perubahan diterapkan, semua instance baru diluncurkan dengan konfigurasi yang diperbarui. Jika Anda perlu menerapkan konfigurasi yang diperbarui ke node yang sedang berjalan, daur ulang node dengan memaksa penghentian instance dan tunggu AWS ParallelCluster untuk mengganti node tersebut. Anda dapat melakukannya dengan menghentikan instance dari EC2 konsol Amazon atau AWS CLI, atau dengan menyetel Slurm node dalam DRAIN
keadaan DOWN
atau.
Gunakan perintah berikut untuk mengatur Slurm simpul ke DOWN
atauDRAIN
.
$
scontrol update nodename=
my-queue-dy-my-compute-resource-1
state=down reason=your_reason
scontrol update nodename=my-queue-dy-my-compute-resource-1
state=drain reason=your_reason