View a markdown version of this page

Job-level penskalaan - AWS PCS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Job-level penskalaan

AWS PCS menggunakan penskalaan tingkat pekerjaan untuk mengelola kapasitas dinamis cluster Anda (instance antara jumlah minimum dan maksimum yang Anda tetapkan pada grup simpul komputasi). Secara berkala, AWS PCS meninjau pekerjaan yang menunggu, meluncurkan instans Amazon EC2 untuk memenuhinya, dan menskalakan kapasitas dinamis kembali saat pekerjaan selesai dan instans menjadi idle. Anda tidak mengelola proses ini. AWS PCS mengevaluasi beban kerja Anda dan menyesuaikan kapasitas untuk Anda.

Kapasitas statis (minimum yang selalu Anda aktifkan) tidak terpengaruh oleh penskalaan tingkat pekerjaan. Untuk informasi selengkapnya, lihat Membuat grup simpul komputasi di AWS PCS.

Bagaimana penjadwalan dan penskalaan bekerja bersama

Saat Anda mengirimkan pekerjaan, Slurm memilih dan mengalokasikan node cluster yang memenuhi persyaratan pekerjaan. Untuk node yang dialokasikan yang didukung oleh kapasitas dinamis, AWS PCS meluncurkan instans Amazon EC2 yang diperlukan untuk mendukung node tersebut dan menetapkan setiap instans ke nodenya. Anda tidak mengelola instans Amazon EC2 ini secara langsung. AWS PCS menangani peluncuran dan pelepasan kapasitas dinamis atas nama Anda.

Bagaimana AWS PCS menyediakan kapasitas untuk pekerjaan

Pekerjaan berjalan hanya setelah semua node yang diperlukan tersedia. Itu tidak dimulai pada alokasi parSIAL. Bagaimana AWS PCS menyediakan kapasitas tergantung pada persyaratan pekerjaan dan konfigurasi grup simpul komputasi Anda. Misalnya, tergantung pada berapa banyak node yang dibutuhkan pekerjaan, apakah itu mencakup beberapa grup simpul komputasi, apakah meminta kapasitas lebih dari yang dapat disediakan oleh satu permintaan Amazon EC2, dan apakah grup simpul target didukung oleh reservasi kapasitas.

AWS PCS mengevaluasi setiap pekerjaan dan memilih pendekatan yang tepat. Dalam praktiknya, ini mengambil salah satu dari dua bentuk:

  • Sekaligus. AWS PCS menyediakan semua node yang dibutuhkan pekerjaan bersama-sama, atau tidak ada. Pekerjaan dimulai hanya setelah kapasitas penuhnya tersedia.

  • Secara bertahap. Untuk beberapa pekerjaan, seperti yang membutuhkan kapasitas lebih dari yang dapat disediakan oleh satu permintaan Amazon EC2, AWS PCS menyediakan kapasitas saat tersedia, memegang apa yang telah diperoleh saat bekerja menuju set lengkap.

Ketika grup simpul komputasi menggunakan opsi On-Demand pembelian dan mencantumkan lebih dari satu subnet, AWS PCS meluncurkan instance dalam urutan subnet yang Anda tentukan dalam permintaan atau. CreateComputeNodeGroup UpdateComputeNodeGroup Jika subnet tidak dapat menyediakan kapasitas yang diminta, AWS PCS mencoba subnet berikutnya dalam daftar, melanjutkan hingga menemukan kapasitas yang tersedia.

Ketika kapasitas penuh pekerjaan tidak tersedia, itu tidak dimulai. AWS PCS mungkin tidak meluncurkan instance apa pun untuk pekerjaan tersebut, atau mungkin merilis instance yang telah diluncurkan. Pekerjaan tetap tertunda, dan AWS PCS mengevaluasi kembali pada interval selanjutnya sampai kapasitasnya dapat disediakan.

contoh Pekerjaan besar dengan penyediaan kapasitas tambahan

Misalkan Anda mengirimkan pekerjaan yang membutuhkan sejumlah besar node, lebih dari yang dapat disediakan sekaligus. AWS PCS meluncurkan instance untuk sebagian node pekerjaan, menetapkannya, dan mempertahankan kapasitas itu sementara terus memperoleh node yang tersisa pada interval selanjutnya. Pekerjaan dimulai setelah semua node yang diperlukan tersedia. Jika Anda perlu memastikan kapasitas penuh tersedia saat pekerjaan dimulai, dukung grup simpul komputasi dengan reservasi kapasitas, seperti yang dijelaskan di bagian selanjutnya.

Menjamin kapasitas untuk pekerjaan besar atau sensitif waktu

Jika pekerjaan membutuhkan kapasitas yang besar, atau harus dimulai pada waktu tertentu, kapasitas sesuai permintaan mungkin tidak tersedia saat Anda mengirimkannya. Untuk memesan kapasitas terlebih dahulu agar tersedia saat pekerjaan Anda berjalan, Anda dapat menggunakan Reservasi On-Demand Kapasitas (ODCR) atau Blok Kapasitas Amazon EC2 untuk ML.

Konfigurasikan grup simpul komputasi Anda untuk menggunakan reservasi, lalu kirimkan pekerjaan ke antrian yang terkait dengan grup node tersebut. Kapasitas cadangan ditagih sesuai dengan ODCR atau Blok Kapasitas Anda, terlepas dari apakah pekerjaan berjalan terhadapnya atau tidak. Untuk informasi selengkapnya, lihat Menggunakan ODCR dengan AWS PCS dan Menggunakan Blok Kapasitas Amazon EC2 untuk ML dengan PCS. AWS