View a markdown version of this page

Konfigurasikan Plugin Filter Slurm CLI pada AWS Cluster PCS - AWS PCS
PrasyaratAktifkan Plugin Filter CLI pada cluster baruTerapkan skrip Plugin Filter CLIMengaktifkan atau menonaktifkan Plugin Filter CLI pada cluster yang adaHasil yang diharapkanPemecahan masalah

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan Plugin Filter Slurm CLI pada AWS Cluster PCS

Konfigurasikan Plugin Filter CLI saat Anda membuat cluster AWS PCS baru. Anda dapat mengaktifkan atau menonaktifkan Plugin Filter CLI pada cluster yang ada menggunakan Update API atau konsol tanpa membuat ulang cluster.

Prasyarat

Sebelum Anda mengkonfigurasi Plugin Filter CLI, selesaikan tugas-tugas berikut:

  • Pastikan Anda menggunakan Slurm versi 24.11 atau yang lebih baru. Untuk 24.11 dan 25.05, lihat. Persyaratan

  • Tulis dan uji skrip Lua yang mengimplementasikan API Plugin Filter CLI

  • Pilih metode untuk menerapkan skrip Anda ke semua instans cluster (AMI, S3, atau sistem file)

Aktifkan Plugin Filter CLI pada cluster baru

AWS PCS console

  1. Buka konsol AWS PCS di https://console.aws.amazon.com/pcs/.

  2. Di panel navigasi, pilih Kluster.

  3. Pilih Buat kluster.

  4. Di bawah Pengaturan Penjadwal, perluas Peng aturan penjadwal tambahan.

  5. Tambahkan pengaturan kustom Slurm baru dengan nama parameter disetel ke CliFilterPlugins dan nilai parameter disetel ke. cli_filter/lua

  6. Lengkapi konfigurasi cluster yang tersisa dan pilih Buat cluster.

AWS PCS API

Berikan slurmCustomSettings konfigurasi dalam panggilan Anda ke tindakan CreateCluster API. Atur parameterName ke CliFilterPlugins dan parameterValue kecli_filter/lua. Untuk informasi selengkapnya, lihat CreateCluster Refer AWS ensi API PCS.

Contoh berikut menggunakan AWS CLI untuk memanggil tindakan CreateCluster API. Pengaturan khusus mengaktifkan CliFilterPlugins=cli_filter/lua Plugin Filter CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=25.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Terapkan skrip Plugin Filter CLI

Untuk menerapkan skrip Plugin Filter CLI ke cluster Anda

  1. Pastikan semua AMI yang digunakan dalam grup simpul komputasi telah menginstal Slurm melalui penginstal AWS PCS Slurm.

    catatan

    Jika Anda menggunakan AMI Sam AWS pel PCS untuk semua grup simpul komputasi, lewati langkah ini. Slurm sudah diinstal.

  2. Terapkan skrip Lua Anda ke /etc/aws/pcs/scheduler/slurm-version/cli_filter.lua semua instance di cluster.

    Misalnya, untuk Slurm versi 25.11:

    /etc/aws/pcs/scheduler/slurm-25.11/cli_filter.lua
    catatan

    Dimulai dengan Slurm versi 25.11, Anda dapat menyesuaikan jalur melalui pengaturan kustom CliFilterParameters S cli_filter_lua_path lurm. Parameter ini menjadi default ke /etc/aws/pcs/scheduler/slurm/cli_filter.lua. Agen AWS PCS menautkan jalur ini ke lokasi berversi mulai dari v1.4.1-1.

  3. Luncurkan semua login dan node komputasi menggunakan AMI yang sudah disiapkan.

  4. Uji pengiriman pekerjaan untuk memverifikasi Plugin Filter CLI dijalankan dengan benar.

Mengaktifkan atau menonaktifkan Plugin Filter CLI pada cluster yang ada

Anda dapat mengaktifkan atau menonaktifkan Plugin Filter CLI pada cluster yang ada tanpa membangun kembali infrastruktur Anda. Untuk informasi selengkapnya, lihat Memperbarui cluster di AWS PCS.

AWS PCS console

  1. Buka konsol AWS PCS di https://console.aws.amazon.com/pcs/.

  2. Pada panel navigasi, silakan pilih Klaster.

  3. Pilih cluster yang akan diperbarui.

  4. Pilih Edit tindakan.

  5. Pada halaman Edit cluster, di bawah Peng aturan penjadwal tambahan:

    • Untuk mengaktifkan Plugin Filter CLI: Tambahkan pengaturan kustom Slurm baru dengan nama parameter disetel ke CliFilterPlugins dan nilai parameter disetel ke. cli_filter/lua

    • Untuk menonaktifkan Plugin Filter CLI: Hapus CliFilterPlugins pengaturan yang ada.

  6. Pilih Perbarui cluster untuk mengirimkan perubahan.

  7. Pantau status cluster, yang ditampilkan sebagai “Memperbarui” selama proses dan “Aktif” ketika pembaruan selesai.

AWS PCS API

Gunakan tindakan UpdateCluster API untuk mengaktifkan atau menonaktifkan Plugin Filter CLI. Untuk informasi selengkapnya, lihat UpdateCluster Refer AWS ensi API PCS.

Untuk mengaktifkan Plugin Filter CLI pada cluster yang ada:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Untuk menonaktifkan Plugin Filter CLI pada cluster yang ada:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Hasil yang diharapkan

Setelah Anda menyelesaikan konfigurasi:

  • Cluster Anda dibuat dengan Plugin Filter CLI diaktifkan

  • Pengiriman pekerjaan memicu logika validasi kustom Anda sebelum mencapai pengontrol Slurm

  • Non-compliant pekerjaan ditolak dengan pesan kesalahan kustom Anda

  • Pekerjaan yang sesuai berjalan secara normal melalui penjadwal Slurm

Pemecahan masalah

Skrip Plugin Filter CLI hilang pada node mana pun

Gejala: Pengiriman pekerjaan segera gagal dengan kesalahan pemuatan plugin.

Kemungkinan penyebab: Skrip tidak diterapkan ke semua instance atau jalur atau nama file yang salah.

Resolusi: Verifikasi skrip ada di jalur yang benar pada semua node login dan komputasi dengan nama file yang tepat. cli_filter.lua

Konfigurasi Plugin Filter CLI tidak valid

Gejala: Pem buatan cluster gagal dengan kesalahan validasi.

Kemungkinan penyebab: CliFilterPlugins parameter tidak disetel ke cli_filter/lua format.

Resolusi: Gunakan nilai parameter yang tepat cli_filter/lua dislurmCustomSettings.