Membuat cluster di Layanan Komputasi AWS Paralel - AWS PCS
PrasyaratBuat klaster AWS PCS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat cluster di Layanan Komputasi AWS Paralel

Topik ini memberikan ikhtisar opsi yang tersedia dan menjelaskan apa yang harus dipertimbangkan saat Anda membuat klaster di AWS Parallel Computing Service (AWS PCS). Jika ini adalah pertama kalinya Anda membuat AWS PCS cluster, kami sarankan Anda mengikutiMemulai Layanan Komputasi AWS Paralel. Tutorial ini dapat membantu Anda membuat HPC sistem kerja tanpa memperluas ke semua opsi yang tersedia dan arsitektur sistem yang mungkin.

Prasyarat

Buat klaster AWS PCS

Anda dapat menggunakan AWS Management Console atau AWS CLI untuk membuat cluster.

AWS Management Console
Untuk membuat klaster DB

  1. Buka AWS PCS konsol di https://console.aws.amazon.com/pcs/rumah #/cluster dan pilih Buat cluster.

  2. Di bagian Pengaturan cluster, masukkan bidang berikut:

    • Nama cluster — Nama untuk cluster Anda. Nama hanya dapat berisi karakter alfanumerik (peka huruf besar/kecil) dan tanda hubung. Itu harus dimulai dengan karakter alfabet dan tidak boleh lebih dari 40 karakter. Nama harus unik di dalam Wilayah AWS dan Akun AWS tempat Anda membuat cluster.

    • Scheduler — Pilih penjadwal dan versi. AWS PCSsaat ini mendukung Slurm 24.05 dan 23.11. Untuk informasi selengkapnya, lihat Versi slurm di AWS PCS.

    • Ukuran pengontrol - Pilih ukuran untuk pengontrol Anda. Ini menentukan berapa banyak pekerjaan bersamaan dan node komputasi yang dapat dikelola oleh cluster. AWS PCS Anda hanya dapat mengatur ukuran pengontrol saat cluster dibuat. Untuk informasi lebih lanjut tentang ukuran, lihatUkuran cluster di AWS PCS.

  3. Di bagian Jaringan, pilih nilai untuk bidang berikut:

    • VPC— Pilih yang sudah ada VPC yang memenuhi AWS PCS persyaratan. Untuk informasi selengkapnya, lihat AWS PCSVPCdan persyaratan dan pertimbangan subnet. Setelah Anda membuat cluster, Anda tidak dapat mengubahnyaVPC. Jika tidak VPCs terdaftar, Anda harus membuatnya terlebih dahulu.

    • Subnet - Semua subnet yang tersedia dalam yang dipilih VPC terdaftar. Pilih dua di Availability Zone yang berbeda. Setiap subnet harus memenuhi persyaratan AWS PCS subnet. Untuk informasi selengkapnya, lihat AWS PCSVPCdan persyaratan dan pertimbangan subnet. Kami menyarankan Anda memilih subnet pribadi untuk menghindari mengekspos endpoint scheduler Anda ke internet publik.

    • Grup keamanan — Tentukan grup keamanan yang AWS PCS ingin Anda kaitkan dengan antarmuka jaringan yang dibuatnya untuk klaster Anda. Anda harus memilih setidaknya satu grup keamanan yang memungkinkan komunikasi antara cluster Anda dan node komputasinya. Untuk informasi selengkapnya, lihat Persyaratan dan pertimbangan kelompok keamanan.

  4. (Opsional) Di bawah Enkripsi, Anda dapat menentukan kunci khusus untuk mengenkripsi data pengontrol Anda dengan mengatur bidang ini:

    • KMSID kunci — Tinggalkan aws/pcs untuk menggunakan KMS kunci yang PCS membuat. Pilih alias KMS kunci yang ada untuk menggunakan KMS kunci kustom. Perhatikan bahwa akun yang digunakan untuk membuat cluster harus memiliki kms:Decrypt hak istimewa pada KMS kunci kustom.

  5. (Opsional) Di bagian konfigurasi Slurm, Anda dapat menentukan opsi konfigurasi Slurm yang mengganti default yang ditetapkan oleh: AWS PCS

    • Turunkan waktu idle — Ini mengontrol berapa lama node komputasi yang disediakan secara dinamis tetap aktif setelah pekerjaan yang ditempatkan pada mereka selesai atau dihentikan. Menyetel ini ke nilai yang lebih panjang dapat membuatnya lebih mungkin bahwa pekerjaan berikutnya dapat berjalan di node, tetapi dapat menyebabkan peningkatan biaya. Nilai yang lebih pendek akan mengurangi biaya, tetapi dapat meningkatkan proporsi waktu yang dihabiskan HPC sistem Anda untuk menyediakan node dibandingkan dengan menjalankan pekerjaan pada mereka.

    • Prolog — Ini adalah jalur yang sepenuhnya memenuhi syarat ke direktori skrip prolog pada instance grup node komputasi Anda. Ini sesuai dengan pengaturan Prolog di Slurm. Perhatikan bahwa ini harus berupa direktori, bukan jalur ke executable tertentu.

    • Epilog — Ini adalah jalur yang sepenuhnya memenuhi syarat ke direktori skrip epilog pada instance grup node komputasi Anda. Ini sesuai dengan pengaturan Epilog di Slurm. Perhatikan bahwa ini harus berupa direktori, bukan jalur ke executable tertentu.

    • Pilih parameter tipe — Ini membantu mengontrol algoritma pemilihan sumber daya yang digunakan oleh Slurm. Menyetel nilai ini CR_CPU_Memory akan mengaktifkan penjadwalan sadar memori, sementara menyetelnya ke CR_CPU akan mengaktifkan CPU penjadwalan -only. Parameter ini sesuai dengan SelectTypeParameterspengaturan di Slurm di mana SelectType diatur ke select/cons_tres oleh. AWS PCS

  6. (Opsional) Di bawah Tag, tambahkan tag apa pun ke AWS PCS cluster Anda.

  7. Pilih Buat klaster. Bidang Status ditampilkan Creating saat AWS PCS membuat cluster. Proses ini dapat memakan waktu beberapa menit.

penting

Hanya ada 1 cluster dalam satu Creating keadaan per Wilayah AWS per Akun AWS. AWS PCSmengembalikan kesalahan jika sudah ada cluster dalam Creating keadaan ketika Anda mencoba membuat cluster.

AWS CLI
Untuk membuat klaster DB

  1. Buat cluster Anda dengan perintah berikut. Sebelum menjalankan perintah, buat penggantian berikut:

    • Ganti region dengan ID tempat Wilayah AWS Anda ingin membuat cluster Anda, sepertius-east-1.

    • Ganti my-cluster dengan nama untuk cluster Anda. Nama hanya dapat berisi karakter alfanumerik (peka huruf besar/kecil) dan tanda hubung. Itu harus dimulai dengan karakter alfabet dan tidak boleh lebih dari 40 karakter. Nama harus unik di dalam Wilayah AWS dan Akun AWS di mana Anda membuat cluster.

    • Ganti 24.05 dengan versi Slurm yang didukung.

      catatan

      AWS PCSsaat ini mendukung Slurm 24.05 dan 23.11.

    • Ganti SMALL dengan ukuran cluster yang didukung. Ini menentukan berapa banyak pekerjaan bersamaan dan node komputasi yang dapat dikelola oleh cluster. AWS PCS Itu hanya dapat diatur ketika cluster dibuat. Untuk informasi lebih lanjut tentang ukuran, lihatUkuran cluster di AWS PCS.

    • Ganti nilainya subnetIds dengan milik Anda sendiri. Kami menyarankan Anda memilih subnet pribadi untuk menghindari mengekspos endpoint scheduler Anda ke internet publik.

    • Tentukan securityGroupIds yang AWS PCS ingin Anda kaitkan dengan antarmuka jaringan yang dibuatnya untuk cluster Anda. Kelompok keamanan harus VPC sama dengan cluster. Anda harus memilih setidaknya satu grup keamanan yang memungkinkan komunikasi antara cluster Anda dan node komputasinya. Untuk informasi selengkapnya, lihat Persyaratan dan pertimbangan kelompok keamanan.

    • Secara opsional, Anda dapat menyempurnakan perilaku Slurm dengan menambahkan opsi. --slurm-configration Misalnya, Anda dapat mengatur waktu idle scale-down menjadi 60 menit (3600 detik) dengan. --slurm configuration scaleDownIdeTime=3600

    • Secara opsional, Anda dapat memberikan KMS kunci khusus untuk mengenkripsi data pengontrol Anda menggunakan. --kms-key-id kms-key Ganti kms-key dengan ID kunci KMSARN, atau alias yang sudah ada. Perhatikan bahwa akun yang digunakan untuk membuat cluster harus memiliki kms:Decrypt hak istimewa pada KMS kunci kustom.

    aws pcs create-cluster --region region \
    --cluster-name my-cluster \
    --scheduler type=SLURM,version=24.05 \
    --size SMALL \
    --networking subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1

  2. Diperlukan beberapa menit untuk menyediakan cluster. Anda dapat melakukan kueri status klaster Anda dengan perintah berikut. Jangan melanjutkan untuk membuat antrian atau menghitung grup node sampai bidang status klaster berada. ACTIVE

    aws pcs get-cluster --region region --cluster-identifier my-cluster
penting

Hanya ada 1 cluster dalam satu Creating keadaan per Wilayah AWS per Akun AWS. AWS PCSmengembalikan kesalahan jika sudah ada cluster dalam Creating keadaan ketika Anda mencoba membuat cluster.
Langkah selanjutnya yang disarankan untuk klaster Anda

  • Tambahkan grup node komputasi.

  • Tambahkan antrian.

  • Aktifkan logging.