Praktik terbaik - AWS ParallelCluster
Praktik terbaik: pemilihan tipe instans masterPraktik terbaik: kinerja jaringanPraktik terbaik: peringatan anggaranPraktik terbaik: memindahkan cluster ke yang baru AWS ParallelCluster versi minor atau patch

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Praktik terbaik

Praktik terbaik: pemilihan tipe instans master

Meskipun master node tidak menjalankan pekerjaan apa pun, fungsi dan ukurannya sangat penting untuk kinerja cluster secara keseluruhan.

Saat memilih jenis instance yang akan digunakan untuk node master Anda, Anda ingin mengevaluasi item berikut:

  • Ukuran cluster: node master mengatur logika penskalaan cluster dan bertanggung jawab untuk melampirkan node baru ke scheduler. Jika Anda perlu meningkatkan dan menurunkan cluster dari sejumlah besar node maka Anda ingin memberikan node master beberapa kapasitas komputasi tambahan.

  • Sistem file bersama: saat menggunakan sistem file bersama untuk berbagi artefak antara node komputasi dan node master memperhitungkan bahwa master adalah node yang mengekspos server. NFS Untuk alasan ini, Anda ingin memilih jenis instans dengan bandwidth jaringan yang cukup dan EBS bandwidth Amazon khusus yang cukup untuk menangani alur kerja Anda.

Praktik terbaik: kinerja jaringan

Ada tiga petunjuk yang mencakup seluruh jajaran kemungkinan untuk meningkatkan komunikasi jaringan.

  • Grup penempatan: grup penempatan cluster adalah pengelompokan logis instance dalam satu Availability Zone. Untuk informasi selengkapnya tentang grup penempatan, lihat grup penempatan di Panduan EC2 Pengguna Amazon. Anda dapat mengonfigurasi klaster untuk menggunakan grup penempatan Anda sendiri dengan placement_group = your-placement-group-name atau membiarkan AWS ParallelCluster buat grup penempatan dengan "compute" strategi denganplacement_group = DYNAMIC. Untuk informasi selengkapnya, lihat placement_group untuk beberapa mode antrian dan placement_group untuk mode antrian tunggal.

  • Jaringan yang disempurnakan: pertimbangkan untuk memilih jenis instance yang mendukung Enhanced Networking. Untuk informasi selengkapnya, lihat jaringan yang disempurnakan di Linux di Panduan EC2 Pengguna Amazon.

  • Adaptor Kain Elastis: Untuk mendukung komunikasi antar instans tingkat tinggi yang dapat diskalakan, pertimbangkan untuk memilih antarmuka EFA jaringan untuk jaringan Anda. Perangkat keras bypass sistem operasi (OS) yang dibuat khusus meningkatkan komunikasi antar-instance dengan elastisitas dan fleksibilitas sesuai permintaan EFA AWS awan. Untuk mengkonfigurasi satu Slurm antrian cluster untuk digunakanEFA, aturenable_efa = true. Untuk informasi lebih lanjut tentang menggunakan EFA dengan AWS ParallelCluster, lihat Elastic Fabric Adapter dan enable_efa. Untuk informasi selengkapnyaEFA, lihat Adaptor Kain Elastis di Panduan EC2 Pengguna Amazon untuk Instans Linux.

  • Bandwidth instans: skala bandwidth dengan ukuran instans, pertimbangkan untuk memilih jenis instans yang lebih sesuai dengan kebutuhan Anda, lihat instans yang EBS dioptimalkan Amazon dan jenis EBS volume Amazon di EC2Panduan Pengguna Amazon.

Praktik terbaik: peringatan anggaran

Untuk mengelola AWS ParallelCluster biaya sumber daya, kami sarankan Anda menggunakan AWS Budgets tindakan untuk membuat anggaran dan peringatan ambang anggaran yang ditentukan untuk dipilih AWS sumber daya. Untuk informasi selengkapnya, lihat Mengonfigurasi tindakan anggaran di AWS Budgets Panduan Pengguna. Anda juga dapat menggunakan Amazon CloudWatch untuk membuat alarm penagihan. Untuk informasi selengkapnya, lihat Membuat alarm penagihan untuk memantau perkiraan AWS biaya.

Praktik terbaik: memindahkan cluster ke yang baru AWS ParallelCluster versi minor atau patch

Saat ini masing-masing AWS ParallelCluster versi minor mandiri bersama dengan nya pclusterCLI. Untuk memindahkan cluster ke versi minor atau patch baru, Anda harus membuat ulang cluster menggunakan versi baru. CLI

Untuk mengoptimalkan proses pemindahan klaster ke versi minor baru atau menyimpan data penyimpanan bersama Anda karena alasan lain, kami sarankan Anda menggunakan praktik terbaik berikut.

  • Simpan data pribadi dalam volume eksternal, seperti Amazon EFS dan FSx untuk Lustre. Dengan melakukan ini, Anda dapat dengan mudah memindahkan data dari satu cluster ke cluster lainnya.

  • Buat sistem penyimpanan bersama dari jenis yang tercantum di bawah ini menggunakan AWS CLI atau AWS Management Console:

    Tambahkan mereka ke konfigurasi cluster baru sebagai sistem file yang ada. Dengan cara ini, mereka dipertahankan ketika Anda menghapus cluster dan dapat dilampirkan ke cluster baru. Sistem penyimpanan bersama umumnya dikenakan biaya apakah terpasang atau terlepas dari cluster.

    Kami menyarankan Anda menggunakan AmazonEFS, atau Amazon FSx untuk sistem file Lustre karena mereka dapat dilampirkan ke beberapa cluster pada saat yang sama dan Anda dapat melampirkannya ke cluster baru sebelum menghapus cluster lama. Untuk informasi selengkapnya, lihat Memasang sistem EFS file Amazon di Panduan EFS Pengguna Amazon dan Mengakses FSx sistem file Lustre di Panduan Pengguna Amazon FSx for Lustre Lustre.

  • Gunakan tindakan bootstrap kustom untuk menyesuaikan instance Anda daripada kustomAMI. Ini mengoptimalkan proses pembuatan karena kustom baru AMI tidak perlu dibuat untuk setiap versi baru.

  • Urutan yang direkomendasikan.

    1. Perbarui konfigurasi cluster untuk menggunakan definisi sistem file yang ada.

    2. Verifikasi pcluster versi dan perbarui jika diperlukan.

    3. Buat dan uji cluster baru.

      • Pastikan data Anda tersedia di cluster baru.

      • Pastikan aplikasi Anda bekerja di cluster baru.

    4. Jika klaster baru Anda sepenuhnya diuji dan operasional dan Anda yakin tidak akan menggunakan cluster lama, hapus.