View a markdown version of this page

Tips performa - FSx for Lustre
Intelligent-Tiering kiat kinerja

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tips performa

Saat menggunakan Amazon FSx for Lustre, ingatlah tips performa berikut ini. Untuk batas-batas layanan, lihat Kuota layanan untuk Amazon FSx untuk Lustre.

  • I/O Ukuran rata-rata - Karena Amazon FSx for Lustre adalah sistem file jaringan, setiap operasi file melewati perjalanan pulang pergi antara klien dan Amazon FSx for Lustre, menimbulkan overhead latensi kecil. Karena latensi per operasi ini, throughput keseluruhan umumnya meningkat seiring dengan meningkatnya I/O ukuran rata-rata, karena overhead diamortisasi pada jumlah data yang lebih besar.

  • Model permintaan — Dengan mengaktifkan penulisan asinkron ke sistem file Anda, operasi tulis yang tertunda menjadi buffer di instans Amazon EC2 sebelum ditulis di Amazon FSx for Lustre secara asinkron. Penulisan asinkron biasanya memiliki latensi yang lebih rendah. Saat melakukan penulisan asinkron, kernel menggunakan memori tambahan untuk melakukan cache. Sistem file yang telah mengaktifkan penulisan sinkron mengeluarkan permintaan sinkron ke Amazon FSx for Lustre. Setiap operasi melakukan perjalan pulang-pergi antara client dan Amazon FSx for Lustre.

    catatan

    Model permintaan pilihan Anda telah mengorbankan konsistensi (jika Anda menggunakan beberapa instans Amazon EC2) dan kecepatan.

  • Batasi ukuran direktori - Untuk mencapai kinerja metadata yang optimal pada sistem file Persistent 2 FSx for Lustre, batasi setiap direktori hingga kurang dari 100K file. Membatasi jumlah file dalam direktori mengurangi waktu yang diperlukan untuk sistem file untuk memperoleh kunci pada direktori induk.

  • Instans Amazon EC2 — Aplikasi-aplikasi yang melakukan sejumlah besar operasi baca dan tulis cenderung memerlukan lebih banyak memori atau kapasitas komputasi daripada aplikasi-aplikasi yang tidak melakukannya. Ketika meluncurkan instans-instans Amazon EC2 Anda untuk beban kerja komputasi intensif Anda, pilihlah jenis-jenis instans yang memiliki jumlah sumber daya yang dibutuhkan aplikasi Anda. Karakteristik performa sistem file Amazon FSx for Lustre tidak tergantung pada penggunaan Amazon EBS — instans-instans yang dioptimalkan.

  • Penyetelan instans klien yang direkomendasikan untuk kinerja optimal

    1. Untuk tipe instans klien dengan memori lebih dari 64 GiB, kami sarankan untuk menerapkan penyetelan berikut:

      sudo lctl set_param ldlm.namespaces.*.lru_max_age=600000
sudo lctl set_param ldlm.namespaces.*.lru_size=<100 * number_of_CPUs>

    2. Untuk tipe instans klien dengan lebih dari 64 core vCPU, kami sarankan untuk menerapkan penyetelan berikut:

      echo "options ptlrpc ptlrpcd_per_cpt_max=32" >> /etc/modprobe.d/modprobe.conf
echo "options ksocklnd credits=2560" >> /etc/modprobe.d/modprobe.conf
            
# reload all kernel modules to apply the above two settings
sudo reboot

      Setelah klien dipasang, penyetelan berikut perlu diterapkan:

      sudo lctl set_param osc.*OST*.max_rpcs_in_flight=32
sudo lctl set_param mdc.*.max_rpcs_in_flight=64
sudo lctl set_param mdc.*.max_mod_rpcs_in_flight=50

    3. Untuk mengoptimalkan kinerja daftar direktori (ls), penyetelan berikut perlu diterapkan:

      sudo lctl set_param llite.*.statahead_max=512
sudo lctl set_param llite.*.statahead_agl=1
if sudo lctl get_param llite.*.statahead_xattr > /dev/null 2>&1; then
    sudo lctl set_param llite.*.statahead_xattr=1
else
    echo "Warning: Xattr statahead is not supported on this Lustre client. Please upgrade to the latest Lustre 2.15 client to apply this tuning"
fi

    Perhatikan bahwa lctl set_param diketahui tidak bertahan selama reboot. Karena parameter ini tidak dapat diatur secara permanen dari sisi klien, disarankan untuk mengimplementasikan pekerjaan boot cron untuk mengatur konfigurasi dengan penyetelan yang disarankan.

  • Keseimbangan beban kerja di seluruh OST — Dalam beberapa kasus, beban kerja Anda tidak mendorong throughput agregat yang dapat disediakan oleh sistem file Anda (200 MBps per TiB penyimpanan). Jika demikian, Anda dapat menggunakan CloudWatch metrik untuk memecahkan masalah jika kinerja dipengaruhi oleh ketidakseimbangan dalam pola beban kerja Anda. I/O Untuk mengidentifikasi apakah ini penyebabnya, lihat CloudWatch metrik Maksimum untuk Amazon FSx for Lustre.

    Dalam beberapa kasus, statistik ini menunjukkan beban sebesar 240 MBps atau di atasnya throughput (kapasitas throughput dari satu disk Amazon FSx for Lustre 1,2-TiB). Dalam kasus tersebut, beban kerja Anda tidak tersebar secara merata di seluruh disk Anda. Jika demikian kasusnya, Anda dapat menggunakan perintah lfs setstripe untuk memodifikasi striping file yang paling sering diakses oleh beban kerja Anda. Untuk performa optimal, file-file stripe dengan persyaratan throughput yang tinggi di semua OST harus berisikan sistem file Anda.

    Jika file Anda diimpor dari repositori data, Anda dapat mengambil pendekatan lain untuk men-stripe file-file ber-throughput tinggi milik Anda secara merata di seluruh OST Anda. Untuk melakukannya, Anda dapat memodifikasi parameter ImportedFileChunkSize saat membuat sistem file Amazon FSx for Lustre berikutnya.

    Sebagai contoh, misalkan beban kerja Anda menggunakan sistem file 7,0-TIB (yang terdiri dari OSTs 6x 1,17-TIB) dan perlu men-drive throughput tinggi di seluruh file-file berjumlah 2,4-GiB. Dalam hal ini, Anda dapat mengatur nilai ImportedFileChunkSize ke (2.4 GiB / 6 OSTs) = 400 MiB sehingga file-file Anda tersebar secara merata di seluruh OST sistem file Anda.

  • Lustreklien untuk Metadata IOPS - Jika sistem file Anda memiliki konfigurasi metadata yang ditentukan, kami sarankan Anda menginstal klien Lustre 2.15 atau klien Lustre 2.12 dengan salah satu versi OS ini: Amazon Linux 2023; Amazon Linux 2; Red Hat/Rocky Linux 8.9, 8.10, atau 9.x; CentOS 8.9 atau 8.10; Ubuntu 22+ dengan 6.2, 6.5, atau 6.8 kernel; atau Ubuntu 20.

Intelligent-Tiering pertimbangan kinerja

Berikut adalah beberapa pertimbangan kinerja penting saat bekerja dengan sistem file menggunakan kelas Intelligent-Tiering penyimpanan:

  • Beban kerja membaca data dengan I/O ukuran yang lebih kecil akan membutuhkan konkurensi yang lebih tinggi dan menimbulkan lebih banyak biaya permintaan untuk mencapai throughput yang sama dengan beban kerja menggunakan I/O ukuran besar karena latensi yang lebih tinggi dari tingkatan penyimpanan. Intelligent-Tiering Sebaiknya konfigurasi cache baca SSD Anda cukup besar untuk mendukung konkurensi dan throughput yang lebih tinggi saat bekerja dengan ukuran IO yang lebih kecil.

  • IOPS disk maksimum yang dapat dikendarai klien Anda dengan sistem Intelligent-Tiering file tergantung pada pola akses spesifik dari beban kerja Anda dan apakah Anda telah menyediakan cache baca SSD. Untuk beban kerja dengan akses acak, klien biasanya dapat mendorong IOPS jauh lebih tinggi jika data di-cache di cache baca SSD daripada jika data tidak ada dalam cache.

  • Intelligent-Tiering kelas penyimpanan mendukung pembacaan untuk mengoptimalkan kinerja permintaan baca berurutan. Kami menyarankan untuk mengonfigurasi pola akses data Anda secara berurutan bila memungkinkan pengambilan data sebelumnya dan kinerja yang lebih tinggi.