View a markdown version of this page

Bekerja dengan sistem EFA-enabled file - FSx untuk Lustre

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bekerja dengan sistem EFA-enabled file

Jika Anda membuat sistem file dengan kapasitas throughput lebih dari 10 GBps, sebaiknya aktifkan Elastic Fabric Adapter (EFA) untuk mengoptimalkan throughput per instans klien. EFA adalah antarmuka jaringan berkinerja tinggi yang menggunakan teknik bypass sistem operasi yang dibuat khusus dan protokol jaringan AWS Scalable Reliable Datagram (SRD) untuk meningkatkan kinerja. Untuk informasi tentang EFA, lihat Adaptor Kain Elastis untuk AI/ML dan beban kerja HPC di Amazon EC2 di Panduan Pengguna Amazon EC2.

EFA-enabled sistem file mendukung dua fitur kinerja tambahan: GPUdirect Storage (GDS) dan ENA Express. Dukungan GDS dibangun di atas EFA untuk lebih meningkatkan kinerja dengan memungkinkan transfer data langsung antara sistem file dan memori GPU, melewati CPU. Jalur langsung ini menghilangkan kebutuhan akan salinan memori redundan dan keterlibatan CPU dalam operasi transfer data. Dengan dukungan EFA dan GDS, Anda dapat mencapai throughput yang lebih tinggi ke instans EFA-enabled klien individual. ENA Express menyediakan komunikasi jaringan yang dioptimalkan untuk instans Amazon EC2 menggunakan algoritma pemilihan jalur lanjutan dan mekanisme kontrol kemacetan yang ditingkatkan. Dengan dukungan ENA Express, Anda dapat mencapai throughput yang lebih tinggi ke instans Express-enabled klien ENA individual. Untuk informasi tentang ENA Express, lihat Mening katkan kinerja jaringan antara instans EC2 dengan ENA Express di Panduan Pengguna Amazon EC2.

Pertimbangan saat menggunakan sistem EFA-enabled file

Berikut adalah beberapa hal penting yang perlu dipertimbangkan saat membuat sistem EFA-enabled file:

  • Beberapa opsi konektivitas: sistem EFA-enabled file dapat berkomunikasi dengan instans klien menggunakan ENA, ENA Express, dan EFA.

  • Jenis penerapan: EFA didukung pada sistem file Persistent 2 dengan konfigurasi metadata yang ditentukan, termasuk sistem file menggunakan kelas Intelligent-Tiering penyimpanan.

  • Memperbarui pengaturan EFA: Anda dapat memilih untuk mengaktifkan EFA saat Anda membuat sistem file baru tetapi Anda tidak dapat mengaktifkan atau menonaktifkan EFA pada sistem file yang ada.

  • Penskalaan throughput dengan kapasitas penyimpanan: Anda dapat menskalakan kapasitas penyimpanan pada sistem EFA-enabled SSD-based file untuk meningkatkan kapasitas throughput tetapi Anda tidak dapat mengubah tingkat throughput sistem EFA-enabled file.

  • Wilayah AWS: Untuk daftar Wilayah AWS yang mendukung sistem file EFA-enabled Persistent 2, lihatKetersediaan jenis penerapan.

Prasyarat untuk menggunakan sistem EFA-enabled file

Berikut ini adalah prasyarat untuk menggunakan sistem EFA-enabled file:

Untuk membuat sistem EFA-enabled file Anda:

  • Gunakan grup EFA-enabled keamanan. Untuk informasi selengkapnya, lihat EFA-enabled kelompok keamanan.

  • Gunakan Availability Zone dan /16 CIDR yang sama dengan instans EFA-enabled klien Anda dalam Amazon VPC Anda.

  • Pada sistem Intelligent-Tiering file, EFA hanya didukung dengan kapasitas throughput 4.000 MBps atau penambahan 4.000 MBps.

Untuk mengakses sistem file Anda menggunakan Elastic Fabric Adapter (EFA):

  • Gunakan instans EC2 Nitro v4 (atau lebih tinggi) yang mendukung EFA, tidak termasuk keluarga instans trn2. Lihat Jenis instans yang didukung di Panduan Pengguna Amazon EC2.

  • Jalankan AL2023, RHEL 9.5 dan yang lebih baru, atau Ubuntu 22+ dengan versi kernel 6.8 dan yang lebih baru. Untuk informasi selengkapnya, lihat Menginstal Berkilau klien.

  • Instal modul EFA dan konfigurasikan antarmuka EFA pada instans klien Anda. Untuk informasi selengkapnya, lihat Mengkonfigurasi klien EFA.

Untuk mengakses sistem file Anda menggunakan GPUdirect Storage (GDS):

  • Gunakan instans Amazon EC2 P5, P5e, P5en, P6-B200 atau klien. P6-B300

  • Instal paket NVIDIA Compute Unified Device Architecture (CUDA), driver NVIDIA open source, dan Driver Penyimpanan NVIDIA GPUDirect pada instance klien Anda. Untuk informasi selengkapnya, lihat Instal driver GDS (opsional).

Untuk mengakses sistem file Anda menggunakan ENA Express:

Membuat sistem EFA-enabled file

Bagian ini berisi petunjuk tentang cara membuat FSx untuk sistem EFA-enabled file Lustre menggunakan. AWS CLI Untuk informasi tentang cara membuat sistem EFA-enabled file menggunakan konsol Amazon FSx, lihatLangkah 1: Buat sistem file FSx for Lustre.

Gunakan perintah create-file-system CLI (atau operasi API yang setara). CreateFileSystem Contoh berikut membuat FSx untuk sistem EFA-enabled file Lustre dengan tipe PERSISTENT_2 penerapan.

aws fsx create-file-system\ --storage-capacity 4800 \ --storage-type SSD \ --file-system-type LUSTRE \ --file-system-type-version 2.15 \ --subnet-ids subnet-01234567890 \ --security-group-ids sg-0123456789abcdefg \ --lustre-configuration '{"DeploymentType": "PERSISTENT_2", "EfaEnabled": true}'

Setelah berhasil membuat sistem file, Amazon FSx mengembalikan deskripsi sistem file dalam format JSON.