Apa itu Amazon FSx untuk Lustre?

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

FSx untuk Lustre membuatnya mudah dan hemat biaya untuk meluncurkan dan menjalankan yang populer, berkinerja tinggi Lustre sistem berkas. Gunakan Lustre untuk beban kerja di mana kecepatan penting, seperti machine learning, komputasi performa tinggi (HPC), pemrosesan video, dan pemodelan keuangan.

Sumber terbuka Lustre sistem file dirancang untuk aplikasi yang membutuhkan penyimpanan cepat — di mana Anda ingin penyimpanan Anda mengikuti komputasi Anda. Lustre dibangun untuk memecahkan masalah pemrosesan kumpulan data dunia yang terus berkembang dengan cepat dan murah. Ini adalah sistem file yang banyak digunakan yang dirancang untuk komputer tercepat di dunia. Ini menyediakan latensi sub-milidetik, hingga GBps ratusan throughput, dan hingga jutaan IOPS. Untuk informasi lebih lanjut tentang Lustre, lihat Lustre situs web.

Sebagai layanan yang dikelola sepenuhnya, Amazon FSx memudahkan Anda untuk menggunakannya Lustre untuk beban kerja di mana kecepatan penyimpanan penting. FSx untuk Lustre menghilangkan kompleksitas tradisional pengaturan dan pengelolaan Lustre sistem file, memungkinkan Anda untuk berputar dan menjalankan sistem file berkinerja tinggi yang telah teruji pertempuran dalam hitungan menit. Ini juga menyediakan beberapa opsi deployment sehingga Anda dapat mengoptimalkan biaya untuk kebutuhan Anda.

FSx untuk Lustre sesuai dengan POSIX, sehingga Anda dapat menggunakan aplikasi berbasis Linux Anda saat ini tanpa harus membuat perubahan apa pun. FSx untuk Lustre menyediakan antarmuka sistem file asli dan berfungsi seperti sistem file apa pun dengan sistem operasi Linux Anda. Ini juga memberikan read-after-write konsistensi dan mendukung penguncian file.

Beberapa opsi deployment

Amazon FSx for Lustre menawarkan pilihan sistem file awal dan persisten untuk mengakomodasi kebutuhan pemrosesan data yang berbeda. Sistem file scratch yang ideal untuk penyimpanan sementara dan pengolahan jangka pendek data. Data tidak direplikasi dan tidak bertahan jika file server gagal. Sistem file persisten sangat ideal untuk penyimpanan jangka panjang dan beban kerja yang berfokus pada throughput. Dalam sistem file persisten, data direplikasi, dan server file diganti jika mereka gagal. Untuk informasi selengkapnya, lihat Opsi penyebaran FSx untuk sistem file Lustre.

Beberapa opsi penyimpanan

Amazon FSx for Lustre menawarkan pilihan opsi penyimpanan solid state drive (SSD) dan hard disk drive (HDD) yang dioptimalkan untuk persyaratan pemrosesan data yang berbeda:

Jika Anda menyediakan sistem file dengan opsi penyimpanan HDD, Anda dapat secara opsional menyediakan cache SSD read-only yang berukuran hingga 20 persen dari kapasitas penyimpanan HDD Anda. Ini menyediakan latensi submilidetik dan IOPS yang lebih tinggi untuk file yang sering diakses. Baik sistem file berbasis SSD dan HDD disediakan dengan server metadata berbasis SSD. Akibatnya, semua operasi metadata, yang mewakili sebagian besar operasi sistem file, dikirimkan dengan latensi sub-milidetik.

Untuk informasi lebih lanjut tentang performa opsi penyimpanan ini, lihat Amazon FSx untuk kinerja Lustre.

FSx untuk Lustre dan repositori data

Anda dapat FSx menautkan sistem file Lustre ke repositori data di Amazon S3 atau ke penyimpanan data lokal.

FSx untuk integrasi repositori data Lustre S3

FSx untuk Lustre terintegrasi dengan Amazon S3, sehingga memudahkan Anda untuk memproses kumpulan data cloud menggunakan Lustre sistem file berkinerja tinggi. Saat ditautkan ke bucket Amazon S3, sistem file FSx for Lustre secara transparan menampilkan objek S3 sebagai file. Amazon FSx mengimpor daftar semua file yang ada di bucket S3 Anda saat pembuatan sistem file. Amazon juga FSx dapat mengimpor daftar file yang ditambahkan ke repositori data setelah sistem file dibuat. Anda dapat mengatur preferensi impor agar sesuai dengan kebutuhan alur kerja Anda. Sistem file juga memungkinkan Anda untuk menulis data sistem file kembali ke S3. Tugas repositori data menyederhanakan transfer data dan metadata antara sistem file FSx for Lustre Anda dan repositori data yang tahan lama di Amazon S3. Untuk informasi selengkapnya, silakan lihat Menggunakan repositori data dengan Amazon untuk Lustre FSx dan Tugas repositori data.

FSx untuk Lustre dan repositori data lokal

Dengan Amazon FSx for Lustre, Anda dapat mem-burst beban kerja pemrosesan data dari lokal ke lokasi AWS Cloud dengan mengimpor data menggunakan atau. AWS Direct Connect AWS VPN Untuk informasi selengkapnya, lihat Menggunakan Amazon FSx dengan data lokal Anda.

Mengakses FSx untuk sistem file Lustre

Anda dapat mencampur dan mencocokkan jenis instans komputasi dan Linux Amazon Machine Images (AMIs) yang terhubung ke satu FSx untuk sistem file Lustre.

Sistem file Amazon FSx for Lustre dapat diakses dari beban kerja komputasi yang berjalan di instans Amazon Elastic Compute Cloud (Amazon), di EC2 Amazon Elastic Container Service (Amazon ECS) Container Docker container, dan container yang berjalan di Amazon Elastic Kubernetes Service (Amazon EKS).

Amazon FSx for Lustre kompatibel dengan Linux yang paling populer AMIs, termasuk Amazon Linux 2023 dan Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu, dan SUSE Linux. Bagian Lustre klien disertakan dengan Amazon Linux 2023 dan Amazon Linux 2. Untuk RHEL, CentOS, dan Ubuntu, AWS Lustre repositori klien menyediakan klien yang kompatibel dengan sistem operasi ini.

Menggunakan FSx for Lustre, Anda dapat menjalankan beban kerja intensif komputasi dari lokal ke lokasi dengan mengimpor data melalui atau. AWS Cloud AWS Direct Connect AWS Virtual Private Network Anda dapat mengakses sistem FSx file Amazon dari lokal, menyalin data ke sistem file sesuai kebutuhan, dan menjalankan beban kerja intensif komputasi pada instans di cloud.

Untuk informasi selengkapnya tentang klien, instance komputasi, dan lingkungan tempat Anda dapat mengakses FSx sistem file Lustre, lihat. Mengakses sistem file

Integrasi dengan layanan AWS

Amazon FSx for Lustre terintegrasi dengan Amazon SageMaker AI sebagai sumber data input. Saat menggunakan SageMaker AI dengan FSx for Lustre, pekerjaan pelatihan pembelajaran mesin Anda dipercepat dengan menghilangkan langkah pengunduhan awal dari Amazon S3. Selain itu, total biaya kepemilikan (TCO) dikurangi dengan menghindari mengunduh berulang objek umum untuk tugas berulang pada dataset yang sama seperti yang Anda hemat dengan biaya permintaan S3. Untuk informasi lebih lanjut, lihat Apa Itu SageMaker AI? di Panduan Pengembang SageMaker AI Amazon. Untuk panduan tentang cara menggunakan Amazon FSx for Lustre sebagai sumber data untuk SageMaker AI, lihat Mempercepat pelatihan di Amazon AI SageMaker menggunakan sistem file Amazon for FSx Lustre dan Amazon EFS di Blog Machine Learning.AWS

FSx untuk Lustre terintegrasi dengan AWS Batch menggunakan EC2 Template Peluncuran. AWS Batch memungkinkan Anda menjalankan beban kerja komputasi batch pada AWS Cloud, termasuk komputasi kinerja tinggi (HPC), pembelajaran mesin (ML), dan beban kerja asinkron lainnya. AWS Batch secara otomatis dan dinamis mengukur instance berdasarkan persyaratan sumber daya pekerjaan. Untuk informasi lebih lanjut, lihat Apa itu AWS Batch? dalam AWS Batch User Guide.

FSx untuk Lustre terintegrasi dengan. AWS ParallelCluster AWS ParallelCluster adalah alat manajemen cluster sumber terbuka yang AWS didukung yang digunakan untuk menyebarkan dan mengelola cluster HPC. Ini dapat secara otomatis membuat FSx untuk sistem file Lustre atau menggunakan sistem file yang ada selama proses pembuatan cluster.

Keamanan dan kepatuhan

FSx untuk sistem file Lustre mendukung enkripsi saat istirahat dan dalam perjalanan. Amazon FSx secara otomatis mengenkripsi data sistem file saat istirahat menggunakan kunci yang dikelola di AWS Key Management Service ()AWS KMS. Data dalam perjalanan juga secara otomatis dienkripsi pada sistem file tertentu Wilayah AWS ketika diakses dari instans Amazon EC2 yang didukung. Untuk informasi selengkapnya tentang enkripsi data di FSx for Lustre, termasuk Wilayah AWS di mana enkripsi data dalam perjalanan didukung, lihat. Enkripsi data di Amazon FSx for Lustre Amazon FSx telah dinilai untuk mematuhi sertifikasi ISO, PCI-DSS, dan SOC, dan memenuhi syarat HIPAA. Untuk informasi selengkapnya, lihat Keamanan di Amazon FSx untuk Lustre.

Asumsi

Dalam panduan ini, kami membuat asumsi sebagai berikut:

Harga untuk Amazon FSx untuk Lustre

Dengan Amazon FSx untuk Lustre, tidak ada biaya perangkat keras atau perangkat lunak di muka. Anda hanya harus membayar sumber daya yang digunakan, tanpa komitmen minimum, biaya penyiapan, atau biaya tambahan. Untuk informasi tentang harga dan biaya yang terkait dengan layanan, lihat Amazon FSx untuk Harga Lustre.

Amazon FSx untuk forum Lustre

Jika Anda mengalami masalah saat menggunakan Amazon FSx untuk Lustre, periksa forum.

Apakah Anda pengguna pertama kali Amazon FSx untuk Lustre?

Jika Anda adalah pengguna pertama kali Amazon FSx untuk Lustre, kami sarankan Anda membaca bagian berikut secara berurutan: