Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apa itu Amazon FSx untuk Lustre?

FSxuntuk Lustre membuatnya mudah dan hemat biaya untuk meluncurkan dan menjalankan sistem file Lustre yang populer dan berkinerja tinggi. Anda menggunakan Lustre untuk beban kerja di mana kecepatan penting, seperti pembelajaran mesin, komputasi kinerja tinggi (HPC), pemrosesan video, dan pemodelan keuangan.

Sistem file Lustre sumber terbuka dirancang untuk aplikasi yang memerlukan penyimpanan cepat—di mana Anda ingin penyimpanan Anda terus mengikuti komputasi Anda. Lustre dibangun untuk memecahkan masalah dengan cepat dan murah dengan memproses dataset dunia yang terus berkembang. Ini adalah sistem file yang banyak digunakan yang dirancang untuk komputer tercepat di dunia. Ini menyediakan latensi sub-milidetik, hingga GBps ratusan throughput, dan hingga jutaan. IOPS Untuk informasi lebih lanjut di Lustre, lihat Situs wen Lustre.

Sebagai layanan yang dikelola sepenuhnya, Amazon FSx memudahkan Anda menggunakan Lustre untuk beban kerja di mana kecepatan penyimpanan penting. FSxuntuk Lustre menghilangkan kompleksitas tradisional dalam menyiapkan dan mengelola sistem file Lustre, memungkinkan Anda untuk memutar dan menjalankan sistem file berkinerja tinggi yang teruji pertempuran dalam hitungan menit. Ini juga menyediakan beberapa opsi deployment sehingga Anda dapat mengoptimalkan biaya untuk kebutuhan Anda.

FSxuntuk Lustre adalah POSIX -compliant, sehingga Anda dapat menggunakan aplikasi berbasis Linux Anda saat ini tanpa harus membuat perubahan apa pun. FSxuntuk Lustre menyediakan antarmuka sistem file asli dan berfungsi seperti sistem file apa pun dengan sistem operasi Linux Anda. Ini juga memberikan read-after-write konsistensi dan mendukung penguncian file.

Beberapa opsi deployment

Amazon FSx for Lustre menawarkan pilihan sistem file awal dan persisten untuk mengakomodasi kebutuhan pemrosesan data yang berbeda. Sistem file scratch yang ideal untuk penyimpanan sementara dan pengolahan jangka pendek data. Data tidak direplikasi dan tidak bertahan jika file server gagal. Sistem file persisten sangat ideal untuk penyimpanan jangka panjang dan beban kerja yang berfokus pada throughput. Dalam sistem file persisten, data direplikasi, dan server file diganti jika mereka gagal. Untuk informasi selengkapnya, lihat Opsi penyebaran FSx untuk sistem file Lustre.

Beberapa opsi penyimpanan

Amazon FSx for Lustre menawarkan pilihan jenis penyimpanan solid state drive (SSD) dan hard disk drive (HDD) yang dioptimalkan untuk persyaratan pemrosesan data yang berbeda:

Jika Anda menyediakan sistem file dengan opsi HDD penyimpanan, Anda dapat secara opsional menyediakan SSD cache hanya-baca yang berukuran hingga 20 persen dari kapasitas penyimpanan Anda. HDD Ini memberikan latensi sub-milidetik dan lebih tinggi IOPS untuk file yang sering diakses. Sistem file SSD HDD berbasis dan berbasis disediakan dengan server metadata SSD berbasis. Akibatnya, semua operasi metadata, yang mewakili sebagian besar operasi sistem file, dikirimkan dengan latensi sub-milidetik.

Untuk informasi lebih lanjut tentang performa opsi penyimpanan ini, lihat Amazon FSx untuk kinerja Lustre.

FSxuntuk Lustre dan repositori data

Anda dapat FSx menautkan sistem file Lustre ke repositori data di Amazon S3 atau ke penyimpanan data lokal.

FSxuntuk integrasi repositori data Lustre S3

FSxuntuk Lustre terintegrasi dengan Amazon S3, sehingga memudahkan Anda untuk memproses kumpulan data cloud menggunakan sistem file kinerja tinggi Lustre. Saat ditautkan ke bucket Amazon S3, sistem file FSx for Lustre secara transparan menampilkan objek S3 sebagai file. Amazon FSx mengimpor daftar semua file yang ada di bucket S3 Anda saat pembuatan sistem file. Amazon juga FSx dapat mengimpor daftar file yang ditambahkan ke repositori data setelah sistem file dibuat. Anda dapat mengatur preferensi impor agar sesuai dengan kebutuhan alur kerja Anda. Sistem file juga memungkinkan Anda untuk menulis data sistem file kembali ke S3. Tugas repositori data menyederhanakan transfer data dan metadata antara sistem file FSx for Lustre Anda dan repositori data yang tahan lama di Amazon S3. Untuk informasi selengkapnya, silakan lihat Menggunakan repositori data dengan Amazon untuk Lustre FSx dan Tugas repositori data.

FSxuntuk Lustre dan repositori data lokal

Dengan Amazon FSx for Lustre, Anda dapat mem-burst beban kerja pemrosesan data dari lokal ke lokasi AWS Cloud dengan mengimpor data menggunakan atau. AWS Direct Connect AWS VPN Untuk informasi selengkapnya, lihat Menggunakan Amazon FSx dengan data lokal.

Mengakses FSx untuk sistem file Lustre

Anda dapat mencampur dan mencocokkan jenis instans komputasi dan Linux Amazon Machine Images (AMIs) yang terhubung ke satu FSx untuk sistem file Lustre.

Sistem file Amazon FSx for Lustre dapat diakses dari beban kerja komputasi yang berjalan di instans Amazon Elastic Compute Cloud (Amazon), pada container EC2 Amazon Elastic Container Service (Amazon) Docker, dan container yang berjalan di ECS Amazon Elastic Kubernetes Service (Amazon). EKS

Amazon FSx for Lustre kompatibel dengan Linux berbasis paling populerAMIs, termasuk Amazon Linux 2023 dan Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu, dan Linux. SUSE Klien Lustre disertakan dengan Amazon Linux 2023 dan Amazon Linux 2. UntukRHEL, CentOS, dan Ubuntu, repositori klien AWS Lustre menyediakan klien yang kompatibel dengan sistem operasi ini.

Menggunakan FSx for Lustre, Anda dapat menjalankan beban kerja intensif komputasi dari lokal ke lokasi dengan mengimpor data melalui atau. AWS Cloud AWS Direct Connect AWS Virtual Private Network Anda dapat mengakses sistem FSx file Amazon dari lokal, menyalin data ke sistem file sesuai kebutuhan, dan menjalankan beban kerja intensif komputasi pada instans di cloud.

Untuk informasi selengkapnya tentang klien, instance komputasi, dan lingkungan tempat Anda dapat mengakses FSx sistem file Lustre, lihat. Mengakses sistem file

Integrasi dengan layanan AWS

Amazon FSx for Lustre terintegrasi dengan Amazon SageMaker sebagai sumber data input. Saat menggunakan SageMaker with FSx for Lustre, pekerjaan pelatihan pembelajaran mesin Anda dipercepat dengan menghilangkan langkah pengunduhan awal dari Amazon S3. Selain itu, total biaya kepemilikan (TCO) Anda dikurangi dengan menghindari pengunduhan berulang objek umum untuk pekerjaan berulang pada kumpulan data yang sama saat Anda menghemat biaya permintaan S3. Untuk informasi lebih lanjut, lihat Apa itu SageMaker? di Panduan SageMaker Pengembang Amazon. Untuk panduan tentang cara menggunakan Amazon FSx untuk Lustre sebagai sumber data SageMaker, lihat Mempercepat pelatihan di Amazon menggunakan SageMaker sistem file Amazon for FSx Lustre dan Amazon EFS di Blog Machine Learning.AWS

FSxuntuk Lustre terintegrasi dengan AWS Batch menggunakan EC2 Template Peluncuran. AWS Batch memungkinkan Anda menjalankan beban kerja komputasi batch pada AWS Cloud, termasuk komputasi kinerja tinggi (), pembelajaran mesin (MLHPC), dan beban kerja asinkron lainnya. AWS Batch secara otomatis dan dinamis mengukur instance berdasarkan persyaratan sumber daya pekerjaan. Untuk informasi lebih lanjut, lihat Apa itu AWS Batch? dalam AWS Batch User Guide.

FSxuntuk Lustre terintegrasi dengan. AWS ParallelCluster AWS ParallelCluster adalah alat manajemen cluster sumber terbuka yang AWS didukung yang digunakan untuk menyebarkan dan mengelola cluster. HPC Ini dapat secara otomatis membuat FSx untuk sistem file Lustre atau menggunakan sistem file yang ada selama proses pembuatan cluster.

Keamanan dan kepatuhan

FSxuntuk sistem file Lustre mendukung enkripsi saat istirahat dan dalam perjalanan. Amazon FSx secara otomatis mengenkripsi data sistem file saat istirahat menggunakan kunci yang dikelola di AWS Key Management Service ()AWS KMS. Data dalam perjalanan juga secara otomatis dienkripsi pada sistem file tertentu Wilayah AWS ketika diakses dari instans Amazon EC2 yang didukung. Untuk informasi selengkapnya tentang enkripsi data di FSx for Lustre, termasuk Wilayah AWS di mana enkripsi data dalam perjalanan didukung, lihat. Enkripsi data di Amazon FSx untuk Lustre Amazon FSx telah dinilai untuk mematuhiISO, PCI -, dan SOC sertifikasiDSS, dan memenuhi syarat. HIPAA Untuk informasi selengkapnya, lihat Keamanan di Amazon FSx for Lustre.

Asumsi

Dalam panduan ini, kami membuat asumsi sebagai berikut:

Harga untuk Amazon FSx untuk Lustre

Dengan Amazon FSx untuk Lustre, tidak ada biaya perangkat keras atau perangkat lunak di muka. Anda hanya harus membayar sumber daya yang digunakan, tanpa komitmen minimum, biaya penyiapan, atau biaya tambahan. Untuk informasi tentang harga dan biaya yang terkait dengan layanan, lihat Amazon FSx untuk Harga Lustre.

Amazon FSx untuk forum Lustre

Jika Anda mengalami masalah saat menggunakan Amazon FSx untuk Lustre, periksa forum.

Apakah Anda pengguna pertama kali Amazon FSx untuk Lustre?

Jika Anda adalah pengguna pertama kali Amazon FSx untuk Lustre, kami sarankan Anda membaca bagian berikut secara berurutan: