View a markdown version of this page

Opsi kelas penerapan dan penyimpanan untuk FSx untuk sistem file Lustre - FSx untuk Lustre

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Opsi kelas penerapan dan penyimpanan untuk FSx untuk sistem file Lustre

Amazon FSx for Lustre menyediakan dua opsi penerapan sistem file: persisten dan scratch. Ini menyediakan tiga kelas penyimpanan: SSD (solid state drive) Intelligent-Tiering, dan HDD (hard disk drive).

Anda memilih jenis penerapan sistem file dan kelas penyimpanan saat membuat sistem file baru, menggunakan Konsol Manajemen AWS, the AWS Command Line Interface (AWS CLI), atau Amazon FSx for Lustre API. Untuk informasi selengkapnya, lihat Langkah 1: Buat sistem file FSx for Lustre dan CreateFileSystem di Refer ensi API Amazon FSx.

Sistem file persisten

Sistem file persisten dirancang untuk penyimpanan jangka panjang dan beban kerja. Untuk SSD dan sistem HDD-based file, data secara otomatis direplikasi dalam Availability Zone yang sama di mana sistem file berada. Untuk sistem Intelligent-Tiering file, data direplikasi di beberapa Zona Ketersediaan. Volume data yang dilampirkan pada server file direplikasi secara independen dari server file ke file yang dilampirkan.

Amazon FSx terus memantau sistem file persisten untuk kegagalan perangkat keras, dan secara otomatis menggantikan komponen infrastruktur jika terjadi kegagalan. Pada sistem file persisten, jika server file menjadi tidak tersedia, itu diganti secara otomatis dalam beberapa menit setelah kegagalan. Selama jangka waktu tersebut, klien meminta data pada server yang secara transparan coba lagi dan akhirnya berhasil setelah server file diganti. Data pada sistem file persisten direplikasi pada disk, dan setiap disk yang gagal diganti secara otomatis secara transparan.

Gunakan sistem file persisten untuk penyimpanan jangka panjang dan untuk beban kerja yang berfokus pada throughput yang berjalan untuk waktu yang lama atau tanpa batas waktu, dan yang mungkin sensitif terhadap gangguan ketersediaan.

Jenis penerapan persisten secara otomatis mengenkripsi data dalam transit saat diakses dari instans Amazon EC2 yang mendukung enkripsi saat transit.

Amazon FSx for Lustre mendukung dua jenis penerapan persisten: Persistent 1 dan Persistent 2.

Jenis penerapan persisten 2

Persistent 2 adalah generasi terbaru dari jenis penerapan Persistent, dan paling cocok untuk kasus penggunaan yang memerlukan penyimpanan jangka panjang, dan yang memerlukan tingkat IOPS dan throughput tertinggi. Sistem file 2 persisten mendukung SSD dan kelas Intelligent-Tiering penyimpanan.

Anda dapat membuat sistem file Persistent 2 dengan konfigurasi metadata dan EFA diaktifkan menggunakan konsol Amazon FSx, AWS Command Line Interface, dan Amazon FSx API.

Jenis penerapan 1 yang persisten

Jenis penerapan Persistent 1 sangat cocok untuk kasus penggunaan yang membutuhkan penyimpanan jangka panjang. Jenis penerapan persisten 1 mendukung kelas penyimpanan SSD (solid state drive) dan HDD (hard disk drive).

Anda dapat membuat jenis penerapan Persistent 1 hanya dengan menggunakan AWS CLI dan Amazon FSx API.

Sistem file Scratch

Sistem file Scratch dirancang untuk penyimpanan sementara dan pemrosesan data jangka pendek. Data tidak direplikasi dan tidak bertahan jika server file gagal. Sistem file scratch menyediakan keluaran throughput yang tinggi hingga enam kali throughput dasar yaitu 200 MBps per TiB kapasitas penyimpanan. Untuk informasi selengkapnya, lihat Karakteristik kinerja kelas penyimpanan SSD dan HDD.

Gunakan sistem file scratch ketika Anda membutuhkan penyimpanan yang menoptimalkan biaya untuk beban kerja jangka pendek, proses berat.

Pada sistem file scratch, server file tidak diganti jika gagal dan data tidak direplikasi. Jika server file atau disk penyimpanan menjadi tidak tersedia pada sistem file scratch, file yang disimpan di server lain masih dapat diakses. Jika klien mencoba mengakses data yang ada di server atau disk yang tidak tersedia, klien mengalami I/O kesalahan langsung.

Tabel berikut menggambarkan ketersediaan atau daya tahan yang sistem file scratch dengan contoh ukuran yang dirancang selama satu hari dan seminggu. Karena sistem file yang lebih besar memiliki lebih banyak server file dan lebih banyak disk, kemungkinan kegagalan meningkat.

Ukuran sistem file (TiB) Jumlah server file Availability/durability lebih dari satu hari Availability/durability lebih dari satu minggu

1.2

2

99,9%

99,4%

2.4

2

99,9%

99,4%

4.8

3

99,8%

99,2%

9.6

5

99,8%

98,6%

50,4

22

99,1%

93.9%

Alamat IP untuk sistem file

Setiap FSx untuk sistem file Lustre memerlukan satu alamat IP untuk setiap server metadata (MDS) dan satu alamat IP untuk setiap server penyimpanan (OSS).

Sistem file menggunakan kelas penyimpanan SSD atau HDD
Jenis Sistem File Throughput, MBps/TiB Penyimpanan untuk OSS
Persisten 2 EFA* 125 38.4 TiB untuk OSS
250 19.2 TiB untuk OSS
500 9.6 TiB untuk OSS
1000 4.8 TiB untuk OSS
Persisten 2 non-EFA* 125, 250, 500, 1000 2.4 TiB untuk OSS
1 SSD yang persisten 50, 100, 200 2.4 TiB untuk OSS
HDD persisten 12 6 TiB untuk OSS
40 1.8 TiB untuk OSS
Scratch 2 200 2.4 TiB untuk OSS
Goresan 1 200 3.6 TiB untuk OSS
Sistem file menggunakan kelas Intelligent-Tiering penyimpanan
Jenis Sistem File Throughput untuk OSS
Intelligent-Tiering*

4000 MBps untuk OSS

catatan

* Amazon FSx menyediakan server metadata untuk setiap 12.000 Metadata IOPS pada SSD Persistent 2 dan sistem Intelligent-Tiering file yang dikonfigurasi dengan konfigurasi metadata.

Sistem Intelligent-Tiering file Amazon FSx untuk Lustre mendukung penyimpanan maksimum 512 TiB per OSS.

FSx untuk kelas penyimpanan Lustre

Amazon FSx for Lustre menawarkan kelas penyimpanan solid state drive (SSD) Intelligent-Tiering, dan hard disk drive (HDD) yang dioptimalkan untuk berbagai persyaratan pemrosesan data:

  • Kelas penyimpanan SSD menyediakan akses latensi rendah (sub-milidetik) ke dataset lengkap Anda. Kelas penyimpanan SSD disediakan, yang berarti Anda menentukan ukuran sistem file dan membayar biaya penyimpanan untuk jumlah penyimpanan yang disediakan. Gunakan kelas penyimpanan SSD untuk beban kerja sensitif latensi yang memerlukan kinerja penyimpanan all-flash di semua data.

    Sistem file 2 persisten dengan penyimpanan SSD mendukung tingkat throughput yang lebih tinggi per unit penyimpanan (yaitu, 250, 500, atau 1000 MBps per TiB) dibandingkan dengan sistem file Persistent 1. Untuk sistem file Persistent 1 dengan penyimpanan SSD, throughput per unit penyimpanan adalah 50, 100, atau 200 MBps per TiB. Untuk sistem file Scratch dengan penyimpanan SSD, throughput per unit penyimpanan adalah 200 MBps per TiB.

  • Kelas Intelligent-Tiering penyimpanan menyediakan penyimpanan berjenjang yang sepenuhnya elastis dan cerdas. Elastisitas berarti Anda membayar untuk jumlah data yang Anda simpan dan tidak perlu menentukan ukuran sistem file. Tiering cerdas berarti Anda secara otomatis membayar lebih sedikit untuk menyimpan data yang belum Anda akses baru-baru ini. Kelas penyimpanan ini secara otomatis mengoptimalkan biaya dengan mencatatkan data dingin ke tingkatan penyimpanan berbiaya lebih rendah. Anda dapat menyediakan cache baca SSD opsional untuk akses latensi rendah (sub-milidetik) ke data yang sering diakses. Kel Intelligent-Tiering as penyimpanan memberikan keseimbangan harga dan kinerja terbaik untuk sebagian besar beban kerja. Gunakan kelas Intelligent-Tiering penyimpanan untuk beban kerja yang ramah cache dan tidak memerlukan kinerja penyimpanan all-flash di semua data. Intelligent-Tiering sistem file mendukung kapasitas throughput dengan penambahan 4000 MBps.

  • Kelas penyimpanan HDD dapat digunakan dengan beban kerja yang membutuhkan latensi ms satu digit yang konsisten di semua data. Anda dapat menyediakan cache baca SSD opsional yang berukuran hingga 20% dari kapasitas penyimpanan HDD Anda untuk menyediakan akses latensi rendah ke data yang sering diakses. Dengan penyimpanan HDD, Anda menentukan ukuran sistem file dan membayar jumlah penyimpanan yang Anda sediakan. Untuk sistem file Persistent 1 dengan penyimpanan HDD, throughput per unit penyimpanan adalah 12 atau 40 MBps per TiB.

Untuk informasi selengkapnya tentang kinerja kelas penyimpanan ini, lihat Karakteristik kinerja kelas penyimpanan SSD dan HDD danKarakteristik kinerja kelas Intelligent-Tiering penyimpanan.

Bagaimana kelas Intelligent-Tiering penyimpanan mentingkatkan data

Kelas Intelligent-Tiering penyimpanan Amazon FSx secara otomatis menyimpan data dalam tiga tingkatan akses. Ini dirancang untuk mengoptimalkan biaya penyimpanan dengan memindahkan data secara otomatis ke tingkat akses yang paling hemat biaya, tanpa dampak kinerja atau overhead operasional. Kel Intelligent-Tiering as penyimpanan secara otomatis mengurutkan data berdasarkan waktu akses terakhir, sehingga secara otomatis mengoptimalkan biaya untuk data yang kurang aktif:

  • Data yang diakses dalam 30 hari terakhir disimpan di tingkat Akses Sering.

  • Data yang belum diakses dalam 30 hari berturut-turut secara otomatis pindah ke tingkat Akses Jarang, dan biayanya lebih murah daripada data di tingkat Akses Sering.

  • Data yang belum diakses dalam 90 hari berturut-turut secara otomatis pindah ke tingkat Akses Instan Arsip, dan biayanya lebih murah daripada data di tingkat Akses Langsung.

Saat Anda mengakses data di tingkatan Akses Jarang atau Akses Instan Arsip, data secara otomatis berpindah kembali ke tingkat Akses Sering. Selain itu, operasi seperti memodifikasi kapasitas throughput (yang menyeimbangkan kembali data di seluruh OST), melucuti ulang file atau direktori, atau menggunakan `lfs migrate` dapat memindahkan beberapa data kembali ke tingkat Akses Sering.

Semua akses ke data yang tidak di-cache memiliki karakteristik kinerja yang sama, terlepas dari tingkat data, dan tidak ada biaya tambahan IOPS, pengambilan, atau transisi di luar biaya operasi normal Anda. read/write

Ketersediaan jenis penerapan

Jenis penerapan Scratch 2, Persistent 1, dan Persistent 2 tersedia sebagai berikut Wilayah AWS:

Wilayah AWS Persisten 2 Persisten 2 Intelligent-Tiering Persisten 1 Scratch 2

AS Timur (Ohio)

AS Timur (Virginia Utara)

Zona Lokal AS Timur (Atlanta)

✓ *

Zona Lokal AS Timur (Dallas)

✓ *

Zona Lokal AS Timur (South Bend)

✓ *

AS Barat (California Utara)

Zona Lokal AS Barat (Los Angeles)

AS Barat (Oregon)

Zona Lokal AS Barat (Phoenix)

✓ *

Africa (Cape Town)

Asia Pasifik (Selandia Baru)

Asia Pasifik (Hong Kong)

Asia Pasifik (Hyderabad)

Asia Pasifik (Jakarta)

Asia Pasifik (Malaysia)

Asia Pacific (Melbourne)

Asia Pasifik (Mumbai)

Asia Pasifik (Osaka)

Asia Pasifik (Seoul)

Asia Pasifik (Singapura)

Asia Pasifik (Sydney)

Asia Pasifik (Taipei)

Asia Pasifik (Thailand)

Asia Pasifik (Tokyo)

(Canada (Central)

Kanada Barat (Calgary)

Eropa (Frankfurt)

Eropa (Irlandia)

Eropa (London)

Eropa (Milan)

Eropa (Paris)

Eropa (Spanyol)

Eropa (Stockholm)

Eropa (Zürich)

Israel (Tel Aviv)

✓ *

Meksiko (Tengah)

✓ *

Timur Tengah (Bahrain)

Timur Tengah (UEA)

Amerika Selatan (Sao Paulo)

AWS GovCloud (US-East)

AWS GovCloud (US-West)

catatan

* Wilayah AWS Dukungan Persistent-125 dan sistem Persistent-250 file ini dengan kelas penyimpanan SSD tanpa EFA.