Penggunaan Lustre kuota penyimpanan - FSx untuk Lustre

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penggunaan Lustre kuota penyimpanan

Anda dapat membuat kuota penyimpanan untuk pengguna, grup, dan proyek FSx untuk sistem file Lustre. Dengan kuota penyimpanan, Anda dapat membatasi jumlah ruang disk dan jumlah file yang dapat dikonsumsi pengguna, grup, atau proyek. Kuota penyimpanan secara otomatis melacak penggunaan tingkat pengguna, tingkat grup, dan tingkat proyek sehingga Anda dapat memantau konsumsi apakah Anda memilih untuk menetapkan batas penyimpanan atau tidak.

Amazon FSx memberlakukan kuota dan mencegah pengguna yang telah melampaui mereka menulis ke ruang penyimpanan. Ketika pengguna melebihi kuota mereka, mereka harus menghapus beberap file yang cukup untuk sampai di bawah batas kuota sehingga mereka dapat menulis ke sistem file lagi.

Pemberlakuan kuota

Penegakan kuota pengguna, grup, dan proyek diaktifkan secara otomatis pada semua sistem FSx file Lustre. Anda tidak dapat menonaktifkan pemberlakuan kuota.

Jenis kuota

Administrator sistem dengan kredensi pengguna root AWS akun dapat membuat jenis kuota berikut:

  • Kuota pengguna berlaku untuk pengguna individu. Kuota pengguna untuk pengguna tertentu dapat berbeda dengan kuota pengguna lain.

  • Kuota grup berlaku untuk semua pengguna yang merupakan anggota kelompok tertentu.

  • Kuota proyek berlaku untuk semua file atau direktori yang terkait dengan proyek. Sebuah proyek dapat mencakup beberapa direktori atau file individual yang terletak di direktori yang berbeda dalam sistem file.

    catatan

    Kuota proyek hanya didukung pada Lustre versi 2.15 aktif FSx untuk sistem file Lustre.

  • Kuota blok membatasi jumlah ruang disk yang dapat dikonsumsi pengguna, grup, atau proyek. Anda mengkonfigurasi ukuran penyimpanan dalam kilobyte.

  • Kuota inode membatasi jumlah file atau direktori yang dapat dibuat oleh pengguna, grup, atau proyek. Anda mengkonfigurasi jumlah maksimum inodes sebagai integer.

catatan

Kuota default tidak didukung.

Jika Anda menetapkan kuota untuk pengguna dan grup tertentu, dan pengguna adalah anggota grup tersebut, penggunaan data pengguna berlaku untuk kedua kuota. Ini juga dibatasi oleh kedua kuota. Jika batas kuota tercapai, pengguna diblokir dari menulis ke sistem file.

catatan

Kuota yang ditetapkan untuk pengguna root tidak diberlakukan. Demikian pula, menulis data sebagai pengguna akar menggunakan pemberlakuan pintasan perintah sudo kuota.

Batas kuota dan masa tenggang

Amazon FSx memberlakukan kuota pengguna, grup, dan proyek sebagai batas keras atau sebagai batas lunak dengan masa tenggang yang dapat dikonfigurasi.

Batas keras adalah batas mutlak. Jika pengguna melebihi batas keras mereka, alokasi blok atau inode gagal dengan pesan Kuota disk terlampaui. Pengguna yang telah mencapai batas keras kuota mereka harus menghapus cukup file atau direktori agar dapat berada di bawah batas kuota sebelum mereka dapat menulis ke sistem file lagi. Ketika masa tenggang diatur, pengguna dapat melampaui batas lunak dalam masa tenggang jika berada di bawah batas keras.

Untuk batas lunak, Anda mengkonfigurasi masa tenggang dalam hitungan detik. Batas lunak harus lebih kecil dari batas keras.

Anda dapat mengatur masa tenggang yang berbeda untuk kuota inode dan blok. Anda juga dapat mengatur masa tenggang yang berbeda untuk kuota pengguna, kuota grup, dan kuota proyek. Ketika kuota pengguna, grup, dan proyek memiliki masa tenggang yang berbeda, batas lunak berubah menjadi batas keras setelah masa tenggang salah satu kuota ini berlalu.

Ketika pengguna melebihi batas lunak, Amazon FSx memungkinkan mereka untuk terus melebihi kuota mereka sampai masa tenggang telah berlalu atau sampai batas keras tercapai. Setelah masa tenggang berakhir, batas lunak berubah menjadi batas keras, dan pengguna diblokir dari operasi penulisan lebih lanjut sampai penggunaan penyimpanan mereka kembali di bawah batas kuota blok atau kuota inode yang ditetapkan. Pengguna tidak menerima notifikasi atau peringatan ketika masa tenggang dimulai.

Mengatur dan melihat kuota

Anda mengatur kuota penyimpanan menggunakan Lustre lfsperintah sistem file di terminal Linux Anda. Perintah lfs setquota mengatur batas kuota, dan perintah lfs quota menampilkan informasi kuota.

Untuk informasi lebih lanjut tentang Lustre perintah kuota, lihat Manual Operasi Lustre pada Lustre situs web dokumentasi.

Mengatur kuota pengguna, grup, dan proyek

Sintaks setquota perintah untuk mengatur kuota pengguna, grup, atau proyek adalah sebagai berikut.

lfs setquota {-u|--user|-g|--group|-p|--project} username|groupname|projectid [-b block_softlimit] [-B block_hardlimit] [-i inode_softlimit] [-I inode_hardlimit] /mount_point

Di mana:

  • -u atau --user menentukan pengguna yang akan diatur kuotanya.

  • -g atau --group menentukan pengguna yang akan diatur kuotanya.

  • -patau --project menentukan proyek untuk menetapkan kuota untuk.

  • -b mengatur kuota blok dengan batas lunak. -B mengatur kuota blok dengan batas keras. Keduanya block_softlimit dan block_hardlimit dinyatakan dalam kilobyte, dan nilai minimumnya adalah 1024 KB.

  • -i mengatur kuota inode dengan batas lunak. -I mengatur kuota inode dengan batas keras. Keduanya inode_softlimit dan inode_hardlimit dinyatakan dalam jumlah inode, dan nilai minimumnya adalah 1024 inode.

  • mount_pointadalah direktori tempat sistem file dipasang.

Contoh kuota pengguna: Perintah berikut menetapkan batas blok lunak 5.000 KB, batas blok keras 8.000 KB, batas inode lunak 2.000, dan kuota batas inode keras 3.000 untuk sistem file yang user1 dipasang. /mnt/fsx

sudo lfs setquota -u user1 -b 5000 -B 8000 -i 2000 -I 3000 /mnt/fsx

Contoh kuota grup: Perintah berikut menetapkan batas hard block 100.000 KB untuk grup bernama group1 pada sistem file yang dipasang. /mnt/fsx

sudo lfs setquota -g group1 -B 100000 /mnt/fsx

Contoh kuota proyek: Pertama pastikan bahwa Anda telah menggunakan project perintah untuk mengaitkan file dan direktori yang diinginkan dengan proyek. Misalnya, perintah berikut mengaitkan semua file dan sub-direktori /mnt/fsxfs/dir1 direktori dengan proyek yang ID proyeknya. 100

sudo lfs project -p 100 -r -s /mnt/fsxfs/dir1

Kemudian gunakan setquota perintah untuk mengatur kuota proyek. Perintah berikut menetapkan batas soft block 307.200 KB, batas hard block 309.200 KB, batas inode lunak 10.000, dan kuota batas inode keras 11.000 untuk proyek pada sistem file yang dipasang. 250 /mnt/fsx

sudo lfs setquota -p 250 -b 307200 -B 309200 -i 10000 -I 11000 /mnt/fsx

Mengatur masa tenggang

Masa tenggang default adalah satu minggu. Anda dapat menyesuaikan masa tenggang default untuk pengguna, grup, atau proyek, menggunakan sintaks berikut.

lfs setquota -t {-u|-g|-p} [-b block_grace] [-i inode_grace] /mount_point

Di mana:

  • -t menunjukkan bahwa masa tenggang akan diatur.

  • -u mengatur masa tenggang untuk semua pengguna.

  • -g mengatur masa tenggang untuk semua grup.

  • -pmenetapkan masa tenggang untuk semua proyek.

  • -b mengatur masa tenggang untuk kuota blok. -i mengatur masa tenggang untuk kuota inode. Keduanya block_grace dan inode_grace dinyatakan dalam detik integer atau dalam XXwXXdXXhXXmXXs format.

  • mount_pointadalah direktori tempat sistem file dipasang.

Perintah berikut mengatur masa tenggang 1.000 detik untuk kuota blok pengguna dan 1 minggu dan 4 hari untuk kuota inode pengguna.

sudo lfs setquota -t -u -b 1000 -i 1w4d /mnt/fsx

Melihat kuota

quotaPerintah menampilkan informasi tentang kuota pengguna, kuota grup, kuota proyek, dan masa tenggang.

Lihat perintah kuota Informasi kuota yang ditampilkan

lfs quota /mount_point

Informasi kuota umum (penggunaan disk dan batas) untuk pengguna yang menjalankan perintah dan grup utama pengguna.

lfs quota -u username /mount_point

Informasi kuota umum untuk pengguna tertentu. Pengguna dengan kredensi pengguna root AWS akun dapat menjalankan perintah ini untuk setiap pengguna, tetapi pengguna non-root tidak dapat menjalankan perintah ini untuk mendapatkan informasi kuota tentang pengguna lain.

lfs quota -u username -v /mount_point

Informasi kuota umum untuk pengguna tertentu dan statistik kuota terperinci untuk setiap target penyimpanan objek (OST) dan target metadata (MDT). Pengguna dengan kredensi pengguna root AWS akun dapat menjalankan perintah ini untuk setiap pengguna, tetapi pengguna non-root tidak dapat menjalankan perintah ini untuk mendapatkan informasi kuota tentang pengguna lain.

lfs quota -g groupname /mount_point

Informasi kuota umum untuk grup tertentu.

lfs quota -p projectid /mount_point

Informasi kuota umum untuk proyek tertentu.

lfs quota -t -u /mount_point

Waktu tenggang blok dan inode untuk kuota pengguna.

lfs quota -t -g /mount_point

Waktu tenggang blok dan inode untuk kuota grup.

lfs quota -t -p /mount_point

Blokir dan inode waktu tenggang untuk kuota proyek.

Kuota dan bucket terkait Amazon S3

Anda dapat menautkan sistem file Lustre Anda FSx ke repositori data Amazon S3. Untuk informasi selengkapnya, lihat Menautkan sistem file Anda ke bucket Amazon S3.

Anda dapat memilih folder tertentu atau prefiks dalam bucket S3 terkait sebagai jalur impor ke sistem file Anda. Ketika folder di Amazon S3 ditentukan dan diimpor ke sistem file Anda dari S3, hanya data dari folder tersebut yang diterapkan terhadap kuota. Data seluruh bucket tidak dihitung terhadap batas kuota.

Metadata file dalam bucket S3 terkait diimpor ke folder dengan struktur yang cocok dengan folder impor dari Amazon S3. File-file ini dihitung terhadap kuota inode dari pengguna dan grup yang memiliki file.

Ketika pengguna melakukan hsm_restore atau malas memuat file, ukuran penuh file dihitung terhadap kuota blok yang terkait dengan pemilik file. Sebagai contoh, jika pengguna malas memuat file yang dimiliki oleh pengguna B, jumlah penyimpanan dan penggunaan inode dihitung terhadap kuota pengguna B. Demikian pula, ketika pengguna menggunakan Amazon FSx API untuk merilis file, data dibebaskan dari kuota blok pengguna atau grup yang memiliki file tersebut.

Karena HSM mengembalikan dan pemuatan malas dilakukan dengan akses akar, mereka memotong pemberlakuan kuota. Setelah data diimpor, data tersebut dihitung terhadap pengguna atau grup berdasarkan kepemilikan yang diatur di S3, yang dapat menyebabkan pengguna atau grup melampaui batas pemblokirannya. Jika ini terjadi, mereka harus membebaskan file untuk dapat menulis ke sistem file lagi.

Demikian pula, sistem file dengan impor otomatis yang diaktifkan akan secara otomatis membuat inodes baru untuk objek yang ditambahkan ke S3. Inodes baru ini dibuat dengan akses akar dan pemberlakuan kuota pintasan ketika dibuat. Inodes baru ini akan dihitung terhadap pengguna dan grup, berdasarkan siapa yang memiliki objek di S3. Jika pengguna dan grup tersebut melampaui kuota inode berdasarkan aktivitas impor otomatis, mereka harus menghapus file untuk membebaskan kapasitas tambahan dan agar berada di bawah batas kuota mereka.

Kuota dan memulihkan backup

Ketika Anda memulihkan backup, pengaturan kuota sistem file asli dilaksanakan dalam sistem file yang dipulihkan. Sebagai contoh, jika kuota diatur dalam sistem file A, dan sistem file B dibuat dari cadangan sistem file A, kuota sistem file A diberlakukan dalam sistem file B.