Menautkan sistem file Anda ke bucket Amazon S3 - FSxuntuk Lustre

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menautkan sistem file Anda ke bucket Amazon S3

Anda dapat menautkan sistem file Amazon FSx untuk Lustre ke repositori data di Amazon S3. Anda dapat membuat tautan saat membuat sistem file atau kapan saja setelah sistem file dibuat.

Tautan antara direktori pada sistem file dan bucket atau awalan S3 disebut asosiasi repositori data (). DRA Anda dapat mengonfigurasi maksimal 8 asosiasi repositori data pada sistem file FSx for Lustre. Maksimal 8 DRA permintaan dapat diantrian, tetapi hanya satu permintaan yang dapat dikerjakan pada satu waktu untuk sistem file. Masing-masing DRA harus memiliki direktori sistem file Lustre yang unik FSx dan bucket atau awalan S3 unik yang terkait dengannya.

catatan

Asosiasi repositori data, ekspor otomatis, dan dukungan untuk beberapa repositori data tidak tersedia FSx untuk sistem file Lustre 2.10 atau sistem file. Scratch 1

Untuk mengakses objek pada repositori data S3 sebagai file dan direktori pada sistem file, metadata file dan direktori harus dimuat ke dalam sistem file. Anda dapat memuat metadata dari repositori data tertaut saat membuat DRA atau memuat metadata untuk kumpulan file dan direktori yang ingin Anda akses menggunakan sistem file FSx for Lustre di lain waktu menggunakan tugas repositori data impor, atau menggunakan ekspor otomatis untuk memuat metadata secara otomatis ketika objek ditambahkan, diubah, atau dihapus dari repositori data.

Anda dapat mengonfigurasi DRA untuk impor otomatis saja, hanya untuk ekspor otomatis, atau untuk keduanya. Asosiasi repositori data yang dikonfigurasi dengan impor otomatis dan ekspor otomatis menyebarkan data di kedua arah antara sistem file dan bucket S3 yang ditautkan. Saat Anda membuat perubahan pada data di repositori data S3 Anda, FSx untuk Lustre mendeteksi perubahan dan kemudian secara otomatis mengimpor perubahan ke sistem file Anda. Saat Anda membuat, memodifikasi, atau menghapus file, FSx untuk Lustre secara otomatis mengekspor perubahan ke Amazon S3 secara asinkron setelah aplikasi Anda selesai memodifikasi file.

penting

  • Jika Anda memodifikasi file yang sama di sistem file dan bucket S3, Anda harus memastikan koordinasi tingkat aplikasi untuk mencegah konflik. FSxuntuk Lustre tidak mencegah penulisan yang bertentangan di beberapa lokasi.

  • Untuk file yang ditandai dengan atribut yang tidak dapat diubah, FSx untuk Lustre tidak dapat menyinkronkan perubahan antara sistem file Lustre FSx untuk Anda dan bucket S3 yang ditautkan ke sistem file. Menyetel flag yang tidak dapat diubah untuk jangka waktu yang lama dapat menyebabkan kinerja pergerakan data antara Amazon FSx dan S3 menurun.

Saat Anda membuat asosiasi repositori data, Anda dapat mengonfigurasi properti berikut:

  • Jalur sistem file — Masukkan jalur lokal pada sistem file yang menunjuk ke direktori (seperti/ns1/) atau subdirektori (seperti/ns1/subdir/) yang akan dipetakan one-to-one dengan jalur repositori data yang ditentukan di bawah ini. Garis miring ke depan dalam nama diperlukan. Dua asosiasi repositori data tidak dapat memiliki jalur sistem file yang tumpang tindih. Misalnya, jika repositori data dikaitkan dengan jalur sistem file/ns1, maka Anda tidak dapat menautkan repositori data lain dengan jalur sistem file. /ns1/ns2

    catatan

    Jika Anda hanya menentukan garis miring (/) sebagai jalur sistem file, Anda hanya dapat menautkan satu repositori data ke sistem file. Anda hanya dapat menentukan “/” sebagai jalur sistem file untuk repositori data pertama yang terkait dengan sistem file.

  • Jalur repositori data - Masukkan jalur di repositori data S3. Path dapat berupa bucket S3 atau awalan dalam format. s3://bucket-name/prefix/ Properti ini menentukan di mana dalam file repositori data S3 akan diimpor dari atau diekspor ke. FSxuntuk Lustre akan menambahkan tanda “/” ke jalur repositori data Anda jika Anda tidak menyediakannya. Misalnya, jika Anda menyediakan jalur repositori datas3://amzn-s3-demo-bucket/my-prefix, FSx untuk Lustre akan menafsirkannya sebagai. s3://amzn-s3-demo-bucket/my-prefix/

    Dua asosiasi repositori data tidak dapat memiliki jalur repositori data yang tumpang tindih. Misalnya, jika repositori data dengan jalur s3://amzn-s3-demo-bucket/my-prefix/ ditautkan ke sistem file, maka Anda tidak dapat membuat asosiasi repositori data lain dengan jalur repositori data. s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix

  • Impor metadata dari repositori — Anda dapat memilih opsi ini untuk mengimpor metadata dari seluruh repositori data segera setelah membuat asosiasi repositori data. Atau, Anda dapat menjalankan tugas repositori data impor untuk memuat semua atau subset metadata dari repositori data tertaut ke dalam sistem file kapan saja setelah asosiasi repositori data dibuat.

  • Pengaturan impor — Pilih kebijakan impor yang menentukan jenis objek yang diperbarui (kombinasi apa pun yang baru, diubah, dan dihapus) yang akan secara otomatis diimpor dari bucket S3 yang ditautkan ke sistem file Anda. Impor otomatis (baru, diubah, dihapus) diaktifkan secara default saat Anda menambahkan repositori data dari konsol, tetapi dinonaktifkan secara default saat menggunakan atau AWS CLI Amazon. FSx API

  • Pengaturan ekspor — Pilih kebijakan ekspor yang menentukan jenis objek yang diperbarui (kombinasi apa pun yang baru, diubah, dan dihapus) yang akan secara otomatis diekspor ke bucket S3. Ekspor otomatis (baru, diubah, dihapus) diaktifkan secara default saat Anda menambahkan repositori data dari konsol, tetapi dinonaktifkan secara default saat menggunakan atau AWS CLI Amazon. FSx API

Jalur sistem File dan pengaturan jalur repositori Data menyediakan pemetaan 1:1 antara jalur di Amazon FSx dan kunci objek di S3.

Topik