Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memulai dengan Amazon FSx for Lustre
Berikut ini, Anda dapat mempelajari cara untuk mulai menggunakan Amazon FSx for Lustre. Langkah-langkah ini memandu Anda membuat sistem file Amazon FSx for Lustre dan mengaksesnya dari instans-instans komputasi Anda. Secara opsional, langkah-langkah tersebut menunjukkan cara menggunakan sistem file Amazon FSx for Lustre Anda untuk memproses data di bucket Amazon S3 Anda dengan aplikasi berbasis file Anda.
Latihan memulai ini terdiri dari langkah-langkah sebagai berikut.
Topik
Prasyarat
Untuk melaksanakan latihan memulai ini, Anda memerlukan hal-hal berikut ini:
-
AWS Akun dengan izin yang diperlukan untuk membuat sistem file Amazon FSx for Lustre dan instans Amazon EC2. Untuk informasi selengkapnya, lihat Pengaturan Amazon FSx for Lustre.
-
Buat grup keamanan Amazon VPC untuk dikaitkan dengan sistem file FSx for Lustre Anda, dan jangan mengubahnya setelah pembuatan sistem file. Untuk informasi selengkapnya, lihat Untuk membuat grup keamanan untuk sistem file Amazon FSx Anda.
-
Instans Amazon EC2 menjalankan rilis yang di-support Linux di virtual private cloud (VPC) Anda berdasarkan layanan Amazon VPC. Untuk memulai latihan ini, kami sarankan menggunakan Amazon Linux 2023. Anda akan menginstal Lustre klien pada instance EC2 ini, dan kemudian me-mount sistem file FSx for Lustre Anda pada instance EC2. Untuk informasi selengkapnya tentang membuat instans EC2, lihat Memulai: Meluncurkan instans atau Meluncurkan instans Anda di Panduan Pengguna Amazon EC2.
Selain Amazon Linux 2023, Lustre klien mendukung Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server, dan sistem operasi Ubuntu. Untuk informasi selengkapnya, lihat Kilau sistem file dan kompatibilitas kernel klien.
-
Saat membuat instans Amazon EC2 Anda untuk mulai latihan, selalu ingat hal berikut:
-
Kami merekomendasikan Anda membuat instans Anda di VPC default Anda.
-
Kami merekomendasikan Anda menggunakan grup keamanan default saat membuat instans EC2 Anda.
-
Tentukan jenis sistem file Amazon FSx for Lustre yang ingin Anda buat, scratch atau persisten. Untuk informasi selengkapnya, lihat Opsi kelas penyebaran dan penyimpanan untuk sistem file FSx for Lustre.
Setiap sistem file FSx for Lustre memerlukan satu alamat IP untuk setiap server metadata (MDS) dan satu alamat IP untuk setiap server penyimpanan (OSS). Untuk informasi selengkapnya, lihat Alamat IP untuk sistem file.
Bucket Amazon S3 untuk menyimpan data agar beban kerja Anda diproses. Bucket S3 akan menjadi repositori data tahan lama yang ditautkan untuk sistem file FSx for Lustre Anda.
Langkah 1: Buat sistem file FSx for Lustre
Anda membuat sistem file Anda di konsol Amazon FSx. Perhatikan bahwa semua sistem file FSx for Lustre Lustre dibangun pada versi 2.15 saat dibuat menggunakan konsol Amazon FSx.
Untuk membuat sistem file Anda
-
Buka konsol Amazon FSx di. https://console.aws.amazon.com/fsx/
-
Dari dasbor, pilih Buat sistem file untuk memulai wizard pembuatan sistem file.
-
Pilih FSx for Lustredan kemudian pilih Berikutnya untuk menampilkan halaman Create File System.
Mulailah konfigurasi Anda dengan bagian Detail sistem File.
-
Untuk nama sistem file-opsional, berikan nama untuk sistem file Anda. Anda dapat menggunakan hingga 256 huruf, spasi, dan angka Unicode, ditambah karakter khusus + - = . _ : /.
-
Untuk kelas Deployment dan storage, pilih salah satu opsi:
Pilih SSD Persisten untuk penyimpanan jangka panjang dan untuk beban kerja yang sensitif terhadap latensi. Dengan penyimpanan SSD, Anda ditagih untuk jumlah penyimpanan yang Anda berikan.
Secara opsional, pilih dengan EFA diaktifkan untuk mengaktifkan dukungan Elastic Fabric Adapter (EFA) untuk sistem file. Untuk informasi lebih lanjut tentang EFA, lihatBekerja dengan sistem EFA-enabled file.
Pilih Persistent, Intelligent-Tiering untuk penyimpanan jangka panjang. Kelas Intelligent-Tiering penyimpanan menyediakan penyimpanan yang sepenuhnya elastis dan hemat biaya yang cocok untuk sebagian besar beban kerja, serta cache baca SSD opsional yang menyediakan latensi SSD untuk pembacaan data yang sering diakses. Dengan Intelligent-Tiering, Anda ditagih untuk data yang Anda simpan, tergantung pada ukuran kumpulan data Anda, dan tidak perlu menentukan ukuran sistem file.
Secara opsional, pilih dengan EFA diaktifkan untuk mengaktifkan dukungan Elastic Fabric Adapter (EFA) untuk sistem file.
Pilih Scratch, penyebaran SSD untuk penyimpanan sementara dan pemrosesan data jangka pendek. Dengan penyimpanan SSD, Anda ditagih untuk jumlah penyimpanan yang Anda berikan.
-
Pilih jumlah throughput untuk sistem file Anda. Anda membayar untuk jumlah throughput yang Anda sediakan.
Untuk penyimpanan SSD Persistent, pilih Throughput per unit nilai penyimpanan. Throughput per unit penyimpanan adalah jumlah throughput baca dan tulis untuk setiap 1 tebibyte (TiB) penyimpanan yang disediakan.
Untuk penyimpanan SSD Scratch, pilih Throughput per unit nilai penyimpanan.
Untuk Intelligent-Tiering penyimpanan, pilih nilai kapasitas Throughput.
-
Untuk kapasitas Penyimpanan (hanya kelas penyimpanan SSD), atur jumlah kapasitas penyimpanan untuk sistem file Anda, dalam TB:
Untuk jenis penyebaran SSD yang Persisten, atur ini ke nilai 1,2 TiB, 2,4 TiB, atau kenaikan 2,4 TiB.
Untuk tipe penyebaran SSD yang PersistenEFA-enabled, tetapkan nilai ini dengan penambahan 4,8 TiB, 9,6 TiB, 19,2 TiB, dan 38,4 TiB masing-masing untuk tingkat throughput 1000, 500, 250, dan 125. MBps/TiB
Anda dapat meningkatkan jumlah kapasitas penyimpanan sebagaimana diperlukan setelah Anda membuat sistem file. Untuk informasi selengkapnya, lihat Mengelola kapasitas penyimpanan.
-
Untuk konfigurasi metadata, pilih salah satu opsi berikut untuk menyediakan jumlah IOPS Metadata untuk sistem file Anda:
-
Pilih Otomatis (hanya kelas penyimpanan SSD) jika Anda ingin Amazon FSx for Lustre secara otomatis menyediakan dan menskalakan IOPS metadata pada sistem file Anda berdasarkan kapasitas penyimpanan sistem file Anda.
-
Pilih User-provisionedapakah Anda ingin menentukan jumlah Metadata IOPS yang akan disediakan untuk sistem file Anda dengan SSD atau Intelligent-Tiering kelas penyimpanan. Nilai yang valid adalah sebagai berikut:
Untuk sistem file SSD, nilai yang valid adalah
150030006000,12000,,,, dan kelipatan12000hingga maksimum.192000Untuk sistem Intelligent-Tiering file, nilai yang valid adalah
6000dan12000.
Untuk informasi selengkapnya tentang Metadata IOPS, lihat. Kilau konfigurasi kinerja metadata
-
-
Untuk cache baca SSD (Intelligent-Tiering hanya), pilih Otomatis (sebanding dengan kapasitas throughput) atau Kustom (disediakan pengguna). Dengan opsi Otomatis, Amazon FSx for Lustre secara otomatis memilih ukuran cache baca berdasarkan throughput yang Anda berikan. Jika Anda mengetahui perkiraan ukuran kumpulan data kerja aktif Anda, Anda dapat memilih Kustom untuk menyesuaikan ukuran cache baca SSD. Untuk informasi selengkapnya, lihat Mengelola cache baca SSD yang disediakan.
-
Untuk Jenis kompresi data, pilih TIDAK ADA untuk menonaktifkan kompresi data atau pilih LZ4 untuk mengaktifkan kompresi data dengan algoritma LZ4. Untuk informasi selengkapnya, lihat Kilau kompresi data.
-
Di bagian Jaringan & keamanan, berikan informasi jaringan dan grup keamanan berikut:
Untuk Virtual Private Cloud (VPC), pilih VPC yang ingin Anda kaitkan dengan sistem file Anda. Untuk mulai latihan ini, pilih VPC yang sama yang Anda pilih untuk instans Amazon EC2 Anda.
Untuk Grup keamanan VPC, ID untuk grup keamanan default untuk VPC Anda harus sudah ditambahkan.
Jika Anda tidak menggunakan grup keamanan default, pastikan bahwa aturan jalur masuk berikut ditambahkan ke grup keamanan yang Anda gunakan untuk mulai latihan ini.
Tipe Protokol Rentang port Sumber Deskripsi Semua TCP TCP 0-65535 kustomthe_ID_of_this_security_groupAturan Lustre lalu lintas masuk penting
Pastikan bahwa grup keamanan yang Anda gunakan mengikuti instruksi konfigurasi yang disediakanKontrol akses sistem file dengan Amazon VPC. Anda harus mengatur grup keamanan untuk memungkinkan lalu lintas masuk pada port 988 dan 1018-1023 dari grup keamanan itu sendiri atau CIDR subnet penuh, yang diperlukan untuk memungkinkan host sistem file berkomunikasi satu sama lain.
Jika Anda membuat sistem EFA-enabled file, pastikan Anda menentukan grup EFA-enabled keamanan.
Untuk Subnet, pilih nilai apa pun dari daftar subnet yang tersedia.
-
Untuk bagian Enkripsi, pilihan yang tersedia bervariasi tergantung pada jenis sistem file mana yang Anda buat:
-
Untuk sistem file persisten, Anda dapat memilih kunci enkripsi AWS Key Management Service (AWS KMS) untuk mengenkripsi data pada sistem file Anda saat istirahat.
-
Untuk sistem file scratch, data saat istirahat dienkripsi menggunakan kunci yang dikelola oleh. AWS
-
Untuk scratch 2 dan sistem file persisten, data pada transit dienkripsi secara otomatis ketika sistem file diakses dari jenis instans Amazon EC2 yang di-support. Untuk informasi selengkapnya, lihat Mengenkripsi data dalam perjalanan.
-
-
Untuk bagian Import/Export opsional Repositori Data, menautkan sistem file Anda ke repositori data Amazon S3 dinonaktifkan secara default. Untuk informasi tentang mengaktifkan opsi ini dan membuat asosiasi repositori data ke bucket S3 yang ada, lihat. Untuk menautkan bucket S3 saat membuat sistem file (konsol)
penting
Memilih opsi ini juga menonaktifkan cadangan dan Anda tidak akan dapat mengaktifkan cadangan saat membuat sistem file.
Jika Anda menautkan satu atau lebih sistem file Amazon FSx for Lustre ke bucket Amazon S3, jangan hapus bucket Amazon S3 sampai semua sistem file tertaut telah dihapus.
Intelligent-Tiering sistem file tidak mendukung penautan ke repositori data Amazon S3.
-
Untuk Logging opsional, logging diaktifkan secara default. Saat diaktifkan, kegagalan dan peringatan untuk aktivitas repositori data pada sistem file Anda akan dicatat ke Amazon Logs. CloudWatch Untuk informasi tentang mengonfigurasi logging, lihatMengelola logging.
-
Dalam Backup dan pemeliharaan opsional, Anda dapat melakukan hal berikut.
-
Nonaktifkan cadangan otomatis harian. Opsi ini diaktifkan secara default, kecuali jika Anda mengaktifkan Data Repository Import/Export.
-
Atur waktu mulai untuk Jendela backup otomatis harian.
-
Atur periode retensi cadangan otomatis, dari 1 - 35 hari.
-
Atur waktu mulai Jendela pemeliharaan mingguan, atau biarkan saja pengaturan default Tidak Ada preferensi.
Untuk informasi selengkapnya, lihat Melindungi data Anda dengan backup dan Jendela pemeliharaan Amazon FSx for Lustre.
-
-
Untuk Root Squash opsional, root squash dinonaktifkan secara default. Untuk informasi tentang mengaktifkan dan mengonfigurasi root squash, lihat. Untuk mengaktifkan root squash saat membuat sistem file (konsol)
-
Buat tag apa pun yang ingin Anda terapkan ke sistem file Anda.
-
Pilih Selanjutnya untuk menampilkan halaman Buat ringkasan sistem file.
-
Tinjau pengaturan untuk sistem file Amazon FSx for Lustre Anda, dan pilih Buat sistem file.
Sekarang setelah Anda membuat sistem file Anda, perhatikan nama domain dan nama pemasangan sistem file yang memenuhi syarat untuk langkah selanjutnya. Anda dapat menemukan nama domain yang memenuhi syarat dan nama mount untuk sistem file dengan memilih nama sistem file di dasbor sistem File, dan kemudian memilih Lampirkan.
Langkah 2: Instal dan konfigurasikan Kilau klien
Sebelum Anda dapat mengakses sistem file Amazon FSx for Lustre dari instans Amazon EC2 Anda, Anda harus melakukan hal berikut:
Verifikasi instans EC2 Anda memenuhi persyaratan kernel minimum.
Perbarui kernel jika diperlukan.
Unduh dan instal Lustre klien.
Untuk memeriksa versi kernel dan mengunduh Kilau klien
-
Buka jendela terminal pada instans EC2 Anda.
-
Tentukan kernel mana yang sedang berjalan pada instans komputasi Anda dengan menjalankan perintah berikut.
uname -r -
Lakukan salah satu tindakan berikut:
-
Jika perintah kembali
6.1.79-99.167.amzn2023.x86_64untuk instans EC2 berbasis x86,6.1.79-99.167.amzn2023.aarch64atau lebih tinggi untuk instans Graviton2-based EC2, unduh dan instal klien dengan perintah berikut. Lustresudo dnf install -y lustre-client -
Jika perintah mengembalikan hasil kurang dari
6.1.79-99.167.amzn2023.x86_64instans EC2 berbasis x86, atau kurang dari6.1.79-99.167.amzn2023.aarch64untuk instans Graviton2-based EC2, perbarui kernel dan reboot instans Amazon EC2 Anda dengan menjalankan perintah berikut.sudo dnf -y update kernel && sudo rebootKonfirmasikan bahwa kernel telah diperbarui menggunakan perintah uname -r. Kemudian unduh dan instal Lustre klien seperti dijelaskan di atas.
Untuk informasi tentang menginstal Lustre klien pada distribusi Linux lainnya, lihatMenginstal Kilau klien.
-
Langkah 3: Pasang sistem file
Untuk me-mount sistem file Anda, Anda akan membuat direktori pemasangan, atau mount point, dan kemudian me-mount sistem file ke klien Anda, dan memverifikasi bahwa klien Anda dapat mengakses sistem file.
Untuk memasang sistem file Anda
-
Buatlah sebuah direktori untuk titik pemasangan dengan perintah berikut ini.
sudo mkdir -p /mnt/fsx -
Pasang sistem file Amazon FSx for Lustre ke direktori yang Anda buat. Gunakan perintah berikut dan ganti item berikut:
Ganti
dengan nama Sistem Nama Domain (DNS) dari sistem file sebenarnya.file_system_dns_nameGanti
dengan nama mount sistem file, yang bisa Anda dapatkan dengan menjalankan describe-file-systems AWS CLI perintah atau operasi DescribeFileSystemsAPI.mountname
sudo mount -t lustre -o relatime,flockfile_system_dns_name@tcp:/mountname/mnt/fsxPerintah ini memasang sistem file Anda dengan dua pilihan,
-o relatimedanflock:-
relatime— Sementaraatimeopsi mempertahankanatime(waktu akses inode) data untuk setiap kali file diakses,relatimeopsi ini juga mempertahankanatimedata, tetapi tidak untuk setiap kali file diakses. Denganrelatimeopsi diaktifkan,atimedata ditulis ke disk hanya jika file telah dimodifikasi sejakatimedata terakhir diperbarui (mtime), atau jika file terakhir diakses lebih dari jumlah waktu tertentu yang lalu (6 jam secara default). Menggunakan salah satuatimeopsirelatimeor akan mengoptimalkan proses rilis file.catatan
Jika beban kerja Anda memerlukan akurasi waktu akses yang tepat, Anda dapat memasang dengan opsi
atimepemasangan. Namun, hal itu dapat memengaruhi kinerja beban kerja dengan meningkatkan lalu lintas jaringan yang diperlukan untuk mempertahankan nilai waktu akses yang tepat.Jika beban kerja Anda tidak memerlukan waktu akses metadata, menggunakan opsi
noatimepemasangan untuk menonaktifkan pembaruan untuk mengakses waktu dapat memberikan peningkatan kinerja. Ketahuilah bahwa prosesatimeterfokus seperti rilis file atau rilis validitas data akan menjadi tidak akurat dalam rilisnya. -
flock— Memungkinkan penguncian file untuk sistem file Anda. Jika Anda tidak ingin penguncian file diaktifkan, gunakan perintahmounttanpaflock.
-
Verifikasi bahwa perintah pemasangan berhasil dengan mencantumkan isi direktori tempat Anda memasang sistem file
/mnt/fsx, dengan menggunakan perintah berikut ini.ls /mnt/fsximport-path lustre $Anda juga dapat menggunakan perintah
df, berikut.df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/mountname3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000Hasilnya menunjukkan sistem file Amazon FSx terpasang pada/. mnt/fsx
Langkah 4: Jalankan alur kerja Anda
Kini setelah sistem file Anda dibuat dan dipasang ke instans komputasi, Anda dapat menggunakannya untuk menjalankan beban kerja komputasi Anda yang ber-performa tinggi.
Anda dapat membuat asosiasi repositori data untuk menautkan sistem file Anda ke repositori data Amazon S3, Untuk informasi selengkapnya, lihat. Menautkan sistem file Anda ke bucket Amazon S3
Setelah Anda menautkan sistem file Anda ke repositori data Amazon S3, Anda dapat mengekspor data yang telah Anda tulis ke sistem file Anda kembali ke bucket Amazon S3 Anda kapan saja. Dari sebuah terminal pada salah satu instans komputasi Anda, jalankan perintah berikut untuk mengekspor file ke bucket Amazon S3 Anda.
sudo lfs hsm_archivefile_name
Untuk informasi lebih lanjut tentang cara menjalankan perintah ini pada sebuah folder atau koleksi besar file dengan cepat, lihat Mengekspor file menggunakan perintah HSM.
Langkah 5: Bersihkan Sumber Daya
Setelah Anda menyelesaikan latihan ini, Anda harus mengikuti langkah-langkah ini untuk membersihkan sumber daya Anda dan melindungi AWS akun Anda.
Untuk membersihkan sumber daya
-
Jika Anda ingin melakukan ekspor akhir, jalankan perintah berikut.
nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive & -
Pada konsol Amazon EC2, akhiri instans Anda. Untuk informasi selengkapnya, lihat Menghentikan Instans Anda di Panduan Pengguna Amazon EC2.
-
Pada konsol Amazon FSx for Lustre, hapus sistem file Anda dengan prosedur berikut:
-
Di panel navigasi, pilih Sistem file.
-
Pilih sistem file yang ingin Anda hapus dari daftar sistem berkas di dasbor.
-
Pilih Tindakan, pilih Hapus sistem file.
-
Di kotak dialog yang muncul, pilih apakah Anda ingin mengambil cadangan akhir dari sistem file. Kemudian berikan ID sistem file untuk mengonfirmasi penghapusan. Pilih Hapus sistem file.
-
-
Jika Anda membuat bucket Amazon S3 untuk latihan ini, dan jika Anda tidak ingin menyimpan data yang Anda ekspor, sekarang Anda dapat menghapusnya. Untuk informasi selengkapnya, lihat Menghapus bucket di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.