Simpan aplikasi berkinerja tinggi dengan FSx for Lustre

Untuk menyebarkan driver FSx untuk Lustre CSI

1. Tetapkan beberapa variabel untuk digunakan dalam langkah-langkah yang tersisa. Ganti my-csi-fsx-cluster dengan nama cluster pengujian yang ingin Anda buat dan region-code dengan Wilayah AWS yang Anda inginkan untuk membuat cluster pengujian Anda.

   export cluster_name=my-csi-fsx-cluster
   export region_code=region-code
   

2. Buat cluster uji.

   eksctl create cluster \
     --name $cluster_name \
     --region $region_code \
     --with-oidc \
     --ssh-access \
     --ssh-public-key my-key
   

   Penyediaan klaster memerlukan waktu beberapa menit. Selama pembuatan klaster, Anda akan melihat beberapa baris output. Baris terakhir output mirip dengan baris contoh berikut.

   [✓]  EKS cluster "my-csi-fsx-cluster" in "region-code" region is ready

3. Buat Kubernetes akun layanan untuk driver dan lampirkan kebijakan AmazonFSxFullAccess AWS-managed ke akun layanan dengan perintah berikut. Jika cluster Anda berada di AWS GovCloud (AS-Timur) atau AWS GovCloud (AS-Barat) Wilayah AWS, maka ganti arn:aws: dengan. arn:aws-us-gov:

   eksctl create iamserviceaccount \
     --name fsx-csi-controller-sa \
     --namespace kube-system \
     --cluster $cluster_name \
     --attach-policy-arn arn:aws:iam::aws:policy/AmazonFSxFullAccess \
     --approve \
     --role-name AmazonEKSFSxLustreCSIDriverFullAccess \
     --region $region_code
   

   Anda akan melihat beberapa baris output saat akun layanan dibuat. Baris output terakhir mirip dengan yang berikut ini.

   [ℹ]  1 task: { 
       2 sequential sub-tasks: { 
           create IAM role for serviceaccount "kube-system/fsx-csi-controller-sa",
           create serviceaccount "kube-system/fsx-csi-controller-sa",
       } }
   [ℹ]  building iamserviceaccount stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
   [ℹ]  deploying stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
   [ℹ]  waiting for CloudFormation stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
   [ℹ]  created serviceaccount "kube-system/fsx-csi-controller-sa"

   Perhatikan nama AWS CloudFormation tumpukan yang digunakan. Dalam contoh output sebelumnya, tumpukan diberi namaeksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa.

4. Deploy driver dengan perintah berikut. Ganti release-X.XX dengan cabang yang Anda inginkan. Cabang master tidak didukung karena mungkin berisi fitur mendatang yang tidak kompatibel dengan versi stabil driver yang saat ini dirilis. Kami merekomendasikan menggunakan versi rilis terbaru. Untuk daftar cabang, lihat aws-fsx-csi-driver Cabang di GitHub.

   catatan

   Anda dapat melihat konten yang diterapkan aws-fsx-csi-driver/deploy/kubernetes/overlays/stabledi GitHub.

   kubectl apply -k "github.com/kubernetes-sigs/aws-fsx-csi-driver/deploy/kubernetes/overlays/stable/?ref=release-X.XX"
   

   Contoh output adalah sebagai berikut.

   serviceaccount/fsx-csi-controller-sa created
   serviceaccount/fsx-csi-node-sa created
   clusterrole.rbac.authorization.k8s.io/fsx-csi-external-provisioner-role created
   clusterrole.rbac.authorization.k8s.io/fsx-external-resizer-role created
   clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-external-provisioner-binding created
   clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-resizer-binding created
   deployment.apps/fsx-csi-controller created
   daemonset.apps/fsx-csi-node created
   csidriver.storage.k8s.io/fsx.csi.aws.com created

5. Perhatikan ARN untuk peran yang dibuat. Jika Anda tidak mencatatnya sebelumnya dan tidak memilikinya tersedia lagi di AWS CLI output, Anda dapat melakukan hal berikut untuk melihatnya di AWS Management Console.

   1. Buka AWS CloudFormation konsol di https://console.aws.amazon.com/cloudformation.

   2. Pastikan konsol diatur ke IAM peran Wilayah AWS yang Anda buat, lalu pilih Tumpukan.

   3. Pilih tumpukan bernama eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa.

   4. Pilih tab Outputs. Peran1 ARN tercantum di halaman Output (1).

6. Patch penyebaran driver untuk menambahkan akun layanan yang Anda buat sebelumnya dengan perintah berikut. Ganti ARN dengan ARN yang Anda catat. Ganti 111122223333 dengan ID akun Anda. Jika cluster Anda berada di AWS GovCloud (AS-Timur) atau AWS GovCloud (AS-Barat) Wilayah AWS, maka ganti arn:aws: dengan. arn:aws-us-gov:

   kubectl annotate serviceaccount -n kube-system fsx-csi-controller-sa \
     eks.amazonaws.com/role-arn=arn:aws:iam::111122223333:role/AmazonEKSFSxLustreCSIDriverFullAccess --overwrite=true
   

   Contoh output adalah sebagai berikut.

   serviceaccount/fsx-csi-controller-sa annotated

Untuk menerapkan kelas penyimpanan, klaim volume persisten, dan aplikasi sampel

Prosedur ini menggunakan driver FSxfor Lustre Container Storage Interface () CSI GitHub repositori untuk menggunakan volume Lustre yang disediakan secara dinamisFSx.

1. Perhatikan grup keamanan untuk klaster Anda. Anda dapat melihatnya di bagian AWS Management Console bawah Jaringan atau dengan menggunakan AWS CLI perintah berikut.

   aws eks describe-cluster --name $cluster_name --query cluster.resourcesVpcConfig.clusterSecurityGroupId
   

2. Buat grup keamanan untuk sistem FSx file Amazon Anda sesuai dengan kriteria yang ditampilkan di Grup VPC Keamanan Amazon di Panduan Pengguna Amazon FSx untuk Lustre. Untuk VPC, pilih cluster Anda seperti VPC yang ditunjukkan di bawah bagian Networking. Untuk “grup keamanan yang terkait dengan klien Lustre Anda”, gunakan grup keamanan klaster Anda. Anda dapat meninggalkan aturan keluar sendiri untuk memungkinkan Semua lalu lintas.

3. Unduh manifes kelas penyimpanan dengan perintah berikut.

   curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/storageclass.yaml
   

4. Edit bagian parameter storageclass.yaml file. Ganti setiap example value dengan nilai-nilai Anda sendiri.

   parameters:
     subnetId: subnet-0eabfaa81fb22bcaf
     securityGroupIds: sg-068000ccf82dfba88
     deploymentType: PERSISTENT_1
     automaticBackupRetentionDays: "1"
     dailyAutomaticBackupStartTime: "00:00"
     copyTagsToBackups: "true"
     perUnitStorageThroughput: "200"
     dataCompressionType: "NONE"
     weeklyMaintenanceStartTime: "7:09:00"
     fileSystemTypeVersion: "2.12"

   • subnetId— ID subnet tempat sistem file Amazon FSx untuk Lustre harus dibuat. Amazon FSx for Lustre tidak didukung di semua Availability Zone. Buka konsol Amazon FSx for Lustre di https://console.aws.amazon.com/fsx/untuk mengonfirmasi bahwa subnet yang ingin Anda gunakan berada di Availability Zone yang didukung. Subnet dapat menyertakan node Anda, atau dapat berupa subnet yang berbeda atau: VPC

     • Anda dapat memeriksa subnet node di AWS Management Console dengan memilih grup node di bawah bagian Compute.

     • Jika subnet yang Anda tentukan bukan subnet yang sama dengan yang Anda miliki node, maka Anda VPCs harus terhubung, dan Anda harus memastikan bahwa Anda memiliki port yang diperlukan terbuka di grup keamanan Anda.

   • securityGroupIds— ID grup keamanan yang Anda buat untuk sistem file.

   • deploymentType(opsional) — Jenis penyebaran sistem file. Nilai yang valid adalah SCRATCH_1, SCRATCH_2, PERSISTENT_1, dan PERSISTENT_2. Untuk informasi selengkapnya tentang jenis penerapan, lihat Membuat sistem file Amazon FSx untuk Lustre.

   • parameter lain (opsional) — Untuk informasi tentang parameter lainnya, lihat StorageClassMengedit GitHub.

5. Buat manifes kelas penyimpanan.

   kubectl apply -f storageclass.yaml
   

   Contoh output adalah sebagai berikut.

   storageclass.storage.k8s.io/fsx-sc created

6. Unduh manifes klaim volume persisten.

   curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/claim.yaml
   

7. (Opsional) Edit file claim.yaml. Ubah 1200Gi ke salah satu nilai kenaikan berikut, berdasarkan kebutuhan penyimpanan Anda dan deploymentType yang Anda pilih pada langkah sebelumnya.

   storage: 1200Gi

   • SCRATCH_2dan PERSISTENT —1.2 TiB,2.4 TiB, atau kenaikan 2,4 TiB lebih dari 2,4 TiB.

   • SCRATCH_1—1.2 TiB,, 2.4 TiB3.6 TiB, atau kenaikan 3,6 TiB lebih dari 3,6 TiB.

8. Buat klaim volume persisten.

   kubectl apply -f claim.yaml
   

   Contoh output adalah sebagai berikut.

   persistentvolumeclaim/fsx-claim created

9. Konfirmasikan bahwa sistem file disediakan.

   kubectl describe pvc
   

   Contoh output adalah sebagai berikut.

   Name:          fsx-claim
   Namespace:     default
   StorageClass:  fsx-sc
   Status:        Bound
   [...]

   catatan

   Status mungkin ditampilkan sebagai Pending selama 5-10 menit, sebelum berubah ke Bound. Jangan lanjutkan ke langkah berikutnya sampai Status adalah Bound. Jika Status ditampilkan Pending selama lebih dari 10 menit, gunakan pesan peringatan di Events sebagai referensi untuk mengatasi masalah apa pun.

10. Deploy aplikasi sampel.

    kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/pod.yaml
    

11. Verifikasi bahwa aplikasi sampel sedang dijalankan.

    kubectl get pods
    

    Contoh output adalah sebagai berikut.

    NAME      READY   STATUS              RESTARTS   AGE
    fsx-app   1/1     Running             0          8s

12. Verifikasi bahwa sistem file dipasang dengan benar oleh aplikasi.

    kubectl exec -ti fsx-app -- df -h
    

    Contoh output adalah sebagai berikut.

    Filesystem                   Size  Used Avail Use% Mounted on
    overlay                       80G  4.0G   77G   5% /
    tmpfs                         64M     0   64M   0% /dev
    tmpfs                        3.8G     0  3.8G   0% /sys/fs/cgroup
    192.0.2.0@tcp:/abcdef01      1.1T  7.8M  1.1T   1% /data
    /dev/nvme0n1p1                80G  4.0G   77G   5% /etc/hosts
    shm                           64M     0   64M   0% /dev/shm
    tmpfs                        6.9G   12K  6.9G   1% /run/secrets/kubernetes.io/serviceaccount
    tmpfs                        3.8G     0  3.8G   0% /proc/acpi
    tmpfs                        3.8G     0  3.8G   0% /sys/firmware

13. Verifikasi bahwa data telah ditulis ke sistem file FSx for Lustre oleh aplikasi sampel.

    kubectl exec -it fsx-app -- ls /data
    

    Contoh output adalah sebagai berikut.

    out.txt

    Contoh keluaran ini menunjukkan bahwa aplikasi sampel berhasil menulis out.txt file ke sistem file.