Archivia app ad alte prestazioni con FSx for Lustre

Imposta alcune variabili da utilizzare nei passaggi rimanenti. Sostituiscilo my-csi-fsx-cluster con il nome del cluster di test che desideri creare e region-code con la AWS regione in cui desideri creare il cluster di test.

export cluster_name=my-csi-fsx-cluster
export region_code=region-code

Crea un cluster di test.

eksctl create cluster \
  --name $cluster_name \
  --region $region_code \
  --with-oidc \
  --ssh-access \
  --ssh-public-key my-key

Il provisioning del cluster richiede diversi minuti. Durante la creazione del cluster, vedrai diverse righe di output. L'ultima riga di output è simile alla seguente riga di esempio.

[✓]  EKS cluster "my-csi-fsx-cluster" in "region-code" region is ready

Crea un Kubernetes account di servizio per il driver e allega la policy AmazonFSxFullAccess AWS-managed all'account di servizio con il seguente comando.

eksctl create iamserviceaccount \
  --name fsx-csi-controller-sa \
  --namespace kube-system \
  --cluster $cluster_name \
  --attach-policy-arn arn:aws: iam::aws:policy/AmazonFSxFullAccess \
  --approve \
  --role-name AmazonEKSFSxLustreCSIDriverFullAccess \
  --region $region_code

Vedrai diverse righe di output man mano che l'account di servizio viene creato. Le ultime righe dell'output sono simili a quelle riportate di seguito.

[ℹ]  1 task: {
    2 sequential sub-tasks: {
        create IAM role for serviceaccount "kube-system/fsx-csi-controller-sa",
        create serviceaccount "kube-system/fsx-csi-controller-sa",
    } }
[ℹ]  building iamserviceaccount stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  deploying stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  waiting for CloudFormation stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  created serviceaccount "kube-system/fsx-csi-controller-sa"

Annota il nome dello AWS CloudFormation stack che è stato distribuito. Nell'output di esempio precedente, lo stack è denominato eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa.

Implementare il driver mediante il comando seguente. Sostituisci release-X.XX con il ramo desiderato. Il ramo master non è supportato perché potrebbe contenere funzionalità imminenti incompatibili con la versione stabile del driver attualmente rilasciata. Si consiglia di utilizzare l'ultima versione. Per un elenco delle filiali, vedi aws-fsx-csi-driver Branches on GitHub.

kubectl apply -k "github.com/kubernetes-sigs/aws-fsx-csi-driver/deploy/kubernetes/overlays/stable/?ref=release-X.XX"

Di seguito viene riportato un output di esempio:

serviceaccount/fsx-csi-controller-sa created
serviceaccount/fsx-csi-node-sa created
clusterrole.rbac.authorization.k8s.io/fsx-csi-external-provisioner-role created
clusterrole.rbac.authorization.k8s.io/fsx-external-resizer-role created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-external-provisioner-binding created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-resizer-binding created
deployment.apps/fsx-csi-controller created
daemonset.apps/fsx-csi-node created
csidriver.storage.k8s.io/fsx.csi.aws.com created

Annota l'ARN per il ruolo che è stato creato. Se non l'hai notato in precedenza e non lo hai più disponibile nell'output della AWS CLI, puoi fare quanto segue per vederlo in. AWS Management Console

Applica una patch alla implementazione del driver per aggiungere l'account di servizio creato precedentemente con il seguente comando. Sostituisci l'ARN con l'ARN che hai annotato. Sostituisci 111122223333 con l'ID del tuo account.

kubectl annotate serviceaccount -n kube-system fsx-csi-controller-sa \
  eks.amazonaws.com/role-arn=arn:aws: iam::111122223333:role/AmazonEKSFSxLustreCSIDriverFullAccess --overwrite=true

Di seguito viene riportato un output di esempio:

serviceaccount/fsx-csi-controller-sa annotated

Annota il gruppo di sicurezza per il cluster. Puoi vederlo nella AWS Management Console sezione Rete o utilizzando il seguente comando AWS CLI.

aws eks describe-cluster --name $cluster_name --query cluster.resourcesVpcConfig.clusterSecurityGroupId

Crea un gruppo di sicurezza per il tuo FSx file system Amazon in base ai criteri indicati in Amazon VPC Security Groups nella Amazon FSx for Lustre User Guide. Per il VPC, seleziona il VPC del cluster come mostrato nella sezione Reti. Per i "gruppi di sicurezza associati ai client Lustre", usa il gruppo di sicurezza del cluster. Non specificare alcun valore nelle regole in uscita per consentire Tutto il traffico.

Scarica il manifesto della classe di storage con il comando seguente.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/storageclass.yaml

Modifica la sezione dei parametri del file storageclass.yaml. Sostituisci ogni example value con i valori in tuo possesso.

parameters:
  subnetId: subnet-0eabfaa81fb22bcaf
  securityGroupIds: sg-068000ccf82dfba88
  deploymentType: PERSISTENT_1
  automaticBackupRetentionDays: "1"
  dailyAutomaticBackupStartTime: "00:00"
  copyTagsToBackups: "true"
  perUnitStorageThroughput: "200"
  dataCompressionType: "NONE"
  weeklyMaintenanceStartTime: "7:09:00"
  fileSystemTypeVersion: "2.12"

Crea il manifesto della classe di storage.

kubectl apply -f storageclass.yaml

Di seguito viene riportato un output di esempio:

storageclass.storage.k8s.io/fsx-sc created

Scaricare il manifesto della dichiarazione di volume persistente.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/claim.yaml

(Facoltativo) Modificare il file claim.yaml. Cambia 1200Gi in uno dei valori di incremento riportati di seguito in base ai tuoi requisiti di archiviazione e al deploymentType selezionato in un passaggio precedente.

storage: 1200Gi

Creare la dichiarazione di volume persistente.

kubectl apply -f claim.yaml

Di seguito viene riportato un output di esempio:

persistentvolumeclaim/fsx-claim created

Verificare che il file system sia stato sottoposto a provisioning.

kubectl describe pvc

Di seguito viene riportato un output di esempio:

Name:          fsx-claim
Namespace:     default
StorageClass:  fsx-sc
Status:        Bound
[...]

Implementare un'applicazione di esempio.

kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/pod.yaml

Verificare che l'applicazione di esempio sia in esecuzione.

kubectl get pods

Di seguito viene riportato un output di esempio:

NAME      READY   STATUS              RESTARTS   AGE
fsx-app   1/1     Running             0          8s

Verifica che l'applicazione abbia montato correttamente il file system.

kubectl exec -ti fsx-app -- df -h

Di seguito viene riportato un output di esempio:

Filesystem                   Size  Used Avail Use% Mounted on
overlay                       80G  4.0G   77G   5% /
tmpfs                         64M     0   64M   0% /dev
tmpfs                        3.8G     0  3.8G   0% /sys/fs/cgroup
192.0.2.0@tcp:/abcdef01      1.1T  7.8M  1.1T   1% /data
/dev/nvme0n1p1                80G  4.0G   77G   5% /etc/hosts
shm                           64M     0   64M   0% /dev/shm
tmpfs                        6.9G   12K  6.9G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs                        3.8G     0  3.8G   0% /proc/acpi
tmpfs                        3.8G     0  3.8G   0% /sys/firmware

Verifica che i dati siano stati scritti nel file system FSx for Lustre dall'app di esempio.

kubectl exec -it fsx-app -- ls /data

Di seguito viene riportato un output di esempio:

out.txt

Questo output esemplificativo mostra che l'app di esempio ha eseguito correttamente la scrittura del file out.txt nel file system.