Almacenamiento de aplicaciones de alto rendimiento con FSx para Lustre

Establezca algunas variables para utilizarlas en los pasos restantes. Reemplace my-csi-fsx-cluster con el nombre del clúster de prueba que desea crear y region-code con la región de AWS en la que desea crear su clúster de prueba.

export cluster_name=my-csi-fsx-cluster
export region_code=region-code

Cree un clúster de pruebas.

eksctl create cluster \
  --name $cluster_name \
  --region $region_code \
  --with-oidc \
  --ssh-access \
  --ssh-public-key my-key

El aprovisionamiento de clústeres tarda varios minutos. Durante la creación del clúster, verá varias líneas de salida. La última línea de salida es similar a la siguiente línea de ejemplo.

[✓]  EKS cluster "my-csi-fsx-cluster" in "region-code" region is ready

Cree una cuenta de servicio de Kubernetes para el controlador y asigne la política administrada de AWS AmazonFSxFullAccess a la cuenta de servicio con el siguiente comando. Si su clúster está en las regiones de AWS, AWS GovCloud (este de EE. UU.) o AWS GovCloud (oeste de EE. UU.), reemplace arn:aws: con arn:aws-us-gov:.

eksctl create iamserviceaccount \
  --name fsx-csi-controller-sa \
  --namespace kube-system \
  --cluster $cluster_name \
  --attach-policy-arn arn:aws:iam::aws:policy/AmazonFSxFullAccess \
  --approve \
  --role-name AmazonEKSFSxLustreCSIDriverFullAccess \
  --region $region_code

Verá varias líneas de salida a medida que se crea la cuenta de servicio. Las últimas líneas de salida es similar a la siguiente línea de ejemplo.

[ℹ]  1 task: {
    2 sequential sub-tasks: {
        create IAM role for serviceaccount "kube-system/fsx-csi-controller-sa",
        create serviceaccount "kube-system/fsx-csi-controller-sa",
    } }
[ℹ]  building iamserviceaccount stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  deploying stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  waiting for CloudFormation stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  created serviceaccount "kube-system/fsx-csi-controller-sa"

Apunte el nombre de la pila de AWS CloudFormation que se implementó. En la salida de ejemplo anterior, la pila se denomina eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa.

Implemente el controlador con el siguiente comando. Sustituya release-X.XX por la rama que desee. La rama maestra no es compatible porque puede contener características futuras que no sean compatibles con la versión estable del controlador publicada actualmente. Le recomendamos que utilice la versión lanzada más reciente. Para obtener una lista de ramificaciones, consulte las ramificaciones de aws-fsx-csi-driver en GitHub.

kubectl apply -k "github.com/kubernetes-sigs/aws-fsx-csi-driver/deploy/kubernetes/overlays/stable/?ref=release-X.XX"

Un ejemplo de salida sería el siguiente.

serviceaccount/fsx-csi-controller-sa created
serviceaccount/fsx-csi-node-sa created
clusterrole.rbac.authorization.k8s.io/fsx-csi-external-provisioner-role created
clusterrole.rbac.authorization.k8s.io/fsx-external-resizer-role created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-external-provisioner-binding created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-resizer-binding created
deployment.apps/fsx-csi-controller created
daemonset.apps/fsx-csi-node created
csidriver.storage.k8s.io/fsx.csi.aws.com created

Apunte el ARN para el rol que se creó. Si no lo anotó antes y ya no está disponible en la salida de AWS CLI, puede realizar lo siguiente para verlo en la AWS Management Console.

Revise la implementación del controlador a fin de agregar la cuenta de servicio que creó anteriormente con el siguiente comando. Reemplace el ARN por el ARN que anotó. Reemplace 111122223333 por el ID de su cuenta. Si su clúster está en las regiones de AWS AWS GovCloud (este de EE. UU.) o AWS GovCloud (oeste de EE. UU.), reemplace arn:aws: con arn:aws-us-gov:.

kubectl annotate serviceaccount -n kube-system fsx-csi-controller-sa \
  eks.amazonaws.com/role-arn=arn:aws:iam::111122223333:role/AmazonEKSFSxLustreCSIDriverFullAccess --overwrite=true

Un ejemplo de salida sería el siguiente.

serviceaccount/fsx-csi-controller-sa annotated

Anote el grupo de seguridad del clúster. Puede verlo en la AWS Management Console en la sección Redes o utilizando el siguiente comando de AWS CLI.

aws eks describe-cluster --name $cluster_name --query cluster.resourcesVpcConfig.clusterSecurityGroupId

Cree un grupo de seguridad para su sistema de archivos Amazon FSx de acuerdo con los criterios que se muestran en Grupos de seguridad de Amazon VPC en la Guía del usuario de Amazon FSx para Lustre. Para la VPC, seleccione la VPC de su clúster tal como se muestra en la sección Networking (Redes). Para “los grupos de seguridad asociados a los clientes de Lustre”, utilice el grupo de seguridad de clúster. Puede dejar solo las reglas de salida para permitir All traffic (Todo el tráfico).

Descargue el manifiesto de con el siguiente comando.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/storageclass.yaml

Edite la sección de parámetros del archivo storageclass.yaml. Reemplace todos los valores de ejemplo por sus propios valores.

parameters:
  subnetId: subnet-0eabfaa81fb22bcaf
  securityGroupIds: sg-068000ccf82dfba88
  deploymentType: PERSISTENT_1
  automaticBackupRetentionDays: "1"
  dailyAutomaticBackupStartTime: "00:00"
  copyTagsToBackups: "true"
  perUnitStorageThroughput: "200"
  dataCompressionType: "NONE"
  weeklyMaintenanceStartTime: "7:09:00"
  fileSystemTypeVersion: "2.12"

Cree el manifiesto de clase de almacenamiento.

kubectl apply -f storageclass.yaml

Un ejemplo de salida sería el siguiente.

storageclass.storage.k8s.io/fsx-sc created

Descargue el manifiesto de notificación de volumen persistente.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/claim.yaml

(Opcional) Edite el archivo claim.yaml. Cambie 1200Gi por uno de los valores de incremento que se indican a continuación, en función de los requisitos de almacenamiento y del deploymentType que seleccionó en un paso anterior.

storage: 1200Gi

Cree la notificación de volumen persistente.

kubectl apply -f claim.yaml

Un ejemplo de salida sería el siguiente.

persistentvolumeclaim/fsx-claim created

Confirme que el sistema de archivos está aprovisionado.

kubectl describe pvc

Un ejemplo de salida sería el siguiente.

Name:          fsx-claim
Namespace:     default
StorageClass:  fsx-sc
Status:        Bound
[...]

Implemente la aplicación de muestra.

kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/pod.yaml

Verifique que la aplicación de muestra se está ejecutando.

kubectl get pods

Un ejemplo de salida sería el siguiente.

NAME      READY   STATUS              RESTARTS   AGE
fsx-app   1/1     Running             0          8s

Verifique que la aplicación haya montado correctamente el sistema de archivos.

kubectl exec -ti fsx-app -- df -h

Un ejemplo de salida sería el siguiente.

Filesystem                   Size  Used Avail Use% Mounted on
overlay                       80G  4.0G   77G   5% /
tmpfs                         64M     0   64M   0% /dev
tmpfs                        3.8G     0  3.8G   0% /sys/fs/cgroup
192.0.2.0@tcp:/abcdef01      1.1T  7.8M  1.1T   1% /data
/dev/nvme0n1p1                80G  4.0G   77G   5% /etc/hosts
shm                           64M     0   64M   0% /dev/shm
tmpfs                        6.9G   12K  6.9G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs                        3.8G     0  3.8G   0% /proc/acpi
tmpfs                        3.8G     0  3.8G   0% /sys/firmware

Verifique que la aplicación de muestra haya escrito los datos en el sistema de archivos de FSx para Lustre.

kubectl exec -it fsx-app -- ls /data

Un ejemplo de salida sería el siguiente.

out.txt

En este resultado de ejemplo se muestra que la aplicación de ejemplo escribió correctamente el archivo out.txt en el sistema de archivos.