Stockez des applications hautes performances avec FSx for Lustre

Définissez quelques variables à utiliser lors des étapes restantes. Remplacez-le my-csi-fsx-cluster par le nom du cluster de test que vous souhaitez créer et region-code par la AWS région dans laquelle vous souhaitez créer votre cluster de test.

export cluster_name=my-csi-fsx-cluster
export region_code=region-code

Créez un cluster de test.

eksctl create cluster \
  --name $cluster_name \
  --region $region_code \
  --with-oidc \
  --ssh-access \
  --ssh-public-key my-key

L'approvisionnement de cluster dure plusieurs minutes. Lors de la création du cluster, vous verrez plusieurs lignes de sortie. La dernière ligne de sortie est similaire à celle de l'exemple suivant.

[✓]  EKS cluster "my-csi-fsx-cluster" in "region-code" region is ready

Créez un compte de service Kubernetes pour le pilote et associez la politique AmazonFSxFullAccess AWS gérée au compte de service à l'aide de la commande suivante.

eksctl create iamserviceaccount \
  --name fsx-csi-controller-sa \
  --namespace kube-system \
  --cluster $cluster_name \
  --attach-policy-arn arn:aws: iam::aws:policy/AmazonFSxFullAccess \
  --approve \
  --role-name AmazonEKSFSxLustreCSIDriverFullAccess \
  --region $region_code

Vous verrez plusieurs lignes de sortie lors de la création du compte de service. Les dernières lignes de sortie sont similaires à celle de l'exemple suivant.

[ℹ]  1 task: {
    2 sequential sub-tasks: {
        create IAM role for serviceaccount "kube-system/fsx-csi-controller-sa",
        create serviceaccount "kube-system/fsx-csi-controller-sa",
    } }
[ℹ]  building iamserviceaccount stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  deploying stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  waiting for CloudFormation stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  created serviceaccount "kube-system/fsx-csi-controller-sa"

Notez le nom de la AWS CloudFormation pile qui a été déployée. Dans l'exemple de sortie ci-dessus, la pile est nommée eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa.

Installez le pilote avec la commande suivante : Remplacez release-X.XX par la branche de votre choix. La branche master n'est pas prise en charge car elle peut contenir des fonctionnalités à venir incompatibles avec la version stable du pilote actuellement publiée. Nous vous recommandons d'utiliser la dernière version publiée. Pour une liste des branches, voir aws-fsx-csi-driver Branches actives GitHub.

kubectl apply -k "github.com/kubernetes-sigs/aws-fsx-csi-driver/deploy/kubernetes/overlays/stable/?ref=release-X.XX"

L'exemple qui suit illustre un résultat.

serviceaccount/fsx-csi-controller-sa created
serviceaccount/fsx-csi-node-sa created
clusterrole.rbac.authorization.k8s.io/fsx-csi-external-provisioner-role created
clusterrole.rbac.authorization.k8s.io/fsx-external-resizer-role created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-external-provisioner-binding created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-resizer-binding created
deployment.apps/fsx-csi-controller created
daemonset.apps/fsx-csi-node created
csidriver.storage.k8s.io/fsx.csi.aws.com created

Notez l'ARN du rôle créé. Si vous ne l'avez pas remarqué plus tôt et qu'il n'est plus disponible dans la sortie de la AWS CLI, vous pouvez procéder comme suit pour le voir dans le AWS Management Console.

Appliquez un correctif sur le déploiement du pilote pour ajouter le compte de service que vous avez créé précédemment avec la commande suivante. Remplacez l'ARN par l'ARN que vous avez noté. Remplacez 111122223333 par votre ID de compte.

kubectl annotate serviceaccount -n kube-system fsx-csi-controller-sa \
  eks.amazonaws.com/role-arn=arn:aws: iam::111122223333:role/AmazonEKSFSxLustreCSIDriverFullAccess --overwrite=true

L'exemple qui suit illustre un résultat.

serviceaccount/fsx-csi-controller-sa annotated

Notez le groupe de sécurité de votre cluster. Vous pouvez le voir dans la AWS Management Console section Mise en réseau ci-dessous ou en utilisant la commande AWS CLI suivante.

aws eks describe-cluster --name $cluster_name --query cluster.resourcesVpcConfig.clusterSecurityGroupId

Créez un groupe de sécurité pour votre système de FSx fichiers Amazon conformément aux critères indiqués dans la section Groupes de sécurité Amazon VPC du guide de l'utilisateur Amazon FSx for Lustre. Pour le VPC, sélectionnez le VPC de votre cluster, comme indiqué dans la section Mise en réseau. Pour « les groupes de sécurité associés à vos clients Lustre », utilisez le groupe de sécurité de votre cluster. Vous pouvez juste laisser les règles sortantes pour autoriser Tout le trafic.

Téléchargez le manifeste de la classe de stockage à l'aide de la commande suivante.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/storageclass.yaml

Modifiez la section des paramètres du fichier storageclass.yaml. Remplacez chaque example value par vos propres valeurs.

parameters:
  subnetId: subnet-0eabfaa81fb22bcaf
  securityGroupIds: sg-068000ccf82dfba88
  deploymentType: PERSISTENT_1
  automaticBackupRetentionDays: "1"
  dailyAutomaticBackupStartTime: "00:00"
  copyTagsToBackups: "true"
  perUnitStorageThroughput: "200"
  dataCompressionType: "NONE"
  weeklyMaintenanceStartTime: "7:09:00"
  fileSystemTypeVersion: "2.12"

Créez le manifeste de la classe de stockage.

kubectl apply -f storageclass.yaml

L'exemple qui suit illustre un résultat.

storageclass.storage.k8s.io/fsx-sc created

Téléchargez le manifeste de revendication de volume persistant.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/claim.yaml

(Facultatif) Modifiez le fichier claim.yaml. Remplacez 1200Gi par l'une des valeurs d'incrément ci-dessous, en fonction de vos besoins de stockage et du deploymentType que vous avez sélectionné à l'étape précédente.

storage: 1200Gi

Créez la revendication de volume persistant.

kubectl apply -f claim.yaml

L'exemple qui suit illustre un résultat.

persistentvolumeclaim/fsx-claim created

Vérifiez que le système de fichiers est approvisionné.

kubectl describe pvc

L'exemple qui suit illustre un résultat.

Name:          fsx-claim
Namespace:     default
StorageClass:  fsx-sc
Status:        Bound
[...]

Déployez un exemple d'application

kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/pod.yaml

Vérifiez que l'exemple d'application est en cours d'exécution.

kubectl get pods

L'exemple qui suit illustre un résultat.

NAME      READY   STATUS              RESTARTS   AGE
fsx-app   1/1     Running             0          8s

Vérifiez que le système de fichiers est correctement monté par l'application.

kubectl exec -ti fsx-app -- df -h

L'exemple qui suit illustre un résultat.

Filesystem                   Size  Used Avail Use% Mounted on
overlay                       80G  4.0G   77G   5% /
tmpfs                         64M     0   64M   0% /dev
tmpfs                        3.8G     0  3.8G   0% /sys/fs/cgroup
192.0.2.0@tcp:/abcdef01      1.1T  7.8M  1.1T   1% /data
/dev/nvme0n1p1                80G  4.0G   77G   5% /etc/hosts
shm                           64M     0   64M   0% /dev/shm
tmpfs                        6.9G   12K  6.9G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs                        3.8G     0  3.8G   0% /proc/acpi
tmpfs                        3.8G     0  3.8G   0% /sys/firmware

Vérifiez que les données ont été écrites dans le système de fichiers FSx for Lustre par l'exemple d'application.

kubectl exec -it fsx-app -- ls /data

L'exemple qui suit illustre un résultat.

out.txt

Cet exemple de sortie signifie que l'exemple d'application a réussi à écrire le fichier out.txt dans le système de fichiers.