Stockez des applications hautes performances avec FSx for Lustre

Définissez quelques variables à utiliser lors des étapes restantes. Remplacez my-csi-fsx-cluster avec le nom du cluster de test que vous souhaitez créer et region-code avec la AWS région dans laquelle vous souhaitez créer votre cluster de test.

export cluster_name=my-csi-fsx-cluster
export region_code=region-code

Créez un cluster de test.

eksctl create cluster \
  --name $cluster_name \
  --region $region_code \
  --with-oidc \
  --ssh-access \
  --ssh-public-key my-key

L'approvisionnement de cluster dure plusieurs minutes. Lors de la création du cluster, vous verrez plusieurs lignes de sortie. La dernière ligne de sortie est similaire à celle de l'exemple suivant.

[✓]  EKS cluster "my-csi-fsx-cluster" in "region-code" region is ready

Créez un Kubernetes compte de service pour le pilote et attachez la politique AmazonFSxFullAccess AWS-managed au compte de service à l'aide de la commande suivante. Si votre cluster se trouve dans les AWS régions AWS GovCloud (USA Est) ou AWS GovCloud (USA Ouest), remplacez-le par arn:aws: . arn:aws-us-gov:

eksctl create iamserviceaccount \
  --name fsx-csi-controller-sa \
  --namespace kube-system \
  --cluster $cluster_name \
  --attach-policy-arn arn:aws: iam::aws:policy/AmazonFSxFullAccess \
  --approve \
  --role-name AmazonEKSFSxLustreCSIDriverFullAccess \
  --region $region_code

Vous verrez plusieurs lignes de sortie lors de la création du compte de service. Les dernières lignes de sortie sont similaires à celle de l'exemple suivant.

[ℹ]  1 task: {
    2 sequential sub-tasks: {
        create IAM role for serviceaccount "kube-system/fsx-csi-controller-sa",
        create serviceaccount "kube-system/fsx-csi-controller-sa",
    } }
[ℹ]  building iamserviceaccount stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  deploying stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  waiting for CloudFormation stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  created serviceaccount "kube-system/fsx-csi-controller-sa"

Notez le nom de la AWS CloudFormation pile qui a été déployée. Dans l'exemple de sortie ci-dessus, la pile est nommée eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa.

Installez le pilote avec la commande suivante : Remplacez release-X.XX avec la succursale de votre choix. La branche master n'est pas prise en charge car elle peut contenir des fonctionnalités à venir incompatibles avec la version stable du pilote actuellement publiée. Nous vous recommandons d'utiliser la dernière version publiée. Pour une liste des branches, voir aws-fsx-csi-driver Branches actives GitHub.

kubectl apply -k "github.com/kubernetes-sigs/aws-fsx-csi-driver/deploy/kubernetes/overlays/stable/?ref=release-X.XX"

L'exemple qui suit illustre un résultat.

serviceaccount/fsx-csi-controller-sa created
serviceaccount/fsx-csi-node-sa created
clusterrole.rbac.authorization.k8s.io/fsx-csi-external-provisioner-role created
clusterrole.rbac.authorization.k8s.io/fsx-external-resizer-role created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-external-provisioner-binding created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-resizer-binding created
deployment.apps/fsx-csi-controller created
daemonset.apps/fsx-csi-node created
csidriver.storage.k8s.io/fsx.csi.aws.com created

Notez ARN le rôle qui a été créé. Si vous ne l'avez pas noté plus tôt et qu'il n'est plus disponible dans la AWS CLI sortie, vous pouvez procéder comme suit pour le voir dans le AWS Management Console.

Appliquez un correctif sur le déploiement du pilote pour ajouter le compte de service que vous avez créé précédemment avec la commande suivante. Remplacez le ARN par celui ARN que vous avez noté. Remplacez 111122223333 avec votre identifiant de compte. Si votre cluster se trouve dans les AWS régions AWS GovCloud (USA Est) ou AWS GovCloud (USA Ouest), remplacez-le par arn:aws: . arn:aws-us-gov:

kubectl annotate serviceaccount -n kube-system fsx-csi-controller-sa \
  eks.amazonaws.com/role-arn=arn:aws: iam::111122223333:role/AmazonEKSFSxLustreCSIDriverFullAccess --overwrite=true

L'exemple qui suit illustre un résultat.

serviceaccount/fsx-csi-controller-sa annotated

Notez le groupe de sécurité de votre cluster. Vous pouvez le voir AWS Management Console sous la section Réseau ou en utilisant la AWS CLI commande suivante.

aws eks describe-cluster --name $cluster_name --query cluster.resourcesVpcConfig.clusterSecurityGroupId

Créez un groupe de sécurité pour votre système de FSx fichiers Amazon conformément aux critères indiqués dans la section Groupes VPC de sécurité Amazon du guide de l'utilisateur Amazon FSx for Lustre. Pour le VPC, sélectionnez celui VPC de votre cluster comme indiqué dans la section Mise en réseau. Pour « les groupes de sécurité associés à vos clients Lustre », utilisez le groupe de sécurité de votre cluster. Vous pouvez juste laisser les règles sortantes pour autoriser Tout le trafic.

Téléchargez le manifeste de la classe de stockage à l'aide de la commande suivante.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/storageclass.yaml

Modifiez la section des paramètres du fichier storageclass.yaml. Remplacez tous example value avec vos propres valeurs.

parameters:
  subnetId: subnet-0eabfaa81fb22bcaf
  securityGroupIds: sg-068000ccf82dfba88
  deploymentType: PERSISTENT_1
  automaticBackupRetentionDays: "1"
  dailyAutomaticBackupStartTime: "00:00"
  copyTagsToBackups: "true"
  perUnitStorageThroughput: "200"
  dataCompressionType: "NONE"
  weeklyMaintenanceStartTime: "7:09:00"
  fileSystemTypeVersion: "2.12"

Créez le manifeste de la classe de stockage.

kubectl apply -f storageclass.yaml

L'exemple qui suit illustre un résultat.

storageclass.storage.k8s.io/fsx-sc created

Téléchargez le manifeste de revendication de volume persistant.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/claim.yaml

(Facultatif) Modifiez le fichier claim.yaml. Modification 1200Gi à l'une des valeurs d'incrémentation suivantes, en fonction de vos besoins en stockage et de celle deploymentType que vous avez sélectionnée à l'étape précédente.

storage: 1200Gi

Créez la revendication de volume persistant.

kubectl apply -f claim.yaml

L'exemple qui suit illustre un résultat.

persistentvolumeclaim/fsx-claim created

Vérifiez que le système de fichiers est approvisionné.

kubectl describe pvc

L'exemple qui suit illustre un résultat.

Name:          fsx-claim
Namespace:     default
StorageClass:  fsx-sc
Status:        Bound
[...]

Déployez un exemple d'application

kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/pod.yaml

Vérifiez que l'exemple d'application est en cours d'exécution.

kubectl get pods

L'exemple qui suit illustre un résultat.

NAME      READY   STATUS              RESTARTS   AGE
fsx-app   1/1     Running             0          8s

Vérifiez que le système de fichiers est correctement monté par l'application.

kubectl exec -ti fsx-app -- df -h

L'exemple qui suit illustre un résultat.

Filesystem                   Size  Used Avail Use% Mounted on
overlay                       80G  4.0G   77G   5% /
tmpfs                         64M     0   64M   0% /dev
tmpfs                        3.8G     0  3.8G   0% /sys/fs/cgroup
192.0.2.0@tcp:/abcdef01      1.1T  7.8M  1.1T   1% /data
/dev/nvme0n1p1                80G  4.0G   77G   5% /etc/hosts
shm                           64M     0   64M   0% /dev/shm
tmpfs                        6.9G   12K  6.9G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs                        3.8G     0  3.8G   0% /proc/acpi
tmpfs                        3.8G     0  3.8G   0% /sys/firmware

Vérifiez que les données ont été écrites dans le système de fichiers FSx for Lustre par l'exemple d'application.

kubectl exec -it fsx-app -- ls /data

L'exemple qui suit illustre un résultat.

out.txt

Cet exemple de sortie signifie que l'exemple d'application a réussi à écrire le fichier out.txt dans le système de fichiers.