Speichern Sie leistungsstarke Apps mit FSx for Lustre

Legen Sie einige Variablen fest, die in den verbleibenden Schritten verwendet werden sollen. my-csi-fsx-clusterErsetzen Sie es durch den Namen des Testclusters, den Sie erstellen möchten, und region-code durch die AWS Region, in der Sie Ihren Testcluster erstellen möchten.

export cluster_name=my-csi-fsx-cluster
export region_code=region-code

Erstellen Sie einen Testcluster.

eksctl create cluster \
  --name $cluster_name \
  --region $region_code \
  --with-oidc \
  --ssh-access \
  --ssh-public-key my-key

Die Clusterbereitstellung dauert mehrere Minuten. Während der Clustererstellung werden mehrere Ausgabezeilen angezeigt. Die letzte Ausgabezeile ähnelt der folgenden Beispielzeile.

[✓]  EKS cluster "my-csi-fsx-cluster" in "region-code" region is ready

Erstellen Sie ein Kubernetes-Dienstkonto für den Treiber und fügen Sie die AmazonFSxFullAccess AWS verwaltete Richtlinie mit dem folgenden Befehl an das Dienstkonto an.

eksctl create iamserviceaccount \
  --name fsx-csi-controller-sa \
  --namespace kube-system \
  --cluster $cluster_name \
  --attach-policy-arn arn:aws: iam::aws:policy/AmazonFSxFullAccess \
  --approve \
  --role-name AmazonEKSFSxLustreCSIDriverFullAccess \
  --region $region_code

Während der Erstellung des Dienstkontos werden mehrere Ausgabezeilen angezeigt. Die letzten Ausgabezeilen ähneln den folgenden.

[ℹ]  1 task: {
    2 sequential sub-tasks: {
        create IAM role for serviceaccount "kube-system/fsx-csi-controller-sa",
        create serviceaccount "kube-system/fsx-csi-controller-sa",
    } }
[ℹ]  building iamserviceaccount stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  deploying stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  waiting for CloudFormation stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  created serviceaccount "kube-system/fsx-csi-controller-sa"

Notieren Sie sich den Namen des AWS CloudFormation Stacks, der bereitgestellt wurde. In der vorigen Beispielausgabe lautet der Name des Stacks eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa.

Stellen Sie den Treiber mit dem folgenden Befehl bereit. Ersetzen Sie release-X.XX durch die gewünschte Branch. Der Master-Zweig wird nicht unterstützt, da er möglicherweise zukünftige Funktionen enthält, die mit der aktuell veröffentlichten stabilen Version des Treibers nicht kompatibel sind. Wir empfehlen die Verwendung der neuesten veröffentlichten Version. Eine Liste der Branches finden Sie unter aws-fsx-csi-driver Branches on GitHub.

kubectl apply -k "github.com/kubernetes-sigs/aws-fsx-csi-driver/deploy/kubernetes/overlays/stable/?ref=release-X.XX"

Eine Beispielausgabe sieht wie folgt aus.

serviceaccount/fsx-csi-controller-sa created
serviceaccount/fsx-csi-node-sa created
clusterrole.rbac.authorization.k8s.io/fsx-csi-external-provisioner-role created
clusterrole.rbac.authorization.k8s.io/fsx-external-resizer-role created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-external-provisioner-binding created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-resizer-binding created
deployment.apps/fsx-csi-controller created
daemonset.apps/fsx-csi-node created
csidriver.storage.k8s.io/fsx.csi.aws.com created

Notieren Sie sich den ARN für die Rolle, die erstellt wurde. Wenn Sie es vorher nicht bemerkt haben und es in der AWS CLI-Ausgabe nicht mehr verfügbar haben, können Sie wie folgt vorgehen, um es in der zu sehen AWS Management Console.

Patchen Sie die Treiberbereitstellung, um das zuvor erstellte Servicekonto mit dem folgenden Befehl hinzuzufügen. Ersetzen Sie den ARN durch den ARN, den Sie notiert haben. Ersetzen Sie 111122223333 durch Ihre Konto-ID.

kubectl annotate serviceaccount -n kube-system fsx-csi-controller-sa \
  eks.amazonaws.com/role-arn=arn:aws: iam::111122223333:role/AmazonEKSFSxLustreCSIDriverFullAccess --overwrite=true

Eine Beispielausgabe sieht wie folgt aus.

serviceaccount/fsx-csi-controller-sa annotated

Beachten Sie die Sicherheitsgruppe für Ihren Cluster. Sie können es im AWS Management Console Abschnitt Netzwerk oder mit dem folgenden AWS CLI-Befehl sehen.

aws eks describe-cluster --name $cluster_name --query cluster.resourcesVpcConfig.clusterSecurityGroupId

Erstellen Sie eine Sicherheitsgruppe für Ihr FSx Amazon-Dateisystem gemäß den Kriterien, die im Amazon FSx for Lustre-Benutzerhandbuch unter Amazon VPC-Sicherheitsgruppen aufgeführt sind. Als VPC wählen Sie die VPC Ihres Clusters aus, die im Abschnitt Networking (Netzwerk) gezeigt wird. Unter „the security groups associated with your Lustre clients“ (die mit Ihren Lustre-Clients verknüpften Sicherheitsgruppen) wählen Sie Ihre Cluster-Sicherheitsgruppe aus. Wenn Sie keine Regeln für ausgehenden Datenverkehr festlegen, können Sie den All traffic (gesamten Datenverkehr) erlauben.

Laden Sie das Speicherklassen-Manifest mit dem folgenden Befehl herunter.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/storageclass.yaml

Bearbeiten Sie den Parameterabschnitt in der Datei storageclass.yaml. Ersetzen Sie jede example value durch Ihre eigenen Werte.

parameters:
  subnetId: subnet-0eabfaa81fb22bcaf
  securityGroupIds: sg-068000ccf82dfba88
  deploymentType: PERSISTENT_1
  automaticBackupRetentionDays: "1"
  dailyAutomaticBackupStartTime: "00:00"
  copyTagsToBackups: "true"
  perUnitStorageThroughput: "200"
  dataCompressionType: "NONE"
  weeklyMaintenanceStartTime: "7:09:00"
  fileSystemTypeVersion: "2.12"

Erstellen Sie das Speicherklassen-Manifest.

kubectl apply -f storageclass.yaml

Eine Beispielausgabe sieht wie folgt aus.

storageclass.storage.k8s.io/fsx-sc created

Laden Sie das Manifest für den dauerhaften Volume-Anspruch herunter.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/claim.yaml

(Optional) Bearbeiten Sie die claim.yaml-Datei. Ändern Sie 1200Gi in einen der folgenden Inkrementwerte, basierend auf Ihren Speicheranforderungen und dem deploymentType, den Sie in einem vorherigen Schritt ausgewählt haben.

storage: 1200Gi

Erstellen Sie den dauerhaften Volume-Anspruch.

kubectl apply -f claim.yaml

Eine Beispielausgabe sieht wie folgt aus.

persistentvolumeclaim/fsx-claim created

Vergewissern Sie sich, dass das Dateisystem bereitgestellt wurde.

kubectl describe pvc

Eine Beispielausgabe sieht wie folgt aus.

Name:          fsx-claim
Namespace:     default
StorageClass:  fsx-sc
Status:        Bound
[...]

Stellen Sie die Beispielanwendung bereit.

kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/pod.yaml

Stellen Sie sicher, dass die Beispielanwendung ausgeführt wird.

kubectl get pods

Eine Beispielausgabe sieht wie folgt aus.

NAME      READY   STATUS              RESTARTS   AGE
fsx-app   1/1     Running             0          8s

Überprüfen Sie, ob das Dateisystem ordnungsgemäß von der Anwendung aufgespielt wurde.

kubectl exec -ti fsx-app -- df -h

Eine Beispielausgabe sieht wie folgt aus.

Filesystem                   Size  Used Avail Use% Mounted on
overlay                       80G  4.0G   77G   5% /
tmpfs                         64M     0   64M   0% /dev
tmpfs                        3.8G     0  3.8G   0% /sys/fs/cgroup
192.0.2.0@tcp:/abcdef01      1.1T  7.8M  1.1T   1% /data
/dev/nvme0n1p1                80G  4.0G   77G   5% /etc/hosts
shm                           64M     0   64M   0% /dev/shm
tmpfs                        6.9G   12K  6.9G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs                        3.8G     0  3.8G   0% /proc/acpi
tmpfs                        3.8G     0  3.8G   0% /sys/firmware

Stellen Sie sicher, dass die Beispiel-App Daten in das FSx for Lustre-Dateisystem geschrieben hat.

kubectl exec -it fsx-app -- ls /data

Eine Beispielausgabe sieht wie folgt aus.

out.txt

Diese Beispielausgabe zeigt, dass die Beispiel-App erfolgreich die out.txt-Datei in das Dateisystem geschrieben hat.