Speichern Sie leistungsstarke Apps mit FSx for Lustre

Legen Sie einige Variablen fest, die in den verbleibenden Schritten verwendet werden sollen. Ersetzen my-csi-fsx-cluster mit dem Namen des Testclusters, den Sie erstellen möchten, und region-code mit der AWS Region, in der Sie Ihren Testcluster erstellen möchten.

export cluster_name=my-csi-fsx-cluster
export region_code=region-code

Erstellen Sie einen Testcluster.

eksctl create cluster \
  --name $cluster_name \
  --region $region_code \
  --with-oidc \
  --ssh-access \
  --ssh-public-key my-key

Die Clusterbereitstellung dauert mehrere Minuten. Während der Clustererstellung werden Sie mehrere Ausgabezeilen sehen. Die letzte Ausgabezeile ähnelt der folgenden Beispielzeile.

[✓]  EKS cluster "my-csi-fsx-cluster" in "region-code" region is ready

Erstellen Sie ein Kubernetes Dienstkonto für den Treiber und fügen Sie dem Dienstkonto mit dem folgenden Befehl die AmazonFSxFullAccess AWS-managed Policy hinzu. Wenn sich Ihr Cluster in den AWS Regionen AWS GovCloud (USA-Ost) oder AWS GovCloud (US-West) befindet, ersetzen Sie ihn durch. arn:aws: arn:aws-us-gov:

eksctl create iamserviceaccount \
  --name fsx-csi-controller-sa \
  --namespace kube-system \
  --cluster $cluster_name \
  --attach-policy-arn arn:aws: iam::aws:policy/AmazonFSxFullAccess \
  --approve \
  --role-name AmazonEKSFSxLustreCSIDriverFullAccess \
  --region $region_code

Während der Erstellung des Dienstkontos werden mehrere Ausgabezeilen angezeigt. Die letzten Ausgabezeilen ähneln den folgenden.

[ℹ]  1 task: {
    2 sequential sub-tasks: {
        create IAM role for serviceaccount "kube-system/fsx-csi-controller-sa",
        create serviceaccount "kube-system/fsx-csi-controller-sa",
    } }
[ℹ]  building iamserviceaccount stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  deploying stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  waiting for CloudFormation stack "eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa"
[ℹ]  created serviceaccount "kube-system/fsx-csi-controller-sa"

Notieren Sie sich den Namen des AWS CloudFormation Stacks, der bereitgestellt wurde. In der vorigen Beispielausgabe lautet der Name des Stacks eksctl-my-csi-fsx-cluster-addon-iamserviceaccount-kube-system-fsx-csi-controller-sa.

Stellen Sie den Treiber mit dem folgenden Befehl bereit. Ersetzen release-X.XX mit Ihrer gewünschten Filiale. Der Master-Zweig wird nicht unterstützt, da er möglicherweise zukünftige Funktionen enthält, die mit der aktuell veröffentlichten stabilen Version des Treibers nicht kompatibel sind. Wir empfehlen die Verwendung der neuesten veröffentlichten Version. Eine Liste der Branches finden Sie unter aws-fsx-csi-driver Branches on GitHub.

kubectl apply -k "github.com/kubernetes-sigs/aws-fsx-csi-driver/deploy/kubernetes/overlays/stable/?ref=release-X.XX"

Eine Beispielausgabe sieht wie folgt aus.

serviceaccount/fsx-csi-controller-sa created
serviceaccount/fsx-csi-node-sa created
clusterrole.rbac.authorization.k8s.io/fsx-csi-external-provisioner-role created
clusterrole.rbac.authorization.k8s.io/fsx-external-resizer-role created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-external-provisioner-binding created
clusterrolebinding.rbac.authorization.k8s.io/fsx-csi-resizer-binding created
deployment.apps/fsx-csi-controller created
daemonset.apps/fsx-csi-node created
csidriver.storage.k8s.io/fsx.csi.aws.com created

Beachten Sie den ARN für die Rolle, die erstellt wurde. Wenn Sie es vorher nicht notiert haben und es in der AWS CLI Ausgabe nicht mehr verfügbar ist, können Sie wie folgt vorgehen, um es in der zu sehen AWS Management Console.

Patchen Sie die Treiberbereitstellung, um das zuvor erstellte Servicekonto mit dem folgenden Befehl hinzuzufügen. Ersetzen Sie das ARN durch dasARN, was Sie notiert haben. Ersetzen 111122223333 mit Ihrer Konto-ID. Wenn sich Ihr Cluster in den AWS Regionen AWS GovCloud (USA-Ost) oder AWS GovCloud (US-West) befindet, ersetzen Sie ihn durch arn:aws: . arn:aws-us-gov:

kubectl annotate serviceaccount -n kube-system fsx-csi-controller-sa \
  eks.amazonaws.com/role-arn=arn:aws: iam::111122223333:role/AmazonEKSFSxLustreCSIDriverFullAccess --overwrite=true

Eine Beispielausgabe sieht wie folgt aus.

serviceaccount/fsx-csi-controller-sa annotated

Beachten Sie die Sicherheitsgruppe für Ihren Cluster. Sie finden es im Bereich Netzwerk oder mit AWS Management Console dem folgenden Befehl. AWS CLI

aws eks describe-cluster --name $cluster_name --query cluster.resourcesVpcConfig.clusterSecurityGroupId

Erstellen Sie eine Sicherheitsgruppe für Ihr FSx Amazon-Dateisystem gemäß den Kriterien, die im Amazon FSx for Lustre-Benutzerhandbuch unter Amazon VPC Security Groups aufgeführt sind. Wählen Sie für den VPCden VPC Ihres Clusters aus, wie im Abschnitt Netzwerk angezeigt. Unter „the security groups associated with your Lustre clients“ (die mit Ihren Lustre-Clients verknüpften Sicherheitsgruppen) wählen Sie Ihre Cluster-Sicherheitsgruppe aus. Wenn Sie keine Regeln für ausgehenden Datenverkehr festlegen, können Sie den All traffic (gesamten Datenverkehr) erlauben.

Laden Sie das Speicherklassen-Manifest mit dem folgenden Befehl herunter.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/storageclass.yaml

Bearbeiten Sie den Parameterabschnitt in der Datei storageclass.yaml. Ersetzen Sie alle example value mit deinen eigenen Werten.

parameters:
  subnetId: subnet-0eabfaa81fb22bcaf
  securityGroupIds: sg-068000ccf82dfba88
  deploymentType: PERSISTENT_1
  automaticBackupRetentionDays: "1"
  dailyAutomaticBackupStartTime: "00:00"
  copyTagsToBackups: "true"
  perUnitStorageThroughput: "200"
  dataCompressionType: "NONE"
  weeklyMaintenanceStartTime: "7:09:00"
  fileSystemTypeVersion: "2.12"

Erstellen Sie das Speicherklassen-Manifest.

kubectl apply -f storageclass.yaml

Eine Beispielausgabe sieht wie folgt aus.

storageclass.storage.k8s.io/fsx-sc created

Laden Sie das Manifest für den dauerhaften Volume-Anspruch herunter.

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/claim.yaml

(Optional) Bearbeiten Sie die claim.yaml-Datei. Änderung 1200Gi auf einen der folgenden Inkrementwerte, basierend auf Ihren Speicheranforderungen und dendeploymentType, die Sie in einem vorherigen Schritt ausgewählt haben.

storage: 1200Gi

Erstellen Sie den dauerhaften Volume-Anspruch.

kubectl apply -f claim.yaml

Eine Beispielausgabe sieht wie folgt aus.

persistentvolumeclaim/fsx-claim created

Vergewissern Sie sich, dass das Dateisystem bereitgestellt wurde.

kubectl describe pvc

Eine Beispielausgabe sieht wie folgt aus.

Name:          fsx-claim
Namespace:     default
StorageClass:  fsx-sc
Status:        Bound
[...]

Stellen Sie die Beispielanwendung bereit.

kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-fsx-csi-driver/master/examples/kubernetes/dynamic_provisioning/specs/pod.yaml

Stellen Sie sicher, dass die Beispielanwendung ausgeführt wird.

kubectl get pods

Eine Beispielausgabe sieht wie folgt aus.

NAME      READY   STATUS              RESTARTS   AGE
fsx-app   1/1     Running             0          8s

Überprüfen Sie, ob das Dateisystem ordnungsgemäß von der Anwendung aufgespielt wurde.

kubectl exec -ti fsx-app -- df -h

Eine Beispielausgabe sieht wie folgt aus.

Filesystem                   Size  Used Avail Use% Mounted on
overlay                       80G  4.0G   77G   5% /
tmpfs                         64M     0   64M   0% /dev
tmpfs                        3.8G     0  3.8G   0% /sys/fs/cgroup
192.0.2.0@tcp:/abcdef01      1.1T  7.8M  1.1T   1% /data
/dev/nvme0n1p1                80G  4.0G   77G   5% /etc/hosts
shm                           64M     0   64M   0% /dev/shm
tmpfs                        6.9G   12K  6.9G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs                        3.8G     0  3.8G   0% /proc/acpi
tmpfs                        3.8G     0  3.8G   0% /sys/firmware

Stellen Sie sicher, dass die Beispiel-App Daten in das FSx for Lustre-Dateisystem geschrieben hat.

kubectl exec -it fsx-app -- ls /data

Eine Beispielausgabe sieht wie folgt aus.

out.txt

Diese Beispielausgabe zeigt, dass die Beispiel-App erfolgreich die out.txt-Datei in das Dateisystem geschrieben hat.