Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Den Trainingsoperator installieren

In den folgenden Abschnitten erfahren Sie, wie Sie den Trainingsoperator installieren.

Voraussetzungen

Bevor Sie den HyperPod Schulungsoperator einsetzen können, müssen Sie die folgenden Voraussetzungen erfüllen:

Den Trainingsoperator installieren

Sie können den HyperPod Trainingsoperator jetzt über die SageMaker AI-Konsole, die Amazon EKS-Konsole oder mithilfe der Konsolenmethoden installieren. AWS CLI Die Konsolenmethoden bieten vereinfachte Funktionen, die Ihnen bei der Installation des Operators helfen. Das AWS CLI bietet einen programmatischen Ansatz, mit dem Sie Ihre Installation weiter anpassen können.

Zwischen den beiden Konsolenerlebnissen bietet SageMaker AI eine Installation mit einem Klick, erstellt die IAM-Ausführungsrolle, erstellt die Pod-Identitätszuordnung und installiert den Operator. Die Installation der Amazon EKS-Konsole ist ähnlich, aber diese Methode erstellt nicht automatisch die IAM-Ausführungsrolle. Während dieses Vorgangs haben Sie die Wahl, eine neue IAM-Ausführungsrolle mit Informationen zu erstellen, die die -Konsole vorab ausfüllt. Standardmäßig haben diese erstellten Rollen nur Zugriff auf den aktuellen Cluster, in dem Sie den Operator installieren. Wenn Sie den Operator entfernen und erneut installieren, müssen Sie eine neue Rolle erstellen, es sei denn, Sie bearbeiten die Berechtigungen der Rolle, um andere Cluster einzubeziehen.

SageMaker AI console (recommended)

1. Öffnen Sie die Amazon SageMaker AI-Konsole unter. https://console.aws.amazon.com/sagemaker/

2. Gehen Sie zur Detailseite Ihres Clusters.

3. Suchen Sie auf der Registerkarte Dashboard nach dem Add-on mit dem Namen Amazon SageMaker HyperPod Training Operator und wählen Sie Installieren. Während des Installationsvorgangs erstellt SageMaker AI eine IAM-Ausführungsrolle mit Berechtigungen, die der AmazonSageMakerHyperPodTrainingOperatorAccess verwalteten Richtlinie ähneln, und erstellt eine Pod-Identitätszuordnung zwischen Ihrem Amazon EKS-Cluster und Ihrer neuen Ausführungsrolle.

Amazon EKS console

Anmerkung

Wenn Sie das Add-on über den Amazon EKS-Cluster installieren, stellen Sie zunächst sicher, dass Sie Ihren HyperPod Cluster mit dem Schlüssel-Wert-Paar gekennzeichnet haben. SageMaker:true Andernfalls schlägt die Installation fehl.

1. Öffnen Sie die Amazon EKS-Konsole unter https://console.aws.amazon.com/eks/home #/clusters.

2. Gehen Sie zu Ihrem EKS-Cluster Add-ons, wählen Sie und dann Get more. Add-ons

3. Wählen Sie Amazon SageMaker HyperPod Training Operator und dann Weiter.

4. Unter Version verwendet die Konsole standardmäßig die neueste Version. Wir empfehlen Ihnen, diese zu verwenden.

5. Wählen Sie unter Add-on Zugriff eine Pod-Identity-IAM-Rolle aus, die Sie mit dem Schulungs-Operator-Add-on verwenden möchten. Wenn Sie noch keine Rolle haben, wählen Sie Empfohlene Rolle erstellen aus, um eine zu erstellen.

6. Während dieses Rollenerstellungsprozesses füllt die IAM-Konsole alle erforderlichen Informationen vorab aus, z. B. den Anwendungsfall, die AmazonSageMakerHyperPodTrainingOperatorAccess verwaltete Richtlinie und andere erforderliche Berechtigungen, den Rollennamen und die Beschreibung. Überprüfen Sie die Informationen, während Sie die Schritte ausführen, und wählen Sie „Rolle erstellen“.

7. Überprüfen Sie in der EKS-Konsole die Einstellungen Ihres Add-ons und wählen Sie dann Erstellen aus.

CLI

1. Stellen Sie sicher, dass die IAM-Ausführungsrolle für Ihren HyperPod Cluster über eine Vertrauensstellung verfügt, die es EKS Pod Identity ermöglicht, die Rolle zu übernehmen oder eine neue IAM-Rolle mit der folgenden Vertrauensrichtlinie zu erstellen. Alternativ können Sie die Amazon EKS-Konsole verwenden, um das Add-on zu installieren, wodurch eine empfohlene Rolle erstellt wird.

   JSON

   JSON

   {
     "Version":"2012-10-17",
     "Statement": [
       {
         "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
         "Effect": "Allow",
         "Principal": {
           "Service": "pods.eks.amazonaws.com"
         },
         "Action": [
           "sts:AssumeRole",
           "sts:TagSession",
           "eks-auth:AssumeRoleForPodIdentity"
         ]
       }
     ]
   }
   

2. Hängen Sie die AmazonSageMakerHyperPodTrainingOperatorAccess verwaltete Richtlinie an Ihre erstellte Rolle an.

3. Erstellen Sie dann eine Pod-Identitätszuordnung zwischen Ihrem EKS-Cluster, Ihrer IAM-Rolle und Ihrer neuen IAM-Rolle.

   aws eks create-pod-identity-association \
   --cluster-name my-eks-cluster \
   --role-arn ARN of your execution role \
   --namespace aws-hyperpod \
   --service-account hp-training-operator-controller-manager \
   --region AWS-Region

4. Nachdem Sie den Vorgang abgeschlossen haben, können Sie den ListPodIdentityAssociations Vorgang verwenden, um die von Ihnen erstellte Zuordnung anzuzeigen. Im Folgenden finden Sie ein Beispiel dafür, wie eine Antwort aussehen könnte.

   aws eks list-pod-identity-associations --cluster-name my-eks-cluster
   {
       "associations": [{
           "clusterName": "my-eks-cluster",
           "namespace": "aws-hyperpod",
           "serviceAccount": "hp-training-operator-controller-manager",
           "associationArn": "arn:aws:eks:us-east-2:123456789012:podidentityassociation/my-hyperpod-cluster/a-1a2b3c4d5e6f7g8h9",
           "associationId": "a-1a2b3c4d5e6f7g8h9"
       }]
   }

5. Um den Trainingsoperator zu installieren, verwenden Sie die Operation create-addon. Der Parameter --addon-version ist optional. Wenn Sie keine angeben, ist die Standardversion die neueste Version. Verwenden Sie die DescribeAddonVersions Operation, um die möglichen Versionen abzurufen.

   aws eks create-addon \
     --cluster-name my-eks-cluster \
     --addon-name amazon-sagemaker-hyperpod-training-operator \
     --resolve-conflicts OVERWRITE

Wenn Sie den Trainingsoperator bereits auf Ihrem HyperPod Cluster installiert haben, können Sie das EKS-Add-on auf die gewünschte Version aktualisieren. Wenn Sie Checkpointless-Training oder Elastic-Training verwenden möchten, beachten Sie Folgendes:

Amazon EKS Console

1. Öffnen Sie die Amazon EKS-Konsole unter #/clusters. https://console.aws.amazon.com/eks/home

2. Gehen Sie zu Ihrem EKS-Cluster und wählen Sie. Add-ons Wählen Sie dann das Amazon SageMaker HyperPod Training Operator-Add-on aus und klicken Sie auf Bearbeiten.

3. Wählen Sie im Menü Version die gewünschte Version des Add-ons aus und wählen Sie dann Änderungen speichern aus.

CLI

1. Rufen Sie zunächst die Liste der unterstützten Versionen des Add-ons für Ihren Cluster ab.

   aws eks describe-addon-versions \
     --kubernetes-version $(aws eks describe-cluster --name my-eks-cluster --query 'cluster.version' --output text) \
     --addon-name amazon-sagemaker-hyperpod-training-operator \
     --query 'addons[0].addonVersions[].addonVersion' \
     --output table

2. Aktualisieren Sie dann das Add-on auf die gewünschte Version.

   aws eks update-addon \
     --cluster-name my-eks-cluster \
     --addon-name amazon-sagemaker-hyperpod-training-operator \
     --addon-version target-version
     --resolve-conflicts OVERWRITE

Der Trainingsoperator bietet eine Reihe von Optionen mit Standardwerten, die möglicherweise zu Ihrem Anwendungsfall passen. Wir empfehlen Ihnen, den Trainingsoperator mit Standardwerten auszuprobieren, bevor Sie sie ändern. In der folgenden Tabelle werden alle Parameter und Beispiele dafür beschrieben, wann Sie die einzelnen Parameter konfigurieren sollten.

HyperPod elastisches Mittel

Das HyperPod elastische Mittel ist eine Erweiterung von PyTorch's ElasticAgent. Er koordiniert die Lebenszyklen der Schulung der Mitarbeiter an jedem Container und kommuniziert mit dem geschulten Operator. HyperPod Um den HyperPod Schulungsoperator verwenden zu können, müssen Sie zuerst den HyperPod Elastic Agent in Ihrem Trainingsimage installieren, bevor Sie Jobs mit dem Operator einreichen und ausführen können. Im Folgenden finden Sie eine Docker-Datei, mit der Elastic Agent installiert und der hyperpodrun Job Launcher erstellt wird.

RUN pip install hyperpod-elastic-agent

ENTRYPOINT ["entrypoint.sh"]
# entrypoint.sh
...
hyperpodrun --nnodes=node_count --nproc-per-node=proc_count \
            --rdzv-backend hyperpod \ # Optional
            --inprocess-restart \ # Optional (in-process fault recovery with checkpointless training)
            ... # Other torchrun args
            # pre-traing arg_group
            --pre-train-script pre.sh --pre-train-args "pre_1 pre_2 pre_3" \
            # post-train arg_group
            --post-train-script post.sh --post-train-args "post_1 post_2 post_3" \
            training.py --script-args

Sie können jetzt Jobs mit kubectl einreichen.

HyperPod Argumente für Elastic Agent

Der HyperPod Elastic Agent unterstützt alle ursprünglichen Argumente und fügt einige zusätzliche Argumente hinzu. Im Folgenden sind alle im HyperPod Elastic Agent verfügbaren Argumente aufgeführt. Weitere Informationen zu PyTorch Elastic Agent finden Sie in der offiziellen Dokumentation.

Verwaltung von Aufgaben (optional)

Der Schulungsoperator ist in HyperPod Task Governance integriert, ein robustes Managementsystem, das darauf ausgelegt ist, die Ressourcenzuweisung zu optimieren und eine effiziente Nutzung der Rechenressourcen über Teams und Projekte hinweg für Ihre Amazon EKS-Cluster sicherzustellen. Informationen zum Einrichten der HyperPod Aufgabenverwaltung finden Sie unterEinrichtung für die SageMaker HyperPod Aufgabensteuerung.

Stellen Sie sicher, dass Sie bei der Übermittlung eines Auftrags Ihren Warteschlangennamen und die Prioritätsklassenbezeichnungen hyperpod-ns-team-name-localqueue und priority-class-name-priority angeben. Beispiel anhand von Kueue erhalten Sie folgende Labels:

Im Folgenden finden Sie ein Beispiel dafür, wie Ihre Konfigurationsdatei aussehen könnte:

apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPytorchJob
metadata:
  name: hp-task-governance-sample
  namespace: hyperpod-ns-team-name
  labels:
    kueue.x-k8s.io/queue-name: hyperpod-ns-team-name-localqueue
    kueue.x-k8s.io/priority-class: priority-class-priority
spec:
  nprocPerNode: "1"
  runPolicy:
    cleanPodPolicy: "None"
  replicaSpecs: 
    - name: pods
      replicas: 4
      spares: 2
      template:
        spec:
          containers:
            - name: ptjob
              image: XXXX
              imagePullPolicy: Always
              ports:
                - containerPort: 8080
              resources:
                requests:
                  cpu: "2"

Verwenden Sie dann den folgenden kubectl-Befehl, um die YAML-Datei anzuwenden.

kubectl apply -f task-governance-job.yaml

Warteschlange (optional)

Sie können Jobs zwar direkt ausführen, aber Ihr Unternehmen kann den Schulungsleiter auch in Kueue integrieren, um Ressourcen zuzuweisen und Jobs zu planen. Folgen Sie den nachstehenden Schritten, um Kueue in Ihrem Cluster zu installieren. HyperPod