Verwenden der Benutzeroberfläche der SageMaker HyperPod Konsole

Öffnen Sie die SageMaker Amazon-Konsole unter https://console.aws.amazon.com/sagemaker/.

Wählen Sie im linken Navigationsbereich HyperPod Clusters aus.

Wählen Sie auf der Seite SageMaker HyperPod Cluster die Option Cluster erstellen aus.

Geben Sie in Schritt 1: Clustereinstellungen einen Namen für den neuen Cluster an. Überspringen Sie den Abschnitt „Tags“.

Fügen Sie in Schritt 2: Instanzgruppen Instanzgruppen hinzu. Jede Instanzgruppe kann anders konfiguriert werden, und Sie können einen heterogenen Cluster erstellen, der aus mehreren Instanzgruppen mit unterschiedlichen Instanztypen besteht. Damit Lebenszykluskonfigurationsskripte während der Clustererstellung auf der Instanzgruppe ausgeführt werden können, können Sie damit beginnen, die Lebenszyklus-Beispielskripte zu verwenden, die im Awsome Distributed GitHub Training-Repository bereitgestellt werden.

1. Geben Sie unter Name der Instanzgruppe einen Namen für die Instanzgruppe an. Erstellen Sie für dieses Tutorial drei Instanzgruppen mit den Namen my-controller-groupmy-login-group, undworker-group-1.

2. Wählen Sie unter Instanztyp auswählen die Instanz für die Instanzgruppe aus. Wählen Sie für dieses Tutorial ml.c5.xlarge für my-controller-groupmy-login-group, ml.m5.4xlarge für und ml.trn1.32xlarge für ausworker-group-1.

   Stellen Sie sicher, dass Sie den Instance-Typ mit ausreichenden Kontingenten in Ihrem Konto wählen, oder fordern Sie zusätzliche Kontingente an, indem Sie unter folgenSageMaker HyperPod Kontingente.

3. Geben Sie für Menge eine Ganzzahl an, die das Instance-Kontingent für die Cluster-Nutzung nicht überschreitet. Geben Sie für dieses Tutorial 1 für alle drei Gruppen ein.

4. Geben Sie für S3-Pfad zu Lifecycle-Skriptdateien den Amazon S3 S3-Pfad ein, in dem Ihre Lifecycle-Skripts gespeichert sind. Wenn Sie nicht über Lebenszyklus-Skripten verfügen, führen Sie die folgenden Teilschritte durch, um die vom SageMaker HyperPod Serviceteam bereitgestellten Basis-Lebenszyklus-Skripten zu verwenden.

   1. Klonen Sie das Awsome Distributed Training Repository GitHub.

      git clone https://github.com/aws-samples/awsome-distributed-training/

   2. Unter 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-configfinden Sie eine Reihe von grundlegenden Lebenszyklus-Skripten. Weitere Informationen zu den Lebenszyklusskripten finden Sie auch unterPassen Sie SageMaker HyperPod Cluster mithilfe von Lebenszyklusskripten an.

   3. Schreiben Sie eine Slurm-Konfigurationsdatei und speichern Sie sie unter. provisioning_params.json Geben Sie in der Datei grundlegende Slurm-Konfigurationsparameter an, um Slurm-Knoten den SageMaker HyperPod Cluster-Instanzgruppen ordnungsgemäß zuzuweisen. Sie provisioning_params.json sollten beispielsweise auf der Grundlage der HyperPod Cluster-Instanzgruppe, die in den vorherigen Schritten 5a, 5b und 5c konfiguriert wurde, wie folgt aussehen.

      {
          "version": "1.0.0",
          "workload_manager": "slurm",
          "controller_group": "my-controller-group",
          "login_group": "my-login-group",
          "worker_groups": [
              {
                  "instance_group_name": "worker-group-1",
                  "partition_name": "partition-1"
              }
          ]
      }

   4. Laden Sie die Skripts in Ihren Amazon S3 S3-Bucket hoch. Erstellen Sie einen S3-Bucket mit einem Pfad im folgenden Format:s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src. Sie können diesen Bucket mit der Amazon S3 S3-Konsole erstellen.

      Anmerkung

      Sie sagemaker- müssen dem S3-Bucket-Pfad ein Präfix hinzufügen, da IAMRolle für SageMaker HyperPod mit with AmazonSageMakerClusterInstanceRolePolicy nur Prinzipalen auf S3-Buckets mit diesem speziellen Präfix zugreifen können.

5. Geben Sie für Verzeichnispfad zu Ihrem bei der Erstellung erstellten Lifecycle-Skript unter S3-Pfad zu Lifecycle-Skriptdateien den Dateinamen des Lifecycle-Skripts ein.

6. Wählen Sie unter IAMRolle die IAM Rolle aus, die Sie mithilfe AmazonSageMakerClusterInstanceRolePolicy von aus dem Abschnitt IAMRolle für SageMaker HyperPod erstellt haben.

7. Unter Erweiterte Konfiguration können Sie die folgenden optionalen Konfigurationen einrichten.

   1. (Optional) Geben Sie 1 für Threads pro Kern an, ob Multithreading deaktiviert und 2 Multithreading aktiviert werden soll. Welcher Instance-Typ Multithreading unterstützt, finden Sie in der Referenztabelle mit CPUKernen und Threads pro CPU Kern und Instance-Typ im Amazon Elastic Compute Cloud-Benutzerhandbuch.

   2. (Optional) Geben Sie für zusätzliche Instance-Speicherkonfigurationen eine Ganzzahl zwischen 1 und 16384 an, um die Größe eines zusätzlichen Elastic Block Store (EBS) -Volumes in Gigabyte (GB) festzulegen. Das EBS Volume ist an jede Instanz der Instanzgruppe angehängt. Der Standard-Bereitstellungspfad für das zusätzliche EBS Volume lautet/opt/sagemaker. Nachdem der Cluster erfolgreich erstellt wurde, können Sie auf SSH die Cluster-Instanzen (Knoten) zugreifen und überprüfen, ob das EBS Volume korrekt gemountet wurde, indem Sie den df -h Befehl ausführen. Durch das Anhängen eines zusätzlichen EBS Volumes wird stabiler, instanzunabhängiger und unabhängig persistenter Speicher bereitgestellt, wie im Abschnitt EBSAmazon-Volumes im Amazon Elastic Block Store-Benutzerhandbuch beschrieben.

Richten Sie in Schritt 3: Erweiterte Konfiguration die Netzwerkeinstellungen innerhalb, innerhalb und außerhalb des Clusters ein. Wählen Sie Ihre eigene ausVPC, falls Sie bereits eine haben, die SageMaker Zugriff auf Ihre ermöglichtVPC. Wenn Sie noch keine haben, aber eine neue erstellen möchtenVPC, folgen Sie den Anweisungen unter Erstellen einer VPC im Amazon Virtual Private Cloud Cloud-Benutzerhandbuch. Sie können es auf Nein belassenVPC, um die Standardeinstellung zu verwenden SageMaker VPC.

Überprüfen Sie in Schritt 4: Überprüfen und erstellen die Konfiguration, die Sie in Schritt 1 bis 3 festgelegt haben, und schließen Sie das Senden der Anfrage zur Clustererstellung ab.

Der neue Cluster sollte im Hauptbereich der SageMaker HyperPod Konsole unter Cluster angezeigt werden. Sie können den Status überprüfen, der in der Spalte Status angezeigt wird.

Wenn der Status des Clusters den Status erreicht hatInService, können Sie mit der Anmeldung bei den Clusterknoten beginnen. Informationen zum Zugriff auf die Clusterknoten und zum Starten der Ausführung von ML-Workloads finden Sie unterJobs in SageMaker HyperPod Clustern.