Voraussetzungen für die Verwendung von SageMaker HyperPod - Amazon SageMaker
SageMaker HyperPod KontingenteEinrichtung SageMaker HyperPod bei Amazon VPCEinrichtung AWS Systems Manager und Run As für die Cluster-Benutzerzugriffskontrolle(Optional) Einrichtung SageMaker HyperPod mit Amazon FSx for Lustre

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Voraussetzungen für die Verwendung von SageMaker HyperPod

In den folgenden Abschnitten werden die Voraussetzungen beschrieben, bevor Sie damit beginnen SageMaker HyperPod.

SageMaker HyperPod Kontingente

Sie können SageMaker HyperPod Cluster erstellen, wenn Sie die Kontingente für die Clusternutzung in Ihrem AWS Konto.

Wichtig

Weitere Informationen zur SageMaker HyperPod Preisgestaltung finden Sie unter SageMaker HyperPod Preisgestaltung und unter SageMaker Amazon-Preise.

SageMaker HyperPodAmazon-Kontingente anzeigen mit dem AWS Management Console

Suchen Sie nach den Standardwerten und den angewendeten Werten eines Kontingents, das auch als Limit bezeichnet wird, für die Cluster-Nutzung SageMaker HyperPod.

  1. Öffnen Sie Service Quotas Konsole.

  2. Wählen Sie im linken Navigationsbereich AWS Dienste.

  3. Aus AWS Liste der Dienste, suchen Sie nach Amazon und wählen Sie es aus SageMaker.

  4. In der Liste der Servicekontingente finden Sie den Namen des Servicekontingents und den angewendeten Wert (falls verfügbar), AWS Standardkontingent und ob der Kontingentwert einstellbar ist.

  5. Geben Sie in der Suchleiste Cluster-Nutzung ein. Hier werden die Kontingente für die Cluster-Nutzung, die angewendeten Kontingente und die Standardkontingente angezeigt.

Beantragen Sie SageMaker HyperPod Amazon-Kontingente über AWS Management Console

Erhöhen Sie Ihre Kontingente auf Konto- oder Ressourcenebene.

  1. Um das Kontingent der Instances für die Cluster-Nutzung zu erhöhen, wählen Sie das Kontingent aus, das Sie erhöhen möchten.

  2. Wenn das Kontingent anpassbar ist, können Sie eine Erhöhung des Kontingents entweder auf Konto- oder Ressourcenebene beantragen, basierend auf dem Wert, der in der Spalte Einstellbarkeit aufgeführt ist.

  3. Geben Sie unter Kontingentwert erhöhen den neuen Wert ein. Der neue Wert muss größer als der aktuelle Wert sein.

  4. Wählen Sie Request (Anfrage).

  5. Um ausstehende oder kürzlich gelöste Anfragen in der Konsole anzuzeigen, navigieren Sie auf der Detailseite des Dienstes zur Registerkarte Anforderungsverlauf oder wählen Sie im Navigationsbereich Dashboard aus. Wählen Sie für ausstehende Anfragen den Status der Anfrage, um die Anfrage zu öffnen. Der Anfangsstatus einer Anfrage ist Pending (Ausstehend). Nachdem sich der Status in „Kontingent angefordert“ geändert hat, sehen Sie die Fallnummer mit AWS Support. Wählen Sie die Fallnummer, um das Ticket für Ihre Anfrage zu öffnen.

Weitere Informationen zur Beantragung einer Kontingenterhöhung im Allgemeinen finden Sie unter Beantragung einer Kontingenterhöhung im AWS Benutzerhandbuch für Service Quotas.

Einrichtung SageMaker HyperPod bei Amazon VPC

Um einen SageMaker HyperPod Cluster mit Ihrem Amazon einzurichtenVPC, überprüfen Sie die folgenden Punkte.

Anmerkung

Es ist für die Orchestrierung mit erforderlichEKS, und Sie müssen dasselbe VPC für den HyperPod Cluster verwenden. Für die Orchestrierung mit Slurm ist die Einrichtung einer eigenen Orchestrierung optional. VPC

  • Wenn Sie Ihr eigenes verwenden möchten, um eine Verbindung VPC herzustellen SageMaker HyperPod AWS Ressourcen in IhremVPC, Sie müssen den VPC Namen, die ID angeben, AWS-Region, Subnetz-ID und Sicherheitsgruppen-ID bei der Erstellung SageMaker HyperPod. Wenn Sie ein neues erstellen möchtenVPC, finden Sie weitere Informationen unter Standard erstellen VPC oder Erstellen eines VPC im Amazon Virtual Private Cloud Cloud-Benutzerhandbuch.

  • Es ist wichtig, dass Sie alle Ihre Ressourcen in derselben Datei erstellen AWS-Region und Availability Zone und konfigurieren Sie Sicherheitsgruppenregeln, um eine Verbindung zwischen den Ressourcen in Ihrem zu ermöglichenVPC. Gehen Sie beispielsweise davon aus, dass Sie ein VPC in erstellenus-west-2. Sie sollten VPC in dieser Availability Zone ein Subnetz und eine Sicherheitsgruppe erstellenus-west-2a, die den gesamten eingehenden (eingehenden) Verkehr innerhalb der Sicherheitsgruppe sowie den gesamten ausgehenden Verkehr zulässt.

  • Sie müssen auch sicherstellen, dass Sie eine Verbindung zu haben VPC Amazon Simple Storage Service (Amazon S3). Wenn Sie a konfigurierenVPC, haben SageMaker HyperPod Instance-Gruppen keinen Zugriff auf das Internet und können daher keine Verbindung zu Amazon S3 herstellen, um auf Dateien wie Lebenszyklus-Skripts, Trainingsdaten und Modellartefakte zuzugreifen oder diese zu speichern. Um während der Verwendung eine Verbindung mit Amazon S3 herzustellenVPC, sollten Sie einen VPC Endpunkt erstellen. Indem Sie einen VPC Endpunkt erstellen, können Sie den SageMaker HyperPod Instanzgruppen den Zugriff auf die Amazon S3 S3-Buckets innerhalb desselben VPC ermöglichen. Wir empfehlen Ihnen, auch eine benutzerdefinierte Richtlinie zu erstellen, die nur Anfragen von Ihren privaten Benutzern den VPC Zugriff auf Ihre Amazon S3 S3-Buckets zulässt. Weitere Informationen finden Sie unter Endpoints for Amazon S3 in der AWS PrivateLink Leitfaden.

  • Wenn Sie einen HyperPod Cluster mit EFA -aktivierten Instances erstellen möchten, stellen Sie sicher, dass Sie eine Sicherheitsgruppe einrichten, die den gesamten eingehenden und ausgehenden Datenverkehr zur und von der Sicherheitsgruppe selbst zulässt. Weitere Informationen finden Sie unter Schritt 1: Vorbereiten einer EFA -aktivierten Sicherheitsgruppe im EC2Amazon-Benutzerhandbuch.

Einrichtung AWS Systems Manager und Run As für die Cluster-Benutzerzugriffskontrolle

SageMaker HyperPod DLAMIkommt mit AWS Systems Manager(SSM) ist sofort einsatzbereit, um Ihnen bei der Verwaltung des Zugriffs auf Ihre SageMaker HyperPod Cluster-Instanzgruppen zu helfen. In diesem Abschnitt wird beschrieben, wie Sie Betriebssystembenutzer (OS) in Ihren SageMaker HyperPod Clustern erstellen und sie IAM Benutzern und Rollen zuordnen. Dies ist nützlich, um SSM Sitzungen mit den Anmeldeinformationen des Betriebssystem-Benutzerkontos zu authentifizieren.

Aktivieren Sie „Ausführen als“ in Ihrem AWS Konto

Als AWS Kontoadministrator oder Cloud-Administrator können den Zugriff auf SageMaker HyperPod Cluster auf IAM Rollen- oder Benutzerebene verwalten, indem Sie die Funktion „Ausführen als“ unter verwendenSSM. Mit dieser Funktion können Sie jede SSM Sitzung mit dem Betriebssystembenutzer starten, der der IAM Rolle oder dem Benutzer zugeordnet ist.

Um Run As in Ihrem zu aktivieren AWS Konto, folgen Sie den Schritten unter „Run As“ -Unterstützung für verwaltete Linux- und macOS-Nodes aktivieren. Wenn Sie bereits Betriebssystembenutzer in Ihrem Cluster erstellt haben, stellen Sie sicher, dass Sie sie IAM Rollen oder Benutzern zuordnen, indem Sie sie wie in Option 2 von Schritt 5 unter So aktivieren Sie die Unterstützung „Als ausführen“ für verwaltete Linux- und macOS-Nodes beschrieben taggen.

(Slurm) Linux-Benutzer einrichten, die ein FSx Amazon-Dateisystem verwenden, das SageMaker HyperPod als gemeinsam genutzter Speicherplatz angehängt ist

Um die Einrichtung von Cluster-Benutzern für den Zugriff auf einen HyperPod Cluster über SSM und einen gemeinsam genutzten Bereich abzuschließen, müssen Sie ein Skript für das Hinzufügen von Benutzern konfigurieren und gleichzeitig Lebenszyklus-Konfigurationsskripte für die Erstellung eines HyperPod Clusters vorbereiten. In dem in diesem Abschnitt Beginnen Sie mit den grundlegenden Lebenszyklusskripten von HyperPod vorgestellten GitHub Repository gibt es ein Skript mit dem Namenadd_users.sh, das Benutzerdaten aus liestshared_users.txt. Beachten Sie, dass Sie die beiden Dateien im Rahmen der Vorbereitung und des Hochladens von Lebenszyklus-Skripten in einen Amazon S3 S3-Bucket hochladen müssen. Weitere Informationen finden Sie in den Abschnitten Erste Schritte mit der Orchestrierung mit SageMaker HyperPod Slurm und im AbschnittRichten Sie eine Mehrbenutzerumgebung über den gemeinsamen Speicherplatz von Amazon FSx ein.

(Optional) Einrichtung SageMaker HyperPod mit Amazon FSx for Lustre

Um mit der Verwendung SageMaker HyperPod und Zuordnung von Datenpfaden zwischen dem Cluster und Ihrem FSx for Lustre-Dateisystem zu beginnen, wählen Sie einen der AWS-Regionen unterstützt von. SageMaker HyperPod Nach der Auswahl der AWS-Region Sie sollten auch festlegen, welche Availability Zone (AZ) Sie verwenden möchten. Wenn Sie SageMaker HyperPod Rechenknoten an einem AZs anderen Ort als AZs dem verwenden, an dem Ihr FSx for Lustre-Dateisystem eingerichtet ist AWS-Region, kann es zu Kommunikations- und Netzwerk-Overhead kommen. Wir empfehlen Ihnen, dieselbe physische AZ wie die für das SageMaker HyperPod Dienstkonto zu verwenden, um jeglichen AZ-übergreifenden Verkehr zwischen SageMaker HyperPod Clustern und Ihrem FSx for Lustre-Dateisystem zu vermeiden. Stellen Sie außerdem sicher, dass Sie es mit Ihrem konfiguriert haben. VPC Wenn Sie Amazon FSx als Hauptdateisystem für die Speicherung verwenden möchten, müssen Sie SageMaker HyperPod Cluster mit konfigurierenVPC.