Erstellen eines Clusters im AWS Parallel Computing Service - AWS PCS

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen eines Clusters im AWS Parallel Computing Service

Dieses Thema bietet einen Überblick über die verfügbaren Optionen und beschreibt, was Sie bei der Erstellung eines Clusters in AWS Parallel Computing Service (AWS PCS) beachten sollten. Wenn Sie zum ersten Mal einen AWS PCS-Cluster erstellen, empfehlen wir Ihnen, wie folgt vorzugehenErste Schritte mit AWS Parallel Computing Service. Das Tutorial kann Ihnen helfen, ein funktionierendes HPC-System zu erstellen, ohne auf alle verfügbaren Optionen und Systemarchitekturen eingehen zu müssen, die möglich sind.

Voraussetzungen

Erstellen Sie einen AWS PCS-Cluster

Sie können das AWS Management Console oder verwenden AWS CLI , um einen Cluster zu erstellen.

AWS Management Console
So erstellen Sie einen Cluster
  1. Öffnen Sie die AWS PCS-Konsole unter https://console.aws.amazon.com/pcs/home#/clusters und wählen Sie Create cluster aus.

  2. Geben Sie im Abschnitt Cluster-Setup die folgenden Felder ein:

    • Clustername — Ein Name für Ihren Cluster. Der Name darf nur alphanumerische Zeichen (wobei die Groß- und Kleinschreibung beachtet werden muss) und Bindestriche enthalten. Er muss mit einem alphabetischen Zeichen beginnen und darf nicht länger als 40 Zeichen sein. Der Name muss innerhalb des AWS-Region und AWS-Konto , in dem Sie den Cluster erstellen, eindeutig sein.

    • Scheduler — Wählen Sie einen Scheduler und eine Version aus. AWS PCS unterstützt derzeit Slurm 24.05 und 23.11. Weitere Informationen finden Sie unter Slurm-Versionen in AWS PCS.

    • Controller-Größe — Wählen Sie eine Größe für Ihren Controller. Dies bestimmt, wie viele gleichzeitige Jobs und Rechenknoten vom AWS PCS-Cluster verwaltet werden können. Sie können die Controller-Größe nur festlegen, wenn der Cluster erstellt wird. Weitere Informationen zur Größenbestimmung finden Sie unterClustergröße in AWS PCS.

  3. Wählen Sie im Abschnitt Netzwerk Werte für die folgenden Felder aus:

    • VPC — Wählen Sie eine vorhandene VPC, die die AWS PCS-Anforderungen erfüllt. Weitere Informationen finden Sie unter AWS Anforderungen und Überlegungen zu PCS, VPC und Subnetzen. Nachdem Sie den Cluster erstellt haben, können Sie seine VPC nicht mehr ändern. Wenn keine aufgeführt VPCs sind, müssen Sie zuerst eine erstellen.

    • Subnetz — Alle verfügbaren Subnetze in der ausgewählten VPC werden aufgelistet. Wählen Sie ein Subnetz, das die PCS-Subnetzanforderungen erfüllt. AWS Weitere Informationen finden Sie unter AWS Anforderungen und Überlegungen zu PCS, VPC und Subnetzen. Wir empfehlen Ihnen, ein privates Subnetz auszuwählen, um zu verhindern, dass Ihre Scheduler-Endpunkte dem öffentlichen Internet ausgesetzt werden.

    • Sicherheitsgruppen — Geben Sie die Sicherheitsgruppe (n) an, die AWS PCS den Netzwerkschnittstellen zuordnen soll, die es für Ihren Cluster erstellt. Sie müssen mindestens eine Sicherheitsgruppe auswählen, die die Kommunikation zwischen Ihrem Cluster und seinen Rechenknoten ermöglicht. Weitere Informationen finden Sie unter Anforderungen und Überlegungen zur Sicherheitsgruppe.

  4. (Optional) Unter Verschlüsselung können Sie einen benutzerdefinierten Schlüssel zur Verschlüsselung Ihrer Controller-Daten definieren, indem Sie die folgenden Felder festlegen:

    • KMS-Schlüssel-ID — Geben Sie aws/pcs an, ob der von PCS erstellte KMS-Schlüssel verwendet werden soll. Wählen Sie einen vorhandenen KMS-Schlüsselalias aus, um einen benutzerdefinierten KMS-Schlüssel zu verwenden. Beachten Sie, dass das Konto, mit dem der Cluster erstellt wurde, über kms:Decrypt Berechtigungen für den benutzerdefinierten KMS-Schlüssel verfügen muss.

  5. (Optional) Im Abschnitt Slurm-Konfiguration können Sie Slurm-Konfigurationsoptionen angeben, die die von PCS festgelegten Standardeinstellungen überschreiben: AWS

    • Leerlaufzeit herunterskalieren — Damit wird gesteuert, wie lange dynamisch bereitgestellte Rechenknoten aktiv bleiben, nachdem die ihnen zugewiesenen Jobs abgeschlossen oder beendet wurden. Wenn Sie diesen Wert auf einen längeren Wert setzen, ist es wahrscheinlicher, dass ein nachfolgender Job auf dem Knoten ausgeführt werden kann, was jedoch zu höheren Kosten führen kann. Ein kürzerer Wert senkt die Kosten, kann jedoch den Anteil der Zeit erhöhen, die Ihr HPC-System für die Bereitstellung von Knoten aufwendet, anstatt Jobs auf ihnen auszuführen.

    • Prolog — Dies ist ein vollständig qualifizierter Pfad zu einem Prolog-Skriptverzeichnis auf Ihren Compute-Knotengruppen-Instances. Dies entspricht der Prolog-Einstellung in Slurm. Beachten Sie, dass dies ein Verzeichnis sein muss, kein Pfad zu einer bestimmten ausführbaren Datei.

    • Epilog — Dies ist ein vollständig qualifizierter Pfad zu einem Epilog-Skriptverzeichnis auf Ihren Compute-Knotengruppen-Instances. Dies entspricht der Epilog-Einstellung in Slurm. Beachten Sie, dass dies ein Verzeichnis sein muss, kein Pfad zu einer bestimmten ausführbaren Datei.

    • Typparameter auswählen — Dies hilft bei der Steuerung des von Slurm verwendeten Algorithmus zur Ressourcenauswahl. Wenn Sie diesen Wert auf setzen, CR_CPU_Memory wird die speicherorientierte Planung aktiviert, wenn Sie ihn auf setzen, CR_CPU wird die reine CPU-Planung aktiviert. Dieser Parameter entspricht der SelectTypeParametersEinstellung in Slurm, auf die PCS eingestellt ist. SelectType select/cons_tres AWS

  6. (Optional) Fügen Sie unter Tags beliebige Tags zu Ihrem AWS PCS-Cluster hinzu.

  7. Wählen Sie Cluster erstellen. Das Statusfeld wird angezeigtCreating, während der AWS PCS den Cluster erstellt. Dieser Vorgang kann einige Minuten dauern.

Wichtig

AWS-Region Pro Creating Bundesstaat kann es nur einen Cluster geben AWS-Konto. AWS PCS gibt beim Versuch, einen Cluster zu erstellen, einen Fehler zurück, wenn sich bereits ein Cluster in einem Creating Status befindet.

AWS CLI
So erstellen Sie einen Cluster
  1. Erstellen Sie den Cluster mit dem folgenden Befehl. Nehmen Sie vor der Ausführung des Befehls die folgenden Ersetzungen vor:

    • regionErsetzen Sie es durch die ID des Clusters AWS-Region , in dem Sie Ihren Cluster erstellen möchten, z. us-east-1 B.

    • Ersetzen Sie my-cluster durch Ihren Cluster-Namen. Der Name darf nur alphanumerische Zeichen (wobei die Groß- und Kleinschreibung beachtet werden muss) und Bindestriche enthalten. Sie muss mit einem alphabetischen Zeichen beginnen und darf nicht länger als 40 Zeichen sein. Der Name muss innerhalb des Clusters AWS-Region und an dem AWS-Konto Ort, an dem Sie den Cluster erstellen, eindeutig sein.

    • 24.05Ersetzen Sie es durch eine unterstützte Version von Slurm.

      Anmerkung

      AWS PCS unterstützt derzeit Slurm 24.05 und 23.11.

    • Ersetzen Sie durch eine beliebige SMALL unterstützte Clustergröße. Dies bestimmt, wie viele gleichzeitige Jobs und Rechenknoten vom AWS PCS-Cluster verwaltet werden können. Es kann nur festgelegt werden, wenn der Cluster erstellt wird. Weitere Informationen zur Dimensionierung finden Sie unterClustergröße in AWS PCS.

    • Ersetzen Sie den Wert für subnetIds durch Ihren eigenen. Wir empfehlen Ihnen, ein privates Subnetz auszuwählen, um zu verhindern, dass Ihre Scheduler-Endpunkte dem öffentlichen Internet ausgesetzt werden.

    • Geben Sie die ansecurityGroupIds, die AWS PCS den Netzwerkschnittstellen zuordnen soll, die es für Ihren Cluster erstellt. Die Sicherheitsgruppen müssen sich in derselben VPC wie der Cluster befinden. Sie müssen mindestens eine Sicherheitsgruppe auswählen, die die Kommunikation zwischen Ihrem Cluster und seinen Rechenknoten ermöglicht. Weitere Informationen finden Sie unter Anforderungen und Überlegungen zur Sicherheitsgruppe.

    • Optional können Sie das Verhalten von Slurm feinabstimmen, indem Sie eine --slurm-configration Option hinzufügen. Mit können Sie beispielsweise die Leerlaufzeit beim Herunterfahren auf 60 Minuten (3600 Sekunden) festlegen. --slurm configuration scaleDownIdeTime=3600

    • Optional können Sie einen benutzerdefinierten KMS-Schlüssel angeben, mit dem Sie die Daten Ihres Controllers verschlüsseln können. --kms-key-id kms-key kms-keyDurch einen vorhandenen KMS-ARN, eine Schlüssel-ID oder einen Alias ersetzen. Beachten Sie, dass das Konto, mit dem der Cluster erstellt wurde, über kms:Decrypt Berechtigungen für den benutzerdefinierten KMS-Schlüssel verfügen muss.

    aws pcs create-cluster --region region \ --cluster-name my-cluster \ --scheduler type=SLURM,version=24.05 \ --size SMALL \ --networking subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1
  2. Die Bereitstellung des Clusters kann mehrere Minuten dauern. Sie können den Status Ihres Clusters mit dem folgenden Befehl überprüfen. Fahren Sie erst mit der Erstellung von Warteschlangen oder Compute-Knotengruppen fort, wenn das Statusfeld des Clusters angezeigt wirdACTIVE.

    aws pcs get-cluster --region region --cluster-identifier my-cluster
Wichtig

AWS-Region Pro Creating AWS-Konto Bundesstaat kann es nur einen Cluster geben. AWS PCS gibt beim Versuch, einen Cluster zu erstellen, einen Fehler zurück, wenn sich bereits ein Cluster in einem Creating Status befindet.

Empfohlene nächste Schritte für Ihren Cluster
  • Fügen Sie Compute-Knotengruppen hinzu.

  • Fügen Sie Warteschlangen hinzu.

  • Aktivieren Sie die Protokollierung.