Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erstellen einer Compute-Knotengruppe in AWS PCS
Dieses Thema bietet einen Überblick über die verfügbaren Optionen und beschreibt, was zu beachten ist, wenn Sie eine Rechenknotengruppe in AWS Parallel Computing Service (AWS PCS) erstellen. Wenn Sie zum ersten Mal eine Rechenknotengruppe in AWS PCS erstellen, empfehlen wir Ihnen, das Tutorial unter zu befolgenErste Schritte mit AWS Parallel Computing Service. Das Tutorial kann Ihnen helfen, ein funktionierendes HPC-System zu erstellen, ohne auf alle verfügbaren Optionen und Systemarchitekturen eingehen zu müssen, die möglich sind.
Voraussetzungen
-
Ausreichende Servicekontingente, um die gewünschte Anzahl von EC2 Instanzen in Ihrem zu starten. AWS-Region Sie können den verwenden AWS Management Console, um eine Erhöhung Ihrer Servicekontingenten zu überprüfen und zu beantragen.
-
Eine bestehende VPC und Subnetze, die die AWS PCS-Netzwerkanforderungen erfüllen. Wir empfehlen, dass Sie sich gründlich mit diesen Anforderungen vertraut machen, bevor Sie einen Cluster für die Produktion bereitstellen. Weitere Informationen finden Sie unter AWS Anforderungen und Überlegungen zu PCS, VPC und Subnetzen. Sie können auch eine CloudFormation Vorlage verwenden, um eine VPC und Subnetze zu erstellen. AWS stellt ein HPC-Rezept für die Vorlage bereit. CloudFormation Weitere Informationen finden Sie aws-hpc-recipesunter GitHub.
-
Ein IAM-Instanzprofil mit Berechtigungen zum Aufrufen der AWS RegisterComputeNodeGroupInstance
PCS-API-Aktion und zum Zugriff auf alle anderen AWS
Ressourcen, die für Ihre Knotengruppen-Instances erforderlich sind. Weitere Informationen finden Sie unter IAM-Instanzprofile für Parallel Computing Service AWS.
-
Eine Startvorlage für Ihre Knotengruppen-Instances. Weitere Informationen finden Sie unter Verwenden von EC2 Amazon-Startvorlagen mit AWS PCS.
-
Um eine Compute-Knotengruppe zu erstellen, die Amazon EC2 Spot-Instances verwendet, müssen Sie die mit dem AWSServiceRoleForEC2Spot-Dienst verknüpfte Rolle in Ihrer AWS-Konto haben. Weitere Informationen finden Sie unter Amazon EC2 Spot-Rolle für AWS PCS.
Erstellen Sie eine Rechenknotengruppe in AWS PCS
Sie können eine Rechenknotengruppe mit dem AWS Management Console oder dem erstellen AWS CLI.
- AWS Management Console
-
Um Ihre Compute-Knotengruppe mithilfe der Konsole zu erstellen
-
Öffnen Sie die AWS PCS-Konsole.
-
Wählen Sie den Cluster aus, in dem Sie eine Compute-Knotengruppe erstellen möchten. Navigieren Sie zu Compute-Knotengruppen und wählen Sie Create aus.
-
Geben Sie im Abschnitt Konfiguration der Compute-Knotengruppe einen Namen für Ihre Knotengruppe ein. Der Name darf nur alphanumerische Zeichen und Bindestriche enthalten, bei denen Groß- und Kleinschreibung beachtet wird. Er muss mit einem alphabetischen Zeichen beginnen und darf nicht länger als 25 Zeichen sein. Der Name muss innerhalb des Clusters eindeutig sein.
-
Geben Sie unter Computerkonfiguration die folgenden Werte ein, oder wählen Sie sie aus:
-
EC2 Startvorlage — Wählen Sie eine benutzerdefinierte Startvorlage aus, die für diese Knotengruppe verwendet werden soll. Startvorlagen können verwendet werden, um Netzwerkeinstellungen wie Subnetz und Sicherheitsgruppen, Überwachungskonfiguration und Speicher auf Instanzebene anzupassen. Falls Sie noch keine Startvorlage vorbereitet haben, erfahren Sie unter, wie Verwenden von EC2 Amazon-Startvorlagen mit AWS PCS Sie eine erstellen.
AWS PCS erstellt eine verwaltete Startvorlage für jede Rechenknotengruppe. Diese sind benanntpcs-identifier
-do-not-delete
. Wählen Sie diese nicht aus, wenn Sie eine Compute-Knotengruppe erstellen oder aktualisieren, da die Knotengruppe sonst nicht richtig funktioniert.
-
EC2 Version der Startvorlage — Sie müssen eine Version Ihrer benutzerdefinierten Startvorlage auswählen. Wenn Sie die Version später ändern, müssen Sie die Compute-Knotengruppe aktualisieren, um Änderungen in der Startvorlage zu erkennen. Weitere Informationen finden Sie unter Aktualisierung einer AWS PCS-Compute-Knotengruppe.
-
AMI-ID — Wenn Ihre Startvorlage keine AMI-ID enthält oder wenn Sie den Wert in der Startvorlage überschreiben möchten, geben Sie hier eine AMI-ID ein. Beachten Sie, dass das für die Knotengruppe verwendete AMI mit AWS PCS kompatibel sein muss. Sie können auch ein Beispiel-AMI auswählen, das von bereitgestellt wird AWS. Weitere Informationen zu diesem Thema finden Sie unterAmazon Machine Images (AMIs) für AWS PCS.
-
IAM-Instanzprofil — Wählen Sie ein Instanzprofil für die Knotengruppe aus. Ein Instanzprofil gewährt der Instanz Berechtigungen für den sicheren Zugriff auf AWS
Ressourcen und Dienste. Falls Sie noch kein Konto vorbereitet haben, erfahren IAM-Instanzprofile für Parallel Computing Service AWS Sie unter, wie Sie eines erstellen.
-
Subnetze — Wählen Sie ein oder mehrere Subnetze in der VPC aus, in der Ihr AWS PCS-Cluster bereitgestellt wird. Wenn Sie mehrere Subnetze auswählen, ist die EFA-Kommunikation zwischen den Knoten nicht verfügbar, und die Kommunikation zwischen Knoten in verschiedenen Subnetzen kann zu einer erhöhten Latenz führen. Stellen Sie sicher, dass die Subnetze, die Sie hier angeben, mit denen übereinstimmen, die Sie in der Startvorlage definiert haben. EC2
-
Instances — Wählen Sie einen oder mehrere Instance-Typen aus, um Skalierungsanforderungen in der Knotengruppe zu erfüllen. Alle Instance-Typen müssen dieselbe Prozessorarchitektur (x86_64 oder arm64) und dieselbe Anzahl von v haben. CPUs Wenn dies bei den Instanzen der Fall ist GPUs, müssen alle Instanztypen dieselbe Anzahl von haben. GPUs
-
Skalierungskonfiguration — Geben Sie die Mindest- und Höchstanzahl von Instanzen für die Knotengruppe an. Sie können entweder eine statische Konfiguration definieren, bei der eine feste Anzahl von Knoten ausgeführt wird, oder eine dynamische Konfiguration, bei der bis zu die maximale Anzahl von Knoten ausgeführt werden kann. Bei einer statischen Konfiguration legen Sie für Minimum und Maximum dieselbe Zahl fest, die größer als Null ist. Legen Sie für eine dynamische Konfiguration die Mindestanzahl der Instanzen auf Null und die maximale Anzahl der Instanzen auf eine Zahl größer als Null fest. AWS PCS unterstützt keine Rechenknotengruppen mit einer Mischung aus statischen und dynamischen Instanzen.
-
(Optional) Geben Sie unter Zusätzliche Einstellungen Folgendes an:
-
Kaufoption — Wählen Sie zwischen Spot- und On-Demand-Instances.
-
Zuweisungsstrategie — Wenn Sie die Spot-Kaufoption ausgewählt haben, können Sie angeben, wie Spot-Kapazitätspools beim Start von Instances in der Knotengruppe ausgewählt werden. Weitere Informationen finden Sie unter Zuweisungsstrategien für Spot-Instances im Amazon Elastic Compute Cloud-Benutzerhandbuch. Diese Option hat keine Auswirkung, wenn Sie die Option On-Demand-Kauf ausgewählt haben.
-
(Optional) Im Slurm Geben Sie im Abschnitt benutzerdefinierte Einstellungen die folgenden Werte an:
-
Gewicht — Dieser Wert legt die Priorität der Knoten in der Gruppe für Planungszwecke fest. Knoten mit niedrigerer Gewichtung haben eine höhere Priorität, und die Einheiten sind willkürlich. Weitere Informationen finden Sie unter Gewichtung in Slurm -Dokumentation.
-
Realer Speicher — Dieser Wert legt die Größe (in GB) des realen Speichers auf Knoten in der Knotengruppe fest. Er ist für die Verwendung in Verbindung mit der CR_CPU_Memory
Option im Cluster vorgesehen Slurm Konfiguration in AWS PCS. Weitere Informationen finden Sie RealMemoryin der Slurm -Dokumentation.
-
(Optional) Fügen Sie unter Tags beliebige Tags zu Ihrer Compute-Knotengruppe hinzu.
-
Wählen Sie Compute-Knotengruppe erstellen aus. Im Feld Status wird angezeigt, Creating
während AWS PCS die Knotengruppe bereitstellt. Dies kann mehrere Minuten dauern.
Als nächster Schritt wird empfohlen
- AWS CLI
-
So erstellen Sie Ihre Compute-Knotengruppe mit AWS CLI
Erstellen Sie Ihre Warteschlange mit dem folgenden Befehl. Nehmen Sie vor der Ausführung des Befehls die folgenden Ersetzungen vor:
-
region
Ersetzen Sie es durch die ID des AWS-Region , in dem Sie Ihren Cluster erstellen möchten, z. us-east-1
B.
-
my-cluster
Ersetzen Sie durch den Namen oder clusterId
Ihres Clusters.
-
my-node-group
Ersetzen Sie durch den Namen Ihrer Compute-Knotengruppe. Der Name darf nur alphanumerische Zeichen (wobei die Groß- und Kleinschreibung beachtet werden muss) und Bindestriche enthalten. Er muss mit einem alphabetischen Zeichen beginnen und darf nicht länger als 25 Zeichen sein. Der Name muss innerhalb des Clusters eindeutig sein.
-
subnet-ExampleID1
Ersetzen Sie durch ein oder mehrere Subnetze IDs aus Ihrer Cluster-VPC.
-
lt-ExampleID1
Ersetzen Sie es durch die ID für Ihre benutzerdefinierte Startvorlage. Falls Sie noch keine vorbereitet haben, erfahren Verwenden von EC2 Amazon-Startvorlagen mit AWS PCS Sie unter, wie Sie eine erstellen.
AWS PCS erstellt für jede Rechenknotengruppe eine verwaltete Startvorlage. Diese sind benanntpcs-identifier
-do-not-delete
. Wählen Sie diese nicht aus, wenn Sie eine Compute-Knotengruppe erstellen oder aktualisieren, da die Knotengruppe sonst nicht richtig funktioniert.
-
launch-template-version
Ersetzen Sie sie durch eine bestimmte Version der Startvorlage. AWS PCS ordnet Ihre Knotengruppe dieser spezifischen Version der Startvorlage zu.
-
arn:InstanceProfile
Ersetzen Sie es durch den ARN Ihres IAM-Instanzprofils. Falls Sie noch keinen vorbereitet haben, finden Sie weitere Verwenden von EC2 Amazon-Startvorlagen mit AWS PCS Informationen unter.
-
Ersetzen Sie min-instances
und durch max-instances
ganzzahlige Werte. Sie können entweder eine statische Konfiguration definieren, bei der eine feste Anzahl von Knoten ausgeführt wird, oder eine dynamische Konfiguration, bei der bis zu die maximale Anzahl von Knoten ausgeführt werden kann. Bei einer statischen Konfiguration legen Sie für Minimum und Maximum dieselbe Zahl fest, die größer als Null ist. Legen Sie für eine dynamische Konfiguration die Mindestanzahl der Instanzen auf Null und die maximale Anzahl der Instanzen auf eine Zahl größer als Null fest. AWS PCS unterstützt keine Rechenknotengruppen mit einer Mischung aus statischen und dynamischen Instanzen.
-
Durch einen t3.large
anderen Instanztyp ersetzen. Sie können weitere Instanztypen hinzufügen, indem Sie eine Liste mit instanceType
Einstellungen angeben. Beispiel, --instance-configs instanceType=c6i.16xlarge,instanceType=c6a.16xlarge
. Alle Instance-Typen müssen dieselbe Prozessorarchitektur (x86_64 oder arm64) und dieselbe Anzahl von v haben. CPUs Wenn dies bei den Instanzen der Fall ist GPUs, müssen alle Instanztypen dieselbe Anzahl von haben. GPUs
aws pcs create-compute-node-group --region region
\
--cluster-identifier my-cluster
\
--compute-node-group-name my-node-group
\
--subnet-ids subnet-ExampleID1
\
--custom-launch-template id=lt-ExampleID1
,version='launch-template-version
' \
--iam-instance-profile-arn=arn:InstanceProfile
\
--scaling-config minInstanceCount=min-instances
,maxInstanceCount=max-instance
\
--instance-configs instanceType=t3.large
Es gibt mehrere optionale Konfigurationseinstellungen, die Sie dem create-compute-node-group
Befehl hinzufügen können.
-
Sie können angeben, --amiId
ob Ihre benutzerdefinierte Startvorlage keinen Verweis auf ein AMI enthält oder ob Sie diesen Wert überschreiben möchten. Beachten Sie, dass das für die Knotengruppe verwendete AMI mit AWS PCS kompatibel sein muss. Sie können auch ein Beispiel-AMI auswählen, das von bereitgestellt wird AWS. Weitere Informationen zu diesem Thema finden Sie unterAmazon Machine Images (AMIs) für AWS PCS.
-
Mithilfe von können Sie zwischen On-Demand-Instances (ONDEMAND
) und Spot-Instances (SPOT
) wählen--purchase-option
. On-Demand ist die Standardeinstellung. Wenn Sie Spot-Instances wählen, können Sie --allocation-strategy
damit auch definieren, wie AWS PCS Spot-Kapazitätspools auswählt, wenn Instances in der Knotengruppe gestartet werden. Weitere Informationen finden Sie unter Zuweisungsstrategien für Spot-Instances im Amazon Elastic Compute Cloud-Benutzerhandbuch.
-
Es ist möglich, Folgendes bereitzustellen Slurm Konfigurationsoptionen für die Knoten in der Knotengruppe mithilfe von--slurm-configuration
. Sie können die Gewichtung (Scheduling-Priorität) und den tatsächlichen Arbeitsspeicher festlegen. Knoten mit niedrigerer Gewichtung haben eine höhere Priorität, und die Einheiten sind willkürlich. Weitere Informationen finden Sie unter Gewichtung in Slurm -Dokumentation. Realer Speicher legt die Größe (in GB) des realen Speichers auf Knoten in der Knotengruppe fest. Es ist für die Verwendung in Verbindung mit der CR_CPU_Memory
Option für den Cluster in AWS PCS in Ihrem Slurm Konfiguration. Weitere Informationen finden Sie RealMemoryin der Slurm -Dokumentation.
Die Erstellung der Compute-Knotengruppe kann mehrere Minuten dauern.
Sie können den Status Ihrer Knotengruppe mit dem folgenden Befehl abfragen. Sie können die Knotengruppe erst dann einer Warteschlange zuordnen, wenn ihr Status erreicht istACTIVE
.
aws pcs get-compute-node-group --region region
\
--cluster-identifier my-cluster
\
--compute-node-group-identifier my-node-group