Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Erste Schritte mit AWS Parallel Computing Service Dies ist ein Tutorial zum Erstellen eines einfachen Clusters, mit dem Sie AWS PCS testen können. Die folgende Abbildung zeigt das Design des Clusters. ![\[Ein Architekturdiagramm des Tutorial-Clusters: Die beiden Compute-Knotengruppen sind Ressourcen in Ihrem System AWS-Konto und stellen eine Verbindung zum Slurm-Cluster-Controller her, der auf einem AWS-Konto diensteigenen Server läuft. Die EC2 Instances in beiden Rechenknotengruppen stellen eine Verbindung zu gemeinsam genutztem Speicher in Amazon EFS und Amazon FSx for Lustre her.\]](http://docs.aws.amazon.com/de_de/pcs/latest/userguide/images/aws-pcs-tutorial-environment-diagram.png) Das Cluster-Design des Tutorials besteht aus den folgenden Hauptkomponenten: + Eine VPC und Subnetze, die die [AWS PCS-Netzwerkanforderungen erfüllen.](working-with_networking_vpc-requirements.md) + Ein Amazon EFS-Dateisystem, das als gemeinsames Home-Verzeichnis verwendet wird. + Ein Amazon FSx for Lustre-Dateisystem, das ein gemeinsam genutztes Hochleistungsverzeichnis bereitstellt. + Ein AWS PCS-Cluster, der einen Slurm-Controller bereitstellt. + 2 AWS PCS-Rechenknotengruppen. + Die `login` Knotengruppe, die einen Shell-basierten interaktiven Zugriff auf das System ermöglicht. + Die `compute-1` Knotengruppe bietet elastisch skalierbare Instanzen zur Ausführung von Jobs. + 1 Warteschlange, die Jobs an EC2 Instanzen in der `compute-1` Knotengruppe sendet. Der Cluster benötigt zusätzliche AWS Ressourcen wie Sicherheitsgruppen, IAM-Rollen und EC2 Startvorlagen, die im Diagramm nicht dargestellt sind. **Anmerkung** Wir empfehlen, dass Sie die Befehlszeilenschritte in diesem Thema in einer Bash-Shell ausführen. Wenn Sie keine Bash-Shell verwenden, erfordern einige Skriptbefehle wie Zeilenfortsetzungszeichen und die Art und Weise, wie Variablen gesetzt und verwendet werden, eine Anpassung für Ihre Shell. Darüber hinaus können die Zitier- und Escape-Regeln für Ihre Shell unterschiedlich sein. Weitere Informationen finden Sie unter [Anführungszeichen und Literale mit Zeichenfolgen AWS CLI im AWS Command Line Interface](https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-parameters-quoting-strings.html) *Benutzerhandbuch für Version 2.* **Topics** + [Voraussetzungen für den Einstieg in PCS AWS](getting-started_prerequisites.md) + [Verwendung AWS CloudFormation mit dem AWS PCS-Tutorial](getting-started_cfn-note.md) + [Erstellen Sie eine VPC und Subnetze für PCS AWS](getting-started_create-vpc.md) + [Sicherheitsgruppen für AWS PCS erstellen](getting-started_create-sg.md) + [Erstellen Sie einen Cluster in AWS PCS](getting-started_create-cluster.md) + [Erstellen Sie gemeinsam genutzten Speicher für AWS PCS in Amazon Elastic File System](getting-started_create-efs.md) + [Erstellen Sie gemeinsamen Speicher für AWS PCS in Amazon FSx for Lustre](getting-started_create-fsx.md) + [Erstellen Sie Compute-Knotengruppen in AWS PCS](getting-started_create-cng.md) + [Erstellen Sie eine Warteschlange zur Verwaltung von Jobs in AWS PCS](getting-started_create-queue.md) + [Connect zu Ihrem AWS PCS-Cluster her](getting-started_connect.md) + [Erkunden Sie die Cluster-Umgebung in AWS PCS](getting-started_explore.md) + [Führen Sie einen Einzelknotenjob in AWS PCS aus](getting-started_run-job.md) + [Führen Sie einen MPI-Job mit mehreren Knoten mit Slurm in PCS aus AWS](getting-started_run-mpi-job.md) + [Löschen Sie Ihre AWS Ressourcen für AWS PCS](getting-started_delete.md) # Voraussetzungen für den Einstieg in PCS AWS Lesen Sie die folgenden Themen, um Ihre AWS-Konto und Ihre lokale Entwicklungsumgebung für AWS PCS vorzubereiten. **Topics** + [Melden Sie sich an AWS und erstellen Sie einen Administratorbenutzer](setting-up.md) + [Installieren Sie das AWS CLI für AWS PCS](setting-up_cli.md) + [Erforderliche IAM-Berechtigungen für AWS PCS](required-iam-permissions.md) # Melden Sie sich an AWS und erstellen Sie einen Administratorbenutzer Führen Sie die folgenden Aufgaben aus, um den AWS Parallel Computing Service (AWS PCS) einzurichten. **Topics** + [Melden Sie sich an für ein AWS-Konto](#sign-up-for-aws) + [Erstellen eines Benutzers mit Administratorzugriff](#create-an-admin) ## Melden Sie sich an für ein AWS-Konto Wenn Sie noch keine haben AWS-Konto, führen Sie die folgenden Schritte aus, um eine zu erstellen. **Um sich für eine anzumelden AWS-Konto** 1. Öffnen Sie [https://portal.aws.amazon.com/billing/die Anmeldung.](https://portal.aws.amazon.com/billing/signup) 1. Folgen Sie den Online-Anweisungen. Während der Anmeldung erhalten Sie einen Telefonanruf oder eine Textnachricht und müssen einen Verifizierungscode über die Telefontasten eingeben. Wenn Sie sich für eine anmelden AWS-Konto, *Root-Benutzer des AWS-Kontos*wird eine erstellt. Der Root-Benutzer hat Zugriff auf alle AWS-Services und Ressourcen des Kontos. Als bewährte Sicherheitsmethode weisen Sie einem Administratorbenutzer Administratorzugriff zu und verwenden Sie nur den Root-Benutzer, um [Aufgaben auszuführen, die Root-Benutzerzugriff erfordern](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_root-user.html#root-user-tasks). AWS sendet Ihnen nach Abschluss des Anmeldevorgangs eine Bestätigungs-E-Mail. Sie können Ihre aktuellen Kontoaktivitäten jederzeit einsehen und Ihr Konto verwalten, indem Sie zu [https://aws.amazon.com/](https://aws.amazon.com/)gehen und **Mein Konto** auswählen. ## Erstellen eines Benutzers mit Administratorzugriff Nachdem Sie sich für einen angemeldet haben AWS-Konto, sichern Sie Ihren Root-Benutzer des AWS-Kontos AWS IAM Identity Center, aktivieren und erstellen Sie einen Administratorbenutzer, sodass Sie den Root-Benutzer nicht für alltägliche Aufgaben verwenden. **Sichern Sie Ihre Root-Benutzer des AWS-Kontos** 1. Melden Sie sich [AWS-Managementkonsole](https://console.aws.amazon.com/)als Kontoinhaber an, indem Sie **Root-Benutzer** auswählen und Ihre AWS-Konto E-Mail-Adresse eingeben. Geben Sie auf der nächsten Seite Ihr Passwort ein. Hilfe bei der Anmeldung mit dem Root-Benutzer finden Sie unter [Anmelden als Root-Benutzer](https://docs.aws.amazon.com/signin/latest/userguide/console-sign-in-tutorials.html#introduction-to-root-user-sign-in-tutorial) im *AWS-Anmeldung Benutzerhandbuch* zu. 1. Aktivieren Sie die Multi-Faktor-Authentifizierung (MFA) für den Root-Benutzer. Anweisungen finden Sie unter [Aktivieren eines virtuellen MFA-Geräts für Ihren AWS-Konto Root-Benutzer (Konsole)](https://docs.aws.amazon.com/IAM/latest/UserGuide/enable-virt-mfa-for-root.html) im *IAM-Benutzerhandbuch*. **Erstellen eines Benutzers mit Administratorzugriff** 1. Aktivieren Sie das IAM Identity Center. Anweisungen finden Sie unter [Aktivieren AWS IAM Identity Center](https://docs.aws.amazon.com//singlesignon/latest/userguide/get-set-up-for-idc.html) im *AWS IAM Identity Center Benutzerhandbuch*. 1. Gewähren Sie einem Administratorbenutzer im IAM Identity Center Benutzerzugriff. *Ein Tutorial zur Verwendung von IAM-Identity-Center-Verzeichnis als Identitätsquelle finden Sie IAM-Identity-Center-Verzeichnis im Benutzerhandbuch unter [Benutzerzugriff mit der Standardeinstellung konfigurieren](https://docs.aws.amazon.com//singlesignon/latest/userguide/quick-start-default-idc.html).AWS IAM Identity Center * **Anmelden als Administratorbenutzer** + Um sich mit Ihrem IAM-Identity-Center-Benutzer anzumelden, verwenden Sie die Anmelde-URL, die an Ihre E-Mail-Adresse gesendet wurde, als Sie den IAM-Identity-Center-Benutzer erstellt haben. Hilfe bei der Anmeldung mit einem IAM Identity Center-Benutzer finden Sie [im *AWS-Anmeldung Benutzerhandbuch* unter Anmeldung beim AWS Access-Portal](https://docs.aws.amazon.com/signin/latest/userguide/iam-id-center-sign-in-tutorial.html). **Weiteren Benutzern Zugriff zuweisen** 1. Erstellen Sie im IAM-Identity-Center einen Berechtigungssatz, der den bewährten Vorgehensweisen für die Anwendung von geringsten Berechtigungen folgt. Anweisungen hierzu finden Sie unter [ Berechtigungssatz erstellen](https://docs.aws.amazon.com//singlesignon/latest/userguide/get-started-create-a-permission-set.html) im *AWS IAM Identity Center Benutzerhandbuch*. 1. Weisen Sie Benutzer einer Gruppe zu und weisen Sie der Gruppe dann Single Sign-On-Zugriff zu. Eine genaue Anleitung finden Sie unter [ Gruppen hinzufügen](https://docs.aws.amazon.com//singlesignon/latest/userguide/addgroups.html) im *AWS IAM Identity Center Benutzerhandbuch*. # Installieren Sie das AWS CLI für AWS PCS Sie müssen die neueste Version von verwenden AWS CLI. Weitere Informationen finden [Sie unter Installation oder Aktualisierung auf die neueste Version von AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) im *AWS Command Line Interface Benutzerhandbuch für Version 2.* Sie müssen das konfigurieren AWS CLI. Weitere Informationen finden [Sie unter Configure the AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-configure.html) im *AWS Command Line Interface Benutzerhandbuch für Version 2.* Geben Sie an der Befehlszeile den folgenden Befehl ein, um Ihre AWS CLI Daten zu überprüfen. Es sollten Hilfeinformationen angezeigt werden. ``` aws pcs help ``` # Erforderliche IAM-Berechtigungen für AWS PCS Der von Ihnen verwendete IAM-Sicherheitsprinzipal muss über Berechtigungen für die Arbeit mit AWS PCS-IAM-Rollen, serviceverknüpften Rollen AWS CloudFormation, einer VPC und verwandten Ressourcen verfügen. *Weitere Informationen finden Sie unter [Identity and Access Management für AWS Parallel Computing Service](security-iam.md) und [Erstellen einer serviceverknüpften Rolle im Benutzerhandbuch](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create-service-linked-role.html).AWS Identity and Access Management * Sie müssen alle Schritte in diesem Handbuch als derselbe Benutzer ausführen. Führen Sie den folgenden Befehl aus, um den aktuellen Benutzer zu überprüfen: ``` aws sts get-caller-identity ``` # Verwendung AWS CloudFormation mit dem AWS PCS-Tutorial Das AWS PCS-Tutorial besteht aus vielen Schritten und soll Ihnen helfen, die Bestandteile eines AWS PCS-Clusters und die zu seiner Erstellung erforderlichen Verfahren zu verstehen. Wir empfehlen, dass Sie die Schritte des Tutorials mindestens einmal durchführen. Sobald Sie ein gutes Verständnis dafür haben, AWS CloudFormation worum es geht, können Sie den Beispielcluster mithilfe von Automatisierung schnell erstellen. CloudFormation ist ein AWS Service, mit dem Sie AWS Infrastrukturbereitstellungen vorhersehbar und wiederholt erstellen und bereitstellen können. **Sie können eine CloudFormation Vorlage verwenden, um die AWS Ressourcen für den Beispielcluster automatisch als einzelne Einheit, einen sogenannten Stack, bereitzustellen.** Sie können den Stapel löschen, wenn Sie damit fertig sind. Weitere Informationen finden Sie unter [Erste Schritte mit CloudFormation AWS PCS](get-started-cfn.md). # Erstellen Sie eine VPC und Subnetze für PCS AWS Sie können eine VPC und Subnetze mit einer CloudFormation Vorlage erstellen. Verwenden Sie die folgende URL, um die CloudFormation Vorlage herunterzuladen, und laden Sie sie dann in die [CloudFormation Konsole](https://console.aws.amazon.com/cloudformation/home#/stacks/create) hoch, um einen neuen CloudFormation Stack zu erstellen. Weitere Informationen finden Sie im *AWS CloudFormation Benutzerhandbuch* [unter Verwenden der CloudFormation Konsole](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-using-console.html). ``` https://aws-hpc-recipes.s3.amazonaws.com/main/recipes/net/hpc_large_scale/assets/main.yaml ``` Geben Sie bei geöffneter Vorlage in der CloudFormation Konsole die folgenden Optionen ein. Sie können die in der Vorlage bereitgestellten Standardwerte verwenden. + Gehen **Sie unter Geben Sie einen Stacknamen** ein: + Geben Sie unter **Stackname** Folgendes ein: ``` hpc-networking ``` + Unter **Parameter**: + Unter **VPC**: + Geben Sie unter **CidrBlock**Folgendes ein: ``` 10.3.0.0/16 ``` + Unter **Subnetze A**: + Geben Sie unter **CidrPublicSubnetA** Folgendes ein: ``` 10.3.0.0/20 ``` + Geben Sie unter **CidrPrivateSubnetA** Folgendes ein: ``` 10.3.128.0/20 ``` + Unter **Subnetze B**: + Geben Sie unter **CidrPublicSubnetB** Folgendes ein: ``` 10.3.16.0/20 ``` + Geben Sie unter **CidrPrivateSubnetB** Folgendes ein: ``` 10.3.144.0/20 ``` + Unter **Subnetze C**: + **Wählen Sie für **ProvisionSubnetsC** die Option True** + Geben Sie unter **CidrPublicSubnetC** Folgendes ein: ``` 10.3.32.0/20 ``` + Geben Sie unter **CidrPrivateSubnetC** Folgendes ein: ``` 10.3.160.0/20 ``` + Unter **Fähigkeiten**: + Markieren Sie das Kästchen **Ich bestätige, dass dadurch IAM-Ressourcen erstellt werden AWS CloudFormation könnten**. Überwachen Sie den Status des CloudFormation Stacks. Wenn es erreicht ist`CREATE_COMPLETE`, suchen Sie die ID für die Standardsicherheitsgruppe in der neuen VPC. Sie verwenden die ID später im Tutorial. ## Suchen Sie die Standardsicherheitsgruppe für die Cluster-VPC Gehen Sie wie folgt vor, um die ID für die Standardsicherheitsgruppe in der neuen VPC zu finden: + Navigieren Sie zur [Amazon VPC-Konsole](https://console.aws.amazon.com/vpc). + Wählen Sie im **VPC-Dashboard die Option Nach VPC** **filtern** aus. + Wählen Sie die VPC aus, mit `hpc-networking` der der Name beginnt. + Wählen Sie unter **Sicherheit** die Option **Sicherheitsgruppen** aus. + Suchen Sie die **Sicherheitsgruppen-ID** für die angegebene Gruppe`default`. Sie hat die Beschreibung`default VPC security group`. Sie verwenden die ID später, um EC2-Startvorlagen zu konfigurieren. # Sicherheitsgruppen für AWS PCS erstellen AWS PCS stützt sich auf Sicherheitsgruppen, um den Netzwerkverkehr in und aus einem Cluster und seinen Compute-Knotengruppen zu verwalten. Ausführliche Informationen zu diesem Thema finden Sie unter[Anforderungen und Überlegungen zur Sicherheitsgruppe](working-with_networking_sg.md#working-with_networking_sg-requirements). In diesem Schritt verwenden Sie eine CloudFormation Vorlage, um zwei Sicherheitsgruppen zu erstellen. + Eine Cluster-Sicherheitsgruppe, die die Kommunikation zwischen AWS PCS-Controllern, Rechenknoten und Anmeldeknoten ermöglicht. + Eine SSH-Sicherheitsgruppe für eingehende Nachrichten, die Sie optional zu Ihren Anmeldeknoten hinzufügen können, um den SSH-Zugriff zu unterstützen ## Erstellen Sie die Sicherheitsgruppen für PCS AWS Sie können eine CloudFormation Vorlage verwenden, um die Sicherheitsgruppen zu erstellen. Verwenden Sie die folgende URL, um die CloudFormation Vorlage herunterzuladen, und laden Sie sie dann in die [CloudFormation Konsole](https://console.aws.amazon.com/cloudformation/home#/stacks/create) hoch, um einen neuen CloudFormation Stack zu erstellen. Weitere Informationen finden Sie im *AWS CloudFormation Benutzerhandbuch* [unter Verwenden der CloudFormation Konsole](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-using-console.html). ``` https://aws-hpc-recipes.s3.amazonaws.com/main/recipes/pcs/getting_started/assets/pcs-cluster-sg.yaml ``` Geben Sie bei geöffneter Vorlage in der AWS CloudFormation Konsole die folgenden Optionen ein. Beachten Sie, dass einige Optionen in der Vorlage bereits ausgefüllt sind. Sie können sie einfach als Standardwerte beibehalten. + Unter **Geben Sie einen Stacknamen** an + Geben Sie unter **Stackname** Folgendes ein: ``` getstarted-sg ``` + Unter **Parameter** + Wählen Sie **VpcId**unter die VPC aus, mit `hpc-networking` der der Name beginnt. + (Optional) Geben Sie unter **ClientIpCidr**einen restriktiveren IP-Bereich für die eingehende SSH-Sicherheitsgruppe ein. Wir empfehlen, dass Sie dies mit Ihrer eigenen IP/Ihrem eigenen Subnetz einschränken (x.x.x.x/32 für Ihre eigene IP oder x.x.x.x/24 für den Bereich). Ersetzen Sie x.x.x.x durch Ihre eigene ÖFFENTLICHE IP. [Sie können Ihre öffentliche IP mithilfe von Tools wie https://ifconfig.co/ abrufen.](https://ifconfig.co/) Überwachen Sie den Status des CloudFormation Stacks. Wenn es `CREATE_COMPLETE` die Sicherheitsgruppe erreicht, sind die Ressourcen bereit. Es wurden zwei Sicherheitsgruppen mit den folgenden Namen erstellt: + `cluster-getstarted-sg`— das ist die Cluster-Sicherheitsgruppe + `inbound-ssh-getstarted-sg`— Dies ist eine Sicherheitsgruppe, die eingehenden SSH-Zugriff ermöglicht # Erstellen Sie einen Cluster in AWS PCS In AWS PCS ist ein Cluster eine persistente Ressource für die Verwaltung von Ressourcen und die Ausführung von Workloads. Sie erstellen einen Cluster für einen bestimmten Scheduler (AWS PCS unterstützt derzeit Slurm) in einem Subnetz einer neuen oder vorhandenen VPC. Der Cluster akzeptiert und plant Jobs und startet auch die Rechenknoten (EC2 Instances), die diese Jobs verarbeiten. **Um Ihren Cluster zu erstellen** 1. Öffnen Sie die [AWS PCS-Konsole](https://console.aws.amazon.com/pcs/home#/clusters) und wählen Sie **Create Cluster** aus. 1. Geben Sie im Abschnitt **Clusterdetails** die folgenden Felder ein: + **Clustername** — Geben Sie ein `get-started` + **Scheduler** — Wählen Sie **Slurm** Version 25.05 + **Controller-Größe** **— Wählen Sie Klein** 1. Wählen Sie im Bereich **Netzwerk** Werte für die folgenden Felder aus: + **VPC** — Wählen Sie die benannte VPC `hpc-networking:Large-Scale-HPC` + **Subnetz** — Wählen Sie das Subnetz aus, mit dem der Name beginnt `hpc-networking:PrivateSubnetA` + **Sicherheitsgruppen** — Wählen Sie die Cluster-Sicherheitsgruppe mit dem Namen `cluster-getstarted-sg` 1. Wählen Sie **Cluster erstellen**. **Anmerkung** Im Feld **Status** wird während der Bereitstellung des Clusters die Meldung Wird **erstellt** angezeigt. Die Clustererstellung kann mehrere Minuten dauern. # Erstellen Sie gemeinsam genutzten Speicher für AWS PCS in Amazon Elastic File System Amazon Elastic File System (Amazon EFS) ist ein AWS Service, der serverlosen, vollständig elastischen Dateispeicher bereitstellt, sodass Sie Dateidaten gemeinsam nutzen können, ohne Speicherkapazität und Leistung bereitstellen oder verwalten zu müssen. Weitere Informationen finden Sie unter [Was ist Amazon Elastic File System?](https://docs.aws.amazon.com/efs/latest/ug/whatisefs.html) im *Amazon Elastic File System-Benutzerhandbuch*. Der AWS PCS-Demonstrationscluster verwendet ein EFS-Dateisystem, um ein gemeinsames Basisverzeichnis zwischen den Clusterknoten bereitzustellen. Erstellen Sie ein EFS-Dateisystem in derselben VPC wie Ihr Cluster. **So erstellen Sie ein Amazon-EFS-Dateisystem** 1. Gehen Sie zur [Amazon EFS-Konsole](https://console.aws.amazon.com/efs). 1. Stellen Sie sicher, dass sie auf die gleiche Einstellung eingestellt ist AWS-Region , auf der Sie AWS PCS ausprobieren möchten. 1. Wählen Sie **Create file system (Dateisystem erstellen)** aus. 1. Stellen Sie auf der Seite **Dateisystem erstellen** die folgenden Parameter ein: + Für **Name** geben Sie `getstarted-efs` ein. + Wählen Sie unter **Virtual Private Cloud (VPC)** die VPC mit dem Namen `hpc-networking:Large-Scale-HPC` + Wählen Sie **Create (Erstellen)** aus. Dadurch kehren Sie zur Seite **Dateisysteme** zurück. 1. Notieren Sie sich die **Dateisystem-ID** für das `getstarted-efs` Dateisystem. Sie benötigen diese Informationen später. # Erstellen Sie gemeinsamen Speicher für AWS PCS in Amazon FSx for Lustre Amazon FSx for Lustre macht es einfach und kostengünstig, das beliebte, leistungsstarke Lustre-Dateisystem zu starten und auszuführen. Sie verwenden Lustre für Workloads, bei denen es auf Geschwindigkeit ankommt, wie z. B. maschinelles Lernen, High Performance Computing (HPC), Videoverarbeitung und Finanzmodellierung. Weitere Informationen finden Sie unter [Was ist Amazon FSx for Lustre](https://docs.aws.amazon.com/fsx/latest/LustreGuide/what-is.html)? im *Amazon FSx for Lustre-Benutzerhandbuch*. Der AWS PCS-Demonstrationscluster kann ein FSx for Lustre-Dateisystem verwenden, um ein leistungsstarkes gemeinsames Verzeichnis zwischen den Clusterknoten bereitzustellen. Erstellen Sie ein FSx for Lustre-Dateisystem in derselben VPC wie Ihr Cluster. **Um Ihr FSx for Lustre-Dateisystem zu erstellen** 1. Gehen Sie zur [ FSx Amazon-Konsole](https://console.aws.amazon.com/fsx). 1. Stellen Sie sicher, dass die Konsole so eingestellt ist, dass AWS-Region sie dasselbe verwendet wie Ihr Cluster. 1. Wählen Sie **Create file system (Dateisystem erstellen)** aus. + **Wählen Sie unter Dateisystemtyp** auswählen die Option **Amazon FSx for Lustre** und dann **Weiter**. 1. Stellen Sie auf der Seite „**Dateisystemdetails angeben**“ die folgenden Parameter ein: + Unter **Dateisystemdetails** + Für **Name** geben Sie `getstarted-fsx` ein. + Wählen Sie für **Bereitstellung und Speichertyp** die Optionen **Persistent, SSD** + Wählen Sie für **Durchsatz pro Speichereinheit** **125 MB/s/TiB** + Geben Sie für **Speicherkapazität** 1,2 TiB ein + **Wählen Sie für die **Metadatenkonfiguration** die Option Automatisch** + Wählen Sie als **Datenkomprimierungstyp **LZ4**** + Unter **Netzwerk und Sicherheit** + Wählen Sie für **Virtual Private Cloud (VPC)** die VPC mit dem Namen `hpc-networking:Large-Scale-HPC` + Belassen Sie für **VPC-Sicherheitsgruppen** die Sicherheitsgruppe mit dem Namen `default` + Wählen Sie für **Subnetz** das Subnetz aus, mit dem der Name beginnt `hpc-networking:PrivateSubnetA` + Behalten Sie für die anderen Optionen ihre Standardwerte bei. + Wählen Sie **Weiter**. 1. Wählen Sie auf der Seite **Überprüfen und erstellen** die Option **Dateisystem erstellen** aus. Dadurch kehren Sie zur Seite **Dateisysteme** zurück. 1. Navigieren Sie zur Detailseite für das FSx for Lustre-Dateisystem, das Sie erstellt haben. 1. Notieren Sie sich die **Dateisystem-ID** und den **Mount-Namen**. Sie benötigen diese Informationen später. **Anmerkung** Das Feld **Status** zeigt **Creating** an, während das Dateisystem bereitgestellt wird. Die Erstellung des Dateisystems kann mehrere Minuten dauern. Warten Sie, bis der Vorgang abgeschlossen ist, bevor Sie mit dem Rest des Tutorials fortfahren. # Erstellen Sie Compute-Knotengruppen in AWS PCS Eine Rechenknotengruppe ist eine virtuelle Sammlung von Rechenknoten (EC2-Instances), die AWS PCS startet und verwaltet. Wenn Sie eine Compute-Knotengruppe definieren, geben Sie allgemeine Merkmale wie EC2-Instance-Typen, minimale und maximale Instance-Anzahl, Ziel-VPC-Subnetze, bevorzugte Kaufoption und benutzerdefinierte Startkonfiguration an. AWS PCS startet, verwaltet und beendet Rechenknoten in einer Compute-Knotengruppe gemäß diesen Einstellungen auf effiziente Weise. Der Demonstrationscluster verwendet eine Rechenknotengruppe, um Anmeldeknoten für den Benutzerzugriff bereitzustellen, und eine separate Rechenknotengruppe, um Jobs zu verarbeiten. In den folgenden Themen werden die Verfahren zum Einrichten dieser Compute-Knotengruppen in Ihrem Cluster beschrieben. **Topics** + [Erstellen Sie ein Instanzprofil für AWS PCS](getting-started_create-cng_instance-profile.md) + [Startvorlagen für AWS PCS erstellen](getting-started_create-cng_launch-templates.md) + [Erstellen Sie eine Rechenknotengruppe für Anmeldeknoten in AWS PCS](getting-started_create-cng_login-nodes.md) + [Erstellen Sie eine Rechenknotengruppe für die Ausführung von Rechenjobs in AWS PCS](getting-started_create-cng_workers.md) # Erstellen Sie ein Instanzprofil für AWS PCS Compute-Knotengruppen benötigen ein Instanzprofil, wenn sie erstellt werden. Wenn Sie die AWS-Managementkonsole verwenden, um eine Rolle für Amazon EC2 zu erstellen, erstellt die Konsole automatisch ein Instanceprofil und gibt ihm denselben Namen wie der Rolle. Weitere Informationen finden Sie unter [Verwenden von Instanzprofilen](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_use_switch-role-ec2_instance-profiles.html) im *AWS Identity and Access Management Benutzerhandbuch*. Im folgenden Verfahren verwenden Sie die, AWS-Managementkonsole um eine Rolle für Amazon EC2 zu erstellen, wodurch auch das Instance-Profil für Ihre Rechenknotengruppen erstellt wird. **Um die Rolle und das Instance-Profil zu erstellen** + Navigieren Sie zur [IAM-Konsole](https://console.aws.amazon.com/iam). + Wählen Sie unter **Access management** (Zugriffsverwaltung) **Policies** (Richtlinien) aus. + Wählen Sie **Richtlinie erstellen** aus. + Wählen **Sie unter Berechtigungen angeben** für den **Richtlinieneditor** die Option **JSON** aus. + Ersetzen Sie den Inhalt des Texteditors durch Folgendes: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Action": [ "pcs:RegisterComputeNodeGroupInstance" ], "Resource": "*", "Effect": "Allow" } ] } ``` ------ + Wählen Sie **Weiter** aus. + Geben Sie unter **Überprüfen und erstellen** als **Richtlinienname** den Wert ein`AWSPCS-getstarted-policy`. + Wählen Sie **Richtlinie erstellen** aus. + Wählen Sie unter **Access management** (Zugriffsverwaltung) **Roles** (Rollen) aus. + Wählen Sie **Rolle erstellen** aus. + Unter **Vertrauenswürdige Entität auswählen**: + Wählen Sie für **Vertrauenswürdigen Entitätstyp** die Option **AWS Dienst** aus + Wählen **Sie unter Anwendungsfall** die Option **EC2** aus. + Wählen Sie dann unter **Wählen Sie einen Anwendungsfall** für den angegebenen Dienst die Option **EC2** aus. + Wählen Sie **Weiter** aus. + Unter **Berechtigungen hinzufügen**: + Suchen **Sie unter Permissions policies** nach **AWSPCS-getstarted-policy**. + Markieren Sie das Kästchen neben **AWSPCS-getstarted-policy**, um es der Rolle hinzuzufügen. + Suchen **Sie unter Permissions policies** nach **Amazon SSMManaged InstanceCore**. + Markieren Sie das Kästchen neben **Amazon SSMManaged InstanceCore**, um es der Rolle hinzuzufügen. + Wählen Sie **Weiter** aus. + Unter **Name überprüfen und erstellen**: + Unter **Rollendetails**: + Geben Sie für **Role name (Rollenname)** den Namen `AWSPCS-getstarted-role` ein. + Wählen Sie **Rolle erstellen** aus. # Startvorlagen für AWS PCS erstellen Wenn Sie eine Compute-Knotengruppe erstellen, stellen Sie eine EC2-Startvorlage bereit, die AWS PCS zur Konfiguration der von PCS gestarteten EC2-Instances verwendet. Dazu gehören Einstellungen wie Sicherheitsgruppen und Skripts, die beim Start der Instance ausgeführt werden. In diesem Schritt wird eine CloudFormation Vorlage verwendet, um zwei EC2-Startvorlagen zu erstellen. Eine Vorlage wird zur Erstellung von Login-Knoten und die andere zur Erstellung von Rechenknoten verwendet. Der Hauptunterschied zwischen ihnen besteht darin, dass die Anmeldeknoten so konfiguriert werden können, dass sie eingehenden SSH-Zugriff ermöglichen. ## Greifen Sie auf die Vorlage zu CloudFormation Verwenden Sie die folgende URL, um die CloudFormation Vorlage herunterzuladen, und laden Sie sie dann in die [CloudFormation Konsole](https://console.aws.amazon.com/cloudformation/home#/stacks/create) hoch, um einen neuen CloudFormation Stack zu erstellen. Weitere Informationen finden Sie im *AWS CloudFormation Benutzerhandbuch* [unter Verwenden der CloudFormation Konsole](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-using-console.html). ``` https://aws-hpc-recipes.s3.amazonaws.com/main/recipes/pcs/getting_started/assets/pcs-lt-efs-fsxl.yaml ``` ## Verwenden Sie die CloudFormation Vorlage, um EC2-Startvorlagen zu erstellen Gehen Sie wie folgt vor, um die CloudFormation Vorlage in der CloudFormation Konsole auszufüllen + Gehen **Sie unter Geben Sie einen Stacknamen** ein: + Geben Sie unter **Stackname** den Wert ein`getstarted-lt`. + Unter **Parameter**: + Unter **Sicherheit** + Wählen Sie für die Sicherheitsgruppe aus **VpcSecurityGroupId**, die `default` in Ihrer Cluster-VPC benannt ist. + Wählen Sie für **ClusterSecurityGroupId**die Gruppe mit dem Namen `cluster-getstarted-sg` + Wählen Sie für **SshSecurityGroupId**die benannte Gruppe aus `inbound-ssh-getstarted-sg` + Wählen Sie für **SshKeyName**Ihr bevorzugtes SSH-Schlüsselpaar aus. + Unter **Dateisysteme** + Geben Sie für **EfsFilesystemId**die Dateisystem-ID aus dem EFS-Dateisystem ein, das Sie zuvor im Tutorial erstellt haben. + Geben Sie für **FSxLustreFilesystemId**die Dateisystem-ID aus dem FSx for Lustre-Dateisystem ein, das Sie zuvor im Tutorial erstellt haben. + Geben Sie für **FSxLustreFilesystemMountName**den Mount-Namen für dasselbe FSx für Lustre-Dateisystem ein. + Wählen Sie **Weiter** und dann erneut **Weiter**. + Wählen Sie **Absenden** aus. Überwachen Sie den Status des CloudFormation Stacks. Wenn `CREATE_COMPLETE` die Startvorlage erreicht ist, kann sie verwendet werden. **Anmerkung** Um alle Ressourcen zu sehen, die die CloudFormation Vorlage erstellt hat, öffnen Sie die [CloudFormation Konsole](https://console.aws.amazon.com/cloudformation). Wählen Sie das `getstarted-lt`-Stack, und wählen Sie dann die Registerkarte **Ressourcen**. # Erstellen Sie eine Rechenknotengruppe für Anmeldeknoten in AWS PCS Eine Rechenknotengruppe ist eine virtuelle Sammlung von Rechenknoten (EC2-Instances), die AWS PCS startet und verwaltet. Wenn Sie eine Compute-Knotengruppe definieren, geben Sie allgemeine Merkmale wie EC2-Instance-Typen, minimale und maximale Instance-Anzahl, Ziel-VPC-Subnetze, bevorzugte Kaufoption und benutzerdefinierte Startkonfiguration an. AWS PCS startet, verwaltet und beendet Rechenknoten in einer Compute-Knotengruppe gemäß diesen Einstellungen auf effiziente Weise. In diesem Schritt starten Sie eine statische Rechenknotengruppe, die interaktiven Zugriff auf den Cluster bietet. Sie können sich mit SSH oder Amazon EC2 Systems Manager (SSM) anmelden, dann Shell-Befehle ausführen und Slurm-Jobs verwalten. **Um die Compute-Knotengruppe zu erstellen** + Öffnen Sie die [AWS PCS-Konsole](https://console.aws.amazon.com/pcs) und navigieren Sie zu **Clusters**. + Wählen Sie den Cluster mit dem Namen `get-started` + Navigieren Sie zu **Compute Node Groups** und wählen Sie **Create** aus. + Geben **Sie im Abschnitt Konfiguration der Compute-Knotengruppe** Folgendes ein: + **Name der Knotengruppe berechnen** — Geben Sie ein`login`. + Geben Sie unter **Computerkonfiguration** die folgenden Werte ein, oder wählen Sie sie aus: + **EC2-Startvorlage** — Wählen Sie die Startvorlage aus, deren Name steht `login-getstarted-lt` + **IAM-Instanzprofil** — Wählen Sie das angegebene Instance-Profil `AWSPCS-getstarted-role` + **Subnetze** — Wählen Sie das Subnetz aus, mit dem der Name beginnt. `hpc-networking:PublicSubnetA` + **Instanzen — Wählen** Sie aus. `c6i.xlarge` + **Skalierungskonfiguration** — Geben Sie `1` für **Mindest. Anzahl der Instanzen** den Wert ein. Geben `1` Sie für **Max. Anzahl der Instanzen** den Wert ein. + Geben Sie unter **Zusätzliche Einstellungen** Folgendes an: + **AMI-ID** — Wählen Sie ein AMI aus, das Sie verwenden möchten und das einen Namen im folgenden Format hat: ``` aws-pcs-sample_ami-amzn2-platform-slurm-version ``` Weitere Informationen zu dem Beispiel AMIs finden Sie unter[Verwenden von Amazon Machine Images (AMIs) -Beispiel mit AWS PCS](working-with_ami_samples.md). + Wählen Sie **Compute-Knotengruppe erstellen** aus. Das Feld **Status** zeigt **Creating** an, während die Compute-Knotengruppe bereitgestellt wird. Sie können mit dem nächsten Schritt des Tutorials fortfahren, während es in Bearbeitung ist. # Erstellen Sie eine Rechenknotengruppe für die Ausführung von Rechenjobs in AWS PCS In diesem Schritt starten Sie eine Compute-Knotengruppe, die sich elastisch skalieren lässt, um an den Cluster übermittelte Jobs auszuführen. **Um die Compute-Knotengruppe zu erstellen** + Öffnen Sie die [AWS PCS-Konsole](https://console.aws.amazon.com/pcs) und navigieren Sie zu **Clusters**. + Wählen Sie den Cluster mit dem Namen `get-started` + Navigieren Sie zu **Compute Node Groups** und wählen Sie **Create** aus. + Geben **Sie im Abschnitt Konfiguration der Compute-Knotengruppe** Folgendes ein: + **Name der Knotengruppe berechnen** — Geben Sie ein`compute-1`. + Geben Sie unter **Computerkonfiguration** die folgenden Werte ein, oder wählen Sie sie aus: + **EC2-Startvorlage** — Wählen Sie die Startvorlage aus, deren Name steht `compute-getstarted-lt` + **IAM-Instanzprofil** — Wählen Sie das angegebene Instance-Profil `AWSPCS-getstarted-role` + **Subnetze** — Wählen Sie das Subnetz aus, mit dem der Name beginnt. `hpc-networking:PrivateSubnetA` + **Instanzen — Wählen** Sie aus. `c6i.xlarge` + **Skalierungskonfiguration** — Geben Sie `0` für **Mindest. Anzahl der Instanzen** den Wert ein. Geben `4` Sie für **Max. Anzahl der Instanzen** den Wert ein. + Geben Sie unter **Zusätzliche Einstellungen** Folgendes an: + **AMI-ID** — Wählen Sie ein AMI aus, das Sie verwenden möchten und das einen Namen im folgenden Format hat: ``` aws-pcs-sample_ami-amzn2-platform-slurm-version ``` Weitere Informationen zu dem Beispiel AMIs finden Sie unter[Verwenden von Amazon Machine Images (AMIs) -Beispiel mit AWS PCS](working-with_ami_samples.md). + Wählen Sie **Compute-Knotengruppe erstellen** aus. Das Feld **Status** zeigt **Creating** an, während die Compute-Knotengruppe bereitgestellt wird. **Wichtig** Warten Sie, bis im **Statusfeld** **Aktiv** angezeigt wird, bevor Sie mit dem nächsten Schritt in diesem Tutorial fortfahren. # Erstellen Sie eine Warteschlange zur Verwaltung von Jobs in AWS PCS Sie reichen einen Job an eine Warteschlange weiter, um ihn auszuführen. Der Job verbleibt in der Warteschlange, bis AWS PCS die Ausführung auf einer Rechenknotengruppe plant. Jede Warteschlange ist einer oder mehreren Rechenknotengruppen zugeordnet, die die für die Verarbeitung erforderlichen EC2 Instanzen bereitstellen. In diesem Schritt erstellen Sie eine Warteschlange, die die Rechenknotengruppe zur Verarbeitung von Jobs verwendet. **So erstellen Sie eine Warteschlange** + Öffnen Sie die [AWS PCS-Konsole](https://console.aws.amazon.com/pcs). + Wählen Sie den genannten Cluster aus`get-started`. + Navigieren Sie zu **Compute Node Groups** und stellen Sie sicher, dass der Status der `compute-1` Gruppe **Aktiv** lautet. **Wichtig** Der Status der `compute-1` Gruppe muss **Aktiv** sein, bevor Sie mit dem nächsten Schritt fortfahren können. + Navigieren Sie zu **Warteschlangen** und wählen Sie **Warteschlange erstellen**. + Geben Sie im Abschnitt **Warteschlangenkonfiguration** die folgenden Werte an: + **Name der Warteschlange** — Geben Sie Folgendes ein: `demo` + **Compute-Knotengruppen** — Wählen Sie die benannte Compute-Knotengruppe aus`compute-1`. + Wählen Sie **Create queue** (Warteschlange erstellen) aus. Während die Warteschlange **erstellt** wird, wird im **Statusfeld** Creating angezeigt. **Wichtig** Warten Sie, bis im **Statusfeld** **Aktiv** angezeigt wird, bevor Sie mit dem nächsten Schritt in diesem Tutorial fortfahren. # Connect zu Ihrem AWS PCS-Cluster her Wenn der Status der `login` Compute-Knotengruppe **Aktiv lautet**, können Sie eine Verbindung zu der von ihr erstellten EC2 Instanz herstellen. **Um eine Verbindung zum Login-Knoten herzustellen** + Öffnen Sie die [AWS PCS-Konsole](https://console.aws.amazon.com/pcs) und navigieren Sie zu **Clusters**. + Wählen Sie den genannten Cluster aus`get-started`. + Wählen Sie **Compute Node Groups** aus. + Navigieren Sie zu der genannten Compute-Knotengruppe`login`. + Suchen Sie die **Compute-Knotengruppen-ID**. + Öffnen Sie in einem anderen Browserfenster oder einer anderen Registerkarte die [ EC2 Amazon-Konsole](https://console.aws.amazon.com/ec2). + Wählen Sie **Instances**. + Suchen Sie nach EC2 Instances mit dem folgenden Tag. *node-group-id*Ersetzen Sie ihn durch den Wert der **Compute-Knotengruppen-ID** aus dem vorherigen Schritt. Es sollte 1 Instanz geben. ``` aws:pcs:compute-node-group-id=node-group-id ``` + Connect zur EC2 Instanz her. Sie können Session Manager oder SSH verwenden. ------ #### [ Session Manager ] + Wählen Sie die Instance aus. + Wählen Sie **Connect** aus. + Wählen **Sie unter Mit Instanz verbinden** die Option **Session Manager** aus. + Wählen Sie **Connect** aus. + Wählen Sie **Connect** aus. In Ihrem Browser wird ein interaktives Terminal gestartet. ------ #### [ SSH ] + Wählen Sie die Instance aus. + Wählen Sie **Connect** aus. + Wählen **Sie unter Mit Instanz verbinden die** Option **SSH-Client** aus. + Folgen Sie den Anweisungen der Konsole. **Anmerkung** Der Benutzername für die Instanz ist **`ec2-user`**nicht`root`. ------ # Erkunden Sie die Cluster-Umgebung in AWS PCS Nachdem Sie sich beim Cluster angemeldet haben, können Sie Shell-Befehle ausführen. Sie können beispielsweise Benutzer wechseln, mit Daten auf gemeinsam genutzten Dateisystemen arbeiten und mit Slurm interagieren. ## Benutzer ändern Wenn Sie sich mit Session Manager beim Cluster angemeldet haben, sind Sie möglicherweise verbunden als`ssm-user`. Dies ist ein spezieller Benutzer, der für Session Manager erstellt wurde. Wechseln Sie mit dem folgenden Befehl zum Standardbenutzer auf Amazon Linux 2. Sie müssen dies nicht tun, wenn Sie eine Verbindung über SSH hergestellt haben. ``` sudo su - ec2-user ``` ## Arbeiten Sie mit gemeinsam genutzten Dateisystemen Mit dem Befehl können Sie überprüfen, ob das EFS-Dateisystem und FSx die Lustre-Dateisysteme verfügbar sind. `df -h` Die Ausgabe auf Ihrem Cluster sollte wie folgt aussehen: ``` [ec2-user@ip-10-3-6-103 ~]$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 3.8G 0 3.8G 0% /dev tmpfs 3.9G 0 3.9G 0% /dev/shm tmpfs 3.9G 556K 3.9G 1% /run tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup /dev/nvme0n1p1 24G 18G 6.6G 73% / 127.0.0.1:/ 8.0E 0 8.0E 0% /home 10.3.132.79@tcp:/zlshxbev 1.2T 7.5M 1.2T 1% /shared tmpfs 780M 0 780M 0% /run/user/0 tmpfs 780M 0 780M 0% /run/user/1000 ``` Das `/home` Dateisystem mountet 127.0.0.1 und hat eine sehr große Kapazität. Dies ist das EFS-Dateisystem, das Sie zu Beginn des Tutorials erstellt haben. Alle hier geschriebenen Dateien sind `/home` auf allen Knoten im Cluster unter verfügbar. Das `/shared` Dateisystem mountet eine private IP und hat eine Kapazität von 1,2 TB. Dies ist das FSx For Lustre-Dateisystem, das Sie zu Beginn des Tutorials erstellt haben. Alle hier geschriebenen Dateien sind `/shared` auf allen Knoten im Cluster unter verfügbar. ## Interagiere mit Slurm **Contents** + [Listet Warteschlangen und Knoten auf](#getting-started_explore_slurm_queues) + [Jobs anzeigen](#getting-started_explore_slurm_jobs) ### Listet Warteschlangen und Knoten auf Sie können die Warteschlangen und die Knoten, mit denen sie verknüpft sind, auflisten. `sinfo` Die Ausgabe Ihres Clusters sollte wie folgt aussehen: ``` [ec2-user@ip-10-3-6-103 ~]$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST demo up infinite 4 idle~ compute-1-[1-4] [ec2-user@ip-10-3-6-103 ~]$ ``` Notieren Sie sich die benannte Partition`demo`. Ihr Status ist `up` und sie hat maximal 4 Knoten. Es ist Knoten in der `compute-1` Knotengruppe zugeordnet. Wenn Sie die Compute-Knotengruppe bearbeiten und die maximale Anzahl von Instanzen auf 8 erhöhen, würde die Anzahl der Knoten lesen `8` und die Knotenliste würde lesen`compute-1-[1-8]`. Wenn Sie eine zweite Rechenknotengruppe `test` mit dem Namen 4 Knoten erstellen und sie der `demo` Warteschlange hinzufügen würden, würden diese Knoten auch in der Knotenliste angezeigt. ### Jobs anzeigen Sie können alle Jobs in jedem Status auf dem System mit auflisten`squeue`. Die Ausgabe Ihres Clusters sollte wie folgt aussehen: ``` [ec2-user@ip-10-3-6-103 ~]$ squeue JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) ``` Versuchen Sie es später `squeue` erneut, wenn ein Slurm-Job aussteht oder läuft. # Führen Sie einen Einzelknotenjob in AWS PCS aus Um einen Job mit Slurm auszuführen, bereiten Sie ein Einreichungsskript vor, in dem die Jobanforderungen angegeben sind, und senden es mit dem `sbatch` Befehl an eine Warteschlange. In der Regel erfolgt dies von einem gemeinsam genutzten Verzeichnis aus, sodass die Anmelde- und Rechenknoten über einen gemeinsamen Bereich für den Zugriff auf Dateien verfügen. Connect zum Login-Knoten Ihres Clusters her und führen Sie die folgenden Befehle an der Shell-Eingabeaufforderung aus. + Werden Sie der Standardbenutzer. Wechseln Sie in das gemeinsam genutzte Verzeichnis. ``` sudo su - ec2-user cd /shared ``` + Verwenden Sie die folgenden Befehle, um ein Beispiel-Jobskript zu erstellen: ``` cat << EOF > job.sh #!/bin/bash #SBATCH -J single #SBATCH -o single.%j.out #SBATCH -e single.%j.err echo "This is job \${SLURM_JOB_NAME} [\${SLURM_JOB_ID}] running on \${SLURMD_NODENAME}, submitted from \${SLURM_SUBMIT_HOST}" && sleep 60 && echo "Job complete" EOF ``` + Senden Sie das Jobskript an den Slurm-Scheduler: ``` sbatch -p demo job.sh ``` + Wenn der Job eingereicht wird, wird eine Job-ID als Zahl zurückgegeben. Verwenden Sie diese ID, um den Jobstatus zu überprüfen. Ersetzen Sie *job-id* den folgenden Befehl durch die Zahl, die von zurückgegeben wurde`sbatch`. ``` squeue --job job-id ``` **Example** ``` squeue --job 1 ``` Der `squeue` Befehl gibt eine Ausgabe zurück, die der folgenden ähnelt: ``` JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 1 demo test ec2-user CF 0:47 1 compute-1 ``` + Überprüfen Sie weiterhin den Status des Jobs, bis er den Status `R` (läuft) erreicht. Der Job ist erledigt, wenn `squeue` nichts zurückgegeben wird. + Untersuchen Sie den Inhalt des `/shared` Verzeichnisses. ``` ls -alth /shared ``` Die Befehlsausgabe ähnelt der folgenden: ``` -rw-rw-r- 1 ec2-user ec2-user 107 Mar 19 18:33 single.1.out -rw-rw-r- 1 ec2-user ec2-user 0 Mar 19 18:32 single.1.err -rw-rw-r- 1 ec2-user ec2-user 381 Mar 19 18:29 job.sh ``` Die Dateien sind benannt `single.1.out` und `single.1.err` wurden von einem der Rechenknoten Ihres Clusters geschrieben. Da der Job in einem gemeinsam genutzten Verzeichnis (`/shared`) ausgeführt wurde, sind sie auch auf Ihrem Anmeldeknoten verfügbar. Aus diesem Grund haben Sie für diesen Cluster ein FSx For Lustre-Dateisystem konfiguriert. + Untersuchen Sie den Inhalt der `single.1.out` Datei. ``` cat /shared/single.1.out ``` Die Ausgabe sieht folgendermaßen oder ähnlich aus: ``` This is job test [1] running on compute-1, submitted from ip-10-3-13-181 Job complete ``` # Führen Sie einen MPI-Job mit mehreren Knoten mit Slurm in PCS aus AWS Diese Anweisungen demonstrieren die Verwendung von Slurm zur Ausführung eines MPI-Jobs (Message Passing Interface) in PCS. AWS Führen Sie die folgenden Befehle an einer Shell-Eingabeaufforderung Ihres Login-Knotens aus. + Werden Sie der Standardbenutzer. Wechseln Sie in sein Home-Verzeichnis. ``` sudo su - ec2-user cd ~/ ``` + Erstellen Sie Quellcode in der Programmiersprache C. ``` cat > hello.c << EOF // * mpi-hello-world - https://www.mpitutorial.com // Released under MIT License // // Copyright (c) 2014 MPI Tutorial. // // Permission is hereby granted, free of charge, to any person obtaining a copy // of this software and associated documentation files (the "Software"), to // deal in the Software without restriction, including without limitation the // rights to use, copy, modify, merge, publish, distribute, sublicense, and/or // sell copies of the Software, and to permit persons to whom the Software is // furnished to do so, subject to the following conditions: // The above copyright notice and this permission notice shall be included in // all copies or substantial portions of the Software. // // THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR // IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, // FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE // AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER // LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING // FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER // DEALINGS IN THE SOFTWARE. #include #include #include int main(int argc, char** argv) { // Initialize the MPI environment. The two arguments to MPI Init are not // currently used by MPI implementations, but are there in case future // implementations might need the arguments. MPI_Init(NULL, NULL); // Get the number of processes int world_size; MPI_Comm_size(MPI_COMM_WORLD, &world_size); // Get the rank of the process int world_rank; MPI_Comm_rank(MPI_COMM_WORLD, &world_rank); // Get the name of the processor char processor_name[MPI_MAX_PROCESSOR_NAME]; int name_len; MPI_Get_processor_name(processor_name, &name_len); // Print off a hello world message printf("Hello world from processor %s, rank %d out of %d processors\n", processor_name, world_rank, world_size); // Finalize the MPI environment. No more MPI calls can be made after this MPI_Finalize(); } EOF ``` + Laden Sie das OpenMPI-Modul. ``` module load openmpi ``` + Kompilieren Sie das C-Programm. ``` mpicc -o hello hello.c ``` + Schreiben Sie ein Slurm-Job-Skript. ``` cat > hello.sh << EOF #!/bin/bash #SBATCH -J multi #SBATCH -o multi.out #SBATCH -e multi.err #SBATCH --exclusive #SBATCH --nodes=4 #SBATCH --ntasks-per-node=1 srun $HOME/hello EOF ``` + Wechseln Sie in das gemeinsam genutzte Verzeichnis. ``` cd /shared ``` + Reichen Sie das Jobskript ein. ``` sbatch -p demo ~/hello.sh ``` + Wird verwendet`squeue`, um den Job zu überwachen, bis er erledigt ist. + Überprüfen Sie den Inhalt von`multi.out`: ``` cat multi.out ``` Die Ausgabe sieht folgendermaßen oder ähnlich aus. Beachten Sie, dass jeder Rang seine eigene IP-Adresse hat, da er auf einem anderen Knoten lief. ``` Hello world from processor ip-10-3-133-204, rank 0 out of 4 processors Hello world from processor ip-10-3-128-219, rank 2 out of 4 processors Hello world from processor ip-10-3-141-26, rank 3 out of 4 processors Hello world from processor ip-10-3-143-52, rank 1 out of 4 processor ``` # Löschen Sie Ihre AWS Ressourcen für AWS PCS Nachdem Sie mit den Cluster- und Knotengruppen fertig sind, die Sie für dieses Tutorial erstellt haben, sollten Sie die von Ihnen erstellten Ressourcen löschen. **Wichtig** Sie erhalten Abrechnungsgebühren für alle Ressourcen, die in Ihrem AWS-Konto **Um AWS PCS-Ressourcen zu löschen, die Sie für dieses Tutorial erstellt haben** + Öffnen Sie die [AWS PCS-Konsole](https://console.aws.amazon.com/pcs/home#/clusters). + Navigieren Sie zu dem Cluster mit dem Namen **get-started**. + Navigieren Sie zum Abschnitt **Warteschlangen.** + Wählen Sie die Warteschlange mit dem Namen **demo aus**. + Wählen Sie **Löschen**. **Wichtig** Warten Sie, bis die Warteschlange gelöscht wurde, bevor Sie fortfahren. + Navigieren Sie zum Abschnitt **Knotengruppen berechnen**. + Wählen Sie die Compute-Knotengruppe mit dem Namen **compute-1** aus. + Wählen Sie **Löschen**. + **Wählen Sie die Compute-Knotengruppe mit dem Namen login aus.** + Wählen Sie **Löschen**. **Wichtig** Warten Sie, bis beide Compute-Knotengruppen gelöscht wurden, bevor Sie fortfahren. + Wählen Sie auf der Cluster-Detailseite für **Erste Schritte** die Option **Löschen** aus. **Wichtig** Warten Sie, bis der Cluster gelöscht wurde, bevor Sie mit den nächsten Schritten fortfahren. **Um andere AWS Ressourcen zu löschen, die Sie für dieses Tutorial erstellt haben** + Öffnen Sie die [IAM-Konsole](https://console.aws.amazon.com/iam). + Wählen Sie **Roles**. + Wählen Sie die Rolle mit dem Namen **AWSPCS-getstarted-role** aus und klicken Sie dann auf **Löschen**. + Nachdem die Rolle gelöscht wurde, wählen Sie **Richtlinien** aus. + Wählen Sie die Richtlinie mit dem Namen **AWSPCS-getstarted-policy** und anschließend **Löschen** aus. + Öffnen Sie die [CloudFormation -Konsole](https://console.aws.amazon.com/cloudformation). + Wählen Sie den Stack mit dem Namen **getstarted-lt** aus. + Wählen Sie **Löschen**. **Wichtig** Warten Sie, bis der Stapel gelöscht ist, bevor Sie fortfahren. + Öffnen Sie die [Amazon-ECS-Konsole](https://console.aws.amazon.com/efs). + Wählen Sie **Dateisysteme** aus. + Wählen Sie das Dateisystem mit dem Namen **getstarted-efs** aus. + Wählen Sie **Löschen**. **Wichtig** Warten Sie, bis das Dateisystem gelöscht ist, bevor Sie fortfahren. + Öffnen Sie die [ FSx Amazon-Konsole](https://console.aws.amazon.com/fsx). + Wählen Sie **Dateisysteme** aus. + Wählen Sie das Dateisystem mit dem Namen **getstarted-fsx** aus. + Wählen Sie **Löschen**. **Wichtig** Warten Sie, bis das Dateisystem gelöscht ist, bevor Sie fortfahren. + Öffnen Sie die [CloudFormation -Konsole](https://console.aws.amazon.com/cloudformation). + Wählen Sie den Stack mit dem Namen **getstarted-sg** aus. + Wählen Sie **Löschen**. + Öffnen Sie die [CloudFormation -Konsole](https://console.aws.amazon.com/cloudformation). + **Wählen Sie den Stack mit dem Namen hpc-networking aus.** + Wählen Sie **Löschen**.