Bewährte Methoden - AWS ParallelCluster
Bewährte Methoden: Auswahl des Master-InstanztypsBewährte Methoden: NetzwerkleistungBewährte Methoden: BudgetwarnungenBewährte Methoden: Verschieben eines Clusters auf einen neuen AWS ParallelCluster Neben- oder Patch-Version

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bewährte Methoden

Bewährte Methoden: Auswahl des Master-Instanztyps

Obwohl der Master-Knoten keinen Job ausführt, sind seine Funktionen und seine Größe entscheidend für die Gesamtleistung des Clusters.

Bei der Auswahl des Instanztyps, den Sie für Ihren Master-Knoten verwenden möchten, sollten Sie die folgenden Punkte berücksichtigen:

  • Clustergröße: Der Master-Knoten orchestriert die Skalierungslogik des Clusters und ist dafür verantwortlich, dem Scheduler neue Knoten zuzuordnen. Wenn Sie den Cluster mit einer beträchtlichen Anzahl von Knoten nach oben oder unten skalieren müssen, sollten Sie dem Master-Knoten zusätzliche Rechenkapazität zur Verfügung stellen.

  • Gemeinsam genutzte Dateisysteme: Wenn Sie gemeinsam genutzte Dateisysteme verwenden, um Artefakte zwischen Rechenknoten und dem Master-Knoten gemeinsam zu nutzen, sollten Sie berücksichtigen, dass der Master der Knoten ist, der den NFS Server freigibt. Aus diesem Grund sollten Sie einen Instance-Typ mit ausreichender Netzwerkbandbreite und ausreichend dedizierter EBS Amazon-Bandbreite für Ihre Workflows wählen.

Bewährte Methoden: Netzwerkleistung

Es gibt drei Hinweise, die das gesamte Spektrum der Möglichkeiten zur Verbesserung der Netzwerkkommunikation abdecken.

  • Platzierungsgruppe: Eine Cluster-Platzierungsgruppe ist eine logische Gruppierung von Instances innerhalb einer einzigen Availability Zone. Weitere Informationen zu Platzierungsgruppen finden Sie unter Platzierungsgruppen im EC2Amazon-Benutzerhandbuch. Sie können den Cluster so konfigurieren, dass er Ihre eigene Platzierungsgruppe mit placement_group = your-placement-group-name oder ohne AWS ParallelCluster erstellen Sie eine Platzierungsgruppe mit der "compute" Strategie mitplacement_group = DYNAMIC. Weitere Informationen finden Sie unter placement_group Für den Modus mit mehreren Warteschlangen und placement_group für den Modus mit einer einzelnen Warteschlange.

  • Enhanced Networking: Erwägen Sie, einen Instance-Typ zu wählen, der Enhanced Networking unterstützt. Weitere Informationen finden Sie unter Enhanced Networking on Linux im EC2Amazon-Benutzerhandbuch.

  • Elastic Fabric Adapter: Um ein hohes Maß an skalierbarer Kommunikation zwischen Instanzen zu unterstützen, sollten Sie die Wahl von EFA Netzwerkschnittstellen für Ihr Netzwerk in Betracht ziehen. Die maßgeschneiderte Hardware zur Umgehung EFA des Betriebssystems (OS) verbessert die Kommunikation zwischen den Instanzen durch die On-Demand-Elastizität und Flexibilität von AWS Cloud. Um eine einzelne zu konfigurieren Slurm Zu verwendende Cluster-WarteschlangeEFA, festgelegtenable_efa = true. Weitere Informationen zur Verwendung von EFA AWS ParallelCluster, siehe Elastic Fabric Adapter und enable_efa. Weitere Informationen zu EFA finden Sie unter Elastic Fabric Adapter im EC2Amazon-Benutzerhandbuch für Linux-Instances.

  • Instance-Bandbreite: Die Bandbreite skaliert mit der Instance-Größe. Bitte wählen Sie den Instance-Typ, der Ihren Anforderungen besser entspricht. Weitere Informationen finden Sie unter EBSAmazon-optimierte Instances und EBSAmazon-Volume-Typen im EC2Amazon-Benutzerhandbuch.

Bewährte Methoden: Budgetwarnungen

Zu verwalten AWS ParallelCluster Wir empfehlen Ihnen, die Ressourcenkosten zu verwenden AWS Budgets Aktionen zur Erstellung eines Budgets und definierter Budgetschwellenwerte für ausgewählte AWS Ressourcen schätzen. Weitere Informationen finden Sie unter Konfiguration einer Budgetaktion im AWS Budgets Benutzerleitfaden. Sie können Amazon auch verwenden CloudWatch , um einen Abrechnungsalarm zu erstellen. Weitere Informationen finden Sie unter Einen Fakturierungsalarm erstellen, um Ihren geschätzten Betrag zu überwachen AWS Gebühren.

Bewährte Methoden: Verschieben eines Clusters auf einen neuen AWS ParallelCluster Neben- oder Patch-Version

Derzeit jeder AWS ParallelCluster Die Nebenversion ist zusammen mit ihrer pcluster CLI eigenständigen Version in sich abgeschlossen. Um einen Cluster auf eine neue Minor- oder Patch-Version zu verschieben, müssen Sie den Cluster mit den neuen Versionen neu erstellen. CLI

Um den Prozess der Migration eines Clusters auf eine neue Nebenversion zu optimieren oder Ihre gemeinsam genutzten Speicherdaten aus anderen Gründen zu speichern, empfehlen wir Ihnen, die folgenden bewährten Methoden zu verwenden.

  • Speichern Sie persönliche Daten in externen Volumes wie Amazon EFS und FSx für Lustre. Auf diese Weise können Sie die Daten problemlos von einem Cluster in einen anderen verschieben.

  • Erstellen Sie gemeinsam genutzte Speichersysteme der unten aufgeführten Typen mithilfe der AWS CLI or AWS Management Console:

    Fügen Sie sie der neuen Cluster-Konfiguration als bestehende Dateisysteme hinzu. Auf diese Weise bleiben sie erhalten, wenn Sie den Cluster löschen, und können an einen neuen Cluster angehängt werden. Für gemeinsam genutzte Speichersysteme fallen im Allgemeinen Gebühren an, unabhängig davon, ob sie an einen Cluster angeschlossen oder von diesem getrennt sind.

    Wir empfehlen IhnenEFS, Amazon- oder Amazon FSx for Lustre-Dateisysteme zu verwenden, da sie an mehrere Cluster gleichzeitig angehängt werden können und Sie sie an den neuen Cluster anhängen können, bevor Sie den alten Cluster löschen. Weitere Informationen finden Sie unter Mounten von EFS Amazon-Dateisystemen im EFSAmazon-Benutzerhandbuch und Zugreifen auf FSx Lustre-Dateisysteme im Amazon FSx for Lustre-Benutzerhandbuch.

  • Verwenden Sie anstelle von benutzerdefinierten Bootstrap-Aktionen benutzerdefinierte Bootstrap-Aktionen, um Ihre Instances anzupassen. AMI Dadurch wird der Erstellungsprozess optimiert, da AMI nicht für jede neue Version eine neue benutzerdefinierte Version erstellt werden muss.

  • Empfohlene Reihenfolge.

    1. Aktualisieren Sie die Clusterkonfiguration, um vorhandene Dateisystemdefinitionen zu verwenden.

    2. Überprüfen Sie die pcluster Version und aktualisieren Sie sie bei Bedarf.

    3. Erstellen und testen Sie den neuen Cluster.

      • Stellen Sie sicher, dass Ihre Daten im neuen Cluster verfügbar sind.

      • Stellen Sie sicher, dass Ihre Anwendung im neuen Cluster funktioniert.

    4. Wenn Ihr neuer Cluster vollständig getestet und betriebsbereit ist und Sie sicher sind, dass Sie den alten Cluster nicht verwenden werden, löschen Sie ihn.