Bewährte Methoden

Platzierungsgruppe: Wenn Sie diese verwendenSlurm, sollten Sie erwägen, jede Slurm Warteschlange so zu konfigurieren, dass sie eine Cluster-Platzierungsgruppe verwendet. Die Placement-Gruppe eines Clusters ist eine logische Gruppierung von Instances innerhalb einer einzelnen Availability Zone. Weitere Informationen finden Sie unter Platzierungsgruppen im Amazon EC2-Benutzerhandbuch. Sie können PlacementGroup im Networking Abschnitt der Warteschlange angeben, dass jede Rechenressource der Platzierungsgruppe der Warteschlange zugewiesen wird. Wenn Sie PlacementGroup im Networking Abschnitt der Rechenressource a angeben, wird diese bestimmte Rechenressource dieser Platzierungsgruppe zugewiesen. Die Spezifikation für die Platzierungsgruppe für Rechenressourcen überschreibt die Warteschlangenspezifikation für die Rechenressource. Weitere Informationen finden Sie unter SlurmQueues Networking/PlacementGroupund/SlurmQueues/ComputeResourcesNetworking/PlacementGroup.

Networking:
  PlacementGroup:
    Enabled: true
    Id: your-placement-group-name

Sie können auch eine Platzierungsgruppe für Sie AWS ParallelCluster erstellen.

Networking:
  PlacementGroup:
    Enabled: true

Ab AWS ParallelCluster Version 3.3.0 werden die Erstellung und Verwaltung von Platzierungsgruppen geändert. Wenn Sie die zu aktivierende Platzierungsgruppe ohne name oder in der Warteschlange angebenId, wird jeder Rechenressource eine eigene verwaltete Platzierungsgruppe zugewiesen, anstatt einer verwalteten Gruppe für die gesamte Warteschlange. Dies trägt dazu bei, Fehler bei unzureichender Kapazität zu reduzieren. Wenn Sie eine Platzierungsgruppe für die gesamte Warteschlange benötigen, können Sie eine benannte Platzierungsgruppe verwenden.

SlurmQueues/Networking/PlacementGroup/Namewurde als bevorzugte Alternative zu SlurmQueues//NetworkingPlacementGroup/hinzugefügt Id.

Weitere Informationen finden Sie unter Networking.

Verbessertes Netzwerk: Erwägen Sie, einen Instance-Typ zu wählen, der Enhanced Networking unterstützt. Diese Empfehlung gilt für alle Instances der aktuellen Generation. Weitere Informationen finden Sie unter Enhanced Networking on Linux im Amazon EC2-Benutzerhandbuch.

Elastic Fabric Adapter: Um ein hohes Maß an skalierbarer Kommunikation von Instanz zu Instanz zu unterstützen, sollten Sie die Wahl von EFA-Netzwerkschnittstellen für Ihr Netzwerk in Betracht ziehen. Die speziell entwickelte Hardware zur Umgehung des Betriebssystems (OS) der EFA verbessert die Kommunikation von Instanz zu Instanz und bietet dabei die Flexibilität und Flexibilität von, die bei Bedarf von. AWS Cloud Sie können jede Slurm Warteschlange so konfigurieren, ComputeResource dass sie verwendet wird. Efa Weitere Hinweise zur Verwendung von EFA mit finden Sie AWS ParallelCluster unterElastic Fabric Adapter.

ComputeResources:
  - Name: your-compute-resource-name
    Efa:
      Enabled: true

Weitere Informationen zu EFA finden Sie unter Elastic Fabric Adapter im Amazon EC2-Benutzerhandbuch für Linux-Instances.

Instanz-Bandbreite: Die Bandbreite skaliert mit der Instance-Größe. Informationen zu den verschiedenen Instance-Typen finden Sie unter Amazon EBS-optimierte Instances und Amazon EBS-Volume-Typen im Amazon EC2-Benutzerhandbuch.

Speichern Sie persönliche Daten auf externen Volumes, die außerhalb des Clusters erstellt wurden, wie Amazon EFS und FSx for Lustre. Auf diese Weise können Sie die Daten in Zukunft problemlos von einem Cluster in einen anderen verschieben.

Erstellen Sie gemeinsam genutzte Speichersysteme mit den folgenden Typen. Sie können diese Systeme mithilfe von AWS CLI oder erstellen AWS-Managementkonsole.

Definieren Sie ein Dateisystem oder Volume in einer Cluster-Konfiguration als vorhandenes Dateisystem oder Volume. Auf diese Weise bleiben sie erhalten, wenn Sie den Cluster löschen, und können an einen neuen Cluster angehängt werden.

Wir empfehlen, Amazon EFS oder FSx für Lustre-Dateisysteme zu verwenden. Beide Systeme können gleichzeitig an mehrere Cluster angehängt werden. Darüber hinaus können Sie eines dieser Systeme an einen neuen Cluster anhängen, bevor Sie Ihren vorhandenen Cluster löschen.

Verwenden Sie benutzerdefinierte Bootstrap-Aktionen, um Ihre Instances anzupassen, anstatt ein benutzerdefiniertes AMI zu verwenden. Wenn Sie stattdessen ein benutzerdefiniertes AMI verwenden, müssen Sie dieses AMI für jede neue Version löschen und neu erstellen.

Wir empfehlen, dass Sie die obigen Empfehlungen in der folgenden Reihenfolge anwenden:

Überprüfen Sie dies beim Start des Knotens. Verwenden Sie dies, um einen Knoten einmal zu validieren, wenn er dem Cluster beitritt, bevor er die Arbeit annimmt. Da noch kein Job ausgeführt wird, kann er einen Tiefpunkt erreichen. Beachten Siedcgmi diag, dass nur Fehler erfasst werden, die beim Start auftreten, und keine Beeinträchtigungen, die später auftreten. Installieren Sie Ihren Check und rufen Sie ihn mit einer OnNodeConfigured benutzerdefinierten Aktion auf. Siehe Benutzerdefinierte Bootstrap-Aktionen.

Checken Sie den Prolog ein. Verwenden Sie dies, um vor jedem Job schnell einsatzbereit zu sein. Da das Prolog bei jedem Job ausgeführt wird und den Start des Jobs bis zum Abschluss blockiert, sollten Sie die Prüfung auf einige Sekunden beschränken. Zum Beispiel nvidia-smi (optional mit einem Kernel-Log-Scan auf NVIDIA Xid-Fehler) oder Level-1. dcgmi diag Siehe Slurm und prolog epilog.

Schauen Sie im Nachwort nach. Verwenden Sie dies, um einen Knoten nach Abschluss eines Jobs zu validieren. Zum Beispiel, um eine eingehendere Prüfung durchzuführen, wenn ein Job fehlschlägt, oder um eine GPU abzufangen, die während einer Ausführung heruntergefahren ist, bevor der nächste Job geplant wird. Es kann noch tiefer gehendcgmi diag. Um zu vermeiden, dass nach jedem Auftrag eine Überprüfung durchgeführt wird, sollten Sie eine Level-2-Diagnose nur ausführen, wenn der Auftrag fehlschlägt. Siehe Slurm und prolog epilog.