Orchestrierung von SageMaker HyperPod Clustern mit Slurm

Die Unterstützung von Slurm in SageMaker HyperPod hilft Ihnen dabei, belastbare Cluster für die Ausführung von Workloads für maschinelles Lernen (ML) und die Entwicklung hochmoderner Modelle wie Large Language Models (LLMs), Diffusionsmodelle und Foundation Models (FMs) bereitzustellen. Es beschleunigt die Entwicklung von FMs, indem undifferenzierte Schwerstarbeit beim Aufbau und der Wartung großer Rechencluster entfällt, die von Tausenden von Beschleunigern wie AWS Trainium und NVIDIA A100 und H100 Graphical Processing Units (GPUs) angetrieben werden. Wenn Beschleuniger ausfallen, erkennen die Cluster-Instances dank der Resilienzfunktionen der SageMaker HyperPod Monitore die fehlerhafte Hardware automatisch und ersetzen sie im Handumdrehen, sodass Sie sich auf die Ausführung von ML-Workloads konzentrieren können. Darüber hinaus können Sie mit der Unterstützung der Lifecycle-Konfiguration Ihre Computerumgebung an Ihre Bedürfnisse anpassen und sie mit den verteilten Amazon SageMaker AI-Trainingsbibliotheken konfigurieren, um eine optimale Leistung zu erzielen. SageMaker HyperPod AWS

Betrieb von Clustern

Sie können SageMaker HyperPod Cluster grafisch über die Konsolen-Benutzeroberfläche (UI) und programmgesteuert über die AWS Befehlszeilenschnittstelle (CLI) oder erstellen, konfigurieren und verwalten. AWS SDK for Python (Boto3) Mit Amazon VPC können Sie das Cluster-Netzwerk sichern und auch die Vorteile der Konfiguration Ihres Clusters mit Ressourcen in Ihrer VPC nutzen, z. B. Amazon FSx für Lustre, das den schnellsten Durchsatz bietet. Sie können Cluster-Instance-Gruppen auch unterschiedliche IAM-Rollen zuweisen und die Aktionen einschränken, die Ihre Cluster-Ressourcen und Benutzer ausführen können. Weitere Informationen hierzu finden Sie unter SageMaker HyperPod Betrieb des Slurm-Clusters.

Konfigurieren der ML-Umgebung

SageMaker HyperPod läuftSageMaker HyperPod DLAMI, wodurch eine ML-Umgebung auf den Clustern eingerichtet wird. HyperPod Sie können zusätzliche Anpassungen für das DLAMI konfigurieren, indem Sie Lebenszyklusskripte zur Unterstützung Ihres Anwendungsfalls bereitstellen. Weitere Informationen zum Einrichten von Lebenszyklusskripten finden Sie unter Erste Schritte mit SageMaker HyperPod und Anpassen von SageMaker HyperPod Clustern mithilfe von Lebenszyklusskripten.

Planen von Aufträgen

Nachdem Sie erfolgreich einen HyperPod Cluster erstellt haben, können sich Cluster-Benutzer bei den Cluster-Knoten (z. B. Head- oder Controller-Knoten, Login-Knoten und Worker-Knoten) anmelden und Jobs für die Ausführung von Machine-Learning-Workloads planen. Weitere Informationen hierzu finden Sie unter Jobs auf SageMaker HyperPod Clustern.

Widerstandskraft gegen Hardwareausfälle

SageMaker HyperPod führt Integritätsprüfungen auf Clusterknoten durch und bietet eine Funktion zur automatischen Wiederaufnahme der Arbeitslast. Mit den Cluster-Resilienzfunktionen von können Sie Ihre Arbeitslast ab dem letzten Checkpoint HyperPod, den Sie gespeichert haben, fortsetzen, nachdem fehlerhafte Knoten in Clustern mit mehr als 16 Knoten durch fehlerfreie ersetzt wurden. Weitere Informationen hierzu finden Sie unter SageMaker HyperPod Cluster-Resilienz.

Protokollieren und Verwalten von Clustern

Sie können Kennzahlen zur SageMaker HyperPod Ressourcenauslastung und Lebenszyklusprotokolle in Amazon finden und SageMaker HyperPod Ressourcen verwalten CloudWatch, indem Sie sie taggen. Jede CreateCluster API-Ausführung erstellt einen eigenen Protokollstream, der im Format <cluster-name>-<timestamp> benannt ist. Im Protokollstream können Sie die Hostnamen, die Namen fehlgeschlagener Lebenszyklusskripte und die Ausgaben der fehlgeschlagenen Skripte wie stdout und stderr überprüfen. Weitere Informationen finden Sie unter SageMaker HyperPod Clusterverwaltung.

Kompatibel mit SageMaker KI-Tools

Mithilfe von SageMaker HyperPod SageMaker KI können Sie Cluster mit AWS optimierten kollektiven Kommunikationsbibliotheken konfigurieren, wie z. B. der SMDDP-Bibliothek (SageMaker AI Distributed Data Parallelism). Die SMDDP-Bibliothek implementiert den für die AWS Rechen- und Netzwerkinfrastruktur optimierten AllGather Betrieb für die leistungsstärksten SageMaker KI-Instanzen für maschinelles Lernen, die auf NVIDIA A100-GPUs basieren. Weitere Informationen hierzu finden Sie unter Ausführung verteilter Trainingsworkloads mit eingeschaltetem Slurm HyperPod.

Platzierung der Instanz mit UltraServers

SageMaker Die KI weist den Instanzen in Ihrem Unternehmen automatisch Jobs zu, UltraServer basierend auf einer Best-Effort-Strategie, bei der alle Instanzen in einer Instanz verwendet werden, UltraServer bevor eine andere verwendet wird. Wenn du beispielsweise 14 Instanzen anforderst und 2 UltraServers in deinem Trainingsplan hast, verwendet SageMaker KI alle Instanzen der ersten Instanz. UltraServer Wenn Sie 20 Instanzen angefordert haben und 2 UltraServers in Ihrem Trainingsplan haben, verwendet SageMaker KI in der ersten Instanz alle 17 Instanzen UltraServer und dann 3 in der zweiten UltraServer.