View a markdown version of this page

Slurm protokolliert Rotationen - Amazon SageMaker KI
Wie funktioniert die Log-RotationListe der Logdateien (rotiert)Aktiviere oder deaktiviere die Log-RotationStandardeinstellungen für die Log-Rotation

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Slurm protokolliert Rotationen

SageMaker HyperPod bietet eine automatische Protokollrotation für Slurm-Daemon-Protokolle, um die Speicherplatznutzung zu verwalten und die Systemleistung aufrechtzuerhalten. Die Protokollrotation ist entscheidend, um zu verhindern, dass Protokolle übermäßig viel Speicherplatz beanspruchen, und um einen optimalen Systembetrieb zu gewährleisten, indem alte Protokolldateien automatisch archiviert und entfernt werden, während die aktuellen Protokollinformationen beibehalten werden. Slurm-Log-Rotationen sind standardmäßig aktiviert, wenn Sie einen Cluster erstellen.

Wie funktioniert die Log-Rotation

Wenn diese Option aktiviert ist, erfolgt die Konfiguration der Log-Rotation wie folgt:

  • Überwacht alle Slurm-Logdateien mit der Erweiterung, die .log sich im /var/log/slurm/ Ordner auf den Controller-, Anmelde- und Rechenknoten befinden.

  • Rotiert Protokolle, wenn sie eine Größe von 50 MB erreichen.

  • Verwaltet bis zu zwei rotierte Protokolldateien, bevor sie gelöscht werden.

  • Sendet nach der Rotation das SIGUSR2-Signal an die Slurm-Daemons (slurmctldslurmd, und). slurmdbd

Liste der Logdateien (rotiert)

Die Slurm-Logs befinden sich im /var/log/slurm/ Verzeichnis. Die Log-Rotation ist für alle passenden /var/log/slurm/*.log Dateien aktiviert. Wenn eine Rotation stattfindet, haben gedrehte Dateien numerische Suffixe (wieslurmd.log.1). Die folgende Liste erhebt keinen Anspruch auf Vollständigkeit, enthält jedoch einige wichtige Protokolldateien, die automatisch rotieren:

  • /var/log/slurm/slurmctld.log

  • /var/log/slurm/slurmd.log

  • /var/log/slurm/slurmdb.log

  • /var/log/slurm/slurmrestd.log

Aktiviere oder deaktiviere die Log-Rotation

Sie können die Log-Rotationsfunktion mithilfe des enable_slurm_log_rotation Parameters im config.py Skript der Lifecycle-Skripts Ihres Clusters steuern, wie im folgenden Beispiel gezeigt:

class Config:
    # Set false if you want to disable log rotation of Slurm daemon logs
    enable_slurm_log_rotation = True  # Default value

Um die Log-Rotation zu deaktivieren, setzen Sie den Parameter aufFalse, wie im folgenden Beispiel gezeigt:

enable_slurm_log_rotation = False
Anmerkung

Lifecycle-Skripte werden während der Cluster-Erstellung auf allen Slurm-Knoten (Controller-, Anmelde- und Rechenknoten) ausgeführt. Sie laufen auch auf neuen Knoten, wenn sie dem Cluster hinzugefügt werden. Die Aktualisierung der Log-Rotationskonfigurationen muss nach der Clustererstellung manuell erfolgen. Die Konfiguration der Log-Rotation ist in gespeichert/etc/logrotate.d/sagemaker-hyperpod-slurm. Wir empfehlen, die Protokollrotation aktiviert zu lassen, um zu verhindern, dass Protokolldateien übermäßig viel Speicherplatz beanspruchen. Um die Protokollrotation zu deaktivieren, löschen Sie die sagemaker-hyperpod-slurm Datei oder kommentieren Sie ihren Inhalt, indem Sie # am Anfang jeder Zeile in der sagemaker-hyperpod-slurm Datei etwas hinzufügen.

Standardeinstellungen für die Log-Rotation

Die folgenden Einstellungen werden automatisch für jede rotierte Protokolldatei konfiguriert:

Einstellung Wert Description
rotate 2 Anzahl der rotierten Protokolldateien, die beibehalten werden sollen
size 50 MB Maximale Größe vor der Rotation
copytruncate aktiviert Kopiert und kürzt die ursprüngliche Protokolldatei
compress disabled Rotierte Protokolle werden nicht komprimiert
missingok aktiviert Kein Fehler, wenn die Protokolldatei fehlt
notifempty aktiviert Rotiert keine leeren Dateien
noolddir aktiviert Rotierte Dateien bleiben im selben Verzeichnis