Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Slurm Workload Manager (slurm)

Größe und Aktualisierung der Clusterkapazität

Die Kapazität des Clusters wird durch die Anzahl der Rechenknoten definiert, die der Cluster skalieren kann. Rechenknoten werden von EC2 Amazon-Instances unterstützt, die in der AWS ParallelCluster Konfiguration innerhalb von Rechenressourcen definiert sind(Scheduling/SlurmQueues/ComputeResources), und sind in Warteschlangen organisiert(Scheduling/SlurmQueues), die 1:1 zugeordnet sind Slurm Partitionen.

Innerhalb einer Rechenressource ist es möglich, die Mindestanzahl von Rechenknoten (Instanzen) zu konfigurieren, die immer im Cluster laufen müssen (MinCount), und die maximale Anzahl von Instanzen, auf die die Rechenressource skaliert werden kann (MaxCount3).

AWS ParallelCluster Startet bei der Clustererstellung oder bei einem Cluster-Update so viele EC2 Amazon-Instances, wie MinCount für jede im Cluster definierte Rechenressource (Scheduling/SlurmQueues/ ComputeResources ) konfiguriert sind. Die Instances, die gestartet werden, um die minimale Anzahl von Knoten für Rechenressourcen im Cluster abzudecken, werden als statische Knoten bezeichnet. Einmal gestartet, sollen statische Knoten im Cluster persistent sein und werden nicht vom System beendet, es sei denn, ein bestimmtes Ereignis oder eine bestimmte Bedingung tritt ein. Zu diesen Ereignissen gehört beispielsweise der Ausfall von Slurm oder Amazon EC2 Health Checks und die Änderung der Slurm Knotenstatus auf DRAIN oderDOWN.

Die EC2 Amazon-Instances im Bereich von 1 bis ‘MaxCount - MinCount’ (MaxCount minus) MinCount), die bei Bedarf gestartet wurden, um die erhöhte Belastung des Clusters zu bewältigen, werden als dynamische Knoten bezeichnet. Sie sind kurzlebig. Sie werden gestartet, um ausstehende Aufträge zu bearbeiten, und werden beendet, sobald sie für einen Scheduling/SlurmSettings/ScaledownIdletime in der Cluster-Konfiguration festgelegten Zeitraum inaktiv bleiben (Standard: 10 Minuten).

Statische Knoten und dynamische Knoten entsprechen dem folgenden Benennungsschema:

Zum Beispiel bei der folgenden AWS ParallelCluster Konfiguration:

Scheduling:  
    Scheduler: Slurm  
    SlurmQueues:    
        - Name: queue1      
            ComputeResources:        
                - Name: c5xlarge          
                    Instances:            
                        - InstanceType: c5.xlarge          
                        MinCount: 100          
                        MaxCount: 150        

Die folgenden Knoten werden definiert in Slurm

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
queue1*      up   infinite     50  idle~ queue1-dy-c5xlarge-[1-50]
queue1*      up   infinite    100   idle queue1-st-c5xlarge-[1-100]                
            

Wenn es sich bei einer Rechenressource um statische Rechenknoten handeltMinCount == MaxCount, sind alle zugehörigen Rechenknoten statisch und alle Instanzen werden zum Zeitpunkt der Clustererstellung/-aktualisierung gestartet und laufen weiter. Beispielsweise:

Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: queue1
      ComputeResources:
        - Name: c5xlarge
          Instances:
            - InstanceType: c5.xlarge
          MinCount: 100
          MaxCount: 100
            

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
queue1*      up   infinite    100   idle queue1-st-c5xlarge-[1-100]               
            

Aktualisierung der Cluster-Kapazität

Die Aktualisierung der Clusterkapazität umfasst das Hinzufügen oder Entfernen von Warteschlangen, Rechenressourcen oder das Ändern MinCount/MaxCount einer Rechenressource. Ab AWS ParallelCluster Version 3.9.0 muss zur Reduzierung der Größe einer Warteschlange die Rechenflotte gestoppt oder auf „TERMINATEAus“ QueueUpdateStrategygesetzt werden, bevor ein Cluster-Update durchgeführt werden kann. Es ist nicht erforderlich, die Rechenflotte zu beenden oder festzulegen QueueUpdateStrategy, TERMINATE wann:

Überlegungen und Einschränkungen

In diesem Abschnitt sollen alle wichtigen Faktoren, Einschränkungen oder Einschränkungen beschrieben werden, die bei der Größenänderung der Clusterkapazität berücksichtigt werden sollten.

Wenn wir den MinCount Parameter einer Rechenressource ändern, können wir zwei verschiedene Szenarien unterscheiden: ob gleich gehalten MaxCount wird MinCount (nur statische Kapazität) und ob sie größer MaxCount ist als MinCount (gemischte statische und dynamische Kapazität).

Die Kapazität ändert sich nur bei statischen Knoten

Kapazitätsänderungen bei gemischten Knoten

Wenn der Cluster um einen Betrag N erhöht MinCount MaxCount wird (vorausgesetztMinCount < MaxCount, dass er unverändert bleibt), wird der Cluster konfiguriert, indem die Anzahl der statischen Knoten auf den neuen Wert von MinCount (old_MinCount + N): erweitert wird, <Queue/Name>-st-<ComputeResource/Name>-<old_MinCount + N> und das System versucht weiterhin, EC2 Amazon-Instances zu starten, um die neue erforderliche statische Kapazität zu erfüllen. Um der MaxCount Kapazität der Rechenressource Rechnung zu tragen, wird die Cluster-Konfiguration außerdem aktualisiert, indem die letzten N dynamischen Knoten entfernt werden. <Queue/Name>-dy-<ComputeResource/Name>-[<MaxCount - old_MinCount - N>...<MaxCount - old_MinCount>] Das System beendet dann die entsprechenden EC2 Amazon-Instances.

Wenn MinCount < MaxCount bei Erhöhung MinCount und gleichem Wert N MaxCount der Cluster konfiguriert wird, indem die Anzahl der statischen Knoten auf den neuen Wert von MinCount (old_MinCount + N): erweitert wird, <Queue/Name>-st-<ComputeResource/Name>-<old_MinCount + N> und das System versucht weiterhin, EC2 Amazon-Instances zu starten, um die neue erforderliche statische Kapazität zu erfüllen. Außerdem werden keine Änderungen an der Anzahl der dynamischen Knoten vorgenommen, um den neuen Anforderungen gerecht zu werden

MaxCount Wert.

Wenn die MinCount Anzahl N verringert MaxCount wird (vorausgesetztMinCount < MaxCount, dass sie unverändert bleibt), wird der Cluster konfiguriert, indem die letzten N statischen Knoten entfernt werden, <Queue/Name>-st-<ComputeResource/Name>-[<old_MinCount - N>...<old_MinCount> und das System beendet die entsprechenden EC2 Amazon-Instances. Um der MaxCount Kapazität der Rechenressource Rechnung zu tragen, wird außerdem die Cluster-Konfiguration aktualisiert, indem die Anzahl der dynamischen Knoten erhöht wird, um die Lücke zu schließen. MaxCount - new_MinCount: <Queue/Name>-dy-<ComputeResource/Name>-[1..<MazCount - new_MinCount>] In diesem Fall, da es sich um dynamische Knoten handelt, werden keine neuen EC2 Amazon-Instances gestartet, es sei denn, der Scheduler hat Jobs auf den neuen Knoten ausstehend.

Wenn MinCount < MaxCount MaxCount der Wert abnimmt MinCount und die gleiche Menge N beträgt, wird der Cluster konfiguriert, indem die letzten N statischen Knoten entfernt werden, <Queue/Name>-st-<ComputeResource/Name>-<old_MinCount - N>...<oldMinCount>] und das System beendet die entsprechenden EC2 Amazon-Instances.

Außerdem werden keine Änderungen an der Anzahl der dynamischen Knoten vorgenommen, um dem neuen MaxCount Wert Rechnung zu tragen.

Wenn die MaxCount Anzahl N verringert wird (vorausgesetztMinCount < MaxCount, dass sie unverändert bleibt), MinCount wird der Cluster konfiguriert, indem die letzten N dynamischen Knoten entfernt werden, <Queue/Name>-dy-<ComputeResource/Name>-<old_MaxCount - N...<oldMaxCount>] und das System beendet die entsprechenden EC2 Amazon-Instances, falls sie ausgeführt wurden. Es sind keine Auswirkungen auf die statischen Knoten zu erwarten.

Auswirkungen auf die Arbeitsplätze

In allen Fällen, in denen Knoten entfernt und EC2 Amazon-Instances beendet werden, wird ein Sbatch-Job, der auf den entfernten Knoten ausgeführt wird, erneut in die Warteschlange gestellt, es sei denn, es gibt keine anderen Knoten, die die Job-Anforderungen erfüllen. In letzterem Fall schlägt der Job mit dem Status NODE _ fehl FAIL und verschwindet aus der Warteschlange. In diesem Fall muss er erneut manuell eingereicht werden.

Wenn Sie planen, ein Update zur Änderung der Clustergröße durchzuführen, können Sie verhindern, dass Jobs in den Knoten ausgeführt werden, die während des geplanten Updates entfernt werden. Dies ist möglich, indem Sie festlegen, dass die Knoten im Rahmen der Wartung entfernt werden. Bitte beachten Sie, dass die Einstellung eines Knotens zur Wartung keine Auswirkungen auf Jobs hat, die eventuell bereits auf dem Knoten ausgeführt werden.

Nehmen wir an, dass Sie mit dem geplanten Update zur Änderung der Clustergröße den Knoten entfernen werdenqeueu-st-computeresource-[9-10]. Sie können eine erstellen Slurm Reservierung mit dem folgenden Befehl

sudo -i scontrol create reservation ReservationName=maint_for_update user=root starttime=now duration=infinite flags=maint,ignore_jobs nodes=qeueu-st-computeresource-[9-10]

Dadurch wird ein erstellt Slurm Reservierung, die maint_for_update auf den Knoten benannt istqeueu-st-computeresource-[9-10]. Ab dem Zeitpunkt, an dem die Reservierung erstellt wurde, können keine Jobs mehr auf den Knoten ausgeführt werdenqeueu-st-computeresource-[9-10]. Bitte beachten Sie, dass die Reservierung nicht verhindert, dass Jobs irgendwann auf den Knoten zugewiesen werdenqeueu-st-computeresource-[9-10].

Nach dem Update zur Änderung der Clustergröße, wenn Slurm Die Reservierung wurde nur für Knoten eingerichtet, die während der Aktualisierung der Größenänderung entfernt wurden. Die Wartungsreservierung wird automatisch gelöscht. Wenn Sie stattdessen eine erstellt hätten Slurm Reservierung auf Knoten, die nach dem Update zur Cluster-Größenänderung noch vorhanden sind, möchten wir möglicherweise die Wartungsreservierung auf den Knoten nach der Aktualisierung der Größenänderung entfernen, indem wir den folgenden Befehl verwenden

sudo -i scontrol delete ReservationName=maint_for_update

Weitere Informationen finden Sie unter Slurm Reservierung, das offizielle SchedMD-Dokument finden Sie hier.

Cluster-Aktualisierungsprozess bei Kapazitätsänderungen

Bei einer Änderung der Scheduler-Konfiguration werden während des Cluster-Aktualisierungsvorgangs die folgenden Schritte ausgeführt:

Für Informationen über Slurm, siehe https://slurm.schedmd.com. Downloads finden Sie unter https://github.com/SchedMD/slurm/tags. Den Quellcode finden Sie unter slurm. https://github.com/SchedMD/