View a markdown version of this page

Konfigurieren Sie die Slurm CLI Filter Plugins auf einem AWS PCS-Cluster - AWS STCK
VoraussetzungenAktivieren Sie die CLI-Filter-Plugins auf einem neuen ClusterStellen Sie CLI-Filter-Plugin-Skripte bereitAktivieren oder deaktivieren Sie die CLI-Filter-Plugins auf vorhandenen ClusternErwartete ErgebnisseFehlerbehebung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie die Slurm CLI Filter Plugins auf einem AWS PCS-Cluster

Konfigurieren Sie die CLI-Filter-Plugins, wenn Sie einen neuen AWS PCS-Cluster erstellen. Sie können die CLI-Filter-Plugins auf vorhandenen Clustern mithilfe der Update API oder der Konsole aktivieren oder deaktivieren, ohne den Cluster neu zu erstellen.

Voraussetzungen

Bevor Sie die CLI-Filter-Plugins konfigurieren, führen Sie die folgenden Aufgaben aus:

  • Stellen Sie sicher, dass Sie Slurm Version 24.11 oder höher verwenden. Für 24.11 und 25.05 siehe. Voraussetzungen

  • Schreiben und testen Sie ein Lua-Skript, das die CLI Filter Plugin API implementiert

  • Wählen Sie eine Methode, um Ihr Skript auf allen Cluster-Instances (AMI, S3 oder Dateisystem) bereitzustellen

Aktivieren Sie die CLI-Filter-Plugins auf einem neuen Cluster

AWS PCS console

  1. Öffnen Sie die AWS PCS-Konsole unter https://console.aws.amazon.com/pcs/.

  2. Klicken Sie im Navigationsbereich auf Cluster.

  3. Wählen Sie Cluster erstellen.

  4. Erweitern Sie unter Scheduler-Einstellungen die Option Zusätzliche Scheduler-Einstellungen.

  5. Fügen Sie eine neue benutzerdefinierte Slurm-Einstellung hinzu, bei der der Parametername auf CliFilterPlugins und der Parameterwert auf gesetzt sind. cli_filter/lua

  6. Vervollständigen Sie die restliche Cluster-Konfiguration und wählen Sie Create cluster.

AWS PCS API

Geben Sie die slurmCustomSettings Konfiguration in Ihrem Aufruf der CreateCluster API-Aktion an. Stellen Sie das parameterName Bis CliFilterPlugins und das parameterValue auf ein eincli_filter/lua. Weitere Informationen finden Sie CreateCluster in der AWS PCS-API-Referenz.

Im folgenden Beispiel wird die verwendet AWS CLI , um die CreateCluster API-Aktion aufzurufen. Die benutzerdefinierte Einstellung CliFilterPlugins=cli_filter/lua aktiviert CLI-Filter-Plugins.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=25.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Stellen Sie CLI-Filter-Plugin-Skripte bereit

So stellen Sie CLI-Filter-Plugin-Skripte in Ihrem Cluster bereit

  1. Stellen Sie sicher, dass auf allen AMIs, die in Compute Node-Gruppen verwendet werden, Slurm über das AWS PCS Slurm-Installationsprogramm installiert ist.

    Anmerkung

    Wenn Sie das AWS PCS-Beispiel-AMI für alle Rechenknotengruppen verwenden, überspringen Sie diesen Schritt. Slurm ist bereits installiert.

  2. Stellen Sie Ihr Lua-Skript /etc/aws/pcs/scheduler/slurm-version/cli_filter.lua auf allen Instanzen im Cluster bereit.

    Zum Beispiel für Slurm-Version 25.11:

    /etc/aws/pcs/scheduler/slurm-25.11/cli_filter.lua
    Anmerkung

    Ab der Slurm-Version 25.11 können Sie den Pfad cli_filter_lua_path in der benutzerdefinierten Slurm-Einstellung anpassen. CliFilterParameters Dieser Parameter lautet standardmäßig /etc/aws/pcs/scheduler/slurm/cli_filter.lua. Der AWS PCS-Agent verknüpft diesen Pfad ab v1.4.1-1 mit dem versionierten Speicherort.

  3. Starten Sie alle Anmelde- und Rechenknoten mit Ihren vorbereiteten AMIs.

  4. Testen Sie die Auftragsübermittlung, um sicherzustellen, dass das CLI-Filter-Plugin korrekt ausgeführt wird.

Aktivieren oder deaktivieren Sie die CLI-Filter-Plugins auf vorhandenen Clustern

Sie können CLI-Filter-Plugins auf vorhandenen Clustern aktivieren oder deaktivieren, ohne Ihre Infrastruktur neu aufzubauen. Weitere Informationen finden Sie unter Aktualisierung eines Clusters in AWS STK..

AWS PCS console

  1. Öffnen Sie die AWS PCS-Konsole unter. https://console.aws.amazon.com/pcs/

  2. Klicken Sie im Navigationsbereich auf Cluster.

  3. Wählen Sie den Cluster aus, der aktualisiert werden soll.

  4. Wählen Sie Aktion bearbeiten.

  5. Gehen Sie auf der Seite „Cluster bearbeiten“ unter Zusätzliche Scheduler-Einstellungen wie folgt vor:

    • Um CLI-Filter-Plugins zu aktivieren: Fügen Sie eine neue benutzerdefinierte Slurm-Einstellung hinzu, bei der der Parametername auf CliFilterPlugins und der Parameterwert auf gesetzt sind. cli_filter/lua

    • Um die CLI-Filter-Plugins zu deaktivieren: Entfernen Sie die bestehende CliFilterPlugins Einstellung.

  6. Wählen Sie Cluster aktualisieren, um die Änderungen zu übertragen.

  7. Überwachen Sie den Cluster-Status, der während des Vorgangs als „Aktualisierung“ und nach Abschluss der Aktualisierung als „Aktiv“ angezeigt wird.

AWS PCS API

Verwenden Sie die UpdateCluster API-Aktion, um CLI-Filter-Plugins zu aktivieren oder zu deaktivieren. Weitere Informationen finden Sie UpdateCluster in der AWS PCS-API-Referenz.

So aktivieren Sie CLI-Filter-Plugins auf einem vorhandenen Cluster:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

So deaktivieren Sie die CLI-Filter-Plugins auf einem vorhandenen Cluster:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Erwartete Ergebnisse

Nachdem Sie die Konfiguration abgeschlossen haben:

  • Ihr Cluster wird mit aktiviertem CLI-Filter-Plugin erstellt

  • Auftragsübermittlungen lösen Ihre benutzerdefinierte Validierungslogik aus, bevor sie den Slurm-Controller erreichen

  • Non-compliant Jobs werden mit Ihren benutzerdefinierten Fehlermeldungen abgelehnt

  • Konforme Jobs werden normal durch den Slurm-Scheduler ausgeführt

Fehlerbehebung

Das CLI-Filter-Plugin-Skript fehlt auf einem Knoten

Symptome: Die Auftragsübermittlung schlägt sofort fehl und es gibt einen Fehler beim Laden des Plugins.

Mögliche Ursache: Das Skript wurde nicht auf allen Instanzen bereitgestellt oder der Dateipfad oder -name ist falsch.

Lösung: Stellen Sie sicher, dass das Skript auf allen Anmelde- und Rechenknoten im richtigen Pfad mit dem exakten Dateinamen vorhanden istcli_filter.lua.

Ungültige Konfiguration des CLI-Filter-Plug-ins

Symptome: Die Clustererstellung schlägt mit einem Überprüfungsfehler fehl.

Wahrscheinliche Ursache: CliFilterPlugins Der Parameter ist nicht auf cli_filter/lua Format gesetzt.

Lösung: Verwenden Sie den exakten Parameterwert cli_filter/lua inslurmCustomSettings.