View a markdown version of this page

Configura i plugin di filtro CLI di Slurm su un AWS Cluster PCS - AWS PEZZI
PrerequisitiAbilita i plugin di filtro CLI su un nuovo clusterDistribuisci gli script del plugin CLI FilterAbilita o disabilita i plugin di filtro CLI sui cluster esistentiRisultato previstoRisoluzione dei problemi

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configura i plugin di filtro CLI di Slurm su un AWS Cluster PCS

Configura i plugin di filtro CLI quando crei un nuovo AWS cluster PCS. È possibile abilitare o disabilitare i plug-in di filtro CLI sui cluster esistenti utilizzando l'API o la console di aggiornamento senza ricreare il cluster.

Prerequisiti

Prima di configurare i plugin di filtro CLI, completa queste attività:

  • Verifica di utilizzare Slurm versione 24.11 o successiva. Per 24.11 e 25.05, vedi. Requisiti

  • Scrivi e prova uno script Lua che implementa l'API CLI Filter Plugin

  • Scegli un metodo per distribuire lo script su tutte le istanze del cluster (AMI, S3 o file system)

Abilita i plugin di filtro CLI su un nuovo cluster

AWS PCS console

  1. Aprire la console AWS PCS all'indirizzo. https://console.aws.amazon.com/pcs/

  2. Nel pannello di navigazione scegliere Cluster.

  3. Scegli Crea cluster.

  4. In Impostazioni Scheduler, espandi Impostazioni aggiuntive dello scheduler.

  5. Aggiungi una nuova impostazione personalizzata di Slurm con il nome del parametro impostato su CliFilterPlugins e il valore del parametro impostato su. cli_filter/lua

  6. Completa la configurazione del cluster rimanente e scegli Crea cluster.

AWS PCS API

Fornisci la slurmCustomSettings configurazione nella tua chiamata all'azione CreateCluster API. Imposta il parameterName to CliFilterPlugins e parameterValue ilcli_filter/lua. Per ulteriori informazioni, vedere CreateCluster nel AWS PCS API Reference.

L'esempio seguente utilizza l'azione AWS CLI per chiamare l'CreateClusterAPI. L'impostazione personalizzata CliFilterPlugins=cli_filter/lua abilita i plugin di filtro CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=25.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Distribuisci gli script del plugin CLI Filter

Per distribuire gli script CLI Filter Plugin nel tuo cluster

  1. Assicurati che tutte le AMI utilizzate nei gruppi di nodi di calcolo abbiano Slurm installato tramite il programma di installazione PCS Slurm. AWS

    Nota

    Se si utilizza l'AMI AWS PCS Sample per tutti i gruppi di nodi di calcolo, saltate questo passaggio. Slurm è già installato.

  2. Distribuisci il tuo script Lua /etc/aws/pcs/scheduler/slurm-version/cli_filter.lua su tutte le istanze del cluster.

    Ad esempio, per la versione 25.11 di Slurm:

    /etc/aws/pcs/scheduler/slurm-25.11/cli_filter.lua
    Nota

    A partire dalla versione 25.11 di Slurm, puoi personalizzare il percorso nell'impostazione personalizzata di Slurm. cli_filter_lua_path CliFilterParameters Questo parametro per impostazione predefinita è /etc/aws/pcs/scheduler/slurm/cli_filter.lua. L'agente AWS PCS collega questo percorso alla posizione con versione a partire dalla v1.4.1-1.

  3. Avvia tutti i nodi di accesso e di calcolo utilizzando le AMI preparate.

  4. Prova l'invio del lavoro per verificare che il plugin CLI Filter venga eseguito correttamente.

Abilita o disabilita i plugin di filtro CLI sui cluster esistenti

Puoi abilitare o disabilitare i plugin di filtro CLI sui cluster esistenti senza ricostruire la tua infrastruttura. Per ulteriori informazioni, consulta Aggiornamento di un cluster in AWS PZ.

AWS PCS console

  1. Aprire la console PCS all'indirizzo. AWS https://console.aws.amazon.com/pcs/

  2. Nel pannello di navigazione scegliere Cluster.

  3. Selezionare il cluster da aggiornare.

  4. Scegli l'azione Modifica.

  5. Nella pagina Modifica cluster, in Impostazioni aggiuntive dello scheduler:

    • Per abilitare i plugin di filtro CLI: aggiungi una nuova impostazione personalizzata di Slurm con il nome del parametro impostato su CliFilterPlugins e il valore del parametro impostato su. cli_filter/lua

    • Per disabilitare i plugin di filtro CLI: rimuovi l'impostazione esistente. CliFilterPlugins

  6. Scegli Update cluster per inviare le modifiche.

  7. Monitora lo stato del cluster, che viene visualizzato come «Aggiornamento» durante il processo e «Attivo» quando l'aggiornamento è completo.

AWS PCS API

Usa l'azione UpdateCluster API per abilitare o disabilitare i plugin di filtro CLI. Per ulteriori informazioni, vedere UpdateCluster nel AWS PCS API Reference.

Per abilitare i plugin di filtro CLI su un cluster esistente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Per disabilitare i plugin di filtro CLI su un cluster esistente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Risultato previsto

Dopo aver completato la configurazione:

  • Il cluster viene creato con il plugin CLI Filter attivato

  • Gli invii di lavoro attivano la logica di convalida personalizzata prima di raggiungere il controller Slurm

  • Non-compliant i lavori vengono rifiutati con i tuoi messaggi di errore personalizzati

  • I lavori conformi procedono normalmente tramite lo scheduler Slurm

Risoluzione dei problemi

Script CLI Filter Plugin mancante su qualsiasi nodo

Sintomi: l'invio del lavoro fallisce immediatamente con un errore di caricamento del plug-in.

Causa probabile: script non distribuito in tutte le istanze o percorso o nome del file errati.

Risoluzione: verifica che lo script esista nel percorso corretto su tutti i nodi di accesso e di calcolo con il nome file esatto. cli_filter.lua

Configurazione del plugin CLI Filter non valida

Sintomi: la creazione del cluster non riesce con un errore di convalida.

Causa probabile: CliFilterPlugins parametro non impostato sul cli_filter/lua formato.

Risoluzione: utilizza il valore esatto del parametro cli_filter/lua inslurmCustomSettings.