Risolvi i problemi relativi alle registrazioni di nodi non valide (INVALID_REG) in AWS 2 PEZZI

Quando un nodo si registra su un hardware in conflitto con la sua configurazione, Slurm imposta lo stato del nodo e lo scarica. INVALID_REG Il Reason campo del nodo nell'scontrol show nodeoutput riporta la causa. Le cause più comuni sono una topologia della CPU configurata che non corrisponde all'hardware e, con il rilevamento automatico della GPU attivo, un layout dei socket che non corrisponde all'affinità GPU rilevata. Per ulteriori informazioni su come AWS PCS configura la topologia su ciascuna versione di Slurm, vedere. Configurazione della topologia hardware in AWS 2 PEZZI

La topologia della CPU non corrisponde all'hardware

Un layout di socket configurato che dichiara più risorse di quelle riportate dal nodo fa sì che il nodo si registri per il seguente motivo:

NodeName=my-cng-1-1 ... State=DOWN+CLOUD+DRAIN+INVALID_REG
   Reason=Low socket*core*thread count [slurm@2026-09-07T11:45:03]

Il testo del motivo è letterale; i conteggi confrontati vengono visualizzati solo nel registro a livello di slurmctld registro di debug, come. Node my-cng-1-1 has low socket*core*thread count (48 < 96) Ciò significa che la configurazione Sockets e la CoresPerSocket combinazione superano il numero reale di core del nodo. Ad esempio, un'impostazione Sockets personalizzata superiore al numero effettivo di domini di cache NUMA o L3 produce un totale che l'hardware non può soddisfare.

L'affinità della GPU non rientra nei limiti dei socket

Con il rilevamento automatico della GPU attivo, un layout del socket che non corrisponde all'hardware fa sì che il nodo si registri per il seguente motivo:

Reason=gres/gpu GRES autodetected core affinity 0-23 on node my-cng-1-1 doesn't match socket
boundaries. (Socket 0 is cores 0-0). Consider setting Parameters=l3cache_as_socket ...

Ciò significa che la GPU è collegata a una serie di core che non rientrano in un socket configurato. In genere appare quando il rilevamento automatico della GPU è abilitato senza la topologia della CPU, quindi il nodo torna al layout predefinito con un core per socket.

Risoluzione

Configura la topologia della CPU del gruppo di nodi di calcolo in modo che i limiti dei socket corrispondano all'hardware:

Per ulteriori informazioni, consulta Comportamento topologico in base alla versione Slurm.