Résoudre les problèmes liés aux enregistrements de nœuds non valides (INVALID_REG) dans AWS PIÈCES

Lorsqu'un nœud s'enregistre avec du matériel qui entre en conflit avec sa configuration, Slurm définit l'état du nœud INVALID_REG et le vide. Le Reason champ du nœud dans la scontrol show node sortie indique la cause. Les causes les plus courantes sont une topologie de processeur configurée qui ne correspond pas au matériel et, lorsque la détection automatique du GPU est active, une disposition des sockets qui ne correspond pas à l'affinité GPU détectée. Pour plus d'informations sur la façon dont AWS PCS configure la topologie sur chaque version de Slurm, consultez. Configuration de la topologie matérielle dans AWS PIÈCES

La topologie du processeur ne correspond pas à celle du matériel

Une configuration de socket configurée qui déclare plus de ressources que ce que le nœud rapporte entraîne l'enregistrement du nœud pour la raison suivante :

NodeName=my-cng-1-1 ... State=DOWN+CLOUD+DRAIN+INVALID_REG
   Reason=Low socket*core*thread count [slurm@2026-09-07T11:45:03]

Le texte de la raison est textuel ; les nombres comparés apparaissent uniquement dans le slurmctld journal au niveau du journal de débogage, comme. Node my-cng-1-1 has low socket*core*thread count (48 < 96) Cela signifie que la configuration Sockets et la CoresPerSocket combinaison dépassent le nombre réel de cœurs du nœud. Par exemple, un paramètre Sockets personnalisé supérieur au nombre réel de domaines de cache NUMA ou L3 produit un total que le matériel ne peut pas satisfaire.

L'affinité du GPU ne correspond pas aux limites du socket

Lorsque la détection automatique du GPU est active, une disposition de socket qui ne correspond pas à celle du matériel entraîne l'enregistrement du nœud pour la raison suivante :

Reason=gres/gpu GRES autodetected core affinity 0-23 on node my-cng-1-1 doesn't match socket
boundaries. (Socket 0 is cores 0-0). Consider setting Parameters=l3cache_as_socket ...

Cela signifie que le GPU est connecté à une gamme de cœurs qui ne rentrent pas dans un socket configuré. Il apparaît généralement lorsque la détection automatique du GPU est activée sans topologie du processeur, de sorte que le nœud revient à la configuration par défaut d'un cœur par socket.

Résolution

Configurez la topologie du processeur du groupe de nœuds de calcul de sorte que les limites des sockets correspondent au matériel :

Pour plus d’informations, consultez Comportement de la topologie par version de Slurm.