View a markdown version of this page

Solucionar problemas de registros de nós inválidos (INVALID_REG) em AWS PEÇAS - AWS PEÇAS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Solucionar problemas de registros de nós inválidos (INVALID_REG) em AWS PEÇAS

Quando um nó se registra em um hardware que entra em conflito com sua configuração, o Slurm define o estado do nó INVALID_REG e o drena. O Reason campo do nó na scontrol show node saída relata a causa. As causas mais comuns são uma topologia de CPU configurada que não corresponde ao hardware e, com a detecção automática de GPU ativa, um layout de soquete que não se ajusta à afinidade de GPU detectada. Para obter informações adicionais sobre como o AWS PCS configura a topologia em cada versão do Slurm, consulte. Configurando a topologia de hardware em AWS PEÇAS

A topologia da CPU não corresponde ao hardware

Um layout de soquete configurado que declara mais recursos do que os relatórios do nó faz com que o nó se registre pelo seguinte motivo:

NodeName=my-cng-1-1 ... State=DOWN+CLOUD+DRAIN+INVALID_REG Reason=Low socket*core*thread count [slurm@2026-09-07T11:45:03]

O texto do motivo é literal; as contagens comparadas aparecem somente no registro no nível do slurmctld registro de depuração, como. Node my-cng-1-1 has low socket*core*thread count (48 < 96) Isso significa que a configuração Sockets e a CoresPerSocket combinação excedem a contagem real de núcleos do nó. Por exemplo, uma configuração Sockets personalizada maior que o número real de domínios de cache NUMA ou L3 produz um total que o hardware não pode satisfazer.

A afinidade da GPU não se encaixa nos limites do soquete

Com a detecção automática de GPU ativa, um layout de soquete que não corresponde ao hardware faz com que o nó se registre pelo seguinte motivo:

Reason=gres/gpu GRES autodetected core affinity 0-23 on node my-cng-1-1 doesn't match socket boundaries. (Socket 0 is cores 0-0). Consider setting Parameters=l3cache_as_socket ...

Isso significa que a GPU está conectada a uma variedade de núcleos que não cabem em um soquete configurado. Normalmente, ela aparece quando a detecção automática de GPU está ativada sem a topologia da CPU, então o nó volta ao layout padrão de um núcleo por soquete.

Resolução

Configure a topologia da CPU do grupo de nós de computação para que os limites do soquete correspondam ao hardware:

  • No Slurm 25.11, defina Sockets (eParameters) nas configurações personalizadas do Slurm do grupo de nós de computação.

  • No Slurm 26.05 e versões posteriores, remova ou corrija uma Sockets substituição que não corresponda ao hardware e deixe o AWS PCS aplicar a topologia automática.

Para obter mais informações, consulte Comportamento da topologia por versão Slurm.