View a markdown version of this page

对中的无效节点注册 (INVALID_REG) 进行故障排除 AWS 个 - AWS 个

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

对中的无效节点注册 (INVALID_REG) 进行故障排除 AWS 个

当节点向与其配置冲突的硬件注册时,Slurm 会将节点状态设置为INVALID_REG并将其耗尽。scontrol show node输出中节点的Reason字段报告了原因。最常见的原因是配置的 CPU 拓扑结构与硬件不匹配,以及 GPU 自动检测处于活动状态时,插槽布局不符合检测到的 GPU 亲和力。有关 AWS PCS 如何在每个 Slurm 版本上配置拓扑的更多信息,请参阅。在中配置硬件拓扑 AWS 个

CPU 拓扑结构与硬件不匹配

配置的套接字布局声明的资源多于节点报告的资源会使节点注册,原因如下:

NodeName=my-cng-1-1 ... State=DOWN+CLOUD+DRAIN+INVALID_REG Reason=Low socket*core*thread count [slurm@2026-09-07T11:45:03]

原因文本是逐字记录的;比较后的计数仅出现在调试日志级别的slurmctld日志中,如。Node my-cng-1-1 has low socket*core*thread count (48 < 96)这意味着配置Sockets和CoresPerSocket组合超过了节点的实际核心数。例如,大于 NUMA 或 L3 缓存域实际数量的Sockets自定义设置产生的总数是硬件无法满足的。

GPU 亲和力不符合套接字边界

启用 GPU 自动检测时,与硬件不匹配的套接字布局会导致节点注册,原因如下:

Reason=gres/gpu GRES autodetected core affinity 0-23 on node my-cng-1-1 doesn't match socket boundaries. (Socket 0 is cores 0-0). Consider setting Parameters=l3cache_as_socket ...

这意味着 GPU 连接到一系列内核,这些内核不适合一个已配置的插槽。它通常在没有 CPU 拓扑的情况下启用 GPU 自动检测时出现,因此节点会回退到默认的每插槽一核布局。

解决方案

配置计算节点组的 CPU 拓扑,使套接字边界与硬件相匹配:

  • 在 Slurm 25.11 上,在计算节点组的自定义 Slurm 设置中设置Sockets(和Parameters)。

  • 在 Slurm 26.05 及更高版本中,移除或更正与硬件不匹配的Sockets替代方案,让 AWS PCS 应用自动拓扑。

有关更多信息,请参阅 Slurm 版本的拓扑行为。