View a markdown version of this page

對 AWS PCS 中的無效節點註冊 (INVALID_REG) 進行故障診斷 - AWS PCS

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

對 AWS PCS 中的無效節點註冊 (INVALID_REG) 進行故障診斷

當節點向與其組態衝突的硬體註冊時,Slurm 會將節點狀態設定為 INVALID_REG並將它耗盡。scontrol show node 輸出中的節點Reason欄位會報告原因。最常見的原因是設定的 CPU 拓撲不符合硬體,而且在 GPU 自動偵測作用中的情況下,通訊端配置不符合偵測到的 GPU 親和性。如需 AWS PCS 如何在每個 Slurm 版本上設定拓撲的詳細資訊,請參閱 在 AWS PCS 中設定硬體拓撲。

CPU 拓撲與硬體不相符

宣告比節點報告更多資源的已設定通訊端配置會讓節點註冊,原因如下:

NodeName=my-cng-1-1 ... State=DOWN+CLOUD+DRAIN+INVALID_REG Reason=Low socket*core*thread count [slurm@2026-09-07T11:45:03]

原因文字為逐字;比較的計數只會在偵錯slurmctld日誌層級的日誌中顯示為 Node my-cng-1-1 has low socket*core*thread count (48 < 96)。這表示設定的 Sockets和 CoresPerSocket組合超過節點的實際核心計數。例如,大於實際 NUMA 或 L3 快取網域數量的Sockets自訂設定會產生硬體無法滿足的總數。

GPU 親和性不符合通訊端邊界

在 GPU 自動偵測作用中的情況下,不符合硬體的通訊端配置會使節點註冊,原因如下:

Reason=gres/gpu GRES autodetected core affinity 0-23 on node my-cng-1-1 doesn't match socket boundaries. (Socket 0 is cores 0-0). Consider setting Parameters=l3cache_as_socket ...

這表示 GPU 連接到一系列核心,這些核心不適合一個設定的通訊端。它通常會在沒有 CPU 拓撲的情況下啟用 GPU 自動偵測時出現,因此節點會回到預設one-core-per-socket配置。

Resolution

設定運算節點群組的 CPU 拓撲,讓通訊端邊界符合硬體:

  • 在 Slurm 25.11 上,在運算節點群組的自訂 Slurm 設定中設定 Sockets(和 Parameters)。

  • 在 Slurm 26.05 及更新版本上,移除或更正不符合硬體的Sockets覆寫,並讓 AWS PCS 套用自動拓撲。

如需詳細資訊,請參閱Slurm 版本的拓撲行為。