手动隔离、替换或重启节点

了解如何在 Amazon EKS 编排的 SageMaker HyperPod集群中手动隔离、替换和重启故障节点。

要隔离节点并强制删除训练容器组（pod）

kubectl cordon <node-name>

隔离后，强制弹出容器组（pod） 如果发现容器组（pod）在终止状态下停留超过 30 分钟，或者 kubectl describe pod 在事件中显示“节点未准备就绪”，就可以使用此功能。

kubectl delete pods <pod-name> --grace-period=0 --force

替换节点

标记要替换的节点sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReplacement，这会触发 SageMaker HyperPod 自动节点恢复。请注意，您还需要在创建或更新集群时激活节点自动恢复功能。

kubectl label nodes <node-name> \
   sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReplacement

重新启动节点

标记要重启的节点sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReboot，这会触发 SageMaker HyperPod 自动节点恢复。请注意，您还需要在创建或更新集群时激活节点自动恢复功能。

kubectl label nodes <node-name> \
   sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReboot

应用 UnschedulablePendingReplacement 或 UnschedulablePendingReboot 标签后，您应该能看到节点在几分钟内被终止或重启。