View a markdown version of this page

网络问题排查 - AWS ParallelCluster

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

网络问题排查

本节提供了遇到网络问题时的问题排查提示,特别是在处理单个公有子网中的集群问题时。

集群位于单个公有子网的问题

在 AWS ParallelCluster 3.16.0 及更高版本中,检查出现故障/var/log/chef-client.log的计算节点。如果您发现与以下内容类似的错误,则该节点在引导期间无法访问 DynamoDB:

INFO: Retrying execution of ruby_block[retrieve compute node info], 0 attempt left ================================================================================ Error executing action `run` on resource 'ruby_block[retrieve compute node info]' ================================================================================ RuntimeError ------------ Failed to query DynamoDB for compute node info: the aws cli call did not return in time and was terminated. This usually means the compute node cannot reach DynamoDB. If the compute subnet has no internet egress (NAT/IGW), ensure a DynamoDB VPC gateway endpoint is configured and attached to the subnet's route table.

在 3.16.0 之前的 AWS ParallelCluster 版本中,计算节点可能会在引导期间静默挂起,而不是快速失效。在计算节点cloud-init-output.log上检查是否有如下日志条目,这表明该节点在从 DynamoDB 检索信息时卡住:

ruby_block[retrieve compute node info] action run[2022-03-11T17:47:11+00:00] INFO: Processing ruby_block[retrieve compute node info] action run (aws-parallelcluster-slurm::init line 31)

最常见的原因是缺少 DynamoDB VPC 终端节点,因为在引导期间会从 DynamoDB AWS ParallelCluster 读取计算节点信息。有关所需端点的完整列表,请参阅AWS ParallelCluster 在无法访问互联网的单个子网中

要解决问题,请将缺失的 VPC 终端节点(通常是 DynamoDB)添加到计算子网的路由表中。如果群集已进入保护模式,Slurm 集群保护模式请参阅了解如何恢复。