本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

AWS ParallelCluster 故障排除

AWS ParallelCluster 社区维护着一个 Wiki 页面，在 AWS ParallelCluster GitHub Wiki 上提供了许多故障排除技巧。有关已知问题的列表，请参阅已知问题。

检索和保留日志

日志是用于排查问题的有用资源。在使用日志对 AWS ParallelCluster 资源进行问题排查之前，应先创建集群日志存档。请按照 AWS ParallelCluster GitHub Wiki 上 Creating an Archive of a Cluster’s Logs 主题中描述的步骤开始此过程。

如果您的一个正在运行的集群遇到问题，则应在开始排查问题之前，通过运行 pcluster stop <cluster_name> 命令将该集群置于 STOPPED 状态。这样可以防止产生任何意外成本。

如果 pcluster 停止运行，或者您想删除集群但仍保留其日志，请运行 pcluster delete —keep-logs <cluster_name> 命令。运行此命令会删除集群，但保留存储在 Amazon CloudWatch 中的日志组。有关此命令的更多信息，请参阅 pcluster delete 文档。

排查堆栈部署问题

如果您的集群创建失败并回滚堆栈创建，则可以通过查看以下日志文件来诊断问题。您需要在这些日志中找到 ROLLBACK_IN_PROGRESS 的输出。失败消息的内容应与以下内容类似：

$ pcluster create mycluster
Creating stack named: parallelcluster-mycluster
Status: parallelcluster-mycluster - ROLLBACK_IN_PROGRESS                        
Cluster creation failed.  Failed events:
  - AWS::EC2::Instance MasterServer Received FAILURE signal with UniqueId i-07af1cb218dd6a081

要诊断问题，请使用 pcluster create（包括 --norollback 标志）重新创建该集群。然后，SSH 登录到该集群：

$ pcluster create mycluster --norollback
...
$ pcluster ssh mycluster

登录到头节点后，您应该可以找到三个主要的日志文件，可以用它们来精准确定错误。

排查多队列模式集群中的问题

本节与使用 AWS ParallelCluster 版本 2.9.0 及更高版本通过 Slurm 作业调度器安装的集群相关。有关多队列模式的更多信息，请参阅多队列模式。

关键日志

下表概述了头节点的关键日志：

以下是计算节点的关键说明：

排查节点初始化问题

本节介绍如何排查节点初始化问题。这包括节点无法启动、开机或加入集群的问题。

头节点：

适用日志：

检查 /var/log/cfn-init.log 和 /var/log/chef-client.log 日志。这些日志应包含设置头节点时运行的所有操作。设置过程中发生的大多数错误的错误消息应该都包含在 /var/log/chef-client.log 日志中。如果在集群的配置中指定了预安装或安装后脚本，请通过日志消息仔细检查脚本是否成功运行。

创建集群时，头节点必须等待计算节点加入集群，然后才能加入集群。因此，如果计算节点加入集群失败，则头节点也会失败。根据您使用的计算节点的类型，您可以按照其中一组过程来排查此类问题：

动态计算节点：

静态计算节点：

排查意外节点替换和终止问题

本节继续探讨如何排查节点相关问题，特别是在节点意外替换或终止时。

替换、终止或关闭有问题的实例和节点

排查其他已知的节点和作业问题

另一种已知问题是 AWS ParallelCluster 可能无法分配作业或做出扩展决策。对于此类问题，AWS ParallelCluster 只按照 Slurm 的指示启动、终止或维护资源。对于这些问题，请查看 slurmctld 日志以排查问题。

排查单队列模式集群中的问题

本节适用于采用以下两种配置之一并且没有多队列模式的集群：

关键日志

以下日志文件是头节点的关键日志。

对于 AWS ParallelCluster 版本 2.9.0 或更高版本：

对于所有 AWS ParallelCluster 版本：

以下是计算节点的关键日志。

AWS ParallelCluster 版本 2.9.0 或更高版本

2.9.0 之前的 AWS ParallelCluster 版本

所有版本

排查启动和加入操作失败问题

排查扩展问题

排查其他集群相关问题

一个已知问题是随机计算节点在大规模集群（特别是具有 500 或更多计算节点的集群）上失败。此问题与单队列集群的扩展架构限制有关。如果您想要使用大规模集群、正在使用 AWS ParallelCluster 版本 v2.9.0 或更高版本、正在使用 Slurm，并想要避免此问题，您应升级并切换到支持多队列模式的集群。您可以通过运行 pcluster-config convert 来实现这一目的。

对于超大规模集群，可能需要对系统进行额外调整。有关更多信息，请联系 支持。

置放群组和实例启动问题

为了获得最低的节点间延迟，请使用置放群组。置放群组可确保您的实例位于同一网络主干中。如果发出请求时没有足够的可用实例，则会返回 InsufficientInstanceCapacity 错误。要在使用集群置放群组时降低收到此错误的可能性，请将 placement_group 参数设置为 DYNAMIC 并将 placement 参数设置为 compute。

如果您需要高性能共享文件系统，可以考虑使用FSx for Lustre。

如果头节点必须位于置放群组中，则对头节点和所有计算节点使用相同的实例类型和子网。这样可确保 compute_instance_type 参数与 master_instance_type 参数具有相同的值，placement 参数设置为 cluster 且未指定 compute_subnet_id 参数。使用此配置时，master_subnet_id 参数的值用于计算节点。

有关更多信息，请参阅《Amazon EC2 用户指南》中的排查实例启动问题和置放群组角色和限制

无法替换的目录

以下目录在节点之间共享，无法替换。

排查 Amazon DCV 中的问题

Amazon DCV 的日志

Amazon DCV 的日志将写入 /var/log/dcv/ 目录的文件中。查看这些日志有助于排查问题。

Amazon DCV 实例类型内存

该实例类型应至少有 1.7 吉字节（GiB）的 RAM 才能运行 Amazon DCV。Nano 和 micro 实例类型没有足够的内存来运行 Amazon DCV。

Ubuntu Amazon DCV 问题

在 Ubuntu 上对 DCV 会话运行 Gnome 终端时，您可能不会自动拥有访问 AWS ParallelCluster 通过登录 Shell 提供的用户环境的权限。该用户环境提供 openmpi 或 intelmpi 等环境模块以及其他用户设置。

Gnome 终端的默认设置会阻止 Shell 作为登录 Shell 启动。这意味着不会自动获取 Shell 配置文件，也不会加载 AWS ParallelCluster 用户环境。

要正确获取 Shell 配置文件并访问 AWS ParallelCluster 用户环境，请执行下列操作之一：

在采用 AWS Batch 集成的集群中排查问题

本节与采用 AWS Batch 调度器集成的集群相关。

头节点问题

与头节点相关的设置问题可以按照与单队列集群相同的方式进行排查。有关这些问题的更多信息，请参阅排查单队列模式集群中的问题。

AWS Batch 多节点并行作业提交问题

如果在将 AWS Batch 用作作业调度器的情况下提交多节点并行作业时遇到问题，则应升级到 AWS ParallelCluster 版本 2.5.0。如果这不可行，则可以使用以下主题中详细介绍的解决方法：Self patch a cluster used for submitting multi-node parallel jobs through AWS Batch。

计算问题

AWS Batch 管理服务的扩展和计算方面。如果您遇到与计算相关的问题，请参阅 AWS Batch 故障排除文档以获取帮助。

作业失败

如果作业失败，您可以运行 awsbout 命令来检索作业输出。您也可以运行 awsbstat -d 命令来获取 Amazon CloudWatch 存储的作业日志的链接。

资源创建失败时排查问题

本节内容与集群资源创建失败有关。

资源创建失败时，ParallelCluster 会返回类似下面的错误消息。

pcluster create -c config my-cluster
Beginning cluster creation for cluster: my-cluster
WARNING: The instance type 'p4d.24xlarge' cannot take public IPs. Please make sure that the subnet with 
id 'subnet-1234567890abcdef0' has the proper routing configuration to allow private IPs reaching the 
Internet (e.g. a NAT Gateway and a valid route table).
WARNING: The instance type 'p4d.24xlarge' cannot take public IPs. Please make sure that the subnet with
id 'subnet-1234567890abcdef0' has the proper routing configuration to allow private IPs reaching the Internet 
(e.g. a NAT Gateway and a valid route table).
Info: There is a newer version 3.0.3 of AWS ParallelCluster available.
Creating stack named: parallelcluster-my-cluster
Status: parallelcluster-my-cluster - ROLLBACK_IN_PROGRESS                   
Cluster creation failed.  Failed events:
- AWS::CloudFormation::Stack MasterServerSubstack Embedded stack 
arn:aws:cloudformation:region-id:123456789012:stack/parallelcluster-my-cluster-MasterServerSubstack-ABCDEFGHIJKL/a1234567-b321-c765-d432-dcba98766789 
was not successfully created: 
The following resource(s) failed to create: [MasterServer]. 
- AWS::CloudFormation::Stack parallelcluster-my-cluster-MasterServerSubstack-ABCDEFGHIJKL The following resource(s) failed to create: [MasterServer]. 
- AWS::EC2::Instance MasterServer You have requested more vCPU capacity than your current vCPU limit of 0 allows for the instance bucket that the 
specified instance type belongs to. Please visit http://aws.amazon.com/contact-us/ec2-request to request an adjustment to this limit.  
(Service: AmazonEC2; Status Code: 400; Error Code: VcpuLimitExceeded; Request ID: a9876543-b321-c765-d432-dcba98766789; Proxy: null)
}

例如，如果您看到前一个命令响应中所示的状态消息，则必须使用不会超过当前 vCPU 限制或请求更多 vCPU 容量的实例类型。

您也可以使用 CloudFormation 控制台来查看有关 "Cluster creation failed" 状态的信息。

排查 IAM 策略大小问题

请参阅 IAM 与 AWS STS 配额、名称要求和字符限制，验证附加到角色的托管策略的配额。如果托管策略的大小超过配额，请将该策略拆分为两个或多个策略。如果附加到 IAM 角色的策略数超过配额，请创建额外角色并在这些角色之间分配策略，从而满足配额要求。

其他支持

有关已知问题的列表，请参阅 GitHub Wiki 主页面或问题页面。如有更紧急的问题，请联系 支持 或打开新 GitHub 问题。