本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon EMR 集群启动失败的原因有多种。以下是诊断问题的几种方式。
检查 EMR 调配日志
Amazon EMR 使用 Puppet 在集群上安装和配置应用程序。查看日志将提供有关在集群的配置阶段是否存在任何错误的详细信息。如果日志被配置为推送到 S3,则可以在集群或 S3 上访问日志。
日志存储在磁盘上的 /var/log/provision-node/apps-phase/0/{UUID}/puppet.log
和 s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE
ID>/provision-node/apps-phase/0/{UUID}/puppet.log.gz.
常见错误消息
错误消息 | 原因 |
---|---|
|
EMR 记录服务器启动失败。请参阅下面的 EMR 记录服务器日志。 |
|
EMR SecretAgent 启动失败。请参阅下面的检查 SecretAgent 日志。 |
|
Secrets Manager 中用于 Apache Ranger 插件凭证的私有 TLS 凭证格式不正确或不是私有凭证。请参阅 用于 Apache Ranger 与 Amazon EMR 集成的 TLS 证书 了解凭证格式。 |
|
EC2 实例配置文件角色没有从 Secrets Agent 检索 TLS 证书的正确权限。 |
查看 SecretAgent 日志
SecretAgent 日志位于 EMR 节点上的 /emr/secretagent/log/
中,或位于 S3 中的 s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2
INSTANCE ID>/daemons/secretagent/
目录中。
常见错误消息
错误消息 | 原因 |
---|---|
|
上述例外情况意味着 EMR EC2 实例配置文件角色无权担任该角色。RangerPluginDataAccessRole请参阅 用于与 Apache Ranger 本地集成的 IAM 角色。 |
|
这些错误可以忽略。 |
检查记录服务器日志(适用于 SparkSQL)
EMR R at /var/log/emr ecord Server 日志在 EMR 节点上可用-record-server/,也可以在 S3 的 s3: ////node/ < INSTANCE ID> <LOG LOCATION><CLUSTER ID>/EC2 daemons//目录中找到。emr-record-server
常见错误消息
错误消息 | 原因 |
---|---|
|
EMR SecretAgent 未能出现或出现问题。检查 SecretAgent 日志中是否存在错误,并检查 puppet 脚本以确定是否存在任何配置错误。 |