故障排除 - Amazon EMR

故障排除

有关故障排除解决方案,请参阅以下部分:

日志记录

EMR Serverless 使用 Spark 资源配置文件来拆分作业执行。EMR Serverless 使用用户配置文件来运行您提供的代码,而系统配置文件则强制执行 Lake Formation 策略。您可以访问作为用户配置文件运行的任务的日志。

Live UI 和 Spark History Server

Live UI 和 Spark History Server 包含从用户配置文件生成的所有 Spark 事件以及从系统驱动程序生成的编辑事件。

您可以在执行程序选项卡中查看用户和系统驱动程序中的所有任务。但日志链接仅适用于用户配置文件。此外,还会从 Live UI 中编辑一些信息,例如输出记录数。

由于 Lake Formation 权限不足,作业失败

确保您的作业运行时角色有权在您要访问的表上运行 SELECT 和 DESCRIBE。

RDD 作业执行失败

EMR Serverless 目前不支持在启用了 Lake Formation 的作业上进行弹性分布式数据集(RDD)操作。

无法访问 Amazon S3 中的数据文件

确保您已在 Lake Formation 中注册数据湖的位置。

安全验证异常

EMR Serverless 检测到安全验证错误。请联系 AWS 支持寻求帮助。

跨账户共享 AWS Glue Data Catalog 和表

您可以跨账户共享数据库和表,且仍可使用 Lake Formation。有关更多信息,请参阅 Lake Formation 中的跨账户数据共享以及如何使用 AWS Lake Formation 跨账户共享 AWS Glue Data Catalog 和表?