确定服务于您的管道的 Amazon EMR 集群 - AWS Data Pipeline

AWS Data Pipeline 不再向新客户提供。的现有客户 AWS Data Pipeline 可以继续照常使用该服务。了解更多

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

确定服务于您的管道的 Amazon EMR 集群

如果 EMRCluster 或 EMRActivity 失败，并且 AWS Data Pipeline 控制台提供的错误信息不明确，您可以使用 Amazon EMR 控制台确定服务于您的管道的 Amazon EMR 集群。这可帮助您查找 Amazon EMR 提供的日志，以获取有关所发生错误的更多详细信息。

查看更详细的 Amazon EMR 错误信息

  1. 在 AWS Data Pipeline 控制台中，选择管道实例旁边的三角形以展开实例详细信息。

  2. 选择查看执行详细信息，然后选择组件旁边的三角形。

  3. 在详细信息列中，选择更多...。信息屏幕随即打开，其中列出组件详细信息。从屏幕中找到并复制 instanceParent 值，例如：@EmrActivityId_xiFDD_2017-09-30T21:40:13

  4. 导航到 Amazon EMR 控制台，搜索名称中包含匹配的 instanceParent 值的集群，然后选择调试。

    注意

    要使 Debug 按钮正常使用，您的管道定义必须将 EmrActivity enableDebugging 选项设置为 true，将 EmrLogUri 选项设置为有效路径。

  5. 现在您知道哪些 Amazon EMR 集群包含导致您管道失败的错误，请按照 Amazon EMR 开发人员指南中的问题排查提示操作。