选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

步骤 4:检查 Amazon EMR 集群和实例运行状况

聚焦模式
步骤 4:检查 Amazon EMR 集群和实例运行状况 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon EMR 集群由在亚马逊 EC2 实例上运行的节点组成。如果那些实例受到资源约束 (如耗尽 CPU 或内存)。遇到网络连接问题,或遭到终止,集群处理的速度会受到影响。

集群中最多有三种类型的节点:

  • 主节点 – 管理集群。如果主节点遇到性能问题,整个集群都会受到影响。

  • 核心节点 – 处理 map-reduce 任务并维护 Hadoop 分布式文件系统(HDFS)。如果这些节点之一遇到了性能问题,就会降低 HDFS 操作和 map-reduce 处理的速度。您可以向集群添加其它核心节点以改进性能,但无法移除核心节点。有关更多信息,请参阅手动调整正在运行的 Amazon EMR 集群的大小

  • 任务节点 – 处理 map-reduce 任务。这些纯粹是计算资源,并不存储数据。您可以向集群添加任务节点,提高性能速度,或移除不需要的任务节点。有关更多信息,请参阅手动调整正在运行的 Amazon EMR 集群的大小

当您查看集群的运行状况时,应该既查看整个集群的性能,又查看各个实例的性能。您可以使用以下多种工具:

使用检查集群运行状况 CloudWatch

每个 Amazon EMR 集群都会向其报告指标。 CloudWatch这些指标提供集群的概括性性能信息,如总负载、HDFS 使用率、正在运行的任务、其余任务、损坏的数据块等。查看这些 CloudWatch 指标可以让你大致了解集群的情况,并可以深入了解导致处理速度减慢的原因。除了使用 CloudWatch 分析现有性能问题外,您还可以设置警报,以便在将 CloudWatch 来出现性能问题时发出警报。有关更多信息,请参阅 使用监控亚马逊 EMR 指标 CloudWatch

检查任务状态和 HDFS 运行状况

使用集群详细信息页面上的 Application user interfaces (应用程序用户界面) 选项卡可查看 YARN 应用程序详细信息。对于某些应用程序,您可以深入了解更多详细信息和直接访问日志。这对 Spark 应用程序特别有用。有关更多信息,请参阅查看 Amazon EMR 应用程序历史记录

Hadoop 向您提供可用于查看信息的一系列 Web 界面。有关如何访问这些 Web 界面的详细信息,请参见 查看 Amazon EMR 集群上托管的 Web 界面

  • JobTracker — 提供有关集群正在处理的作业进度的信息。您可以使用此界面确定作业陷入困境的时间。

  • HDFS NameNode — 提供有关 HDFS 利用率百分比和每个节点上的可用空间的信息。您可以使用此界面确定 HDFS 受到资源约束和需要其它容量的时间。

  • TaskTracker — 提供有关集群正在处理的任务的信息。您可以使用此界面确定任务陷入困境的时间。

使用 Amazon 检查实例运行状况 EC2

另一种查找集群中实例状态信息的方法是使用 Amazon EC2 控制台。由于集群中的每个节点都在 EC2 实例上运行,因此您可以使用 Amazon 提供的工具 EC2 来检查其状态。有关更多信息,请参阅 在 Amazon 中查看集群实例 EC2

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。