查看 Amazon EMR 集群上托管的 Web 界面 - Amazon EMR

查看 Amazon EMR 集群上托管的 Web 界面

重要

可以配置自定义安全组，以允许对这些 Web 界面的入站访问。请记住，您允许入站流量通过的任何端口，都代表着潜在的安全漏洞。请仔细检查自定义安全组，以确保您最大限度地减少漏洞。有关更多信息，请参阅 使用 Amazon EMR 集群的安全组控制网络流量。

安装在 EMR 集群上的 Hadoop 和其他应用程序会将用户界面发布为主节点上托管的网站。出于安全原因，在使用 Amazon EMR 托管的安全组时，这些网站仅在主节点的本地 Web 服务器上可用。因此，您需要连接到主节点才能查看 Web 界面。有关更多信息，请参阅 使用 SSH 连接到 Amazon EMR 集群主节点。Hadoop 还将用户界面发布为托管在核心节点和任务节点上的网站。这些网站也仅在节点上的本地 Web 服务器上可用。

下表列出了您可以在集群实例上查看的 Web 界面。这些 Hadoop 界面在所有集群上均可用。对于主实例界面，将 master-public-dns-name 替换为 Amazon EMR 控制台中集群摘要选项卡上列出的主控公有 DNS。对于核心和任务实例界面，将 coretask-public-dns-name 替换为为实例列出的 Public DNS name (公有 DNS 名称)。要查找某一实例的公有 DNS 名称，请在 Amazon EMR 控制台中，从列表中选择您的集群，选择硬件选项卡，选择包含要连接实例的实例组的 ID，然后记下为该实例列出的公有 DNS 名称。

界面名称

URI
Fink 历史记录服务器（EMR 版本 5.33 及更高版本） http://master-public-dns-name:8082/
Ganglia http://master-public-dns-name/ganglia/
Hadoop HDFS NameNode（6.x 之前的 EMR 版本） https://master-public-dns-name:50470/
Hadoop HDFS NameNode http://master-public-dns-name:50070/
Hadoop HDFS DataNode http://coretask-public-dns-name:50075/
Hadoop HDFS NameNode（EMR 版本 6.x） https://master-public-dns-name:9870/
Hadoop HDFS DataNode（6.x 之前的 EMR 版本） https://coretask-public-dns-name:50475/
Hadoop HDFS DataNode（EMR 版本 6.x） https://coretask-public-dns-name:9865/
HBase http://master-public-dns-name:16010/
Hue http://master-public-dns-name:8888/
JupyterHub https://master-public-dns-name:9443/
Livy http://master-public-dns-name:8998/
Spark HistoryServer http://master-public-dns-name:18080/
Tez http://master-public-dns-name:8080/tez-ui
YARN NodeManager http://coretask-public-dns-name:8042/
YARN ResourceManager http://master-public-dns-name:8088/
Zeppelin http://master-public-dns-name:8890/

由于主节点上有几个特定于应用程序的界面在核心节点和任务节点上不可用，所以本文档中的说明特定于 Amazon EMR 主节点。访问核心节点和任务节点上 Web 界面的方式与访问主节点上 Web 界面的方式相同。

您可以通过多种方式访问主节点上的 Web 界面。最简单快捷的方法，就是使用 SSH 连接到主节点，并使用基于文本的浏览器 Lynx 在 SSH 客户端中查看网站。但是，Lynx 是一个基于文本的浏览器，用户界面有限，无法显示图形。以下示例展示了如何使用 Lynx 打开 Hadoop ResourceManager 界面（使用 SSH 登录主节点时也会提供 Lynx URL）。

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

还有两个其他选项可用于访问提供完整浏览器功能的主节点上的 Web 界面。选择以下操作之一：

  • 选项 1（推荐用于更多技术用户）：使用 SSH 客户端连接到主节点，使用本地端口转发配置 SSH 隧道，并使用互联网浏览器打开主节点上托管的 Web 界面。此方法允许您在不使用 SOCKS 代理的情况下配置 Web 界面访问。

  • 选项 2（推荐给新用户）：使用 SSH 客户端连接到主节点，使用动态端口转发配置 SSH 隧道，并将互联网浏览器配置为使用附加组件（例如适用于 Firefox 的 FoxyProxy 或适用于 Chrome 的 SwitchyOmega）来管理 SOCKS 代理设置。借助此方法，您可以根据文本模式自动筛选 URL，并将代理设置限制为与主节点 DNS 名称形式匹配的域。有关如何为 Firefox 和 Google Chrome 配置 FoxyProxy 的更多信息，请参阅选项 2，第 2 部分：配置代理设置以查看 Amazon EMR 集群主节点上托管的网站。

注意

如果您通过集群配置修改应用程序运行所在的端口，则指向该端口的超链接将不会在 Amazon EMR 控制台中更新。这是因为控制台没有读取 server.port 配置的功能。

使用 Amazon EMR 5.25.0 或更高版本，可以从控制台访问 Spark 历史记录服务器 UI，而无需通过 SSH 连接设置 Web 代理。有关更多信息，请参阅一键访问持久性 Spark 历史记录服务器。

主题