Anzeigen von auf Amazon-EMR-Clustern gehosteten Webschnittstellen - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Anzeigen von auf Amazon-EMR-Clustern gehosteten Webschnittstellen

Wichtig

Sie können eine benutzerdefinierte Sicherheitsgruppe konfigurieren, um den eingehenden Zugriff auf diese Webschnittstellen zu ermöglichen. Beachten Sie, dass jeder Port, an dem Sie eingehenden Datenverkehr zulassen, eine potenzielle Sicherheitslücke darstellt. Überprüfen Sie sorgfältig die benutzerdefinierten Sicherheitsgruppen, um Schwachstellen zu minimieren. Weitere Informationen finden Sie unter Steuern Sie den Netzwerkverkehr mit Sicherheitsgruppen für Ihren Amazon EMR-Cluster.

Hadoop und andere Anwendungen, die Sie auf Ihrem -Cluster installieren, veröffentlichen Benutzeroberflächen als auf dem Primärknoten gehostete Websites. Aus Sicherheitsgründen stehen diese Websites bei der Verwendung von Amazon EMR verwalteten Sicherheitsgruppen nur auf dem lokalen Webserver des Primärknotens zur Verfügung. Daher müssen Sie eine Verbindung mit dem Primärknoten herstellen, um sie anzuzeigen. Aus diesem Grund müssen Sie eine Verbindung zum Primärknoten herstellen, um die Weboberflächen anzeigen zu können. Weitere Informationen finden Sie unter Stellen Sie mithilfe von SSH eine Connect zum primären Knoten des Amazon EMR-Clusters her. Hadoop veröffentlicht Benutzeroberflächen auch als Websites, die auf Core- und Aufgabenknoten gehostet werden. Diese Websites sind ebenfalls nur auf dem lokalen Webserver auf dem Knoten verfügbar.

Die folgende Tabelle enthält die Webschnittstellen, die Sie auf Cluster-Instances anzeigen lassen können: Diese Hadoop-Schnittstellen sind in allen Clustern verfügbar. Ersetzen Sie die Master-Instance-Schnittstellen master-public-dns-name durch das öffentliche Master-DNS, das auf der Registerkarte Cluster-Zusammenfassung in der Amazon EMR-Konsole aufgeführt ist. Bei Core- und Task-Instance-Schnittstellen coretask-public-dns-name ersetzen Sie diesen durch den öffentlichen DNS-Namen, der für die Instance aufgeführt ist. Um den Öffentlicher DNS-Name einer instance zu finden, wählen Sie in der Amazon-EMR-Konsole Ihren Cluster aus der Liste, wählen Sie die Registerkarte Hardware, wählen Sie die ID der Instance-Gruppe, die die Instance enthält, zu der Sie eine Verbindung herstellen möchten, und notieren Sie sich dann den für die Instance angegebenen Öffentlicher DNS-Name.

Name der Schnittstelle

URI
Flink History Server (EMR-Version 5.33 und höher) http: //:8082/ master-public-dns-name
Ganglia http:///ganglia/ master-public-dns-name
Hadoop HDFS NameNode (EMR-Version vor 6.x) https: master-public-dns-name //50470/
Hadoop HDFS NameNode http: //:50070/ master-public-dns-name
Hadoop HDFS DataNode http: //:50075/ coretask-public-dns-name
Hadoop HDFS NameNode (EMR-Version 6.x) https: master-public-dns-name //:9870/
Hadoop HDFS DataNode (EMR-Version vor 6.x) https: coretask-public-dns-name //50475/
Hadoop HDFS DataNode (EMR-Version 6.x) https: coretask-public-dns-name //9865/
HBase http: //:16010/ master-public-dns-name
Hue http: //:8888/ master-public-dns-name
JupyterHub https: //:9443/ master-public-dns-name
Livy http: //:8998/ master-public-dns-name
Funke HistoryServer http: //18080/ master-public-dns-name
Tez http: //:8080/tez-ui master-public-dns-name
GARN NodeManager http: //:8042/ coretask-public-dns-name
GARN ResourceManager http: //:8088/ master-public-dns-name
Zeppelin http: //:8890/ master-public-dns-name

Da mehrere anwendungsspezifische Schnittstellen für den Primärknoten, aber nicht für den Core- und Aufgabenknoten verfügbar sind, gelten die Anweisungen in diesem Dokument speziell für den Amazon-EMR-Primärknoten. Auf die Webschnittstellen im Core- und Aufgabenknoten kann auf die gleiche Weise zugegriffen werden wie auf die Webschnittstellen im Primärknoten.

Es gibt mehrere Möglichkeiten, auf die Webschnittstellen im Primärknoten zuzugreifen. Am einfachsten und schnellsten stellen Sie eine Verbindung mit dem Primärknoten mithilfe von SSH her und verwenden den Browser Lynx zum Betrachten der Websites in Ihrem SSH-Client. Lynx ist jedoch ein textbasierter Browser mit einer eingeschränkten Benutzeroberfläche, die keine Grafiken anzeigen kann. Das folgende Beispiel zeigt, wie die ResourceManager Hadoop-Schnittstelle mit Lynx geöffnet wird (Lynx URLs werden auch bereitgestellt, wenn Sie sich mit SSH am primären Knoten anmelden). 

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

Es gibt zwei verbleibende Optionen für den Zugriff auf Webschnittstellen im Primärknoten, die vollständige Browserfunktionalität bieten. Wählen Sie eine der folgenden Optionen aus:

  • Option 1 (empfohlen für technisch fortgeschrittene Benutzer): Stellen Sie eine Verbindung mit dem Primärknoten mithilfe eines SSH-Clients her, konfigurieren Sie SSH-Tunneling mit lokaler Port-Weiterleitung und verwenden Sie einen Internetbrowser, um auf dem Primärknoten gehostete Webschnittstellen zu öffnen. Durch diese Methode können Sie den Zugriff auf Webschnittstellen so konfigurieren, dass kein SOCKS-Proxy benötigt wird.

  • Option 2 (für neue Benutzer empfohlen): Verwenden Sie einen SSH-Client, um eine Verbindung zum primären Knoten herzustellen, konfigurieren Sie SSH-Tunneling mit dynamischer Portweiterleitung und konfigurieren Sie Ihren Internetbrowser so, dass er ein Add-on wie FoxyProxy für Firefox oder SwitchyOmega Chrome verwendet, um Ihre SOCKS-Proxyeinstellungen zu verwalten. Mit dieser Methode können Sie automatisch URLs anhand von Textmustern filtern und die Proxyeinstellungen auf Domänen beschränken, die der Form des DNS-Namens des primären Knotens entsprechen. Weitere Informationen zur Konfiguration FoxyProxy für Firefox und Google Chrome finden Sie unterOption 2, Teil 2: Proxyeinstellungen konfigurieren, um Websites anzuzeigen, die auf dem primären Knoten des Amazon EMR-Clusters gehostet werden.

Anmerkung

Wenn Sie den Port, auf dem eine Anwendung ausgeführt wird, über die Cluster-Konfiguration ändern, wird der Hyperlink zum Port in der Amazon-EMR-Konsole nicht aktualisiert. Das liegt daran, dass die Konsole nicht über die Funktionalität verfügt, die Konfiguration server.port zu lesen.

Mit Amazon EMR Version 5.25.0 oder höher können Sie über die Konsole auf die Benutzeroberfläche des Spark History Servers zugreifen, ohne einen Web-Proxy über eine SSH-Verbindung einzurichten. Weitere Informationen finden Sie unter Zugriff auf den persistenten Spark History Server mit nur einem Klick.

Themen