Auf EMR Amazon-Clustern gehostete Weboberflächen anzeigen - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Auf EMR Amazon-Clustern gehostete Weboberflächen anzeigen

Wichtig

Sie können eine benutzerdefinierte Sicherheitsgruppe konfigurieren, um den eingehenden Zugriff auf diese Webschnittstellen zu ermöglichen. Beachten Sie, dass jeder Port, an dem Sie eingehenden Datenverkehr zulassen, eine potenzielle Sicherheitslücke darstellt. Überprüfen Sie sorgfältig die benutzerdefinierten Sicherheitsgruppen, um Schwachstellen zu minimieren. Weitere Informationen finden Sie unter Steuern Sie den Netzwerkverkehr mit Sicherheitsgruppen für Ihren EMR Amazon-Cluster.

Hadoop und andere Anwendungen, die Sie auf Ihrem EMR Cluster installieren, veröffentlichen Benutzeroberflächen als Websites, die auf dem primären Knoten gehostet werden. Aus Sicherheitsgründen sind diese Websites bei der Verwendung von Amazon EMR Managed Security Groups nur auf dem lokalen Webserver des primären Knotens verfügbar. Aus diesem Grund müssen Sie eine Verbindung zum Primärknoten herstellen, um die Weboberflächen anzeigen zu können. Weitere Informationen finden Sie unter Connect zum primären EMR Amazon-Cluster-Knoten her, indem Sie SSH. Hadoop veröffentlicht Benutzeroberflächen auch als Websites, die auf Core- und Aufgabenknoten gehostet werden. Diese Websites sind ebenfalls nur auf dem lokalen Webserver auf dem Knoten verfügbar.

Die folgende Tabelle enthält die Webschnittstellen, die Sie auf Cluster-Instances anzeigen lassen können: Diese Hadoop-Schnittstellen sind in allen Clustern verfügbar. Ersetzen Sie die Master-Instance-Schnittstellen master-public-dns-name durch den öffentlichen Master, der auf der Registerkarte Cluster-Zusammenfassung in der EMR Amazon-Konsole DNS aufgeführt ist. Ersetzen Sie es für Core- und Task-Instance-Schnittstellen coretask-public-dns-name durch den öffentlichen DNS Namen, der für die Instance aufgeführt ist. Um den öffentlichen DNS Namen einer Instance zu finden, wählen Sie in der EMR Amazon-Konsole Ihren Cluster aus der Liste aus, wählen Sie den Tab Hardware, wählen Sie die ID der Instance-Gruppe, die die Instance enthält, zu der Sie eine Verbindung herstellen möchten, und notieren Sie sich dann den öffentlichen DNS Namen, der für die Instance aufgeführt ist.

Name der Schnittstelle

URI
Flink History Server (EMRVersion 5.33 und höher) http: //:8082/ master-public-dns-name
Ganglia http:///ganglia/ master-public-dns-name
Hadoop HDFS NameNode (Version vor 6.x) EMR https: //:50470/ master-public-dns-name
Hadoop HDFS NameNode http: //:50070/ master-public-dns-name
Hadoop HDFS DataNode http: //:50075/ coretask-public-dns-name
Hadoop HDFS NameNode (Version 6.x) EMR https: //:9870/ master-public-dns-name
Hadoop HDFS DataNode (Version vor 6.x) EMR https: //:50475/ coretask-public-dns-name
Hadoop (Version 6.x) HDFS DataNode EMR https: //:9865/ coretask-public-dns-name
HBase http: //:16010/ master-public-dns-name
Hue http: //:8888/ master-public-dns-name
JupyterHub https: //:9443/ master-public-dns-name
Livy http: //:8998/ master-public-dns-name
Funke HistoryServer http: //18080/ master-public-dns-name
Tez http: //:8080/tez-ui master-public-dns-name
YARN NodeManager http: //:8042/ coretask-public-dns-name
YARN ResourceManager http: //:8088/ master-public-dns-name
Zeppelin http: //:8890/ master-public-dns-name

Da auf dem Primärknoten mehrere anwendungsspezifische Schnittstellen verfügbar sind, die auf den Core- und Task-Knoten nicht verfügbar sind, beziehen sich die Anweisungen in diesem Dokument speziell auf den EMR Amazon-Primärknoten. Auf die Webschnittstellen im Core- und Aufgabenknoten kann auf die gleiche Weise zugegriffen werden wie auf die Webschnittstellen im Primärknoten.

Es gibt mehrere Möglichkeiten, auf die Webschnittstellen im Primärknoten zuzugreifen. Die einfachste und schnellste Methode besteht darin, eine Verbindung SSH zum Primärknoten herzustellen und den textbasierten Browser Lynx zu verwenden, um die Websites in Ihrem Client anzuzeigen. SSH Lynx ist jedoch ein textbasierter Browser mit einer eingeschränkten Benutzeroberfläche, die keine Grafiken anzeigen kann. Das folgende Beispiel zeigt, wie Sie die ResourceManager Hadoop-Schnittstelle mit Lynx öffnen (Lynx URLs werden auch bereitgestellt, wenn Sie sich mit) am Primärknoten anmelden. SSH 

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

Es gibt zwei verbleibende Optionen für den Zugriff auf Webschnittstellen im Primärknoten, die vollständige Browserfunktionalität bieten. Wählen Sie eine der folgenden Optionen aus:

  • Option 1 (empfohlen für technisch versierte Benutzer): Verwenden Sie einen SSH Client, um eine Verbindung zum primären Knoten herzustellen, konfigurieren Sie SSH Tunneling mit lokaler Portweiterleitung und verwenden Sie einen Internetbrowser, um Webschnittstellen zu öffnen, die auf dem primären Knoten gehostet werden. Mit dieser Methode können Sie den Zugriff auf die Weboberfläche konfigurieren, ohne einen SOCKS Proxy zu verwenden.

  • Option 2 (für neue Benutzer empfohlen): Verwenden Sie einen SSH Client, um eine Verbindung zum primären Knoten herzustellen, konfigurieren Sie SSH Tunneling mit dynamischer Portweiterleitung und konfigurieren Sie Ihren Internetbrowser so, dass er ein Add-on wie FoxyProxy für Firefox oder SwitchyOmega Chrome verwendet, um Ihre SOCKS Proxyeinstellungen zu verwalten. Mit dieser Methode können Sie automatisch URLs anhand von Textmustern filtern und die Proxyeinstellungen auf Domänen beschränken, die der Form des Namens des primären Knotens DNS entsprechen. Weitere Informationen zur Konfiguration FoxyProxy für Firefox und Google Chrome finden Sie unterOption 2, Teil 2: Proxyeinstellungen konfigurieren, um Websites anzuzeigen, die auf dem primären EMR Amazon-Cluster-Knoten gehostet werden.

Anmerkung

Wenn Sie den Port, auf dem eine Anwendung ausgeführt wird, über die Cluster-Konfiguration ändern, wird der Hyperlink zum Port in der EMR Amazon-Konsole nicht aktualisiert. Das liegt daran, dass die Konsole nicht über die Funktionalität verfügt, die Konfiguration server.port zu lesen.

Mit EMR Amazon-Version 5.25.0 oder höher können Sie von der Konsole aus auf die Benutzeroberfläche des Spark-History-Servers zugreifen, ohne einen Web-Proxy über eine SSH Verbindung einrichten zu müssen. Weitere Informationen finden Sie unter Zugriff auf den persistenten Spark History Server mit nur einem Klick.

Themen