Einen Amazon EMR-Cluster bei der Ausführung seiner Arbeit anzeigen und überwachen

Amazon EMR bietet mehrere Tools, die Sie verwenden können, um Informationen über Ihren Cluster zu sammeln. Sie können Informationen zum Cluster über die Konsole, die Befehlszeilenschnittstelle (CLI) oder programmgesteuert abrufen. Die Standard-Hadoop-Webschnittstellen und Protokolldateien sind auf dem Primärknoten verfügbar. Sie können auch Überwachungsdienste wie CloudWatch Ganglia verwenden, um die Leistung Ihres Clusters zu verfolgen.

Der Anwendungsverlauf ist ab Amazon EMR 5.25.0 auch über die Konsole mit der „persistenten“ Anwendung UIs für Spark History Server verfügbar. Mit Amazon EMR 6.x sind auch persistente YARN Timeline Server und Tez-Benutzeroberflächen verfügbar. Diese Dienste werden außerhalb des Clusters gehostet, sodass Sie nach Beendigung des Clusters 30 Tage lang auf den Anwendungsverlauf zugreifen können, ohne dass eine SSH-Verbindung oder ein Web-Proxy erforderlich ist. Weitere Information unter Anwendungsverlauf anzeigen