Einen EMR Amazon-Cluster bei der Ausführung seiner Arbeit anzeigen und überwachen

Amazon EMR bietet mehrere Tools, mit denen Sie Informationen über Ihren Cluster sammeln können. Sie können über die Konsole, die CLI oder programmgesteuert auf Informationen über den Cluster zugreifen. Die Standard-Hadoop-Webschnittstellen und Protokolldateien sind auf dem Primärknoten verfügbar. Sie können auch Überwachungsdienste wie CloudWatch Ganglia verwenden, um die Leistung Ihres Clusters zu verfolgen.

Der Anwendungsverlauf ist ab Amazon EMR 5.25.0 auch über die Konsole mit der „persistenten“ Anwendung UIs für Spark History Server verfügbar. Mit Amazon EMR 6.x sind auch persistente YARN Timeline-Server- und Tez-Benutzeroberflächen verfügbar. Diese Dienste werden außerhalb des Clusters gehostet, sodass Sie nach Beendigung des Clusters noch 30 Tage lang auf den Anwendungsverlauf zugreifen können, ohne dass eine SSH Verbindung oder ein Webproxy erforderlich ist. Weitere Information unter Anwendungsverlauf anzeigen