Exibição e monitoramento de um cluster do Amazon EMR enquanto executa trabalhos

O Amazon EMR fornece várias ferramentas que você pode usar para coletar informações sobre o cluster. Você pode acessar informações sobre o cluster a partir do console, da CLI ou de forma programática. As interfaces Web padrão do Hadoop e os arquivos de log estão disponíveis no nó primário. Você também pode usar serviços de monitoramento, como o CloudWatch e o Ganglia para rastrear a performance do cluster.

O histórico do aplicativo também está disponível no console usando as interfaces do usuário de aplicativos “persistentes” para o servidor de histórico do Spark a partir da versão Amazon EMR 5.25.0. Com o Amazon EMR 6.x, o servidor persistente de linha de tempo do YARN e as interfaces do usuário Tez também estão disponíveis. Esses serviços são hospedados fora do cluster, portanto, você pode acessar o histórico de aplicativos por 30 dias após o encerramento do cluster, sem a necessidade de uma conexão SSH ou proxy da Web. Consulte Visualizar o histórico da aplicação.