As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Métricas do Hadoop e do Spark no Ganglia
nota
A última versão do Amazon EMR a incluir o Ganglia foi o Amazon EMR 6.15.0. Para monitorar seu cluster, as versões superiores à 6.15.0 incluem o agente do Amazon CloudWatch.
O Ganglia informa as métricas do Hadoop para cada instância. Os vários tipos de métricas são prefixados de acordo com a categoria: sistema de arquivos distribuído (dfs.*), máquina virtual Java (jvm.*), MapReduce (mapred.*) e chamadas de procedimento remoto (rpc.*).
As métricas do Ganglia com base no YARN, como o Spark e o Hadoop, não estão disponíveis para as versões 4.4.0 e 4.5.0 do EMR. Use uma versão mais recente para usar essas métricas.
As métricas do Ganglia para o Spark geralmente têm prefixos para o ID de aplicativo do YARN e para o DAGScheduler do Spark. Portanto, os prefixos sigam este formato:
-
DAGScheduler.*
-
application_xxxxxxxxxx_xxxx.driver.*
-
application_xxxxxxxxxx_xxxx.executor.*
