As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Exibição dos arquivos de log do Amazon EMR
Tanto o Amazon EMR como o Hadoop produzem arquivos de log que informam o status no cluster. Por padrão, esses são gravados no nó primário, no diretório /mnt/var/log/. Dependendo de como você configurou seu cluster quando o executou, esses logs também podem ser arquivados no Amazon S3 e podem ser visualizados na ferramenta de depuração gráfica.
Há muitos tipos de logs gravados no nó primário. O Amazon EMR grava logs de etapa, ação de bootstrap e estado de instâncias. O Apache Hadoop grava logs para informar o processamento de trabalhos, tarefas e tentativas de tarefas. O Hadoop também registra logs de seus daemons. Para obter mais informações sobre os registros escritos pelo Hadoop, acesse http://hadoop.apache. org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html
Visualizar arquivos de log no nó primário
A tabela a seguir lista alguns dos arquivos de log que você encontrará no nó primário.
| Local | Descrição |
|---|---|
|
/emr/instance-controller/log/bootstrap-ações |
Logs gravados durante o processamento das ações de bootstrap. |
|
/mnt/var/log/hadoop-state pusher |
Logs gravados pelo processo de agente de envio de estado do Hadoop. |
|
/emr/instance-controller/log |
Logs do controlador de instâncias. |
|
/emr/instance-state |
Logs de estado de instância. Contém informações sobre a CPU, o estado da memória e os threads de coletor de lixo do nó. |
|
/emr/service-nanny |
Logs gravados pelo processo nanny de serviço. |
|
/mnt/var/log/ |
Logs específicos de um aplicativo, como o Hadoop, o Spark ou o Hive. |
|
/mnt/var/log/hadoop/steps/ |
Logs de etapa que contêm informações sobre o processamento da etapa. O valor de Os logs de etapas escritos pelo Amazon EMR estão apresentados a seguir.
|
Para visualizar arquivos de log no nó primário usando a AWS CLI.
-
Use o SSH para conectar-se ao nó primário, conforme descrito em Como se conectar ao nó primário do cluster do Amazon EMR usando SSH.
-
Navegue até o diretório que contém as informações do arquivo de log que você deseja visualizar. A tabela anterior fornece uma lista dos tipos de arquivos de log que estão disponíveis e onde você os encontrará. O exemplo a seguir mostra o comando para navegar até o log de etapas com um ID
s-1234ABCDEFGH.cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ -
Use um visualizador de arquivos de sua preferência para visualizar o arquivo de log. O exemplo a seguir usa o comando
lessdo Linux para visualizar o arquivo de logcontroller.less controller
Visualizar arquivos de log arquivados no Amazon S3
Por padrão, os clusters do Amazon EMR iniciados com o uso do console arquivam automaticamente os arquivos de log no Amazon S3. Você pode especificar seu próprio caminho de log ou pode permitir que o console gere automaticamente um caminho de log para você. Para clusters iniciados com o uso da CLI ou da API, você deve configurar o arquivamento de log do Amazon S3 manualmente.
Quando o Amazon EMR é configurado para arquivar arquivos de log no Amazon S3, ele armazena os arquivos no local do S3 que você especificou, na pastacluster-id//, cluster-id onde está o ID do cluster.
A tabela a seguir lista alguns dos arquivos de log que você encontrará no Amazon S3.
| Local | Descrição |
|---|---|
|
/ |
Logs de nós, incluindo logs de ações de bootstrap, estado da instância e aplicativo para o nó. Os registros de cada nó são armazenados em uma pasta rotulada com o identificador da EC2 instância desse nó. |
|
/ |
Os logs criados por cada aplicativo ou daemon associado a um aplicativo. Por exemplo, o log do servidor Hive está localizado em |
|
/ |
Logs de etapa que contêm informações sobre o processamento da etapa. O valor de Os logs de etapas escritos pelo Amazon EMR estão apresentados a seguir.
|
|
/ |
Logs de contêiner de aplicativo. Os logs para cada aplicativo YARN são armazenados nesses locais. |
|
/ |
Os registros que contêm informações sobre detalhes de configuração e histórico de MapReduce trabalhos. |
Visualizar os arquivos de log arquivados no Amazon S3 usando o console do Amazon S3
-
Faça login no AWS Management Console e abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/
-
Abra o bucket do S3 especificado quando você configurou o cluster para arquivar arquivos de log no Amazon S3.
-
Navegue até o arquivo de log que contém as informações a serem exibidas. A tabela anterior fornece uma lista dos tipos de arquivos de log que estão disponíveis e onde você os encontrará.
-
Baixe o objeto do arquivo de log para visualizá-lo. Para obter instruções, consulte Fazer download de um objeto.
