As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Exibir arquivos de EMR log da Amazon
Tanto a Amazon EMR quanto o Hadoop produzem arquivos de log que relatam o status no cluster. Por padrão, esses são gravados no nó primário, no diretório /mnt/var/log/. Dependendo de como você configurou seu cluster quando o executou, esses logs também podem ser arquivados no Amazon S3 e podem ser visualizados na ferramenta de depuração gráfica.
Há muitos tipos de logs gravados no nó primário. A Amazon EMR grava registros de etapas, ações de bootstrap e estados da instância. O Apache Hadoop grava logs para informar o processamento de trabalhos, tarefas e tentativas de tarefas. O Hadoop também registra logs de seus daemons. Para obter mais informações sobre os registros escritos pelo Hadoop, acesse http://hadoop.apache. org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html
Visualizar arquivos de log no nó primário
A tabela a seguir lista alguns dos arquivos de log que você encontrará no nó primário.
| Local | Descrição |
|---|---|
|
/emr/instance-controller/log/bootstrap-ações |
Logs gravados durante o processamento das ações de bootstrap. |
|
/mnt/var/log/hadoop-state pusher |
Logs gravados pelo processo de agente de envio de estado do Hadoop. |
|
/emr/instance-controller/log |
Logs do controlador de instâncias. |
|
/emr/instance-state |
Logs de estado de instância. Eles contêm informações sobre o CPU estado da memória e os segmentos do coletor de lixo do nó. |
|
/emr/service-nanny |
Logs gravados pelo processo nanny de serviço. |
|
/mnt/var/log/ |
Logs específicos de um aplicativo, como o Hadoop, o Spark ou o Hive. |
|
/mnt/var/log/hadoop/steps/ |
Logs de etapa que contêm informações sobre o processamento da etapa. O valor de Os registros de etapas escritos pela Amazon EMR são os seguintes.
|
Para visualizar arquivos de log no nó primário usando a AWS CLI.
-
Use SSH para se conectar ao nó primário conforme descrito emConecte-se ao nó primário EMR do cluster Amazon usando SSH.
-
Navegue até o diretório que contém as informações do arquivo de log que você deseja visualizar. A tabela anterior fornece uma lista dos tipos de arquivos de log que estão disponíveis e onde você os encontrará. O exemplo a seguir mostra o comando para navegar até o log de etapas com um ID
s-1234ABCDEFGH.cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ -
Use um visualizador de arquivos de sua preferência para visualizar o arquivo de log. O exemplo a seguir usa o comando
lessdo Linux para visualizar o arquivo de logcontroller.less controller
Visualizar arquivos de log arquivados no Amazon S3
Por padrão, os EMR clusters da Amazon lançados usando o console arquivam automaticamente os arquivos de log no Amazon S3. Você pode especificar seu próprio caminho de log ou pode permitir que o console gere automaticamente um caminho de log para você. Para clusters lançados usando o CLI ouAPI, você deve configurar o arquivamento de logs do Amazon S3 manualmente.
Quando a Amazon EMR está configurada para arquivar arquivos de log no Amazon S3, ela armazena os arquivos no local do S3 que você especificou, no/cluster-id/pasta, onde cluster-id é o ID do cluster.
A tabela a seguir lista alguns dos arquivos de log que você encontrará no Amazon S3.
| Local | Descrição |
|---|---|
|
/ |
Logs de nós, incluindo logs de ações de bootstrap, estado da instância e aplicativo para o nó. Os registros de cada nó são armazenados em uma pasta rotulada com o identificador da EC2 instância desse nó. |
|
/ |
Os logs criados por cada aplicativo ou daemon associado a um aplicativo. Por exemplo, o log do servidor Hive está localizado em |
|
/ |
Logs de etapa que contêm informações sobre o processamento da etapa. O valor de Os registros de etapas escritos pela Amazon EMR são os seguintes.
|
|
/ |
Logs de contêiner de aplicativo. Os registros de cada YARN aplicativo são armazenados nesses locais. |
|
/ |
Os registros que contêm informações sobre detalhes de configuração e histórico de MapReduce trabalhos. |
Visualizar os arquivos de log arquivados no Amazon S3 usando o console do Amazon S3
-
Faça login no AWS Management Console e abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/
-
Abra o bucket do S3 especificado quando você configurou o cluster para arquivar arquivos de log no Amazon S3.
-
Navegue até o arquivo de log que contém as informações a serem exibidas. A tabela anterior fornece uma lista dos tipos de arquivos de log que estão disponíveis e onde você os encontrará.
-
Baixe o objeto do arquivo de log para visualizá-lo. Para obter instruções, consulte Fazer download de um objeto.
