Localizar logs de erro - AWS Data Pipeline
Logs de pipelineLogs de trabalho do Hadoop e Amazon EMR

AWS Data Pipeline não está mais disponível para novos clientes. Os clientes existentes do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Localizar logs de erro

Esta seção explica como encontrar os vários registros que AWS Data Pipeline gravam, que você pode usar para determinar a origem de certas falhas e erros.

Logs de pipeline

Recomendamos que você configure os pipelines para criar arquivos de log em um local persistente, como no exemplo a seguir, em que você usa o campo pipelineLogUri em um objeto Default do pipeline para fazer com que todos os componentes usem um local do log do Amazon S3 por padrão (você pode substituir isso configurando um local do log em um componente específico do pipeline).

nota

O Task Runner armazena seus logs em um local diferente, por padrão, que pode estar indisponível quando o pipeline é concluído e a instância que executa o Task Runner é encerrada. Para obter mais informações, consulte Verificando o registro do Task Runner.

Para configurar a localização do log usando a AWS Data Pipeline CLI em um arquivo JSON de pipeline, comece seu arquivo de pipeline com o seguinte texto:

{ "objects": [
{
  "id":"Default",
  "pipelineLogUri":"s3://mys3bucket/error_logs"
},
...

Depois de configurar um diretório de log de pipeline, o Task Runner cria uma cópia dos logs em seu diretório, com a mesma formatação e nomes de arquivos descritos na seção anterior sobre logs do Task Runner.

Logs de trabalho do Hadoop e Amazon EMR

Com qualquer atividade baseada no HadoopHadoopActivity, como,HiveActivity, ou PigActivity você pode visualizar os registros de tarefas do Hadoop no local retornado no slot de tempo de execução,. hadoopJobLog EmrActivitytem seus próprios recursos de registro e esses registros são armazenados usando o local escolhido pelo Amazon EMR e retornados pelo slot de tempo de execução,. emrStepLog Para obter mais informações, consulte Visualizar arquivos de log no Guia do Desenvolvedor do Amazon EMR.