AWS Data Pipeline não está mais disponível para novos clientes. Os clientes existentes do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Localizar logs de erro
Esta seção explica como encontrar os vários logs que o AWS Data Pipeline grava, que você pode usar para determinar a origem de determinadas falhas e erros.
Logs de pipeline
Recomendamos que você configure os pipelines para criar arquivos de log em um local persistente, como no exemplo a seguir, em que você usa o campo pipelineLogUri em um objeto Default do pipeline para fazer com que todos os componentes usem um local do log do Amazon S3 por padrão (você pode substituir isso configurando um local do log em um componente específico do pipeline).
nota
O Task Runner armazena seus logs em um local diferente, por padrão, que pode estar indisponível quando o pipeline é concluído e a instância que executa o Task Runner é encerrada. Para obter mais informações, consulte Verificando o registro do Task Runner.
Para configurar a localização do log usando a CLI do AWS Data Pipeline em um arquivo JSON do pipeline, comece o arquivo do pipeline com o seguinte texto:
{ "objects": [ { "id":"Default", "pipelineLogUri":"s3://mys3bucket/error_logs" }, ...
Depois de configurar um diretório de log de pipeline, o Task Runner cria uma cópia dos logs em seu diretório, com a mesma formatação e nomes de arquivos descritos na seção anterior sobre logs do Task Runner.
Logs de trabalho do Hadoop e Amazon EMR
Com qualquer atividade baseada em Hadoop, como HadoopActivity, HiveActivity ou PigActivity, você pode visualizar logs de trabalho do Hadoop no local retornados no slot de runtime, hadoopJobLog. O EmrActivity tem seus próprios recursos de log, e os logs são armazenados usando o local escolhido pelo Amazon EMR e retornados pelo slot de runtime, emrStepLog. Para obter mais informações, consulte Visualizar arquivos de log no Guia do Desenvolvedor do Amazon EMR.
