Identificar o cluster do Amazon EMR que serve seu pipeline - AWS Data Pipeline

AWS Data Pipeline não está mais disponível para novos clientes. Os clientes existentes do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Identificar o cluster do Amazon EMR que serve seu pipeline

Se um EMRCluster ou EMRActivity falhar e as informações de erro fornecidas pelo AWS Data Pipeline console não estiverem claras, você poderá identificar o cluster do Amazon EMR que atende ao seu pipeline usando o console do Amazon EMR. Isso ajuda você a localizar os logs que o Amazon EMR fornece para obter mais detalhes sobre os erros que ocorrem.

Para obter informações de erro mais detalhadas do Amazon EMR

  1. No AWS Data Pipeline console, selecione o triângulo ao lado da instância do pipeline para expandir os detalhes da instância.

  2. Escolha View execution details e, em seguida, o triângulo ao lado do componente.

  3. Na coluna Details, escolha More.... A tela de informações é aberta listando os detalhes do componente. Localize e copie o valor instanceParent da tela, como: @EmrActivityId_xiFDD_2017-09-30T21:40:13

  4. Navegue até o console do Amazon EMR e pesquise um cluster com o valor correspondente instanceParent em seu nome e selecione Depurar.

    nota

    Para que o botão Debug funcione, sua definição de pipeline deve ter definido a EmrActivity enableDebugging opção como true e a EmrLogUri opção como um caminho válido.

  5. Agora que você sabe qual cluster do Amazon EMR contém o erro que gera a falha do pipeline, siga as Dicas de solução de problemas no Guia do desenvolvedor do Amazon EMR.