Visualizar o registro contínuo para trabalhos do AWS Glue - AWS Glue

Visualizar o registro contínuo para trabalhos do AWS Glue

É possível visualizar logs em tempo real usando o console do AWS Glue ou o console do Amazon CloudWatch.

Para visualizar logs em tempo real usando o painel do console do AWS Glue

  1. Faça login no AWS Management Console e abra o console do AWS Glue em https://console.aws.amazon.com/glue/.

  2. No painel de navegação, escolha Tarefas.

  3. Adicione ou inicie uma tarefa existente. Selecione Action (Ação), Run job (Executar tarefa).

    Ao começar a executar uma tarefa, você navega até uma página que contém informações sobre a tarefa em execução:

    • A guia Logs mostra os logs do aplicativo agregados mais antigos.

    • A guia Continuous logging (Registro contínuo) mostra uma barra de progresso em tempo real quando a tarefa está sendo executada com o glueContext inicializado.

    • A guia Continuous logging (Registro contínuo) também contém os Driver logs (Logs de driver), que capturam logs de driver do Apache Spark em tempo real, além de logs de aplicativo do script registrado usando o registrador de aplicativo do AWS Glue quando a tarefa está em execução.

  4. Para tarefas mais antigas, também é possível visualizar logs em tempo real na exibição Job History (Histórico de tarefas) selecionando Logs. Essa ação leva você até o console do CloudWatch, que mostra todas as transmissões de log da barra de progresso, do executor e do driver do Spark para essa execução de trabalho.

Para visualizar logs em tempo real usando o painel do console do CloudWatch

  1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/.

  2. No painel de navegação, selecione Log.

  3. Selecione o grupo de logs /aws-glue/jobs/logs-v2/.

  4. Na caixa Filter (Filtro), cole o ID da execução da tarefa.

    É possível visualizar os logs de driver, logs de executor e a barra de progresso (se estiver usando o Standard filter (Filtro padrão)).