Registro contínuo para trabalhos do AWS Glue - AWS Glue

Registro contínuo para trabalhos do AWS Glue

O AWS Glue fornece o registro contínuo e em tempo real para tarefas do AWS Glue. É possível visualizar logs de trabalhos do Apache Spark em tempo real no Amazon CloudWatch, incluindo logs de driver, logs de executor e uma barra de progresso de trabalhos do Apache Spark. A visualização de logs em tempo real fornece uma perspectiva melhor sobre a execução da tarefa.

Quando você inicia um trabalho do AWS Glue, ele envia as informações de registro em tempo real para o CloudWatch (a cada cinco segundos e antes de cada término do executor) depois que a aplicação do Spark começa a ser executada. É possível visualizar os logs no console do AWS Glue ou no painel do console do CloudWatch.

O recurso de registro contínuo inclui os seguintes recursos:

  • Registro em log contínuo

  • Um registrador de script personalizado para registar em log mensagens específicas do aplicativo

  • Uma barra de progresso do console para rastrear o status da execução da tarefa atual do AWS Glue

Para obter informações sobre como o registro em log contínuo é suportado no AWS Glue versão 2.0, consulte Executar trabalhos de ETL do Spark com tempos de inicialização reduzidos.

Você pode restringir o acesso a grupos de log do CloudWatch ou transmissões para funções do IAM para ler os logs. Para obter mais detalhes sobre como restringir o acesso, consulte Uso de políticas baseadas em identidade (políticas do IAM) para o CloudWatch Logs na documentação do CloudWatch.

nota

Você pode incorrer em cobranças adicionais ao habilitar que o registro contínuo e os eventos de log adicionais do CloudWatch sejam criados. Para obter mais informações, consulte Preço do Amazon CloudWatch.

Tópicos