Visualizando registros de fluxo de ar na Amazon CloudWatch - Amazon Managed Workflows for Apache Airflow
PreçosAntes de começarTipos de logComo habilitar registros do Apache AirflowComo visualizar logs do Apache AirflowExemplos de logs do agendadorPróximas etapas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Visualizando registros de fluxo de ar na Amazon CloudWatch

A Amazon MWAA pode enviar registros do Apache Airflow para a Amazon. CloudWatch É possível visualizar logs de vários ambientes em um único local para facilmente identificar atrasos nas tarefas do Apache Airflow ou erros no fluxo de trabalho sem a necessidade de outras ferramentas de terceiros. Os registros do Apache Airflow precisam estar habilitados no console Amazon Managed Workflows for Apache Airflow para visualizar o DAG processamento, as tarefas, o servidor Web e os logins do Worker do Apache Airflow. CloudWatch

Preços

Antes de começar

Tipos de log

MWAAA Amazon cria um grupo de registros para cada opção de registro do Airflow que você habilita e envia os registros para os grupos de CloudWatch registros associados a um ambiente. O grupo de logs é nomeado no seguinte formato: YourEnvironmentName-LogType. Por exemplo, se seu ambiente foi nomeado como Airflow-v202-Public, os logs de tarefas do Apache Airflow serão enviados para Airflow-v202-Public-Task.

Tipo de log Descrição

YourEnvironmentName-DAGProcessing

Os registros do gerenciador do DAG processador (a parte do agendador que processa os DAG arquivos).

YourEnvironmentName-Scheduler

Os logs gerados pelo agendador do Airflow.

YourEnvironmentName-Task

Os registros de tarefas que são DAG gerados.

YourEnvironmentName-WebServer

Os logs gerados pela interface web do Airflow.

YourEnvironmentName-Worker

Os registros gerados como parte do fluxo de trabalho e da DAG execução.

Como habilitar registros do Apache Airflow

Você pode ativar os logs do Apache Airflow no nível INFO, WARNING, ERROR e CRITICAL. Quando você escolhe um nível de registro, a Amazon MWAA envia registros desse nível e de todos os níveis mais altos de severidade. Por exemplo, se você habilitar registros no INFO nível, a Amazon MWAA enviará INFO registros e WARNINGERROR, e níveis de CRITICAL log para CloudWatch Logs.

  1. Abra a página Ambientes no MWAA console da Amazon.

  2. Escolha um ambiente.

  3. Selecione Editar.

  4. Escolha Próximo.

  5. Escolha uma ou mais das seguintes opções de registro em log:

    1. Escolha grupo de logs de agendador do Airflow no painel Monitoramento.

    2. Escolha Grupo de logs do servidor web no Airflow no painel Monitoramento.

    3. Escolha Grupo de logs do operador no Airflow no painel Monitoramento.

    4. Escolha o grupo de registros de DAG processamento de fluxo de ar no painel Monitoramento.

    5. Escolha Grupo de logs de tarefa no Airflow no painel Monitoramento.

    6. Escolha o nível de registro em log em Nível de log.

  6. Escolha Próximo.

  7. Escolha Salvar.

Como visualizar logs do Apache Airflow

A seção a seguir descreve como visualizar os registros do Apache Airflow no CloudWatch console.

  1. Abra a página Ambientes no MWAA console da Amazon.

  2. Escolha um ambiente.

  3. Escolha um grupo de logs no painel Monitoramento.

  4. Escolha um log em Fluxo de logs.

Exemplos de logs do agendador

Você pode visualizar os registros do Apache Airflow para o Agendador ao agendar seus fluxos de trabalho e analisar sua pasta dags. As etapas a seguir descrevem como abrir o grupo de registros do Scheduler no MWAA console da Amazon e visualizar os registros do Apache Airflow no CloudWatch console Logs.

Para visualizar os logs de um requirements.txt

  1. Abra a página Ambientes no MWAA console da Amazon.

  2. Escolha um ambiente.

  3. Escolha grupo de logs de agendador do Airflow no painel Monitoramento.

  4. Escolha o log requirements_install_ip em Fluxos de logs.

  5. Você deve ver a lista de pacotes que foram instalados no ambiente em /usr/local/airflow/.local/bin. Por exemplo:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Analise a lista de pacotes e verifique se algum deles encontrou algum erro durante a instalação. Se algo der errado, é possível ver um erro semelhante ao seguinte:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Próximas etapas