Visualización registros en Amazon CloudWatch - Amazon Managed Workflows para Apache Airflow
PreciosAntes de empezarTipos de registroHabilitación de los registros de Apache AirflowVisualización de los registros de Apache AirflowEjemplos de registros del programadorSiguientes pasos

Visualización registros en Amazon CloudWatch

Amazon MWAA tiene la capacidad de enviar registros de Apache Airflow a Amazon CloudWatch. De esta manera, se pueden ver los registros de varios entornos desde una única ubicación para así identificar fácilmente los retrasos en las tareas o los errores en el flujo de trabajo de Apache Airflow sin necesidad de utilizar otras herramientas de terceros. Deben estar habilitados los registros de Apache Airflow en la consola de Amazon Managed Workflows para Apache Airflow para que puedan verse en CloudWatch los registros del procesamiento de DAG, las tareas, el servidor web y los procesos de trabajo de Apache Airflow.

Precios

  • Se aplican los cargos estándar de los Registros de CloudWatch. Para obtener más información, consulte los precios de CloudWatch.

Antes de empezar

Tipos de registro

Amazon MWAA crea un grupo de registro para cada opción de registro de Airflow que se habilite y envía los registros a los grupos de registros de CloudWatch asociados a los entornos. Se asigna un nombre con el formato YourEnvironmentName-LogType a los grupos de registro. Por ejemplo, si su entorno se denomina “Airflow-v202-Public”, los registros de las tareas de Apache Airflow se enviarán a Airflow-v202-Public-Task.

Tipo de registro Descripción

YourEnvironmentName-DAGProcessing

Registros del administrador del procesador de DAG (la parte del programador encargada de procesar los archivos DAG).

YourEnvironmentName-Scheduler

Registros que genera el programador de Airflow.

YourEnvironmentName-Task

Registros de las tareas que genera un DAG.

YourEnvironmentName-WebServer

Registros que genera la interfaz web de Airflow.

YourEnvironmentName-Worker

Registros que se generan como parte del flujo de trabajo y de la ejecución de los DAG.

Habilitación de los registros de Apache Airflow

Puede habilitar los registros de Apache Airflow en los niveles INFO, WARNING, ERROR o CRITICAL. A elegir un nivel de registro, Amazon MWAA envía los registros correspondientes a ese nivel y a todos los niveles de gravedad superiores. Por ejemplo, si habilita los registros en el nivel INFO, Amazon MWAA envía los registros del nivel INFO, así como los registros de los niveles WARNING, ERROR y CRITICAL a los Registros de CloudWatch.

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija Editar.

  4. Elija Siguiente.

  5. Elija una o varias de las siguientes opciones de registro:

    1. Elija el Grupo de registro del programador de Airflow en el panel de Monitorización.

    2. Elija el grupo de registro del servidor web de Airflow en el panel de monitorización.

    3. Elija el grupo de registro de los procesos de trabajo de Airflow en el panel de monitorización.

    4. Elija el grupo de registro del procesamiento de los DAG de Airflow en el panel de monitorización.

    5. Elija el grupo de registro de las tareas de Airflow en el panel monitorización.

    6. Elija el nivel de registro en el nivel de registro.

  6. Seleccione Siguiente.

  7. Seleccione Guardar.

Visualización de los registros de Apache Airflow

En la siguiente sección se describe cómo ver los registros de Apache Airflow en la consola de CloudWatch.

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija un grupo de registro en el panel de monitorización.

  4. Elija un registro en el flujo de registro.

Ejemplos de registros del programador

Consulte los registros de Apache Airflow correspondientes al programador encargado de programar sus flujos de trabajo y de analizar su carpeta de dags. En los pasos que siguen se describe cómo abrir el grupo de registro del programador en la consola de Amazon MWAA y cómo ver los registros de Apache Airflow en la consola de Registros de CloudWatch.

Pasos para ver los registros de un requirements.txt

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija el Grupo de registro del programador de Airflow en el panel de Monitorización.

  4. Seleccione el registro requirements_install_ip en los flujos de registro.

  5. Debería ver la lista de paquetes que se hayan instalado en el entorno en /usr/local/airflow/.local/bin. Por ejemplo:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Consulte la lista de paquetes y compruebe si se produjo algún error en alguno de ellos durante la instalación. Si algo ha ido mal, es posible que aparezca un error similar al siguiente:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Siguientes pasos