View a markdown version of this page

Monitorización de paneles y alarmas en Amazon MWAA - Amazon Managed Workflows para Apache Airflow

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Monitorización de paneles y alarmas en Amazon MWAA

La página de detalles del entorno de un entorno de Amazon Managed Workflows for Apache Airflow incluye un panel de CloudWatch métricas integrado y una tabla de alarmas ambientales. Puede utilizar estas funciones para supervisar el estado de su entorno directamente en la consola de Amazon MWAA, sin necesidad de realizar ninguna configuración adicional.

Apache Airflow muestra las métricas de varios procesos, entre ellos, la cantidad de procesos de los DAG, el tamaño de la DagBag, las tareas en curso, las que se realizaron correctamente y aquellas que tuvieron errores. Cuando crea un entorno, Apache Airflow envía automáticamente las métricas de su entorno de Amazon MWAA a. CloudWatch Además del panel integrado, puede crear paneles personalizados en Amazon CloudWatch y añadir alarmas para métricas específicas. Cuando hay una alarma en un tablero, se pone roja cuando entra en ALARM estado. Esto facilita la supervisión proactiva del estado de su entorno de Amazon MWAA.

Vea el panel de métricas

La página de detalles del entorno incluye un panel de CloudWatch métricas integrado, que se muestra en la consola, en la sección CloudWatch Métricas. Este CloudWatch panel integrado muestra gráficos de su entorno sin ninguna configuración adicional.

El panel de CloudWatch métricas de la página de detalles del entorno de Amazon MWAA muestra el conmutador de recomendaciones de alarma, el filtro de secciones métricas y ejemplos de gráficos del grupo Contenedores.

Para abrir el conjunto completo de métricas en la CloudWatch consola, seleccione Ver todo en. CloudWatch

El panel muestra las métricas de los dos CloudWatch espacios de nombres siguientes:

  • AmazonMWAA— Métricas de Apache Airflow.

  • AWS/MWAA— Métricas de contenedores, colas y bases de datos.

Puede usar los siguientes controles para cambiar lo que muestra el panel:

  • Activa la opción de recomendaciones de alarma para mostrar solo las métricas recomendadas. Al activar esta opción, cada gráfico dibuja su umbral de alarma en forma de anotación. La anotación dice Alarmas si está metric por encima o Alarmas si está metric por debajo, según la métrica.

  • Utilice el filtro de secciones métricas para mostrar solo los gráficos de un grupo específico. Los grupos disponibles son Contenedores, Base de datos y cola, Planificador, Procesamiento de DAG , Tareas y Activador.

nota

Si configuras un entorno para filtrar las métricas de Apache Airflow que publica mediante las opciones de lista de métricas permitidas o bloqueadas, es posible que algunos gráficos no contengan datos.

nota

Para ver el panel de métricas, tu identidad de IAM debe tener permiso para leer CloudWatch las métricas, incluidas cloudwatch:GetMetricDatacloudwatch:GetMetricStatistics, y. cloudwatch:ListMetrics Sin estos permisos, los gráficos se muestran sin datos.

Para ver la lista completa de las métricas que publica Amazon MWAA, consulte. Las métricas del entorno Apache Airflow en CloudWatch

Las métricas se muestran en el panel de control

El panel organiza los gráficos en seis secciones que puedes filtrar con secciones métricas. Muestra un conjunto de métricas seleccionadas para todo el entorno; los gráficos provienen del espacio de AmazonMWAA nombres (métricas de Apache Airflow) y del espacio de AWS/MWAA nombres (métricas de contenedores, colas y bases de datos). La siguiente tabla muestra los gráficos de cada sección y las métricas que muestra cada una de ellas. CloudWatch

Los gráficos del panel y sus métricas
Sección Gráfico CloudWatch métricas
Contenedores Utilización de la CPU del planificador CPUUtilization
Contenedores Utilización de la memoria del programador MemoryUtilization
Contenedores Utilización de la CPU del trabajador CPUUtilization(BaseWorker y AdditionalWorker)
Contenedores Utilización de la memoria de trabajo MemoryUtilization(BaseWorker y AdditionalWorker)
Contenedores Utilización de la CPU del servidor web CPUUtilization
Contenedores Utilización de la memoria del servidor web MemoryUtilization
Contenedores Contenedores de trabajo en ejecución Derivado del recuento CPUUtilization de muestras
Contenedores Latido del trabajador CeleryWorkerHeartbeat
Base de datos y cola Memoria liberable de la base de datos FreeableMemory
Base de datos y cola Uso de la CPU de la base CPUUtilization
Base de datos y cola Conexiones a base de datos DatabaseConnections
Base de datos y cola Latencia de escritura en la base WriteLatency
Base de datos y cola Edad más antigua de las tareas en cola ApproximateAgeOfOldestTask
Programador Latido del programador SchedulerHeartbeat
Programador Duración de la sección crítica del planificador CriticalSectionDuration
Programador Estados de las tareas del programador TasksExecutable, TasksStarving, TasksWithoutDagRun
Programador Tareas eliminadas externamente TasksKilledExternally
Programador El ejecutor abre espacios OpenSlots
Procesamiento de DAG Tiempo de análisis de DAG TotalParseTime
Procesamiento de DAG Tamaño de bolsa DAG DagBagSize
Procesamiento de DAG Errores de importación de DAG ImportErrors, DAGFileRefreshError
Procesamiento de DAG Estado del procesador DAG ProcessorTimeouts, ManagerStalls
Tareas Cola de tareas QueuedTasks, RunningTasks
Tareas Éxitos y fracasos de las tareas TaskInstanceSuccesses, TaskInstanceFailures
Tareas Tareas zombis eliminadas ZombiesKilled
Desencadenador Latido cardíaco desencadenante TriggererHeartbeat
Desencadenante Resultados desencadenantes TriggersSucceeded, TriggersFailed
nota

Los gráficos de Triggerer aparecen solo en las versiones más recientes de Apache Airflow. Trigger Outcomes requiere Apache Airflow v2.7.2 o posterior, y Triggerer heartbeat requiere la v2.8.1 o posterior.

El panel muestra las métricas agregadas de todo el entorno. No muestra las métricas de alta cardinalidad que Apache Airflow publica por DAG, tarea, grupo, operador o archivo DAG, y muestra la CPU y la memoria de los contenedores, pero no todas las métricas de los contenedores. Para ver la lista completa de las métricas publicadas, consulte y. Las métricas del entorno Apache Airflow en CloudWatch Métricas de contenedores, colas y bases de datos para Amazon MWAA

Cree y supervise alarmas

La página de detalles del entorno incluye un panel de alarmas en el que puede crear y gestionar las alarmas y CloudWatch, a continuación, supervisarlas en contexto. El panel muestra una tabla de alarmas ambientales que enumera las CloudWatch alarmas atribuidas al entorno. Amazon MWAA compara estas alarmas según el espacio de CloudWatch nombres y la Environment dimensión, por lo que la tabla incluye las alarmas que usted mismo crea, no solo las alarmas recomendadas.

El panel Alarmas de la página de detalles del entorno de Amazon MWAA muestra los CloudWatch botones Crear alarmas recomendadas y Administrar dentro situados encima de la tabla de alarmas ambientales.

El encabezado del panel muestra un recuento de alarmas que indica cuántas de las alarmas del entorno se encuentran actualmente en estado. ALARM La tabla de alarmas ambientales tiene las siguientes columnas.

Name Status Condición Action Última actualización
El nombre de la alarma, que enlaza con la alarma en la CloudWatch consola. El estado de la alarma: En estado de alarma, correcto o con datos insuficientes. El estado de la alarma, que se muestra igual que los n puntos de datos que contiene. duration La acción de la alarma, como el tema Notificar a SNS topic, o si la alarma no tiene ninguna acción. La fecha y la hora en que se actualizó la alarma por última vez.
nota

Para ver las alarmas de esta tabla, debe tener el cloudwatch:DescribeAlarms permiso.

Si el entorno no tiene alarmas, la tabla de alarmas ambientales está vacía y proporciona instrucciones para crear las alarmas recomendadas para empezar a monitorear su entorno.

El panel Alarmas incluye los dos botones siguientes:

  • Crear alarmas recomendadas: abre una pila de CloudFormation creación rápida en una pestaña nueva. La pila recibe un nombre MWAA-alarms-environment-name y crea un conjunto estándar de alarmas recomendadas para el entorno.

  • Administrar CloudWatch: abre la página de alarmas en la CloudWatch consola.

Para crear las alarmas recomendadas
  1. Abra la consola de Amazon MWAA y, a continuación, seleccione su entorno para abrir su página de detalles.

  2. En la vista de monitoreo, localice el panel Alarmas.

  3. Elija Crear alarmas recomendadas. La pila CloudFormation de creación rápida se abre en una nueva pestaña del navegador.

  4. Revisa la pila en la CloudFormation consola. Si se le solicita, seleccione la confirmación que CloudFormation podría crear recursos de IAM.

  5. Seleccione Creación de pila.

Tras CloudFormation crear la pila, las alarmas aparecen en la tabla de alarmas ambientales y en la CloudWatch consola. Para obtener más información sobre lo que significa cada estado de alarma, consulteInformación general sobre los estados de las alarmas.

Al elegir Crear alarmas recomendadas, la CloudFormation plantilla crea las siguientes alarmas. CloudWatch evalúa todas estas alarmas en períodos de 5 minutos (300 segundos).

Información general sobre los estados de las alarmas

Una alarma de métrica tiene los siguientes estados posibles:

  • OK: la métrica o expresión está dentro del umbral definido.

  • ALARM: la métrica o expresión está fuera del umbral definido.

  • INSUFFICIENT_DATA: la alarma acaba de iniciarse, la métrica no está disponible o no hay suficientes datos disponibles en la métrica para determinar el estado de la alarma.

Ejemplos de paneles y alarmas personalizados

Puede definir sus propios paneles y alarmas como infraestructura o código para crear paneles personalizados mediante programación o para estandarizar la supervisión en varios entornos de Amazon MWAA. Como alternativa al panel integrado en la página de detalles del entorno, el tutorial y CloudFormation la plantilla siguientes crean un panel de supervisión personalizado. Este panel muestra gráficos de las métricas seleccionadas para su entorno de Amazon MWAA.

Acerca de las métricas

En la siguiente lista se describen cada una de las métricas que se han creado en el panel personalizado mediante el tutorial y las plantillas de esta sección.

  • QueuedTasks- El número de tareas en estado de cola. Se corresponde con la métrica executor.queued_tasks de Apache Airflow.

  • TasksPending- El número de tareas pendientes en el ejecutor. Se corresponde con la métrica scheduler.tasks.pending de Apache Airflow.

    nota

    No se aplica a Apache Airflow v2.2 ni versiones posteriores.

  • RunningTasks- El número de tareas que se están ejecutando en el ejecutor. Se corresponde con la métrica executor.running_tasks de Apache Airflow.

  • SchedulerHeartbeat- El número de comprobaciones que Apache Airflow realiza en el trabajo del planificador. Se corresponde con la métrica scheduler_heartbeat de Apache Airflow.

  • TotalParseTime- El número de segundos que se tarda en escanear e importar todos los archivos DAG una vez. Se corresponde con la métrica dag_processing.total_parse_time de Apache Airflow.

Acerca del panel

En la siguiente imagen, se muestra el panel de monitorización que se ha creado al definir el tutorial y la plantilla de esta sección.

En la imagen, se muestra dónde se encuentra la opción de red privada en la consola de Amazon MWAA.

Utilización AWS Tutoriales de

Puede utilizar el siguiente AWS tutorial para crear automáticamente un panel de estado para cualquier entorno de Amazon MWAA que esté implementado actualmente. También crea CloudWatch alarmas para los trabajadores en mal estado y los programadores que no funcionan correctamente en todos los entornos de Amazon MWAA.

Utilización CloudFormation

Puede usar la definición de CloudFormation plantilla de esta sección para crear un panel de supervisión y, a continuación CloudWatch, añadir alarmas a la CloudWatch consola para recibir notificaciones cuando una métrica supere un umbral determinado. Para crear la pila con esta definición de plantilla, consulte Cómo crear una pila en la CloudFormation consola. Para agregar una alarma al panel, consulte cómo usar las alarmas.

AWSTemplateFormatVersion: "2010-09-09" Description: Creates MWAA Cloudwatch Dashboard Parameters: DashboardName: Description: Enter the name of the CloudWatch Dashboard Type: String EnvironmentName: Description: Enter the name of the MWAA Environment Type: String Resources: BasicDashboard: Type: AWS::CloudWatch::Dashboard Properties: DashboardName: !Ref DashboardName DashboardBody: Fn::Sub: '{ "widgets": [ { "type": "metric", "x": 0, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "QueuedTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "QueuedTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "RunningTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "RunningTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "SchedulerHeartbeat", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "SchedulerHeartbeat ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "TasksPending", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "TasksPending ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 12, "width": 24, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "region": "${AWS::Region}", "metrics": [ [ "AmazonMWAA", "TotalParseTime", "Function", "DAG Processing", "Environment", "${EnvironmentName}" ] ], "title": "TotalParseTime ${EnvironmentName}", "period": 300 } } ] }'

Eliminación de métricas y paneles

Si elimina un entorno de Amazon MWAA, también se elimina el panel correspondiente. CloudWatch las métricas se almacenan durante quince (15) meses y no se pueden eliminar. La CloudWatch consola limita la búsqueda de métricas a dos (2) semanas después de la última ingesta de una métrica para garantizar que se muestren las instancias más actualizadas de su entorno de Amazon MWAA. Para obtener más información, consulte las preguntas frecuentes de Amazon. CloudWatch

Siguientes pasos