Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Monitorización de paneles y alarmas en Amazon MWAA
La página de detalles del entorno de un entorno de Amazon Managed Workflows for Apache Airflow incluye un panel de CloudWatch métricas integrado y una tabla de alarmas ambientales. Puede utilizar estas funciones para supervisar el estado de su entorno directamente en la consola de Amazon MWAA, sin necesidad de realizar ninguna configuración adicional.
Apache Airflow muestra las métricas de varios procesos, entre ellos, la cantidad de procesos de los DAG, el tamaño de la DagBag, las tareas en curso, las que se realizaron correctamente y aquellas que tuvieron errores. Cuando crea un entorno, Apache Airflow envía automáticamente las métricas de su entorno de Amazon MWAA a. CloudWatch Además del panel integrado, puede crear paneles personalizados en Amazon CloudWatch y añadir alarmas para métricas específicas. Cuando hay una alarma en un tablero, se pone roja cuando entra en ALARM estado. Esto facilita la supervisión proactiva del estado de su entorno de Amazon MWAA.
Contenido
Vea el panel de métricas
La página de detalles del entorno incluye un panel de CloudWatch métricas integrado, que se muestra en la consola, en la sección CloudWatch Métricas. Este CloudWatch panel integrado muestra gráficos de su entorno sin ninguna configuración adicional.
Para abrir el conjunto completo de métricas en la CloudWatch consola, seleccione Ver todo en. CloudWatch
El panel muestra las métricas de los dos CloudWatch espacios de nombres siguientes:
-
AmazonMWAA— Métricas de Apache Airflow. -
AWS/MWAA— Métricas de contenedores, colas y bases de datos.
Puede usar los siguientes controles para cambiar lo que muestra el panel:
-
Activa la opción de recomendaciones de alarma para mostrar solo las métricas recomendadas. Al activar esta opción, cada gráfico dibuja su umbral de alarma en forma de anotación. La anotación dice Alarmas si está
metricpor encima o Alarmas si estámetricpor debajo, según la métrica. -
Utilice el filtro de secciones métricas para mostrar solo los gráficos de un grupo específico. Los grupos disponibles son Contenedores, Base de datos y cola, Planificador, Procesamiento de DAG , Tareas y Activador.
nota
Si configuras un entorno para filtrar las métricas de Apache Airflow que publica mediante las opciones de lista de métricas permitidas o bloqueadas, es posible que algunos gráficos no contengan datos.
nota
Para ver el panel de métricas, tu identidad de IAM debe tener permiso para leer CloudWatch las métricas, incluidas cloudwatch:GetMetricDatacloudwatch:GetMetricStatistics, y. cloudwatch:ListMetrics Sin estos permisos, los gráficos se muestran sin datos.
Para ver la lista completa de las métricas que publica Amazon MWAA, consulte. Las métricas del entorno Apache Airflow en CloudWatch
Las métricas se muestran en el panel de control
El panel organiza los gráficos en seis secciones que puedes filtrar con secciones métricas. Muestra un conjunto de métricas seleccionadas para todo el entorno; los gráficos provienen del espacio de AmazonMWAA nombres (métricas de Apache Airflow) y del espacio de AWS/MWAA nombres (métricas de contenedores, colas y bases de datos). La siguiente tabla muestra los gráficos de cada sección y las métricas que muestra cada una de ellas. CloudWatch
| Sección | Gráfico | CloudWatch métricas |
|---|---|---|
| Contenedores | Utilización de la CPU del planificador | CPUUtilization |
| Contenedores | Utilización de la memoria del programador | MemoryUtilization |
| Contenedores | Utilización de la CPU del trabajador | CPUUtilization(BaseWorker y AdditionalWorker) |
| Contenedores | Utilización de la memoria de trabajo | MemoryUtilization(BaseWorker y AdditionalWorker) |
| Contenedores | Utilización de la CPU del servidor web | CPUUtilization |
| Contenedores | Utilización de la memoria del servidor web | MemoryUtilization |
| Contenedores | Contenedores de trabajo en ejecución | Derivado del recuento CPUUtilization de muestras |
| Contenedores | Latido del trabajador | CeleryWorkerHeartbeat |
| Base de datos y cola | Memoria liberable de la base de datos | FreeableMemory |
| Base de datos y cola | Uso de la CPU de la base | CPUUtilization |
| Base de datos y cola | Conexiones a base de datos | DatabaseConnections |
| Base de datos y cola | Latencia de escritura en la base | WriteLatency |
| Base de datos y cola | Edad más antigua de las tareas en cola | ApproximateAgeOfOldestTask |
| Programador | Latido del programador | SchedulerHeartbeat |
| Programador | Duración de la sección crítica del planificador | CriticalSectionDuration |
| Programador | Estados de las tareas del programador | TasksExecutable, TasksStarving, TasksWithoutDagRun |
| Programador | Tareas eliminadas externamente | TasksKilledExternally |
| Programador | El ejecutor abre espacios | OpenSlots |
| Procesamiento de DAG | Tiempo de análisis de DAG | TotalParseTime |
| Procesamiento de DAG | Tamaño de bolsa DAG | DagBagSize |
| Procesamiento de DAG | Errores de importación de DAG | ImportErrors, DAGFileRefreshError |
| Procesamiento de DAG | Estado del procesador DAG | ProcessorTimeouts, ManagerStalls |
| Tareas | Cola de tareas | QueuedTasks, RunningTasks |
| Tareas | Éxitos y fracasos de las tareas | TaskInstanceSuccesses, TaskInstanceFailures |
| Tareas | Tareas zombis eliminadas | ZombiesKilled |
| Desencadenador | Latido cardíaco desencadenante | TriggererHeartbeat |
| Desencadenante | Resultados desencadenantes | TriggersSucceeded, TriggersFailed |
nota
Los gráficos de Triggerer aparecen solo en las versiones más recientes de Apache Airflow. Trigger Outcomes requiere Apache Airflow v2.7.2 o posterior, y Triggerer heartbeat requiere la v2.8.1 o posterior.
El panel muestra las métricas agregadas de todo el entorno. No muestra las métricas de alta cardinalidad que Apache Airflow publica por DAG, tarea, grupo, operador o archivo DAG, y muestra la CPU y la memoria de los contenedores, pero no todas las métricas de los contenedores. Para ver la lista completa de las métricas publicadas, consulte y. Las métricas del entorno Apache Airflow en CloudWatch Métricas de contenedores, colas y bases de datos para Amazon MWAA
Cree y supervise alarmas
La página de detalles del entorno incluye un panel de alarmas en el que puede crear y gestionar las alarmas y CloudWatch, a continuación, supervisarlas en contexto. El panel muestra una tabla de alarmas ambientales que enumera las CloudWatch alarmas atribuidas al entorno. Amazon MWAA compara estas alarmas según el espacio de CloudWatch nombres y la Environment dimensión, por lo que la tabla incluye las alarmas que usted mismo crea, no solo las alarmas recomendadas.
El encabezado del panel muestra un recuento de alarmas que indica cuántas de las alarmas del entorno se encuentran actualmente en estado. ALARM La tabla de alarmas ambientales tiene las siguientes columnas.
| Name | Status | Condición | Action | Última actualización |
|---|---|---|---|---|
| El nombre de la alarma, que enlaza con la alarma en la CloudWatch consola. | El estado de la alarma: En estado de alarma, correcto o con datos insuficientes. | El estado de la alarma, que se muestra igual que los n puntos de datos que contiene. duration |
La acción de la alarma, como el tema Notificar a SNS topic, o si la alarma no tiene ninguna acción. |
La fecha y la hora en que se actualizó la alarma por última vez. |
nota
Para ver las alarmas de esta tabla, debe tener el cloudwatch:DescribeAlarms permiso.
Si el entorno no tiene alarmas, la tabla de alarmas ambientales está vacía y proporciona instrucciones para crear las alarmas recomendadas para empezar a monitorear su entorno.
El panel Alarmas incluye los dos botones siguientes:
-
Crear alarmas recomendadas: abre una pila de CloudFormation creación rápida en una pestaña nueva. La pila recibe un nombre
MWAA-alarms-y crea un conjunto estándar de alarmas recomendadas para el entorno.environment-name -
Administrar CloudWatch: abre la página de alarmas en la CloudWatch consola.
Para crear las alarmas recomendadas
-
Abra la consola de Amazon MWAA y
, a continuación, seleccione su entorno para abrir su página de detalles. -
En la vista de monitoreo, localice el panel Alarmas.
-
Elija Crear alarmas recomendadas. La pila CloudFormation de creación rápida se abre en una nueva pestaña del navegador.
-
Revisa la pila en la CloudFormation consola. Si se le solicita, seleccione la confirmación que CloudFormation podría crear recursos de IAM.
-
Seleccione Creación de pila.
Tras CloudFormation crear la pila, las alarmas aparecen en la tabla de alarmas ambientales y en la CloudWatch consola. Para obtener más información sobre lo que significa cada estado de alarma, consulteInformación general sobre los estados de las alarmas.
Alarmas recomendadas
Al elegir Crear alarmas recomendadas, la CloudFormation plantilla crea las siguientes alarmas. CloudWatch evalúa todas estas alarmas en períodos de 5 minutos (300 segundos).
| Alarma | Métrica | Condición de umbral |
|---|---|---|
| Latido del planificador | SchedulerHeartbeat |
Suma < 1 para 2 de los 2 puntos de datos; los datos que faltan se consideran una alarma. |
| Edad más antigua de las tareas en cola | ApproximateAgeOfOldestTask |
Máximo > 1800 segundos para 3 de los 3 puntos de datos. |
| Utilización de la CPU del planificador | CPUUtilization(Planificador) |
Promedio superior al 95% para 3 de los 3 puntos de datos. |
| Utilización de la memoria del planificador | MemoryUtilization(Planificador) |
Promedio superior al 95% para 3 de los 3 puntos de datos. |
| Utilización de la CPU del trabajador | CPUUtilization (BaseWorker) |
Promedio superior al 95% en 6 de los 6 puntos de datos. |
| Uso de la memoria de los trabajadores | MemoryUtilization (BaseWorker) |
Promedio superior al 95% para 6 de los 6 puntos de datos. |
| Utilización de la CPU del servidor web | CPUUtilization (WebServer) |
Promedio superior al 95% en 3 de los 3 puntos de datos. |
| Utilización de la memoria del servidor web | MemoryUtilization (WebServer) |
Promedio superior al 95% para 3 de los 3 puntos de datos. |
| Uso de la CPU de la base | CPUUtilization(ESCRITOR) |
Promedio superior al 95% en 3 de los 3 puntos de datos. |
| Memoria de base de datos que se puede liberar | FreeableMemory(ESCRITOR) |
Promedio < 512 MiB para 3 de los 3 puntos de datos. |
Información general sobre los estados de las alarmas
Una alarma de métrica tiene los siguientes estados posibles:
-
OK: la métrica o expresión está dentro del umbral definido. -
ALARM: la métrica o expresión está fuera del umbral definido. -
INSUFFICIENT_DATA: la alarma acaba de iniciarse, la métrica no está disponible o no hay suficientes datos disponibles en la métrica para determinar el estado de la alarma.
Ejemplos de paneles y alarmas personalizados
Puede definir sus propios paneles y alarmas como infraestructura o código para crear paneles personalizados mediante programación o para estandarizar la supervisión en varios entornos de Amazon MWAA. Como alternativa al panel integrado en la página de detalles del entorno, el tutorial y CloudFormation la plantilla siguientes crean un panel de supervisión personalizado. Este panel muestra gráficos de las métricas seleccionadas para su entorno de Amazon MWAA.
Acerca de las métricas
En la siguiente lista se describen cada una de las métricas que se han creado en el panel personalizado mediante el tutorial y las plantillas de esta sección.
-
QueuedTasks- El número de tareas en estado de cola. Se corresponde con la métrica
executor.queued_tasksde Apache Airflow. -
TasksPending- El número de tareas pendientes en el ejecutor. Se corresponde con la métrica
scheduler.tasks.pendingde Apache Airflow.nota
No se aplica a Apache Airflow v2.2 ni versiones posteriores.
-
RunningTasks- El número de tareas que se están ejecutando en el ejecutor. Se corresponde con la métrica
executor.running_tasksde Apache Airflow. -
SchedulerHeartbeat- El número de comprobaciones que Apache Airflow realiza en el trabajo del planificador. Se corresponde con la métrica
scheduler_heartbeatde Apache Airflow. -
TotalParseTime- El número de segundos que se tarda en escanear e importar todos los archivos DAG una vez. Se corresponde con la métrica
dag_processing.total_parse_timede Apache Airflow.
Acerca del panel
En la siguiente imagen, se muestra el panel de monitorización que se ha creado al definir el tutorial y la plantilla de esta sección.
Utilización AWS Tutoriales de
Puede utilizar el siguiente AWS tutorial para crear automáticamente un panel de estado para cualquier entorno de Amazon MWAA que esté implementado actualmente. También crea CloudWatch alarmas para los trabajadores en mal estado y los programadores que no funcionan correctamente en todos los entornos de Amazon MWAA.
Utilización CloudFormation
Puede usar la definición de CloudFormation plantilla de esta sección para crear un panel de supervisión y, a continuación CloudWatch, añadir alarmas a la CloudWatch consola para recibir notificaciones cuando una métrica supere un umbral determinado. Para crear la pila con esta definición de plantilla, consulte Cómo crear una pila en la CloudFormation consola. Para agregar una alarma al panel, consulte cómo usar las alarmas.
AWSTemplateFormatVersion: "2010-09-09" Description: Creates MWAA Cloudwatch Dashboard Parameters: DashboardName: Description: Enter the name of the CloudWatch Dashboard Type: String EnvironmentName: Description: Enter the name of the MWAA Environment Type: String Resources: BasicDashboard: Type: AWS::CloudWatch::Dashboard Properties: DashboardName: !Ref DashboardName DashboardBody: Fn::Sub: '{ "widgets": [ { "type": "metric", "x": 0, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "QueuedTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "QueuedTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "RunningTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "RunningTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "SchedulerHeartbeat", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "SchedulerHeartbeat ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "TasksPending", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "TasksPending ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 12, "width": 24, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "region": "${AWS::Region}", "metrics": [ [ "AmazonMWAA", "TotalParseTime", "Function", "DAG Processing", "Environment", "${EnvironmentName}" ] ], "title": "TotalParseTime ${EnvironmentName}", "period": 300 } } ] }'
Eliminación de métricas y paneles
Si elimina un entorno de Amazon MWAA, también se elimina el panel correspondiente. CloudWatch las métricas se almacenan durante quince (15) meses y no se pueden eliminar. La CloudWatch consola limita la búsqueda de métricas a dos (2) semanas después de la última ingesta de una métrica para garantizar que se muestren las instancias más actualizadas de su entorno de Amazon MWAA. Para obtener más información, consulte las preguntas frecuentes de Amazon. CloudWatch
Siguientes pasos
-
Aprenda a crear un DAG que consulte la base de datos de metadatos PostgreSQL de Amazon Aurora de su entorno y publique métricas personalizadas en él. CloudWatch Uso de un DAG para escribir métricas personalizadas en CloudWatch