View a markdown version of this page

Dashboard di monitoraggio e allarmi su Amazon MWAA - Amazon Managed Workflows for Apache Airflow

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Dashboard di monitoraggio e allarmi su Amazon MWAA

La pagina dei dettagli dell'ambiente per un ambiente Amazon Managed Workflows for Apache Airflow include un pannello di controllo delle CloudWatch metriche integrato e una tabella degli allarmi ambientali. Puoi utilizzare queste funzionalità per monitorare lo stato del tuo ambiente direttamente nella console Amazon MWAA, senza alcuna configurazione aggiuntiva.

Apache Airflow espone le metriche per diversi processi, tra cui il numero di processi DAG, la dimensione del contenitore DAG, le attività attualmente in esecuzione, gli errori delle attività e i risultati riusciti. Quando crei un ambiente, Apache Airflow invia automaticamente le metriche relative al tuo ambiente Amazon MWAA a. CloudWatch Oltre alla dashboard integrata, puoi creare dashboard personalizzate in Amazon CloudWatch e aggiungere allarmi per metriche particolari. Quando un allarme è presente su una dashboard, diventa rosso quando entra nello stato. ALARM Ciò semplifica il monitoraggio proattivo dello stato del tuo ambiente Amazon MWAA.

Visualizza la dashboard delle metriche

La pagina dei dettagli dell'ambiente include una dashboard CloudWatch delle metriche integrata, mostrata nella console sotto CloudWatch metriche. Questa CloudWatch dashboard integrata mostra i grafici per il tuo ambiente senza alcuna configurazione aggiuntiva.

Il riquadro CloudWatch delle metriche nella pagina dei dettagli dell'ambiente Amazon MWAA, che mostra l'interruttore Alarm Recommendations, il filtro delle sezioni delle metriche e i grafici di esempio nel gruppo Containers.

Per aprire il set completo di metriche nella console, scegli Visualizza tutto in. CloudWatch CloudWatch

La dashboard mostra le metriche dei due CloudWatch namespace seguenti:

  • AmazonMWAA— Metriche di Apache Airflow.

  • AWS/MWAA— Metriche relative a contenitori, code e database.

È possibile utilizzare i seguenti controlli per modificare ciò che viene visualizzato nella dashboard:

  • Attiva l'opzione Alarm Recommendations per mostrare solo le metriche consigliate. Quando attivi questo interruttore, ogni grafico disegna la propria soglia di allarme come annotazione. L'annotazione riporta Allarmi se metric sopra o Allarmi se metric sotto, a seconda della metrica.

  • Usa il filtro Sezioni metriche per mostrare solo i grafici di un gruppo specifico. I gruppi disponibili sono Containers, Database and queue, Scheduler, DAG processing , Tasks e Triggerer.

Nota

Se configuri un ambiente per filtrare le metriche di Apache Airflow pubblicate utilizzando le opzioni di elenco consentito o elenco di blocco delle metriche, alcuni grafici potrebbero non contenere dati.

Nota

Per visualizzare il dashboard delle metriche, la tua identità IAM deve avere l'autorizzazione a leggere le CloudWatch metriche, tra cui, e. cloudwatch:GetMetricData cloudwatch:GetMetricStatistics cloudwatch:ListMetrics Senza queste autorizzazioni, i grafici vengono visualizzati senza dati.

Per l'elenco completo delle metriche pubblicate da Amazon MWAA, consulta. Metriche dell'ambiente Apache Airflow in CloudWatch

Metriche visualizzate nella dashboard

La dashboard organizza i grafici in sei sezioni che puoi filtrare con sezioni metriche. Mostra una serie curata di metriche a livello di ambiente; i grafici provengono dal AmazonMWAA namespace (metriche di Apache Airflow) e dallo spazio dei nomi (metriche relative a contenitori, code e database). AWS/MWAA La tabella seguente elenca i grafici in ogni sezione e le metriche visualizzate in ciascuna sezione. CloudWatch

Grafici del pannello di controllo e relative metriche
Sezione Grafico CloudWatch metriche
Container utilizzo della CPU di Scheduler CPUUtilization
Container Utilizzo della memoria dello Scheduler MemoryUtilization
Container Utilizzo della CPU dei lavoratori CPUUtilization(BaseWorker e AdditionalWorker)
Container utilizzo della memoria di lavoro MemoryUtilization(BaseWorker e AdditionalWorker)
Container utilizzo della CPU del server Web CPUUtilization
Container utilizzo della memoria del server Web MemoryUtilization
Container Contenitori per lavoratori in funzione Derivato dal conteggio dei CPUUtilization campioni
Container Battito cardiaco del lavoratore CeleryWorkerHeartbeat
Database e coda Memoria liberabile del database FreeableMemory
Database e coda Utilizzo della CPU del database CPUUtilization
Database e coda Connessioni database DatabaseConnections
Database e coda Latenza di scrittura del database WriteLatency
Database e coda Età dell'attività in coda più vecchia ApproximateAgeOfOldestTask
Scheduler Scheduler del battito cardiaco SchedulerHeartbeat
Scheduler Durata della sezione critica dello Scheduler CriticalSectionDuration
Scheduler Stati delle attività dello Scheduler TasksExecutable, TasksStarving, TasksWithoutDagRun
Scheduler Attività terminate esternamente TasksKilledExternally
Scheduler Slot aperti di Executor OpenSlots
Elaborazione DAG Tempo di analisi DAG TotalParseTime
Elaborazione DAG Dimensioni della borsa DAG DagBagSize
Elaborazione DAG Errori di importazione DAG ImportErrors, DAGFileRefreshError
Elaborazione DAG Stato del processore DAG ProcessorTimeouts, ManagerStalls
Processi Coda delle attività QueuedTasks, RunningTasks
Processi Successi e fallimenti delle attività TaskInstanceSuccesses, TaskInstanceFailures
Processi Compiti zombie terminati ZombiesKilled
Trigger Innesco del battito cardiaco TriggererHeartbeat
Trigger Risultati del trigger TriggersSucceeded, TriggersFailed
Nota

I grafici Triggerer vengono visualizzati solo nelle versioni più recenti di Apache Airflow. Trigger outcomes richiede Apache Airflow v2.7.2 o successivo e Triggerer heartbeat richiede v2.8.1 o successivo.

La dashboard mostra metriche aggregate a livello di ambiente. Non rappresenta le metriche ad alta cardinalità pubblicate da Apache Airflow per DAG, task, pool, operatore o file DAG e riporta la CPU e la memoria del contenitore, ma non tutte le metriche dei container. Per l'elenco completo delle metriche pubblicate, consulta e. Metriche dell'ambiente Apache Airflow in CloudWatch Metriche relative a contenitori, code e database per Amazon MWAA

Crea e monitora gli allarmi

La pagina dei dettagli dell'ambiente include un riquadro Allarmi in cui è possibile creare e gestire gli allarmi e CloudWatch quindi monitorarli nel contesto. Il riquadro mostra una tabella degli allarmi ambientali che elenca gli CloudWatch allarmi attribuiti all'ambiente. Amazon MWAA abbina questi allarmi in base allo spazio CloudWatch dei nomi e alla Environment dimensione, quindi la tabella include gli allarmi che crei tu stesso, non solo gli allarmi consigliati.

Il riquadro Allarmi nella pagina dei dettagli dell'ambiente Amazon MWAA, che mostra i pulsanti Crea allarmi consigliati e Gestisci in sopra la tabella Allarmi ambientali. CloudWatch

L'intestazione del riquadro mostra un conteggio degli allarmi in entrata che indica quanti allarmi dell'ambiente sono attualmente in stato. ALARM La tabella Allarmi ambientali contiene le seguenti colonne.

Nome Stato Condizione Azione Ultimo aggiornamento
Il nome dell'allarme, che si collega all'allarme nella CloudWatch console. Lo stato dell'allarme: In allarme, OK o Dati insufficienti. La condizione di allarme, mostrata come per i punti n dati all'interno. duration L'azione dell'allarme, ad esempio Notifica argomento SNS topic, o - se l'allarme non ha alcuna azione. La data e l'ora dell'ultimo aggiornamento dell'avviso.
Nota

Per visualizzare gli allarmi in questa tabella, è necessario disporre dell'cloudwatch:DescribeAlarmsautorizzazione.

Se l'ambiente non presenta allarmi, la tabella Allarmi ambientali è vuota e fornisce indicazioni per creare gli allarmi consigliati per iniziare a monitorare l'ambiente.

Il riquadro Allarmi fornisce i due pulsanti seguenti:

  • Crea allarmi consigliati: apre uno stack di CloudFormation creazione rapida in una nuova scheda. Lo stack è denominato MWAA-alarms-environment-name e crea un set standard di allarmi consigliati per l'ambiente.

  • Gestisci in CloudWatch: apre la pagina degli allarmi nella CloudWatch console.

Per creare gli allarmi consigliati
  1. Apri la console Amazon MWAA, quindi scegli il tuo ambiente per aprire la pagina dei dettagli.

  2. Nella vista Monitoraggio, individua il riquadro Allarmi.

  3. Scegli Crea allarmi consigliati. Lo stack di CloudFormation creazione rapida si apre in una nuova scheda del browser.

  4. Esamina lo stack nella console. CloudFormation Se richiesto, seleziona il riconoscimento che CloudFormation potrebbe creare risorse IAM.

  5. Seleziona Crea stack.

Dopo aver CloudFormation creato lo stack, gli allarmi vengono visualizzati nella tabella Allarmi ambientali e nella console. CloudWatch Per ulteriori informazioni sul significato di ogni stato di allarme, vedere. Panoramica degli stati di allarme

Quando si sceglie Crea allarmi consigliati, il CloudFormation modello crea i seguenti allarmi. CloudWatch valuta tutti questi allarmi in periodi di 5 minuti (300 secondi).

Panoramica degli stati di allarme

Un allarme di parametri può trovarsi nei possibili stati elencati di seguito:

  • OK - Il parametro o espressione rientra nella soglia definita.

  • ALARM - Il parametro o espressione non rientra nella soglia definita.

  • INSUFFICIENT_DATA - L'allarme è stato appena attivato, il parametro non è disponibile o la quantità di dati non è sufficiente affinché il parametro determini lo stato dell'allarme.

Esempi di dashboard e allarmi personalizzati

Puoi definire dashboard e allarmi personalizzati come infrastruttura come codice per creare dashboard personalizzate a livello di programmazione o per standardizzare il monitoraggio su più ambienti Amazon MWAA. In alternativa alla dashboard integrata nella pagina dei dettagli dell'ambiente, il tutorial e il modello seguenti creano un dashboard di monitoraggio personalizzato. CloudFormation Questa dashboard mostra i grafici delle metriche selezionate per il tuo ambiente Amazon MWAA.

Informazioni su queste metriche

L'elenco seguente descrive ciascuna delle metriche create nella dashboard personalizzata in base alle definizioni del tutorial e dei modelli in questa sezione.

  • QueuedTasks- Il numero di attività con stato di coda. Corrisponde alla metrica di executor.queued_tasks Apache Airflow.

  • TasksPending- Il numero di compiti in sospeso nell'esecutore. Corrisponde alla metrica di scheduler.tasks.pending Apache Airflow.

    Nota

    Non si applica ad Apache Airflow v2.2 e versioni successive.

  • RunningTasks- Il numero di attività in esecuzione in executor. Corrisponde alla metrica di executor.running_tasks Apache Airflow.

  • SchedulerHeartbeat- Il numero di check-in eseguiti da Apache Airflow sul processo di pianificazione. Corrisponde alle metriche di Apache scheduler_heartbeat Airflow.

  • TotalParseTime- Il numero di secondi impiegati per scansionare e importare tutti i file DAG una volta. Corrisponde alla metrica di dag_processing.total_parse_time Apache Airflow.

Informazioni sulla dashboard

L'immagine seguente mostra il dashboard di monitoraggio creato dal tutorial e dalla definizione del modello in questa sezione.

Questa immagine mostra dove trovare l'opzione Rete privata sulla console Amazon MWAA.

Utilizzo AWS tutorial  

Puoi utilizzare il seguente AWS tutorial per creare automaticamente un dashboard sullo stato di salute per tutti gli ambienti Amazon MWAA attualmente distribuiti. Inoltre, crea CloudWatch allarmi per lavoratori insalubri e guasti cardiaci dello scheduler in tutti gli ambienti Amazon MWAA.

Utilizzo CloudFormation

Puoi utilizzare la definizione del CloudFormation modello in questa sezione per creare una dashboard di monitoraggio CloudWatch, quindi aggiungere allarmi sulla CloudWatch console per ricevere notifiche quando una metrica supera una determinata soglia. Per creare lo stack utilizzando questa definizione di modello, consulta Creazione di uno stack sulla console. CloudFormation Per aggiungere un allarme al pannello di controllo, consulta Utilizzo degli allarmi.

AWSTemplateFormatVersion: "2010-09-09" Description: Creates MWAA Cloudwatch Dashboard Parameters: DashboardName: Description: Enter the name of the CloudWatch Dashboard Type: String EnvironmentName: Description: Enter the name of the MWAA Environment Type: String Resources: BasicDashboard: Type: AWS::CloudWatch::Dashboard Properties: DashboardName: !Ref DashboardName DashboardBody: Fn::Sub: '{ "widgets": [ { "type": "metric", "x": 0, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "QueuedTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "QueuedTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "RunningTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "RunningTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "SchedulerHeartbeat", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "SchedulerHeartbeat ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "TasksPending", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "TasksPending ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 12, "width": 24, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "region": "${AWS::Region}", "metrics": [ [ "AmazonMWAA", "TotalParseTime", "Function", "DAG Processing", "Environment", "${EnvironmentName}" ] ], "title": "TotalParseTime ${EnvironmentName}", "period": 300 } } ] }'

Eliminazione di metriche e dashboard

Se elimini un ambiente Amazon MWAA, viene eliminata anche la dashboard corrispondente. CloudWatch le metriche vengono archiviate per quindici (15) mesi e non possono essere eliminate. La CloudWatch console limita la ricerca delle metriche a due (2) settimane dopo l'ultima acquisizione di una metrica per garantire che vengano visualizzate le istanze più aggiornate per il tuo ambiente Amazon MWAA. Per ulteriori informazioni, consulta le domande frequenti su Amazon. CloudWatch

Fasi successive