Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Dashboard di monitoraggio e allarmi su Amazon MWAA
La pagina dei dettagli dell'ambiente per un ambiente Amazon Managed Workflows for Apache Airflow include un pannello di controllo delle CloudWatch metriche integrato e una tabella degli allarmi ambientali. Puoi utilizzare queste funzionalità per monitorare lo stato del tuo ambiente direttamente nella console Amazon MWAA, senza alcuna configurazione aggiuntiva.
Apache Airflow espone le metriche per diversi processi, tra cui il numero di processi DAG, la dimensione del contenitore DAG, le attività attualmente in esecuzione, gli errori delle attività e i risultati riusciti. Quando crei un ambiente, Apache Airflow invia automaticamente le metriche relative al tuo ambiente Amazon MWAA a. CloudWatch Oltre alla dashboard integrata, puoi creare dashboard personalizzate in Amazon CloudWatch e aggiungere allarmi per metriche particolari. Quando un allarme è presente su una dashboard, diventa rosso quando entra nello stato. ALARM Ciò semplifica il monitoraggio proattivo dello stato del tuo ambiente Amazon MWAA.
Indice
Visualizza la dashboard delle metriche
La pagina dei dettagli dell'ambiente include una dashboard CloudWatch delle metriche integrata, mostrata nella console sotto CloudWatch metriche. Questa CloudWatch dashboard integrata mostra i grafici per il tuo ambiente senza alcuna configurazione aggiuntiva.
Per aprire il set completo di metriche nella console, scegli Visualizza tutto in. CloudWatch CloudWatch
La dashboard mostra le metriche dei due CloudWatch namespace seguenti:
-
AmazonMWAA— Metriche di Apache Airflow. -
AWS/MWAA— Metriche relative a contenitori, code e database.
È possibile utilizzare i seguenti controlli per modificare ciò che viene visualizzato nella dashboard:
-
Attiva l'opzione Alarm Recommendations per mostrare solo le metriche consigliate. Quando attivi questo interruttore, ogni grafico disegna la propria soglia di allarme come annotazione. L'annotazione riporta Allarmi se
metricsopra o Allarmi semetricsotto, a seconda della metrica. -
Usa il filtro Sezioni metriche per mostrare solo i grafici di un gruppo specifico. I gruppi disponibili sono Containers, Database and queue, Scheduler, DAG processing , Tasks e Triggerer.
Nota
Se configuri un ambiente per filtrare le metriche di Apache Airflow pubblicate utilizzando le opzioni di elenco consentito o elenco di blocco delle metriche, alcuni grafici potrebbero non contenere dati.
Nota
Per visualizzare il dashboard delle metriche, la tua identità IAM deve avere l'autorizzazione a leggere le CloudWatch metriche, tra cui, e. cloudwatch:GetMetricData cloudwatch:GetMetricStatistics cloudwatch:ListMetrics Senza queste autorizzazioni, i grafici vengono visualizzati senza dati.
Per l'elenco completo delle metriche pubblicate da Amazon MWAA, consulta. Metriche dell'ambiente Apache Airflow in CloudWatch
Metriche visualizzate nella dashboard
La dashboard organizza i grafici in sei sezioni che puoi filtrare con sezioni metriche. Mostra una serie curata di metriche a livello di ambiente; i grafici provengono dal AmazonMWAA namespace (metriche di Apache Airflow) e dallo spazio dei nomi (metriche relative a contenitori, code e database). AWS/MWAA La tabella seguente elenca i grafici in ogni sezione e le metriche visualizzate in ciascuna sezione. CloudWatch
| Sezione | Grafico | CloudWatch metriche |
|---|---|---|
| Container | utilizzo della CPU di Scheduler | CPUUtilization |
| Container | Utilizzo della memoria dello Scheduler | MemoryUtilization |
| Container | Utilizzo della CPU dei lavoratori | CPUUtilization(BaseWorker e AdditionalWorker) |
| Container | utilizzo della memoria di lavoro | MemoryUtilization(BaseWorker e AdditionalWorker) |
| Container | utilizzo della CPU del server Web | CPUUtilization |
| Container | utilizzo della memoria del server Web | MemoryUtilization |
| Container | Contenitori per lavoratori in funzione | Derivato dal conteggio dei CPUUtilization campioni |
| Container | Battito cardiaco del lavoratore | CeleryWorkerHeartbeat |
| Database e coda | Memoria liberabile del database | FreeableMemory |
| Database e coda | Utilizzo della CPU del database | CPUUtilization |
| Database e coda | Connessioni database | DatabaseConnections |
| Database e coda | Latenza di scrittura del database | WriteLatency |
| Database e coda | Età dell'attività in coda più vecchia | ApproximateAgeOfOldestTask |
| Scheduler | Scheduler del battito cardiaco | SchedulerHeartbeat |
| Scheduler | Durata della sezione critica dello Scheduler | CriticalSectionDuration |
| Scheduler | Stati delle attività dello Scheduler | TasksExecutable, TasksStarving, TasksWithoutDagRun |
| Scheduler | Attività terminate esternamente | TasksKilledExternally |
| Scheduler | Slot aperti di Executor | OpenSlots |
| Elaborazione DAG | Tempo di analisi DAG | TotalParseTime |
| Elaborazione DAG | Dimensioni della borsa DAG | DagBagSize |
| Elaborazione DAG | Errori di importazione DAG | ImportErrors, DAGFileRefreshError |
| Elaborazione DAG | Stato del processore DAG | ProcessorTimeouts, ManagerStalls |
| Processi | Coda delle attività | QueuedTasks, RunningTasks |
| Processi | Successi e fallimenti delle attività | TaskInstanceSuccesses, TaskInstanceFailures |
| Processi | Compiti zombie terminati | ZombiesKilled |
| Trigger | Innesco del battito cardiaco | TriggererHeartbeat |
| Trigger | Risultati del trigger | TriggersSucceeded, TriggersFailed |
Nota
I grafici Triggerer vengono visualizzati solo nelle versioni più recenti di Apache Airflow. Trigger outcomes richiede Apache Airflow v2.7.2 o successivo e Triggerer heartbeat richiede v2.8.1 o successivo.
La dashboard mostra metriche aggregate a livello di ambiente. Non rappresenta le metriche ad alta cardinalità pubblicate da Apache Airflow per DAG, task, pool, operatore o file DAG e riporta la CPU e la memoria del contenitore, ma non tutte le metriche dei container. Per l'elenco completo delle metriche pubblicate, consulta e. Metriche dell'ambiente Apache Airflow in CloudWatch Metriche relative a contenitori, code e database per Amazon MWAA
Crea e monitora gli allarmi
La pagina dei dettagli dell'ambiente include un riquadro Allarmi in cui è possibile creare e gestire gli allarmi e CloudWatch quindi monitorarli nel contesto. Il riquadro mostra una tabella degli allarmi ambientali che elenca gli CloudWatch allarmi attribuiti all'ambiente. Amazon MWAA abbina questi allarmi in base allo spazio CloudWatch dei nomi e alla Environment dimensione, quindi la tabella include gli allarmi che crei tu stesso, non solo gli allarmi consigliati.
L'intestazione del riquadro mostra un conteggio degli allarmi in entrata che indica quanti allarmi dell'ambiente sono attualmente in stato. ALARM La tabella Allarmi ambientali contiene le seguenti colonne.
| Nome | Stato | Condizione | Azione | Ultimo aggiornamento |
|---|---|---|---|---|
| Il nome dell'allarme, che si collega all'allarme nella CloudWatch console. | Lo stato dell'allarme: In allarme, OK o Dati insufficienti. | La condizione di allarme, mostrata come per i punti n dati all'interno. duration |
L'azione dell'allarme, ad esempio Notifica argomento SNS topic, o - se l'allarme non ha alcuna azione. |
La data e l'ora dell'ultimo aggiornamento dell'avviso. |
Nota
Per visualizzare gli allarmi in questa tabella, è necessario disporre dell'cloudwatch:DescribeAlarmsautorizzazione.
Se l'ambiente non presenta allarmi, la tabella Allarmi ambientali è vuota e fornisce indicazioni per creare gli allarmi consigliati per iniziare a monitorare l'ambiente.
Il riquadro Allarmi fornisce i due pulsanti seguenti:
-
Crea allarmi consigliati: apre uno stack di CloudFormation creazione rapida in una nuova scheda. Lo stack è denominato
MWAA-alarms-e crea un set standard di allarmi consigliati per l'ambiente.environment-name -
Gestisci in CloudWatch: apre la pagina degli allarmi nella CloudWatch console.
Per creare gli allarmi consigliati
-
Apri la console Amazon MWAA
, quindi scegli il tuo ambiente per aprire la pagina dei dettagli. -
Nella vista Monitoraggio, individua il riquadro Allarmi.
-
Scegli Crea allarmi consigliati. Lo stack di CloudFormation creazione rapida si apre in una nuova scheda del browser.
-
Esamina lo stack nella console. CloudFormation Se richiesto, seleziona il riconoscimento che CloudFormation potrebbe creare risorse IAM.
-
Seleziona Crea stack.
Dopo aver CloudFormation creato lo stack, gli allarmi vengono visualizzati nella tabella Allarmi ambientali e nella console. CloudWatch Per ulteriori informazioni sul significato di ogni stato di allarme, vedere. Panoramica degli stati di allarme
Allarmi raccomandati
Quando si sceglie Crea allarmi consigliati, il CloudFormation modello crea i seguenti allarmi. CloudWatch valuta tutti questi allarmi in periodi di 5 minuti (300 secondi).
| Allarme | Metrica | Condizione di soglia |
|---|---|---|
| Scheduler del battito cardiaco | SchedulerHeartbeat |
Somma < 1 per 2 punti dati su 2; i dati mancanti vengono considerati in allarme. |
| Età dell'attività in coda più vecchia | ApproximateAgeOfOldestTask |
Massimo > 1800 secondi per 3 punti dati su 3. |
| Utilizzo della CPU dello Scheduler | CPUUtilization(Scheduler) |
Media > 95% per 3 punti dati su 3. |
| Utilizzo della memoria dello Scheduler | MemoryUtilization(Scheduler) |
Media > 95% per 3 punti dati su 3. |
| Utilizzo della CPU per i lavoratori | CPUUtilization (BaseWorker) |
Media > 95% per 6 punti dati su 6. |
| Utilizzo della memoria di lavoro | MemoryUtilization (BaseWorker) |
Media > 95% per 6 punti dati su 6. |
| Utilizzo della CPU del server Web | CPUUtilization (WebServer) |
Media > 95% per 3 punti dati su 3. |
| Utilizzo della memoria del server Web | MemoryUtilization (WebServer) |
Media > 95% per 3 punti dati su 3. |
| Utilizzo della CPU del database | CPUUtilization(SCRITTORE) |
Media > 95% per 3 punti dati su 3. |
| Memoria liberabile del database | FreeableMemory(SCRITTORE) |
Media < 512 MiB per 3 punti dati su 3. |
Panoramica degli stati di allarme
Un allarme di parametri può trovarsi nei possibili stati elencati di seguito:
-
OK- Il parametro o espressione rientra nella soglia definita. -
ALARM- Il parametro o espressione non rientra nella soglia definita. -
INSUFFICIENT_DATA- L'allarme è stato appena attivato, il parametro non è disponibile o la quantità di dati non è sufficiente affinché il parametro determini lo stato dell'allarme.
Esempi di dashboard e allarmi personalizzati
Puoi definire dashboard e allarmi personalizzati come infrastruttura come codice per creare dashboard personalizzate a livello di programmazione o per standardizzare il monitoraggio su più ambienti Amazon MWAA. In alternativa alla dashboard integrata nella pagina dei dettagli dell'ambiente, il tutorial e il modello seguenti creano un dashboard di monitoraggio personalizzato. CloudFormation Questa dashboard mostra i grafici delle metriche selezionate per il tuo ambiente Amazon MWAA.
Informazioni su queste metriche
L'elenco seguente descrive ciascuna delle metriche create nella dashboard personalizzata in base alle definizioni del tutorial e dei modelli in questa sezione.
-
QueuedTasks- Il numero di attività con stato di coda. Corrisponde alla metrica di
executor.queued_tasksApache Airflow. -
TasksPending- Il numero di compiti in sospeso nell'esecutore. Corrisponde alla metrica di
scheduler.tasks.pendingApache Airflow.Nota
Non si applica ad Apache Airflow v2.2 e versioni successive.
-
RunningTasks- Il numero di attività in esecuzione in executor. Corrisponde alla metrica di
executor.running_tasksApache Airflow. -
SchedulerHeartbeat- Il numero di check-in eseguiti da Apache Airflow sul processo di pianificazione. Corrisponde alle metriche di Apache
scheduler_heartbeatAirflow. -
TotalParseTime- Il numero di secondi impiegati per scansionare e importare tutti i file DAG una volta. Corrisponde alla metrica di
dag_processing.total_parse_timeApache Airflow.
Informazioni sulla dashboard
L'immagine seguente mostra il dashboard di monitoraggio creato dal tutorial e dalla definizione del modello in questa sezione.
Utilizzo AWS tutorial
Puoi utilizzare il seguente AWS tutorial per creare automaticamente un dashboard sullo stato di salute per tutti gli ambienti Amazon MWAA attualmente distribuiti. Inoltre, crea CloudWatch allarmi per lavoratori insalubri e guasti cardiaci dello scheduler in tutti gli ambienti Amazon MWAA.
Utilizzo CloudFormation
Puoi utilizzare la definizione del CloudFormation modello in questa sezione per creare una dashboard di monitoraggio CloudWatch, quindi aggiungere allarmi sulla CloudWatch console per ricevere notifiche quando una metrica supera una determinata soglia. Per creare lo stack utilizzando questa definizione di modello, consulta Creazione di uno stack sulla console. CloudFormation Per aggiungere un allarme al pannello di controllo, consulta Utilizzo degli allarmi.
AWSTemplateFormatVersion: "2010-09-09" Description: Creates MWAA Cloudwatch Dashboard Parameters: DashboardName: Description: Enter the name of the CloudWatch Dashboard Type: String EnvironmentName: Description: Enter the name of the MWAA Environment Type: String Resources: BasicDashboard: Type: AWS::CloudWatch::Dashboard Properties: DashboardName: !Ref DashboardName DashboardBody: Fn::Sub: '{ "widgets": [ { "type": "metric", "x": 0, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "QueuedTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "QueuedTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "RunningTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "RunningTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "SchedulerHeartbeat", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "SchedulerHeartbeat ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "TasksPending", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "TasksPending ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 12, "width": 24, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "region": "${AWS::Region}", "metrics": [ [ "AmazonMWAA", "TotalParseTime", "Function", "DAG Processing", "Environment", "${EnvironmentName}" ] ], "title": "TotalParseTime ${EnvironmentName}", "period": 300 } } ] }'
Eliminazione di metriche e dashboard
Se elimini un ambiente Amazon MWAA, viene eliminata anche la dashboard corrispondente. CloudWatch le metriche vengono archiviate per quindici (15) mesi e non possono essere eliminate. La CloudWatch console limita la ricerca delle metriche a due (2) settimane dopo l'ultima acquisizione di una metrica per garantire che vengano visualizzate le istanze più aggiornate per il tuo ambiente Amazon MWAA. Per ulteriori informazioni, consulta le domande frequenti su Amazon. CloudWatch
Fasi successive
-
Scopri come creare un DAG che interroghi il database di metadati Amazon Aurora PostgreSQL per il tuo ambiente e pubblichi metriche personalizzate su in. CloudWatch Utilizzo di un DAG per scrivere metriche personalizzate in CloudWatch