Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Dashboard di monitoraggio e allarmi su Amazon MWAA
Puoi creare una dashboard personalizzata in Amazon CloudWatch e aggiungere allarmi per una particolare metrica per monitorare lo stato di salute di un ambiente Amazon Managed Workflows for Apache Airflow. Quando un allarme è presente su una dashboard, diventa rosso quando è attivo, facilitando il monitoraggio ALARM proattivo dello stato di salute di un ambiente Amazon MWAA.
Apache Airflow espone le metriche per diversi processi, tra cui il numero di processi DAG, le dimensioni del contenitore DAG, le attività attualmente in esecuzione, gli errori delle attività e i risultati riusciti. Quando crei un ambiente, Airflow invia automaticamente le metriche per un ambiente Amazon MWAA a. CloudWatch Questa pagina descrive come creare un dashboard sullo stato di salute per le metriche Airflow in CloudWatch un ambiente Amazon MWAA.
Indice
Metriche
Puoi creare un dashboard e un allarme personalizzati per qualsiasi metrica disponibile per la tua versione di Apache Airflow. Ogni metrica corrisponde a un indicatore chiave di prestazioni (KPI) di Apache Airflow. Per accedere a un elenco di metriche, consulta:
Panoramica degli stati di allarme
Un allarme di parametri può trovarsi nei possibili stati elencati di seguito:
-
OK- Il parametro o espressione rientra nella soglia definita. -
ALARM- Il parametro o espressione non rientra nella soglia definita. -
INSUFFICIENT_DATA- L'allarme è stato appena attivato, il parametro non è disponibile o la quantità di dati non è sufficiente affinché il parametro determini lo stato dell'allarme.
Esempi di dashboard e allarmi personalizzati
Puoi creare una dashboard di monitoraggio personalizzata che mostri i grafici delle metriche selezionate per il tuo ambiente Amazon MWAA.
Informazioni su queste metriche
L'elenco seguente descrive ciascuna delle metriche create nella dashboard personalizzata in base alle definizioni del tutorial e dei modelli in questa sezione.
-
QueuedTasks- Il numero di attività con stato di coda. Corrisponde alla metrica di
executor.queued_tasksApache Airflow. -
TasksPending- Il numero di attività in sospeso nell'esecutore. Corrisponde alla metrica di
scheduler.tasks.pendingApache Airflow.Nota
Non si applica ad Apache Airflow v2.2 e versioni successive.
-
RunningTasks- Il numero di attività in esecuzione in executor. Corrisponde alla metrica di
executor.running_tasksApache Airflow. -
SchedulerHeartbeat- Il numero di check-in eseguiti da Apache Airflow sul processo di pianificazione. Corrisponde alle metriche di Apache
scheduler_heartbeatAirflow. -
TotalParseTime- Il numero di secondi impiegati per scansionare e importare tutti i file DAG una volta. Corrisponde alla metrica di
dag_processing.total_parse_timeApache Airflow.
Informazioni sulla dashboard
L'immagine seguente mostra il dashboard di monitoraggio creato dal tutorial e dalla definizione del modello in questa sezione.
Utilizzo AWS tutorial
Puoi utilizzare il seguente AWS tutorial per creare automaticamente un dashboard sullo stato di salute per tutti gli ambienti Amazon MWAA attualmente distribuiti. Inoltre, crea CloudWatch allarmi per lavoratori insalubri e guasti cardiaci dello scheduler in tutti gli ambienti Amazon MWAA.
Utilizzo CloudFormation
Puoi utilizzare la definizione del CloudFormation modello in questa sezione per creare una dashboard di monitoraggio CloudWatch, quindi aggiungere allarmi sulla CloudWatch console per ricevere notifiche quando una metrica supera una determinata soglia. Per creare lo stack utilizzando questa definizione di modello, consulta Creazione di uno stack sulla console. CloudFormation Per aggiungere un allarme al pannello di controllo, consulta Utilizzo degli allarmi.
AWSTemplateFormatVersion: "2010-09-09" Description: Creates MWAA Cloudwatch Dashboard Parameters: DashboardName: Description: Enter the name of the CloudWatch Dashboard Type: String EnvironmentName: Description: Enter the name of the MWAA Environment Type: String Resources: BasicDashboard: Type: AWS::CloudWatch::Dashboard Properties: DashboardName: !Ref DashboardName DashboardBody: Fn::Sub: '{ "widgets": [ { "type": "metric", "x": 0, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "QueuedTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "QueuedTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "RunningTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "RunningTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "SchedulerHeartbeat", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "SchedulerHeartbeat ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "TasksPending", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "TasksPending ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 12, "width": 24, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "region": "${AWS::Region}", "metrics": [ [ "AmazonMWAA", "TotalParseTime", "Function", "DAG Processing", "Environment", "${EnvironmentName}" ] ], "title": "TotalParseTime ${EnvironmentName}", "period": 300 } } ] }'
Eliminazione di metriche e dashboard
Se elimini un ambiente Amazon MWAA, viene eliminata anche la dashboard corrispondente. CloudWatch le metriche vengono archiviate per quindici (15) mesi e non possono essere eliminate. La CloudWatch console limita la ricerca delle metriche a due (2) settimane dopo l'ultima acquisizione di una metrica per garantire che vengano visualizzate le istanze più aggiornate per il tuo ambiente Amazon MWAA. Per ulteriori informazioni, consulta le domande frequenti su Amazon. CloudWatch
Fasi successive
-
Scopri come creare un DAG che interroghi il database di metadati Amazon Aurora PostgreSQL per il tuo ambiente e pubblichi metriche personalizzate su in. CloudWatch Utilizzo di un DAG per scrivere metriche personalizzate in CloudWatch
