Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Puoi creare una dashboard personalizzata in Amazon CloudWatch e aggiungere allarmi per una particolare metrica per monitorare lo stato di salute di un ambiente Amazon Managed Workflows for Apache Airflow. Quando un allarme è su un pannello di controllo, diventa rosso quando è attivo, facilitando il monitoraggio proattivo ALARM dello stato di un ambiente Amazon MWAA.
Apache Airflow espone i parametri per una serie di processi, tra cui il numero di processi DAG, la dimensione del bagaglio DAG, le attività attualmente in esecuzione, le attività non riuscite e i successi. Quando crei un ambiente, Airflow è configurato per inviare automaticamente i parametri per un ambiente Amazon MWAA a. CloudWatch Questa pagina descrive come creare un pannello di controllo dello stato di salute per le metriche Airflow in CloudWatch un ambiente Amazon MWAA.
Indice
Metriche
Puoi creare un pannello di controllo e un allarme personalizzati per qualsiasi metrica disponibile per la tua versione di Apache Airflow. Ogni metrica corrisponde a un indicatore di prestazioni chiave (KPI) di Apache Airflow. Per visualizzare un elenco di metriche, consulta:
Panoramica degli stati di allarme
Un allarme di parametri può trovarsi nei possibili stati elencati di seguito:
-
OK- Il parametro o espressione rientra nella soglia definita. -
ALARM- Il parametro o espressione non rientra nella soglia definita. -
INSUFFICIENT_DATA- L'allarme è stato appena attivato, il parametro non è disponibile o la quantità di dati non è sufficiente affinché il parametro determini lo stato dell'allarme.
Esempi di dashboard e allarmi personalizzati
Puoi creare una dashboard di monitoraggio personalizzata che mostri grafici di parametri selezionati per il tuo ambiente Amazon MWAA.
Informazioni su queste metriche
L'elenco seguente descrive ciascuna delle metriche create nella dashboard personalizzata dalle definizioni del tutorial e dei modelli in questa sezione.
-
QueuedTasks- Il numero di attività con stato in coda. Corrisponde alla metrica
executor.queued_tasksApache Airflow. -
TasksPending- Il numero di attività in sospeso nell'esecutore. Corrisponde alla metrica
scheduler.tasks.pendingApache Airflow.Nota
Non si applica ad Apache Airflow v2.2 e versioni successive.
-
RunningTasks- Il numero di attività in esecuzione in Executor. Corrisponde alla metrica
executor.running_tasksApache Airflow. -
SchedulerHeartbeat- Il numero di check-in che Apache Airflow esegue sul job di pianificazione. Corrisponde alle metriche di Apache
scheduler_heartbeatAirflow. -
TotalParseTime- Il numero di secondi necessari per scansionare e importare tutti i file DAG una volta. Corrisponde alla metrica
dag_processing.total_parse_timeApache Airflow.
Informazioni sulla dashboard
L'immagine seguente mostra la dashboard di monitoraggio creata dal tutorial e dalla definizione del modello in questa sezione.
Utilizzo dei tutorial AWS
Puoi utilizzare il seguente AWS tutorial per creare automaticamente un pannello di controllo dello stato di salute per tutti gli ambienti Amazon MWAA attualmente distribuiti. Inoltre, crea CloudWatch allarmi per lavoratori non sani e guasti del battito cardiaco degli scheduler in tutti gli ambienti Amazon MWAA.
Usando AWS CloudFormation
Puoi utilizzare la definizione del AWS CloudFormation modello in questa sezione per creare una dashboard di monitoraggio in CloudWatch, quindi aggiungere allarmi sulla CloudWatch console per ricevere notifiche quando una metrica supera una determinata soglia. Per creare lo stack utilizzando questa definizione di modello, consulta Creazione di uno stack sulla console. AWS CloudFormation Per aggiungere un allarme alla dashboard, vedi Uso degli allarmi.
AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
DashboardName:
Description: Enter the name of the CloudWatch Dashboard
Type: String
EnvironmentName:
Description: Enter the name of the MWAA Environment
Type: String
Resources:
BasicDashboard:
Type: AWS::CloudWatch::Dashboard
Properties:
DashboardName: !Ref DashboardName
DashboardBody:
Fn::Sub: '{
"widgets": [
{
"type": "metric",
"x": 0,
"y": 0,
"width": 12,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"metrics": [
[
"AmazonMWAA",
"QueuedTasks",
"Function",
"Executor",
"Environment",
"${EnvironmentName}"
]
],
"region": "${AWS::Region}",
"title": "QueuedTasks ${EnvironmentName}",
"period": 300
}
},
{
"type": "metric",
"x": 0,
"y": 6,
"width": 12,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"metrics": [
[
"AmazonMWAA",
"RunningTasks",
"Function",
"Executor",
"Environment",
"${EnvironmentName}"
]
],
"region": "${AWS::Region}",
"title": "RunningTasks ${EnvironmentName}",
"period": 300
}
},
{
"type": "metric",
"x": 12,
"y": 6,
"width": 12,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"metrics": [
[
"AmazonMWAA",
"SchedulerHeartbeat",
"Function",
"Scheduler",
"Environment",
"${EnvironmentName}"
]
],
"region": "${AWS::Region}",
"title": "SchedulerHeartbeat ${EnvironmentName}",
"period": 300
}
},
{
"type": "metric",
"x": 12,
"y": 0,
"width": 12,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"metrics": [
[
"AmazonMWAA",
"TasksPending",
"Function",
"Scheduler",
"Environment",
"${EnvironmentName}"
]
],
"region": "${AWS::Region}",
"title": "TasksPending ${EnvironmentName}",
"period": 300
}
},
{
"type": "metric",
"x": 0,
"y": 12,
"width": 24,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"region": "${AWS::Region}",
"metrics": [
[
"AmazonMWAA",
"TotalParseTime",
"Function",
"DAG Processing",
"Environment",
"${EnvironmentName}"
]
],
"title": "TotalParseTime ${EnvironmentName}",
"period": 300
}
}
]
}'Eliminazione di metriche e dashboard
Se elimini un ambiente Amazon MWAA, viene eliminata anche la dashboard corrispondente. CloudWatch le metriche vengono archiviate per quindici (15) mesi e non possono essere eliminate. La CloudWatch console limita la ricerca delle metriche a due (2) settimane dall'ultima acquisizione di una metrica per garantire che vengano visualizzate le istanze più aggiornate per il tuo ambiente Amazon MWAA. Per ulteriori informazioni, consulta Amazon CloudWatch FAQs
Fasi successive
-
Scopri come creare un DAG che interroga il database di metadati PostgreSQL di Amazon Aurora per il tuo ambiente e pubblica metriche personalizzate su in. CloudWatch Utilizzo di un DAG per scrivere metriche personalizzate in CloudWatch
