Termini Dimensioni Accesso alle metriche nella console CloudWatch Le metriche di Apache Airflow sono disponibili in CloudWatch Scelta delle metriche da segnalare Fasi successive

Metriche di ambiente Apache Airflow v2 in CloudWatch

Apache Airflow v2 è già configurato per raccogliere e inviare ad Amazon i parametri StatSD per un ambiente Amazon Managed Workflows for Apache Airflow. CloudWatch L'elenco completo delle metriche inviate da Apache Airflow è disponibile nella pagina Metrics della guida di riferimento di Apache Airflow. Questa pagina descrive le metriche di Apache Airflow disponibili in Apache Airflow e come accedervi nella CloudWatch console. CloudWatch

Indice

Termini

Spazio dei nomi: Un namespace è un contenitore per le metriche di un servizio. CloudWatch AWS Per AmazonMWAA, lo spazio dei nomi è Amazon. MWAA
CloudWatch metriche: Una CloudWatch metrica rappresenta un insieme ordinato nel tempo di punti dati specifici per. CloudWatch
Metriche di Apache Airflow: Le metriche specifiche di Apache Airflow.
Dimensione: Una dimensione è una coppia nome-valore che fa parte dell'identità di un parametro.
Unità: Una statistica ha un'unità di misura. Per AmazonMWAA, le unità includono Count, Secondi e Millisecondi. Per AmazonMWAA, le unità sono impostate in base alle unità nelle metriche Airflow originali.

Dimensioni

Questa sezione descrive il raggruppamento delle CloudWatch dimensioni per le metriche di Apache Airflow in. CloudWatch

Dimensione	Descrizione
DAG	Indica un nome specifico di Apache Airflow. DAG
DAGNome del file	Indica un nome di file Apache DAG Airflow specifico.
Funzione	Questa dimensione viene utilizzata per migliorare il raggruppamento delle metriche in. CloudWatch
Processo	Indica un Apache Airflow Job* eseguito dallo Scheduler.* Job ha sempre il valore di Job.
Operatore	Indica un operatore Apache Airflow specifico.
Pool	Indica un pool di lavoratori Apache Airflow specifico.
Attività	Indica un'attività specifica di Apache Airflow.
HostName	Indica il nome host per uno specifico processo Apache Airflow in esecuzione.

Accesso alle metriche nella console CloudWatch

Questa sezione descrive come accedere alle metriche delle prestazioni CloudWatch per uno specifico. DAG

Per visualizzare le metriche delle prestazioni per una dimensione

Apri la pagina Metriche sulla console. CloudWatch
Usa il selettore AWS della regione per selezionare la tua regione.
Scegli il MWAA namespace Amazon.
Nella scheda Tutte le metriche, seleziona una dimensione. Ad esempio DAG, Ambiente.
Scegli una CloudWatch metrica per una dimensione. Ad esempio, TaskInstanceSuccesseso TaskInstanceDuration. Scegli Grafica tutti i risultati della ricerca.
Scegli la scheda Metriche grafiche per visualizzare le statistiche sulle prestazioni per le metriche di Apache Airflow, ad esempio Ambiente, Attività. DAG

Le metriche di Apache Airflow sono disponibili in CloudWatch

Questa sezione descrive le metriche e le dimensioni di Apache Airflow inviate a. CloudWatch

Contatori Apache Airflow

Le metriche di Apache Airflow in questa sezione contengono dati su Apache Airflow Counters.

CloudWatch metrico	Metrica Apache Airflow	Unità	Dimensione
SLAMissed Nota Disponibile per Apache Airflow v2.4.3 e versioni successive.	sla_missed	Conteggio	Funzione, Scheduler
F ailedSLACallback Nota Disponibile per Apache Airflow v2.4.3 e versioni successive.	sla_callback_notification_failure	Conteggio	Funzione, Scheduler
Aggiornamenti Nota Disponibile per Apache Airflow v2.6.3 e versioni successive.	dataset.updates	Conteggio	Funzione, Scheduler
Orfana Nota Disponibile per Apache Airflow v2.6.3 e versioni successive.	dataset.orphaned	Conteggio	Funzione, Scheduler
FailedCeleryTaskExecution Nota Disponibile per Apache Airflow v2.4.3 e versioni successive.	celery.execute_command.failure	Conteggio	Funzione, Celery
FilePathQueueUpdateCount Nota Disponibile per Apache Airflow v2.6.3 e versioni successive.	dag_processing.file_path_queue_update_count	Conteggio	Funzione, Scheduler
CriticalSectionBusy	scheduler.critical_section_busy	Conteggio	Funzione, Scheduler
DagBagSize	dagbag_size	Conteggio	Funzione, elaborazione DAG
DagCallbackExceptions	dag.callback_exceptions	Conteggio	DAG, Tutti
F ailedSLAEmail Tentativi	sla_email_notification_failure	Conteggio	Funzione, Scheduler
TaskInstanceFinished	ti.finish. {id_giorno}. {id_attività}. {stato}	Conteggio	DAG, {id_giorno} Attività, {task_id} Stato, {state}
JobEnd	{job_name} _end	Conteggio	Job, {job_name}
JobHeartbeatFailure	{job_name} _heartbeat_failure	Conteggio	Job, {job_name}
JobStart	{job_name} _inizio	Conteggio	Job, {job_name}
ManagerStalls	dag_processing.manager_stalls	Conteggio	Funzione, elaborazione DAG
OperatorFailures	operator_failures_ {operator_name}	Conteggio	Operatore, {operator_name}
OperatorSuccesses	operator_successes_ {operator_name}	Conteggio	Operatore, {operator_name}
OtherCallbackCount Nota Disponibile in Apache Airflow v2.6.3 e versioni successive.	dag_processing.other_callback_count	Conteggio	Funzione, Scheduler
Processes	dag_processing.processes	Conteggio	Funzione, elaborazione DAG
SchedulerHeartbeat	scheduler_heartbeat	Conteggio	Funzione, Scheduler
StartedTaskInstances	ti.start. {id_giorno}. {id_attività}	Conteggio	DAG, Tutti Attività, tutte
SlaCallbackCount	dag_processing.sla_callback_count Nota Disponibile per Apache Airflow v2.6.3 e versioni successive.	Conteggio	Funzione, Scheduler
TasksKilledExternally	scheduler.tasks.killed_externally	Conteggio	Funzione, Scheduler
TaskTimeoutError	celery.task_timeout_error	Conteggio	Funzione, Celery
TaskInstanceCreatedUsingOperator	task_instance_created- {operator_name}	Conteggio	Operatore, {operator_name}
TaskInstancePreviouslySucceeded	precedente_successo_successo	Conteggio	DAG, Tutti Attività, tutte
TaskInstanceFailures	ti_failures	Conteggio	DAG, Tutti Attività, tutte
TaskInstanceSuccesses	ti_successes	Conteggio	DAG, Tutti Attività, tutte
TaskRemovedFromDAG	task_removed_from_dag. {id_giorno}	Conteggio	DAG, {id_giorno}
TaskRestoredToDAG	task_ripristinato_dag. {id_giorno}	Conteggio	DAG, {id_giorno}
TriggersSucceeded Nota Disponibile per Apache Airflow v2.7.2 e versioni successive.	triggers.riuscito	Conteggio	Funzione, Trigger
TriggersFailed Nota Disponibile per Apache Airflow v2.7.2 e versioni successive.	triggers.failed	Conteggio	Funzione, Trigger
TriggersBlockedMainThread Nota Disponibile per Apache Airflow v2.7.2 e versioni successive.	triggers.blocked_main_thread	Conteggio	Funzione, Trigger
TriggerHeartbeat Nota Disponibile per Apache Airflow v2.8.1 e versioni successive.	triggerer_heartbeat	Conteggio	Funzione, Triggerer
TaskInstanceCreatedUsingOperator	airflow.task_instance_created_ `{operator_name}` Nota Disponibile per Apache Airflow v2.7.2 e versioni successive.	Conteggio	Operatore, `{operator_name}`
ZombiesKilled	zombie uccisi	Conteggio	DAG, Tutti Attività, tutte

Misuratori del flusso d'aria Apache

Le metriche di Apache Airflow in questa sezione contengono dati su Apache Airflow Gauges.

CloudWatch metrico	Metrica Apache Airflow	Unità	Dimensione
DAGFileRefreshError	dag_file_refresh_error	Conteggio	Funzione, elaborazione DAG
ImportErrors	dag_processing.import_errors	Conteggio	Funzione, elaborazione DAG
ExceptionFailures	smart_sensor_operator.exception_failures	Conteggio	Funzione, Smart Sensor Operator
ExecutedTasks	smart_sensor_operator.executed_tasks	Conteggio	Funzione, Smart Sensor Operator
InfraFailures	smart_sensor_operator.infra_failures	Conteggio	Funzione, Smart Sensor Operator
LoadedTasks	smart_sensor_operator.loaded_tasks	Conteggio	Funzione, Smart Sensor Operator
TotalParseTime	dag_processing.total_parse_time	Secondi	Funzione, elaborazione DAG
TriggeredDagRuns Nota Disponibile in Apache Airflow v2.6.3 e versioni successive.	dataset.triggered_dagruns	Conteggio	Funzione, Scheduler
TriggersRunning Nota Disponibile in Apache Airflow v2.7.2 e versioni successive.	triggers.running.`{hostname}`	Conteggio	Funzione, Trigger HostName, `{hostname}`
PoolDeferredSlots Nota Disponibile in Apache Airflow v2.7.2 e versioni successive.	pool.deferred_slots. `{pool_name}`	Conteggio	Piscina, {pool_name}
DAGFileProcessingLastRunSecondsAgo	dag_processing.last_run.seconds_ago. {nome_file}	Secondi	DAGNome del file, {dag_filename}
OpenSlots	esecutore.open_slots	Conteggio	Funzione, Executor
OrphanedTasksAdopted	scheduler.orphaned_tasks.adopted	Conteggio	Funzione, Scheduler
OrphanedTasksCleared	scheduler.orphaned_tasks.cleared	Conteggio	Funzione, Scheduler
PokedExceptions	smart_sensor_operator.poked_exception	Conteggio	Funzione, Smart Sensor Operator
PokedSuccess	smart_sensor_operator.poked_success	Conteggio	Funzione, Smart Sensor Operator
PokedTasks	smart_sensor_operator.poked_tasks	Conteggio	Funzione, Smart Sensor Operator
PoolFailures	pool.open_slots. {pool_name}	Conteggio	Piscina, {pool_name}
PoolStarvingTasks	pool.starving_tasks. {pool_name}	Conteggio	Piscina, {pool_name}
PoolOpenSlots	pool.open_slots. {pool_name}	Conteggio	Piscina, {pool_name}
PoolQueuedSlots	pool.queued_slots. {nome_pool}	Conteggio	Piscina, {pool_name}
PoolRunningSlots	pool.running_slots. {pool_name}	Conteggio	Piscina, {pool_name}
ProcessorTimeouts	dag_processing.processor_timeouts	Conteggio	Funzione, elaborazione DAG
QueuedTasks	executor.queued_tasks	Conteggio	Funzione, Executor
RunningTasks	executor.running_tasks	Conteggio	Funzione, Executor
TasksExecutable	scheduler.tasks.executable	Conteggio	Funzione, Scheduler
TasksPending Nota Non si applica ad Apache Airflow v2.2 e versioni successive.	scheduler.tasks.pending	Conteggio	Funzione, Scheduler
TasksRunning	scheduler.tasks.running	Conteggio	Funzione, Scheduler
TasksStarving	scheduler.tasks.starving	Conteggio	Funzione, Scheduler
TasksWithoutDagRun	scheduler.tasks.without_dagrun	Conteggio	Funzione, Scheduler

Timer Apache Airflow

Le metriche di Apache Airflow in questa sezione contengono dati sugli Apache Airflow Timer.

CloudWatch metrico	Metrica Apache Airflow	Unità	Dimensione
C ollectDBDags	collect_db_dags	Millisecondi	Funzione, elaborazione DAG
CriticalSectionDuration	scheduler.critical_section_duration	Millisecondi	Funzione, Scheduler
CriticalSectionQueryDuration Nota Disponibile per Apache Airflow v2.5.1 e versioni successive.	scheduler.critical_section_query_duration	Millisecondi	Funzione, Scheduler
DAGDependencyCheck	dagrun.dependency-check. {id_giorno}	Millisecondi	DAG, {id_giorno}
DAGDurationFailed	dagrun.duration.failed. {dato_id}	Millisecondi	DAG, {id_giorno}
DAGDurationSuccess	dagrun.duration.successo. {id_giorno}	Millisecondi	DAG, {id_giorno}
DAGFileProcessingLastDuration	dag_processing.last_duration. {nome_file}	Secondi	DAGNome del file, {dag_filename}
DAGScheduleDelay	dagrun.schedule_delay. {id_giorno}	Millisecondi	DAG, {id_giorno}
FirstTaskSchedulingDelay	dagrun. {dag_id} .first_task_scheduling_delay	Millisecondi	DAG, {dato_id}
SchedulerLoopDuration Nota Disponibile per Apache Airflow v2.5.1 e versioni successive.	scheduler.scheduler_loop_duration	Millisecondi	Funzione, Scheduler
TaskInstanceDuration	giorno. {id_giorno}. {task_id} .durata	Millisecondi	DAG, {id_giorno} Attività, {task_id}
TaskInstanceQueuedDuration	giorno. `{dag_id}`. `{task_id}`.durata_in coda Nota Disponibile per Apache Airflow v2.7.2 e versioni successive.	Millisecondi	DAG, {dag_id} Attività, {task_id}
TaskInstanceScheduledDuration Nota Disponibile per Apache Airflow v2.7.2 e versioni successive.	giorno. `{dag_id}`. `{task_id}`.durata_pianificata	Millisecondi	DAG, {dato_id} Attività, {task_id}

Scelta delle metriche da segnalare

Puoi scegliere quali metriche di Apache Airflow vengono emesse o bloccate da Apache Airflow CloudWatch, utilizzando le seguenti opzioni di configurazione di Amazon: MWAA

metrics.metrics_allow_list— Un elenco di prefissi separati da virgole che puoi utilizzare per selezionare le metriche emesse dal tuo ambiente. CloudWatch Utilizzate questa opzione se desiderate che Apache Airflow non invii tutte le metriche disponibili e selezioni invece un sottoinsieme di elementi. Ad esempio scheduler,executor,dagrun.
metrics.metrics_block_list— Un elenco di prefissi separati da virgole per filtrare le metriche che iniziano con gli elementi dell'elenco. Ad esempio scheduler,executor,dagrun.

Se configurate entrambi metrics.metrics_allow_list e, Apache Airflow li ignora. metrics.metrics_block_list metrics.metrics_block_list Se configuri metrics.metrics_block_list ma non lo faimetrics.metrics_allow_list, Apache Airflow filtra gli elementi specificati in. metrics.metrics_block_list

Nota

Le opzioni di metrics.metrics_block_list configurazione metrics.metrics_allow_list e si applicano solo ad Apache Airflow v2.6.3 e versioni successive. Per la versione precedente di Apache Airflow, usa e invece. metrics.statsd_allow_list metrics.statsd_block_list

Fasi successive

Esplora le MWAA API operazioni di Amazon utilizzate per pubblicare i parametri sulla salute dell'ambiente su PublishMetrics.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Dashboard e allarmi di monitoraggio

Metriche relative a contenitori, code e database