Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Metriche dell'ambiente Apache Airflow in CloudWatch
Apache Airflow v2 e v3 sono già configurati per raccogliere e inviare i parametri StatsD per un ambiente Amazon Managed Workflows for Apache Airflow ad Amazon. https://github.com/etsy/statsd
Indice
Termini
- Namespace
-
Un namespace è un contenitore per le metriche di un servizio. CloudWatch AWS Per Amazon MWAA, il namespace è AmazonMWAA.
- CloudWatch metriche
-
Una CloudWatch metrica rappresenta un insieme di punti dati ordinati nel tempo specifici di. CloudWatch
- Metriche di Apache Airflow
-
Le metriche
specifiche di Apache Airflow. - Dimensione
-
Una dimensione è una name/value coppia che fa parte dell'identità di una metrica.
- Unità
-
Una statistica ha un'unità di misura. Per Amazon MWAA, le unità includono Count, Seconds e Milliseconds. Per Amazon MWAA, le unità sono impostate in base alle unità delle metriche Airflow originali.
Dimensioni
Questa sezione descrive il raggruppamento delle CloudWatch dimensioni per le metriche di Apache Airflow in. CloudWatch
| Dimensione | Description |
|---|---|
|
DAG |
Indica un nome DAG Apache Airflow specifico. |
|
Nome del file DAG |
Indica un nome di file DAG Apache Airflow specifico. |
|
Funzione |
Questa dimensione viene utilizzata per migliorare il raggruppamento delle metriche in. CloudWatch |
|
Processo |
Indica un job Apache Airflow eseguito dallo scheduler. Ha sempre un valore di. |
|
Operatore |
Indica un operatore Apache Airflow specifico. |
|
Pool |
Indica un pool di lavoratori Apache Airflow specifico. |
|
Operazione |
Indica un'attività specifica di Apache Airflow. |
|
HostName |
Indica il nome host per uno specifico processo Apache Airflow in esecuzione. |
Accesso alle metriche nella console CloudWatch
Questa sezione descrive come accedere alle metriche delle prestazioni CloudWatch per un DAG specifico.
Per accedere alle metriche delle prestazioni per una dimensione
-
Apri la pagina Metriche
sulla CloudWatch console. -
Seleziona il tuo. Regione AWS
-
Scegli il namespace AmazonMWAA.
-
Nella scheda Tutte le metriche, seleziona una dimensione. Ad esempio, DAG, Environment.
-
Scegli una CloudWatch metrica per una dimensione. Ad esempio TaskInstanceSuccesses o TaskInstanceDuration. Scegli Grafico di tutti i risultati della ricerca.
-
Scegli la scheda Metriche grafiche per accedere alle statistiche sulle prestazioni per le metriche di Apache Airflow, come DAG, Environment, Task.
Le metriche di Apache Airflow sono disponibili in CloudWatch
Questa sezione descrive le metriche e le dimensioni di Apache Airflow inviate a. CloudWatch
Contatori Apache Airflow
Le metriche di Apache Airflow in questa sezione contengono dati sui contatori Apache Airflow.
| CloudWatch parametro | Metrica Apache Airflow | Unità | Dimensione |
|---|---|---|---|
|
SLA mancato NotaDisponibile solo per Apache Airflow da v2.4.3 a v2.10.3. |
sla_missed |
Conteggio |
Funzione, Scheduler |
|
Richiamata SLAC non riuscita NotaDisponibile solo per Apache Airflow da v2.4.3 a v2.10.3. |
sla_callback_notification_failure |
Conteggio |
Funzione, Scheduler |
|
Aggiornamenti NotaDisponibile per Apache Airflow v2.6.3 e versioni successive. |
set di dati. Aggiornamenti |
Conteggio |
Funzione, Scheduler |
|
Orfano NotaDisponibile per Apache Airflow v2.6.3 e versioni successive. |
set di dati. Orfano |
Conteggio |
Funzione, Scheduler |
|
FailedCeleryTaskExecution NotaDisponibile per Apache Airflow v2.4.3 e versioni successive. |
celery.execute_command.failure |
Conteggio |
Funzione, Celery |
|
FilePathQueueUpdateCount NotaDisponibile per Apache Airflow v2.6.3 e versioni successive. |
dag_processing.file_path_queue_update_count |
Conteggio |
Funzione, Scheduler |
|
CriticalSectionBusy |
scheduler.critical_section_busy |
Conteggio |
Funzione, Scheduler |
|
DagBagSize |
dagbag_size |
Conteggio |
Funzione, elaborazione DAG |
|
DagCallbackExceptions |
dag.callback_exceptions |
Conteggio |
DAG, Tutti |
|
FailedSLAEmailAttempts NotaNon disponibile per Apache Airflow v3.0.6 e versioni successive. |
sla_email_notification_failure |
Conteggio |
Funzione, Scheduler |
|
TaskInstanceFinished |
per finire. {id_giorno}. {task_id}. {stato} |
Conteggio |
DAG, {dag_id} Attività, {task_id} Stato, {state} |
|
JobEnd |
{job_name} _fine |
Conteggio |
Lavoro, {job_name} |
|
JobHeartbeatFailure |
{job_name} _heartbeat_failure |
Conteggio |
Lavoro, {job_name} |
|
JobStart |
{job_name} _start |
Conteggio |
Lavoro, {job_name} |
|
ManagerStalls |
dag_processing.manager_stalls |
Conteggio |
Funzione, elaborazione DAG |
|
OperatorFailures |
operator_failures_ {operator_name} |
Conteggio |
Operatore, {operator_name} |
|
OperatorSuccesses |
operator_successes_ {operator_name} |
Conteggio |
Operatore, {operator_name} |
|
OtherCallbackCount NotaDisponibile in Apache Airflow v2.6.3 e versioni successive. |
dag_processing.other_callback_count |
Conteggio |
Funzione, Scheduler |
|
Processes |
dag_processing.processes |
Conteggio |
Funzione, elaborazione DAG |
|
SchedulerHeartbeat |
scheduler_heartbeat |
Conteggio |
Funzione, Scheduler |
|
StartedTaskInstances |
ti.start. {id_giorno}. {task_id} |
Conteggio |
DAG, Tutti Attività, Tutto |
|
SlaCallbackCount |
dag_processing.sla_callback_count NotaDisponibile per Apache Airflow v2.6.3 e versioni successive. |
Conteggio |
Funzione, Scheduler |
|
TasksKilledExternally |
scheduler.tasks.killed_externally |
Conteggio |
Funzione, Scheduler |
|
TaskTimeoutError |
celery.task_timeout_error |
Conteggio |
Funzione, Celery |
|
TaskInstanceCreatedUsingOperator |
task_instance_created- {operator_name} |
Conteggio |
Operatore, {operator_name} |
|
TaskInstancePreviouslySucceeded |
precedente_riuscito |
Conteggio |
DAG, Tutti Attività, Tutto |
|
TaskInstanceFailures |
ti_failures |
Conteggio |
DAG, Tutti Attività, Tutto |
|
TaskInstanceSuccesses |
ti_successes |
Conteggio |
DAG, Tutti Attività, Tutto |
|
TaskRemovedFromDAG |
task_removed_from_dag. {id_giorno} |
Conteggio |
DAG, {dag_id} |
|
TaskRestoredToDAG |
task_restored_to_dag. {id_giorno} |
Conteggio |
DAG, {dag_id} |
|
TriggersSucceeded NotaDisponibile per Apache Airflow v2.7.2 e versioni successive. |
triggers.riuscito |
Conteggio |
Funzione, Trigger |
|
TriggersFailed NotaDisponibile per Apache Airflow v2.7.2 e versioni successive. |
trigger. Fallito |
Conteggio |
Funzione, Trigger |
|
TriggersBlockedMainThread NotaDisponibile per Apache Airflow v2.7.2 e versioni successive. |
triggers.blocked_main_thread |
Conteggio |
Funzione, Trigger |
|
TriggerHeartbeat NotaDisponibile per Apache Airflow v2.8.1 e versioni successive. |
triggerer_heartbeat |
Conteggio |
Funzione, Triggerer |
|
TaskInstanceCreatedUsingOperator |
airflow.task_instance_created_ NotaDisponibile per Apache Airflow v2.7.2 e versioni successive. |
Conteggio |
Operatore, |
|
ZombiesKilled |
zombie uccisi |
Conteggio |
DAG, Tutti Attività, Tutto |
Misuratori Apache Airflow
Le metriche di Apache Airflow in questa sezione contengono dati sugli indicatori Apache Airflow.
| CloudWatch parametro | Metrica Apache Airflow | Unità | Dimensione |
|---|---|---|---|
|
DAGFileRefreshError |
dag_file_refresh_error |
Conteggio |
Funzione, elaborazione DAG |
|
ImportErrors |
dag_processing.import_errors |
Conteggio |
Funzione, elaborazione DAG |
|
ExceptionFailures |
smart_sensor_operator.exception_failures |
Conteggio |
Funzione, Smart Sensor Operator |
|
ExecutedTasks |
smart_sensor_operator.executed_tasks |
Conteggio |
Funzione, Smart Sensor Operator |
|
InfraFailures |
smart_sensor_operator.infra_failures |
Conteggio |
Funzione, Smart Sensor Operator |
|
LoadedTasks |
smart_sensor_operator.loaded_tasks |
Conteggio |
Funzione, Smart Sensor Operator |
|
TotalParseTime |
dag_processing.total_parse_time |
Secondi |
Funzione, elaborazione DAG |
|
TriggeredDagRuns NotaDisponibile in Apache Airflow v2.6.3 e versioni successive. |
dataset.triggered_dagruns |
Conteggio |
Funzione, Scheduler |
|
TriggersRunning NotaDisponibile in Apache Airflow v2.7.2 e versioni successive. |
trigger. In esecuzione. |
Conteggio |
Funzione, Trigger HostName, |
|
PoolDeferredSlots NotaDisponibile in Apache Airflow v2.7.2 e versioni successive. |
pool.deferred_slots. |
Conteggio |
Piscina, {pool_name} |
|
DAGFileProcessingLastRunSecondsAgo |
dag_processing.last_run.seconds_ago. {nome_dag_file} |
Secondi |
Nome file DAG, {dag_filename} |
|
OpenSlots |
executor.open_slots |
Conteggio |
Funzione, Executor |
|
OrphanedTasksAdopted |
scheduler.orphaned_tasks.adopt |
Conteggio |
Funzione, Scheduler |
|
OrphanedTasksCleared |
scheduler.orphaned_tasks.cancellato |
Conteggio |
Funzione, Scheduler |
|
PokedExceptions |
smart_sensor_operator.poked_exception |
Conteggio |
Funzione, Smart Sensor Operator |
|
PokedSuccess |
smart_sensor_operator.poked_success |
Conteggio |
Funzione, Smart Sensor Operator |
|
PokedTasks |
smart_sensor_operator.poked_tasks |
Conteggio |
Funzione, Smart Sensor Operator |
|
PoolFailures |
pool.open_slots. {nome_piscina} |
Conteggio |
Piscina, {pool_name} |
|
PoolStarvingTasks |
pool.starving_tasks. {nome_piscina} |
Conteggio |
Piscina, {pool_name} |
|
PoolOpenSlots |
pool.open_slots. {nome_piscina} |
Conteggio |
Piscina, {pool_name} |
|
PoolQueuedSlots |
pool.queued_slots. {nome_piscina} |
Conteggio |
Piscina, {pool_name} |
|
PoolRunningSlots |
pool.running_slots. {nome_piscina} |
Conteggio |
Piscina, {pool_name} |
|
ProcessorTimeouts |
dag_processing.processor_timeouts |
Conteggio |
Funzione, elaborazione DAG |
|
QueuedTasks |
executor.queued_tasks |
Conteggio |
Funzione, Executor |
|
RunningTasks |
executor.running_tasks |
Conteggio |
Funzione, Executor |
|
TasksExecutable |
scheduler.tasks.eseguibile |
Conteggio |
Funzione, Scheduler |
|
TasksPending NotaNon si applica ad Apache Airflow v2.2 e versioni successive. |
scheduler.tasks.pending |
Conteggio |
Funzione, Scheduler |
|
TasksRunning |
scheduler.tasks.running |
Conteggio |
Funzione, Scheduler |
|
TasksStarving |
scheduler.tasks.starving |
Conteggio |
Funzione, Scheduler |
|
TasksWithoutDagRun |
scheduler.tasks.without_dagrun |
Conteggio |
Funzione, Scheduler |
|
DAGFileProcessingLastNumOfDbQueries NotaDisponibile in Apache Airflow v2.10.1 e versioni successive. |
dag_processing.last_num_of_db_queries. {nome_dag_file} |
Conteggio |
Nome file DAG, {dag_filename} |
|
PoolScheduledSlots NotaDisponibile in Apache Airflow v2.10.1 e versioni successive. |
pool.scheduled_slots. {nome_piscina} |
Conteggio |
Piscina, {pool_name} |
|
TaskCpuUsage NotaDisponibile in Apache Airflow v2.10.1 e versioni successive. |
cpu.usage. {id_giorno}. {task_id} |
Percentuale |
DAG, {dag_id} Attività, {task_id} |
|
TaskMemoryUsage NotaDisponibile in Apache Airflow v2.10.1 e versioni successive. |
mem.usage. {id_giorno}. {task_id} |
Percentuale |
DAG, {dag_id} Attività, {task_id} |
Timer Apache Airflow
Le metriche di Apache Airflow in questa sezione contengono dati sui timer Apache Airflow.
| CloudWatch parametro | Metrica Apache Airflow | Unità | Dimensione |
|---|---|---|---|
|
Raccogli DBDAG |
collect_db_dags |
Millisecondi |
Funzione, elaborazione DAG |
|
CriticalSectionDuration |
scheduler.critical_section_duration |
Millisecondi |
Funzione, Scheduler |
|
CriticalSectionQueryDuration NotaDisponibile per Apache Airflow v2.5.1 e versioni successive. |
scheduler.critical_section_query_duration |
Millisecondi |
Funzione, Scheduler |
|
DAGDependencyCheck |
dagrun.dependency-check. {id_giorno} |
Millisecondi |
DAG, {dag_id} |
|
DAGDurationFailed |
dagrun.duration.failed. {id_giorno} |
Millisecondi |
DAG, {dag_id} |
|
DAGDurationSuccess |
dagrun.duration.success. {id_giorno} |
Millisecondi |
DAG, {dag_id} |
|
DAGFileProcessingLastDuration |
dag_processing.last_duration. {nome_dag_file} |
Secondi |
Nome file DAG, {dag_filename} |
|
DAGScheduleDelay |
dagrun.schedule_delay. {id_giorno} |
Millisecondi |
DAG, {dag_id} |
|
FirstTaskSchedulingDelay |
dagrun. {dag_id} .first_task_scheduling_delay |
Millisecondi |
DAG, {dag_id} |
|
SchedulerLoopDuration NotaDisponibile per Apache Airflow v2.5.1 e versioni successive. |
scheduler.scheduler_loop_duration |
Millisecondi |
Funzione, Scheduler |
|
TaskInstanceDuration |
giorno. {id_giorno}. {task_id} .durata |
Millisecondi |
DAG, {dag_id} Attività, {task_id} |
|
TaskInstanceQueuedDuration |
tag. NotaDisponibile per Apache Airflow v2.7.2 e versioni successive. |
Millisecondi |
DAG, {dag_id} Attività, {task_id} |
|
TaskInstanceScheduledDuration NotaDisponibile per Apache Airflow v2.7.2 e versioni successive. |
dag. |
Millisecondi |
DAG, {dag_id} Attività, {task_id} |
Scelta delle metriche da segnalare
Puoi scegliere quali metriche di Apache Airflow vengono emesse o bloccate da Apache Airflow CloudWatch, utilizzando le seguenti opzioni di configurazione di Amazon MWAA: Utilizzo delle opzioni di configurazione di Apache Airflow su Amazon MWAA
metrics.metrics_allow_list— Un elenco di prefissi separati da virgole che puoi utilizzare per selezionare le metriche emesse dal tuo ambiente. CloudWatch Utilizzate questa opzione se desiderate che Apache Airflow non invii tutte le metriche disponibili e selezioni invece un sottoinsieme di elementi. Ad esempio,scheduler,executor,dagrun.metrics.metrics_block_list— Un elenco di prefissi separati da virgole per filtrare le metriche che iniziano con gli elementi dell'elenco. Ad esempio,scheduler,executor,dagrun.
Se si configurano entrambi metrics.metrics_allow_list e, Apache Airflow li ignora. metrics.metrics_block_list metrics.metrics_block_list Se configuri metrics.metrics_block_list ma non lo configurimetrics.metrics_allow_list, Apache Airflow filtra gli elementi specificati. metrics.metrics_block_list
Nota
Le opzioni di metrics.metrics_block_list configurazione metrics.metrics_allow_list e si applicano solo ad Apache Airflow v2.6.3 e versioni successive. Per la versione precedente di Apache Airflow, usa invece e. metrics.statsd_allow_list metrics.statsd_block_list
Fasi successive
-
Esplora il funzionamento dell'API Amazon MWAA utilizzata per pubblicare le metriche sullo stato dell'ambiente su. PublishMetrics
