Bedingungen Dimensionen Zugreifen auf Metriken in der Konsole CloudWatch Apache Airflow-Metriken sind verfügbar in CloudWatch Wählen Sie aus, welche Metriken gemeldet werden Als nächstes

Metriken zur Apache Airflow-Umgebung in CloudWatch

Apache Airflow v2 und v3 sind bereits so eingerichtet, dass sie https://github.com/etsy/statsd StatsD-Metriken für eine Amazon Managed Workflows for Apache Airflow-Umgebung sammeln und an Amazon senden. CloudWatch Die vollständige Liste der Metriken, die Apache Airflow sendet, ist auf der Seite „Metriken“ im Apache Airflow-Referenzhandbuch verfügbar. Auf dieser Seite werden die Apache Airflow-Metriken beschrieben, die in der Konsole verfügbar sind, CloudWatch und wie Sie auf Metriken in der Konsole zugreifen können. CloudWatch

Inhalt

Bedingungen

Namespace: Ein Namespace ist ein Container für die CloudWatch Metriken eines AWS Dienstes. Für Amazon MWAA lautet der Namespace AmazonMWAA.
CloudWatch Metriken: Eine CloudWatch Metrik stellt einen zeitlich geordneten Satz von Datenpunkten dar, die spezifisch für sind. CloudWatch
Apache Airflow-Metriken: Die für Apache Airflow spezifischen Metriken.
Dimension: Eine Dimension ist ein name/value Paar, das Teil der Identität einer Metrik ist.
Einheit: Eine Statistik hat eine Maßeinheit. Für Amazon MWAA umfassen die Einheiten Anzahl, Sekunden und Millisekunden. Für Amazon MWAA werden die Einheiten auf der Grundlage der Einheiten in den ursprünglichen Airflow-Metriken festgelegt.

Dimensionen

In diesem Abschnitt wird die Gruppierung der CloudWatch Dimensionen für Apache Airflow-Metriken in beschrieben. CloudWatch

Dimension	Description
DRAG	Zeigt einen bestimmten Apache Airflow DAG-Namen an.
DAG-Dateiname	Zeigt einen bestimmten Apache Airflow DAG-Dateinamen an.
Funktion	Diese Dimension wird verwendet, um die Gruppierung von Metriken in zu verbessern. CloudWatch
Aufgabe	Zeigt einen Apache Airflow-Job an, der vom Scheduler ausgeführt wird. Hat immer den Wert. `Job`
Operator	Zeigt einen bestimmten Apache Airflow-Operator an.
Pool	Zeigt einen bestimmten Apache Airflow-Worker-Pool an.
Aufgabe	Zeigt eine bestimmte Apache Airflow-Aufgabe an.
HostName	Gibt den Hostnamen für einen bestimmten laufenden Apache Airflow-Prozess an.

Zugreifen auf Metriken in der Konsole CloudWatch

In diesem Abschnitt wird beschrieben, wie Sie auf Leistungsmetriken CloudWatch für eine bestimmte DAG zugreifen.

So greifen Sie auf Leistungsmetriken für eine Dimension zu

Öffnen Sie die Seite „https://console.aws.amazon.com/cloudwatch/home#metricsV2:graph=~()Metriken“ in der CloudWatch Konsole.
Wählen Sie Ihre AWS-Region.
Wählen Sie den AmazonMWAA-Namespace.
Wählen Sie auf der Registerkarte Alle Metriken eine Dimension aus. Zum Beispiel DAG, Environment.
Wählen Sie eine CloudWatch Metrik für eine Dimension. Zum Beispiel TaskInstanceSuccesses oder TaskInstanceDuration. Wählen Sie Alle Suchergebnisse grafisch darstellen aus.
Wählen Sie die Registerkarte „Graphische Metriken“, um auf Leistungsstatistiken für Apache Airflow-Metriken wie DAG, Environment, Task zuzugreifen.

Apache Airflow-Metriken sind verfügbar in CloudWatch

In diesem Abschnitt werden die Apache Airflow-Metriken und -Dimensionen beschrieben, an die gesendet wurden. CloudWatch

Apache Airflow-Zähler

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten zu Apache Airflow Counters.

CloudWatch Metrik	Apache Airflow-Metrik	Einheit	Dimension
SLA verpasst Anmerkung Nur für Apache Airflow v2.4.3 bis v2.10.3 verfügbar.	sla_verpasst	Anzahl	Funktion, Scheduler
Fehlgeschlagener SLA-Callback Anmerkung Nur verfügbar für Apache Airflow v2.4.3 bis v2.10.3.	sla_callback_notification_failure	Anzahl	Funktion, Scheduler
Aktualisierungen Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	dataset.updates	Anzahl	Funktion, Scheduler
Verwaist Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	dataset.orphaned	Anzahl	Funktion, Scheduler
FailedCeleryTaskExecution Anmerkung Verfügbar für Apache Airflow v2.4.3 und höher.	celery.execute_command.failure	Anzahl	Funktion, Sellerie
FilePathQueueUpdateCount Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	dag_processing.file_path_queue_update_count	Anzahl	Funktion, Scheduler
CriticalSectionBusy	scheduler.critical_section_busy	Anzahl	Funktion, Scheduler
DagBagSize	dagbag_size	Anzahl	Funktion, DAG-Verarbeitung
DagCallbackExceptions	dag.callback_exceptions	Anzahl	DAG, Alle
FailedSLAEmailAttempts Anmerkung Nicht verfügbar für Apache Airflow v3.0.6 und höher.	sla_email_notification_failure	Anzahl	Funktion, Scheduler
TaskInstanceFinished	fertig. {tag_id}. {Aufgaben-ID}. {Bundesland}	Anzahl	DAG, {tag_id} Aufgabe, {task_id} Bundesland, {Bundesland}
JobEnd	{Jobname} _ende	Anzahl	Beruf, {Jobname}
JobHeartbeatFailure	{Jobname} _Herzschlagfehler	Anzahl	Beruf, {job_name}
JobStart	{Jobname} _starten	Anzahl	Beruf, {Jobname}
ManagerStalls	dag_processing.manager_stalls	Anzahl	Funktion, DAG-Verarbeitung
OperatorFailures	Operator_Ausfälle_ {Operator_Name}	Anzahl	Betreiber, {operator_name}
OperatorSuccesses	Operator_erfolgreiches_ {Operator_Name}	Anzahl	Betreiber, {Operator_Name}
OtherCallbackCount Anmerkung Verfügbar in Apache Airflow v2.6.3 und höher.	dag_processing.other_callback_count	Anzahl	Funktion, Scheduler
Prozesse	dag_processing.processes	Anzahl	Funktion, DAG-Verarbeitung
SchedulerHeartbeat	scheduler_heartbeat	Anzahl	Funktion, Scheduler
StartedTaskInstances	ti.start. {tag_id}. {Aufgaben-ID}	Anzahl	DAG, Alle Aufgabe, Alles
SlaCallbackCount	dag_processing.sla_callback_count Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	Anzahl	Funktion, Scheduler
TasksKilledExternally	scheduler.tasks.killed_external	Anzahl	Funktion, Scheduler
TaskTimeoutError	celery.task_timeout_error	Anzahl	Funktion, Sellerie
TaskInstanceCreatedUsingOperator	task_instance_created- {Operator_Name}	Anzahl	Operator, {operator_name}
TaskInstancePreviouslySucceeded	vorher_erfolgreich	Anzahl	DAG, Alle Aufgabe, Alles
TaskInstanceFailures	ti_failures	Anzahl	DAG, Alle Aufgabe, Alles
TaskInstanceSuccesses	ti_successes	Anzahl	DAG, Alle Aufgabe, Alles
TaskRemovedFromDAG	task_from_dag entfernt. {Tag_ID}	Anzahl	TAG, {tag_id}
TaskRestoredToDAG	Aufgabe_zu_Tag wiederhergestellt. {Tag_ID}	Anzahl	TAG, {tag_id}
TriggersSucceeded Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	triggert. Erfolgreich	Anzahl	Funktion, Trigger
TriggersFailed Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Trigger. fehlgeschlagen	Anzahl	Funktion, Trigger
TriggersBlockedMainThread Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	triggers.blocked_main_thread	Anzahl	Funktion, Trigger
TriggerHeartbeat Anmerkung Verfügbar für Apache Airflow v2.8.1 und höher.	triggerer_heartbeat	Anzahl	Funktion, Triggerer
TaskInstanceCreatedUsingOperator	airflow.task_instance_erstellt_ `{operator_name}` Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Anzahl	Betreiber, `{operator_name}`
ZombiesKilled	Zombies_getötet	Anzahl	DAG, Alle Aufgabe, Alles

Apache Luftstrommessgeräte

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten zu Apache Airflow Gauges.

CloudWatch Metrik	Apache Airflow-Metrik	Einheit	Dimension
DAGFileRefreshError	dag_file_refresh_error	Anzahl	Funktion, DAG-Verarbeitung
ImportErrors	dag_processing.import_errors	Anzahl	Funktion, DAG-Verarbeitung
ExceptionFailures	smart_sensor_operator.exception_failures	Anzahl	Funktion, intelligenter Sensor-Operator
ExecutedTasks	smart_sensor_operator.executed_tasks	Anzahl	Funktion, intelligenter Sensor-Operator
InfraFailures	smart_sensor_operator.infra_failures	Anzahl	Funktion, intelligenter Sensoroperator
LoadedTasks	smart_sensor_operator.loaded_tasks	Anzahl	Funktion, intelligenter Sensor-Operator
TotalParseTime	dag_processing.total_parse_time	Sekunden	Funktion, DAG-Verarbeitung
TriggeredDagRuns Anmerkung Verfügbar in Apache Airflow v2.6.3 und höher.	dataset.triggered_dagruns	Anzahl	Funktion, Scheduler
TriggersRunning Anmerkung Verfügbar in Apache Airflow v2.7.2 und höher.	löst aus. Wird ausgeführt. `{hostname}`	Anzahl	Funktion, Trigger HostName, `{hostname}`
PoolDeferredSlots Anmerkung Verfügbar in Apache Airflow v2.7.2 und höher.	pool.deferred_slots. `{pool_name}`	Anzahl	Schwimmbad, {pool_name}
DAGFileProcessingLastRunSecondsAgo	dag_processing.last_run.seconds_ago. {dag_filename}	Sekunden	DAG-Dateiname, {dag_filename}
OpenSlots	executor.open_slots	Anzahl	Funktion, Executor
OrphanedTasksAdopted	scheduler.orphaned_tasks.adoptiert	Anzahl	Funktion, Scheduler
OrphanedTasksCleared	scheduler.orphaned_tasks.cleared	Anzahl	Funktion, Scheduler
PokedExceptions	smart_sensor_operator.poked_exception	Anzahl	Funktion, intelligenter Sensor-Operator
PokedSuccess	smart_sensor_operator.poked_success	Anzahl	Funktion, intelligenter Sensoroperator
PokedTasks	smart_sensor_operator.poked_tasks	Anzahl	Funktion, intelligenter Sensor-Operator
PoolFailures	pool.open_slots. {Poolname}	Anzahl	Schwimmbecken, {pool_name}
PoolStarvingTasks	pool.starving_tasks. {Poolname}	Anzahl	Schwimmbecken, {pool_name}
PoolOpenSlots	pool.open_slots. {Poolname}	Anzahl	Schwimmbecken, {pool_name}
PoolQueuedSlots	pool.queued_slots. {Poolname}	Anzahl	Schwimmbecken, {pool_name}
PoolRunningSlots	pool.running_slots. {Poolname}	Anzahl	Schwimmbecken, {pool_name}
ProcessorTimeouts	dag_processing.processor_timeouts	Anzahl	Funktion, DAG-Verarbeitung
QueuedTasks	executor.queued_tasks	Anzahl	Funktion, Executor
RunningTasks	executor.running_tasks	Anzahl	Funktion, Executor
TasksExecutable	scheduler.tasks.executable	Anzahl	Funktion, Scheduler
TasksPending Anmerkung Gilt nicht für Apache Airflow v2.2 und höher.	scheduler.tasks.pending	Anzahl	Funktion, Scheduler
TasksRunning	scheduler.tasks.running	Anzahl	Funktion, Scheduler
TasksStarving	scheduler.tasks.hungern	Anzahl	Funktion, Scheduler
TasksWithoutDagRun	scheduler.tasks.without_dagrun	Anzahl	Funktion, Scheduler
DAGFileProcessingLastNumOfDbQueries Anmerkung Verfügbar in Apache Airflow v2.10.1 und höher.	dag_processing.last_num_of_db_queries. {dag_filename}	Anzahl	DAG-Dateiname, {dag_filename}
PoolScheduledSlots Anmerkung Verfügbar in Apache Airflow v2.10.1 und höher.	pool.scheduled_slots. {Poolname}	Anzahl	Schwimmbecken, {pool_name}
TaskCpuUsage Anmerkung Verfügbar in Apache Airflow v2.10.1 und höher.	CPU-Nutzung. {tag_id}. {Aufgaben-ID}	Prozent	TAG, {tag_id} Aufgabe, {task_id}
TaskMemoryUsage Anmerkung Verfügbar in Apache Airflow v2.10.1 und höher.	mem.usage. {tag_id}. {Aufgaben-ID}	Prozent	TAG, {tag_id} Aufgabe, {task_id}

Apache Airflow-Timer

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten über Apache Airflow Timer.

CloudWatch Metrik	Apache Airflow-Metrik	Einheit	Dimension
Sammle DBDAGs	sammle db_dags	Millisekunden	Funktion, DAG-Verarbeitung
CriticalSectionDuration	scheduler.critical_section_duration	Millisekunden	Funktion, Scheduler
CriticalSectionQueryDuration Anmerkung Verfügbar für Apache Airflow v2.5.1 und höher.	scheduler.critical_section_query_duration	Millisekunden	Funktion, Scheduler
DAGDependencyCheck	dagrun.dependency-check. {tag_id}	Millisekunden	TAG, {tag_id}
DAGDurationFailed	dagrun.duration.fehlgeschlagen. {tag_id}	Millisekunden	TAG, {tag_id}
DAGDurationSuccess	dagrun.duration.success. {tag_id}	Millisekunden	TAG, {tag_id}
DAGFileProcessingLastDuration	dag_processing.last_duration. {dag_filename}	Sekunden	DAG-Dateiname, {dag_filename}
DAGScheduleDelay	dagrun.schedule_delay. {day_id}	Millisekunden	TAG, {tag_id}
FirstTaskSchedulingDelay	Ein Tag lang. {dag_id} .first_task_scheduling_delay	Millisekunden	TAG, {dag_id}
SchedulerLoopDuration Anmerkung Verfügbar für Apache Airflow v2.5.1 und höher.	scheduler.scheduler_loop_duration	Millisekunden	Funktion, Scheduler
TaskInstanceDuration	Tag. {tag_id}. {task_id} .dauer	Millisekunden	TAG, {Tag_ID} Aufgabe, {task_id}
TaskInstanceQueuedDuration	Tag. `{dag_id}`. `{task_id}`. Dauer in der Warteschlange Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Millisekunden	DAG, {dag_id} Aufgabe, {task_id}
TaskInstanceScheduledDuration Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Tag. `{dag_id}`. `{task_id}`.geplant_dauer	Millisekunden	TAG, {tag_id} Aufgabe, {task_id}

Wählen Sie aus, welche Metriken gemeldet werden

Mithilfe der folgenden Amazon MWAA-Konfigurationsoptionen können Sie wählen CloudWatch, welche Apache Airflow-Metriken an Apache Airflow gesendet oder von Apache Airflow blockiert werden:

metrics.metrics_allow_list— Eine Liste kommagetrennter Präfixe, anhand derer Sie auswählen können, an welche Metriken Ihre Umgebung sendet. CloudWatch Verwenden Sie diese Option, wenn Sie möchten, dass Apache Airflow nicht alle verfügbaren Metriken sendet und stattdessen eine Teilmenge von Elementen auswählt. Beispiel, scheduler,executor,dagrun.
metrics.metrics_block_list— Eine Liste von durch Kommas getrennten Präfixen zum Herausfiltern von Metriken, die mit den Elementen der Liste beginnen. Beispiel, scheduler,executor,dagrun.

Wenn Sie sowohl als auch metrics.metrics_allow_list konfigurieren, wird dies von Apache metrics.metrics_block_list Airflow ignoriert. metrics.metrics_block_list Wenn Sie konfigurieren, metrics.metrics_block_list aber nichtmetrics.metrics_allow_list, filtert Apache Airflow die Elemente heraus, die Sie angeben. metrics.metrics_block_list

Anmerkung

Die metrics.metrics_block_list Konfigurationsoptionen metrics.metrics_allow_list und gelten nur für Apache Airflow v2.6.3 und höher. Verwenden Sie für frühere Versionen von Apache Airflow stattdessen und. metrics.statsd_allow_list metrics.statsd_block_list

Als nächstes

Erfahren Sie mehr über den Amazon MWAA-API-Vorgang, der zur Veröffentlichung von Kennzahlen zum Zustand der Umgebung unter verwendet wird. PublishMetrics

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Überwachung von Dashboards und Alarmen

Container-, Warteschlangen- und Datenbankmetriken