Ketentuan Dimensi Mengakses metrik di konsol CloudWatch Metrik Apache Airflow tersedia di CloudWatch Memilih metrik mana yang dilaporkan Apa selanjutnya?

Metrik lingkungan Apache Airflow v2 di CloudWatch

Apache Airflow v2 sudah diatur untuk mengumpulkan dan mengirim metrik StatSD untuk Alur Kerja Terkelola Amazon untuk lingkungan Apache Airflow ke Amazon. CloudWatch Daftar lengkap metrik yang dikirim Apache Airflow tersedia di halaman Metrik di panduan referensi Apache Airflow. Halaman ini menjelaskan metrik Apache Airflow yang tersedia di CloudWatch, dan cara mengakses metrik di konsol. CloudWatch

Daftar Isi

Ketentuan

Namespace: Namespace adalah wadah untuk CloudWatch metrik layanan. AWS Untuk AmazonMWAA, namespace adalah Amazon. MWAA
CloudWatch metrik: CloudWatch Metrik mewakili kumpulan titik data yang diurutkan waktu yang spesifik untuk CloudWatch.
Metrik Aliran Udara Apache: Metrik khusus untuk Apache Airflow.
Dimensi: Dimensi adalah pasangan nama/nilai yang merupakan bagian dari identitas metrik.
Unit: Sebuah statistik memiliki satuan ukuran. Untuk AmazonMWAA, unit termasuk Hitung, Detik, dan Millidetik. Untuk AmazonMWAA, unit ditetapkan berdasarkan unit dalam metrik Airflow asli.

Dimensi

Bagian ini menjelaskan pengelompokan CloudWatch Dimensi untuk metrik Apache Airflow di. CloudWatch

Dimensi	Deskripsi
DAG	Menunjukkan nama Apache Airflow DAG tertentu.
DAGNama berkas	Menunjukkan nama DAG file Apache Airflow tertentu.
Fungsi	Dimensi ini digunakan untuk meningkatkan pengelompokan metrik di. CloudWatch
Pekerjaan	Menunjukkan Apache Airflow Job* yang dijalankan oleh Scheduler.* Selalu memiliki nilai Job.
Operator	Menunjukkan operator Apache Airflow tertentu.
Kolam renang	Menunjukkan kumpulan pekerja Apache Airflow tertentu.
Tugas	Menunjukkan tugas Apache Airflow tertentu.
HostName	Menunjukkan nama host untuk proses Apache Airflow tertentu yang berjalan.

Mengakses metrik di konsol CloudWatch

Bagian ini menjelaskan cara mengakses metrik kinerja CloudWatch untuk yang spesifikDAG.

Untuk melihat metrik kinerja untuk dimensi

Buka halaman Metrik di CloudWatch konsol.
Gunakan pemilih AWS Wilayah untuk memilih wilayah Anda.
Pilih MWAA namespace Amazon.
Di tab Semua metrik, pilih dimensi. Misalnya DAG, Lingkungan.
Pilih CloudWatch metrik untuk dimensi. Misalnya, TaskInstanceSuccessesatau TaskInstanceDuration. Pilih Grafik semua hasil pencarian.
Pilih tab Graphed metrics untuk melihat statistik performa untuk metrik Apache Airflow, sepertiDAG, Environment, Task.

Metrik Apache Airflow tersedia di CloudWatch

Bagian ini menjelaskan metrik dan dimensi Apache Airflow yang dikirim ke. CloudWatch

Penghitung Aliran Udara Apache

Metrik Apache Airflow di bagian ini berisi data tentang Apache Airflow Counters.

CloudWatch metrik	Metrik Aliran Udara Apache	Unit	Dimensi
SLAMissed catatan Tersedia untuk Apache Airflow v2.4.3 dan di atasnya.	sla_terlewatkan	Hitung	Fungsi, Penjadwal
F ailedSLACallback catatan Tersedia untuk Apache Airflow v2.4.3 dan di atasnya.	sla_callback_notification_failure	Hitung	Fungsi, Penjadwal
Pembaruan catatan Tersedia untuk Apache Airflow v2.6.3 dan di atasnya.	dataset.updates	Hitung	Fungsi, Penjadwal
Yatim piatu catatan Tersedia untuk Apache Airflow v2.6.3 dan di atasnya.	dataset.yatim piatu	Hitung	Fungsi, Penjadwal
FailedCeleryTaskExecution catatan Tersedia untuk Apache Airflow v2.4.3 dan di atasnya.	celery.execute_command.failure	Hitung	Fungsi, Seledri
FilePathQueueUpdateCount catatan Tersedia untuk Apache Airflow v2.6.3 dan di atasnya.	dag_processing.file_path_queue_update_count	Hitung	Fungsi, Penjadwal
CriticalSectionBusy	scheduler.critical_section_busy	Hitung	Fungsi, Penjadwal
DagBagSize	dagbag_size	Hitung	Fungsi, DAG Pengolahan
DagCallbackExceptions	dag.callback_exceptions	Hitung	DAG, Semua
F ailedSLAEmail Upaya	sla_email_notification_failure	Hitung	Fungsi, Penjadwal
TaskInstanceFinished	ti.finish. {dag_id}. {task_id}. {negara}	Hitung	DAG, {dag_id} Tugas, {task_id} Negara, {state}
JobEnd	{job_name} _akhir	Hitung	Job, {job_name}
JobHeartbeatFailure	{job_name} _heartbeat_failure	Hitung	Job, {job_name}
JobStart	{job_name} _mulai	Hitung	Job, {job_name}
ManagerStalls	dag_processing.manager_stalls	Hitung	Fungsi, DAG Pengolahan
OperatorFailures	operator_failures_ {operator_name}	Hitung	Operator, {operator_name}
OperatorSuccesses	operator_successes_ {operator_name}	Hitung	Operator, {operator_name}
OtherCallbackCount catatan Tersedia dalam Apache Airflow v2.6.3 dan di atasnya.	dag_processing.other_callback_count	Hitung	Fungsi, Penjadwal
Proses	dag_processing.processes	Hitung	Fungsi, DAG Pengolahan
SchedulerHeartbeat	scheduler_heartbeat	Hitung	Fungsi, Penjadwal
StartedTaskInstances	ti.start. {dag_id}. {task_id}	Hitung	DAG, Semua Tugas, Semua
SlaCallbackCount	dag_processing.sla_callback_count catatan Tersedia untuk Apache Airflow v2.6.3 dan di atasnya.	Hitung	Fungsi, Penjadwal
TasksKilledExternally	scheduler.tasks.killed_externally	Hitung	Fungsi, Penjadwal
TaskTimeoutError	celery.task_timeout_error	Hitung	Fungsi, Seledri
TaskInstanceCreatedUsingOperator	task_instance_created- {operator_name}	Hitung	Operator, {operator_name}
TaskInstancePreviouslySucceeded	sebelumnya_berhasil	Hitung	DAG, Semua Tugas, Semua
TaskInstanceFailures	ti_failure	Hitung	DAG, Semua Tugas, Semua
TaskInstanceSuccesses	ti_sukses	Hitung	DAG, Semua Tugas, Semua
TaskRemovedFromDAG	task_removed_from_dag. {dag_id}	Hitung	DAG, {dag_id}
TaskRestoredToDAG	task_restored_to_dag. {dag_id}	Hitung	DAG, {dag_id}
TriggersSucceeded catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	pemicu.berhasil	Hitung	Fungsi, Pemicu
TriggersFailed catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	pemicu.gagal	Hitung	Fungsi, Pemicu
TriggersBlockedMainThread catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	triggers.blocked_main_thread	Hitung	Fungsi, Pemicu
TriggerHeartbeat catatan Tersedia untuk Apache Airflow v2.8.1 dan di atasnya.	triggerer_detak jantung	Hitung	Fungsi, Pemicu
TaskInstanceCreatedUsingOperator	airflow.task_instance_created_ `{operator_name}` catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	Hitung	Operator, `{operator_name}`
ZombiesKilled	zombie_dibunuh	Hitung	DAG, Semua Tugas, Semua

Pengukur Aliran Udara Apache

Metrik Apache Airflow di bagian ini berisi data tentang Apache Airflow Gauges.

CloudWatch metrik	Metrik Aliran Udara Apache	Unit	Dimensi
DAGFileRefreshError	dag_file_refresh_error	Hitung	Fungsi, DAG Pengolahan
ImportErrors	dag_processing.import_errors	Hitung	Fungsi, DAG Pengolahan
ExceptionFailures	smart_sensor_operator.exception_failure	Hitung	Fungsi, Operator Sensor Cerdas
ExecutedTasks	smart_sensor_operator.executed_tasks	Hitung	Fungsi, Operator Sensor Cerdas
InfraFailures	smart_sensor_operator.infra_failure	Hitung	Fungsi, Operator Sensor Cerdas
LoadedTasks	smart_sensor_operator.loaded_tasks	Hitung	Fungsi, Operator Sensor Cerdas
TotalParseTime	dag_processing.total_parse_time	Detik	Fungsi, DAG Pengolahan
TriggeredDagRuns catatan Tersedia dalam Apache Airflow v2.6.3 dan di atasnya.	dataset.triggered_dagruns	Hitung	Fungsi, Penjadwal
TriggersRunning catatan Tersedia dalam Apache Airflow v2.7.2 dan di atasnya.	pemicu.running.`{hostname}`	Hitung	Fungsi, Pemicu HostName, `{hostname}`
PoolDeferredSlots catatan Tersedia dalam Apache Airflow v2.7.2 dan di atasnya.	pool.deferred_slots. `{pool_name}`	Hitung	Kolam renang, {pool_name}
DAGFileProcessingLastRunSecondsAgo	dag_processing.last_run.seconds_ago. {dag_nama file}	Detik	DAGNama file, {dag_filename}
OpenSlots	executor.open_slots	Hitung	Fungsi, Pelaksana
OrphanedTasksAdopted	scheduler.orphaned_tasks.adopted	Hitung	Fungsi, Penjadwal
OrphanedTasksCleared	scheduler.orphaned_tasks.cleared	Hitung	Fungsi, Penjadwal
PokedExceptions	smart_sensor_operator.poked_exception	Hitung	Fungsi, Operator Sensor Cerdas
PokedSuccess	smart_sensor_operator.poked_success	Hitung	Fungsi, Operator Sensor Cerdas
PokedTasks	smart_sensor_operator.poked_tasks	Hitung	Fungsi, Operator Sensor Cerdas
PoolFailures	pool.open_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
PoolStarvingTasks	pool.starving_tasks. {pool_name}	Hitung	Kolam renang, {pool_name}
PoolOpenSlots	pool.open_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
PoolQueuedSlots	pool.queued_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
PoolRunningSlots	pool.running_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
ProcessorTimeouts	dag_processing.processor_timeouts	Hitung	Fungsi, DAG Pengolahan
QueuedTasks	executor.queued_tasks	Hitung	Fungsi, Pelaksana
RunningTasks	executor.running_tasks	Hitung	Fungsi, Pelaksana
TasksExecutable	scheduler.tasks.executable	Hitung	Fungsi, Penjadwal
TasksPending catatan Tidak berlaku untuk Apache Airflow v2.2 dan di atasnya.	scheduler.tasks.pending	Hitung	Fungsi, Penjadwal
TasksRunning	scheduler.tasks.running	Hitung	Fungsi, Penjadwal
TasksStarving	scheduler.tasks.starving	Hitung	Fungsi, Penjadwal
TasksWithoutDagRun	scheduler.tasks.without_dagrun	Hitung	Fungsi, Penjadwal
DAGFileProcessingLastNumOfDbQueries catatan Tersedia dalam Apache Airflow v2.10.1 dan di atasnya.	dag_processing.last_num_of_db_queries. {dag_nama file}	Hitung	DAGNama file, {dag_filename}
PoolScheduledSlots catatan Tersedia dalam Apache Airflow v2.10.1 dan di atasnya.	pool.scheduled_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
TaskCpuUsage catatan Tersedia dalam Apache Airflow v2.10.1 dan di atasnya.	cpu.usage. {dag_id}. {task_id}	Persen	DAG, {dag_id} Tugas, {task_id}
TaskMemoryUsage catatan Tersedia dalam Apache Airflow v2.10.1 dan di atasnya.	mem.penggunaan. {dag_id}. {task_id}	Persen	DAG, {dag_id} Tugas, {task_id}

Pengatur Waktu Aliran Udara Apache

Metrik Apache Airflow di bagian ini berisi data tentang Apache Airflow Timers.

CloudWatch metrik	Metrik Aliran Udara Apache	Unit	Dimensi
C ollectDBDags	collect_db_dags	Milidetik	Fungsi, DAG Pengolahan
CriticalSectionDuration	scheduler.critical_section_duration	Milidetik	Fungsi, Penjadwal
CriticalSectionQueryDuration catatan Tersedia untuk Apache Airflow v2.5.1 dan di atasnya.	scheduler.critical_section_query_duration	Milidetik	Fungsi, Penjadwal
DAGDependencyCheck	dagrun.dependency-check. {dag_id}	Milidetik	DAG, {dag_id}
DAGDurationFailed	dagrun.duration.failed. {dag_id}	Milidetik	DAG, {dag_id}
DAGDurationSuccess	dagrun.duration.success. {dag_id}	Milidetik	DAG, {dag_id}
DAGFileProcessingLastDuration	dag_processing.last_duration. {dag_nama file}	Detik	DAGNama file, {dag_filename}
DAGScheduleDelay	dagrun.schedule_delay. {dag_id}	Milidetik	DAG, {dag_id}
FirstTaskSchedulingDelay	dagrun. {dag_id} .first_task_scheduling_delay	Milidetik	DAG, {dag_id}
SchedulerLoopDuration catatan Tersedia untuk Apache Airflow v2.5.1 dan di atasnya.	scheduler.scheduler_loop_duration	Milidetik	Fungsi, Penjadwal
TaskInstanceDuration	hari ini. {dag_id}. {task_id} .durasi	Milidetik	DAG, {dag_id} Tugas, {task_id}
TaskInstanceQueuedDuration	hari ini. `{dag_id}`. `{task_id}`.antrian_durasi catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	Milidetik	DAG, {dag_id} Tugas, {task_id}
TaskInstanceScheduledDuration catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	hari ini. `{dag_id}`. `{task_id}`.scheduled_duration	Milidetik	DAG, {dag_id} Tugas, {task_id}

Memilih metrik mana yang dilaporkan

Anda dapat memilih metrik Apache Airflow mana yang dipancarkan CloudWatch, atau diblokir oleh Apache Airflow, menggunakan opsi konfigurasi Amazon berikut: MWAA

metrics.metrics_allow_list— Daftar awalan dipisahkan koma yang dapat Anda gunakan untuk memilih metrik mana yang dipancarkan oleh lingkungan Anda. CloudWatch Gunakan opsi ini jika Anda ingin Apache Airflow tidak mengirim semua metrik yang tersedia dan sebagai gantinya pilih subset elemen. Misalnya, scheduler,executor,dagrun.
metrics.metrics_block_list— Daftar awalan yang dipisahkan koma untuk menyaring metrik yang dimulai dengan elemen daftar. Misalnya, scheduler,executor,dagrun.

Jika Anda mengonfigurasi keduanya metrics.metrics_allow_list danmetrics.metrics_block_list, Apache Airflow mengabaikan. metrics.metrics_block_list Jika Anda mengonfigurasi metrics.metrics_block_list tetapi tidakmetrics.metrics_allow_list, Apache Airflow menyaring elemen yang Anda tentukan. metrics.metrics_block_list

catatan

Opsi metrics.metrics_allow_list dan metrics.metrics_block_list konfigurasi hanya berlaku untuk Apache Airflow v2.6.3 dan di atasnya. Untuk versi sebelumnya dari Apache Airflow gunakan metrics.statsd_allow_list dan metrics.statsd_block_list sebagai gantinya.

Apa selanjutnya?

Jelajahi MWAA API operasi Amazon yang digunakan untuk mempublikasikan metrik kesehatan lingkungan di PublishMetrics.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Memantau dasbor dan alarm

Metrik kontainer, antrian, dan basis data