翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
の Apache Airflow v2 環境メトリクス CloudWatch
Apache Airflow v2 は、Amazon Managed Workflows for Apache Airflow 環境の StatsD
目次
用語
- 名前空間
-
名前空間は、 AWS サービスの CloudWatch メトリクスのコンテナです。Amazon の場合MWAA、名前空間は Amazon MWAAです。
- CloudWatch メトリクス
-
CloudWatch メトリクスは、 に固有の時系列のデータポイントのセットを表します CloudWatch。
- Apache Airflow メトリクス
-
Apache Airflow 固有のメトリクス
。 - ディメンション
-
ディメンションは、メトリクスのアイデンティティの一部である名前と値のペアです。
- 単位
-
統計には、測定単位があります。Amazon の場合MWAA、単位にはカウント 、秒 、ミリ秒 が含まれます。Amazon の場合MWAA、単位は元の Airflow メトリクスの単位に基づいて設定されます。
ディメンション
このセクションでは、 CloudWatch の Apache Airflow メトリクスのディメンショングループについて説明します CloudWatch。
ディメンション | 説明 |
---|---|
DAG |
特定の Apache Airflow DAG名を示します。 |
DAG ファイル名 |
特定の Apache Airflow DAGファイル名を示します。 |
機能 |
このディメンションは、 でのメトリクスのグループ化を改善するために使用されます CloudWatch。 |
ジョブ |
スケジューラーによって実行される Apache Airflow ジョブを示します。常にジョブという価値がある。 |
演算子 |
特定の Apache Airflow オペレーターを示します。 |
プール |
特定の Apache Airflow ワーカープールを示します。 |
タスク |
特定の Apache Airflow タスクを示します。 |
HostName |
実行中の特定の Apache Airflow プロセスのホスト名を示します。 |
CloudWatch コンソールでのメトリクスへのアクセス
このセクションでは、特定の CloudWatch の でパフォーマンスメトリクスにアクセスする方法について説明しますDAG。
ディメンションのパフォーマンスメトリクスを表示する方法
-
CloudWatch コンソールでメトリクスページ
を開きます。 -
AWS リージョンセレクタを使用して、リージョンを選択します。
-
AmazonMWAA 名前空間を選択します。
-
[すべてのメトリクス] タブでディメンションを選択します。例えば、DAG、環境 などです。
-
ディメンションの CloudWatch メトリクスを選択します。例えば、 TaskInstanceSuccessesまたは ですTaskInstanceDuration。[すべての検索結果をグラフ化] を選択します。
-
グラフ化されたメトリクスタブを選択すると、DAG、環境、タスク などの Apache Airflow メトリクスのパフォーマンス統計が表示されます。
で利用可能な Apache Airflow メトリクス CloudWatch
このセクションでは、 に送信される Apache Airflow メトリクスとディメンションについて説明します CloudWatch。
Apache Airflow カウンター
このセクションの Apache Airflow メトリクスには、Apache Airflow カウンター
CloudWatch メトリクス | Apache Airflow メトリクス | 単位 | ディメンション |
---|---|---|---|
SLAMissed 注記Apache Airflow v2.4.3 以上で利用可能です。 |
sla_missed |
カウント |
関数、スケジュール |
FailedSLACallback 注記Apache Airflow v2.4.3 以上で利用可能です。 |
sla_callback_notification_failure |
カウント |
関数、スケジュール |
更新 注記Apache Airflow v2.6.3 以上で利用可能です。 |
dataset.updates |
カウント |
関数、スケジュール |
Orphaned 注記Apache Airflow v2.6.3 以上で利用可能です。 |
dataset.orphaned |
カウント |
関数、スケジュール |
FailedCeleryTaskExecution 注記Apache Airflow v2.4.3 以上で利用可能です。 |
celery.execute_command.failure |
カウント |
関数、Celery |
FilePathQueueUpdateCount 注記Apache Airflow v2.6.3 以上で利用可能です。 |
dag_processing.file_path_queue_update_count |
カウント |
関数、スケジュール |
CriticalSectionBusy |
scheduler.critical_section_busy |
カウント |
関数、スケジュール |
DagBagSize |
dagbag_size |
カウント |
関数、DAG処理中 |
DagCallbackExceptions |
dag.callback_exceptions |
カウント |
DAG、すべて |
F ailedSLAEmail試行 |
sla_email_notification_failure |
カウント |
関数、スケジュール |
TaskInstanceFinished |
ti.finish.{dag_id}.{task_id}.{state} |
カウント |
DAG、{dag_id} Task, {task_id} State, {state} |
JobEnd |
{job_name}_end |
カウント |
Job, {job_name} |
JobHeartbeatFailure |
{job_name}_heartbeat_failure |
カウント |
Job, {job_name} |
JobStart |
{job_name}_start |
カウント |
Job, {job_name} |
ManagerStalls |
dag_processing.manager_stalls |
カウント |
関数、DAG処理中 |
OperatorFailures |
operator_failures_{operator_name} |
カウント |
Operator, {operator_name} |
OperatorSuccesses |
operator_successes_{operator_name} |
カウント |
Operator, {operator_name} |
OtherCallbackCount 注記Apache Airflow v2.6.3 以上で利用可能です。 |
dag_processing.other_callback_count |
カウント |
関数、スケジュール |
プロセス |
dag_processing.processes |
カウント |
関数、DAG処理中 |
SchedulerHeartbeat |
scheduler_heartbeat |
カウント |
関数、スケジュール |
StartedTaskInstances |
ti.start.{dag_id}.{task_id} |
カウント |
DAG、すべて タスク、すべて |
SlaCallbackCount |
dag_processing.sla_callback_count 注記Apache Airflow v2.6.3 以上で利用可能です。 |
カウント |
関数、スケジュール |
TasksKilledExternally |
scheduler.tasks.killed_externally |
カウント |
関数、スケジュール |
TaskTimeoutError |
celery.task_timeout_error |
カウント |
関数、Celery |
TaskInstanceCreatedUsingOperator |
task_instance_created-{operator_name} |
カウント |
Operator, {operator_name} |
TaskInstancePreviouslySucceeded |
previously_succeeded |
カウント |
DAG、すべて タスク、すべて |
TaskInstanceFailures |
ti_failure |
カウント |
DAG、すべて タスク、すべて |
TaskInstanceSuccesses |
ti_success |
カウント |
DAG、すべて タスク、すべて |
TaskRemovedFromDAG |
task_removed_from_dag.{dag_id} |
カウント |
DAG、{dag_id} |
TaskRestoredToDAG |
task_restored_to_dag.{dag_id} |
カウント |
DAG、{dag_id} |
TriggersSucceeded 注記Apache Airflow v2.7.2 以上で利用可能です。 |
triggers.succeeded |
カウント |
関数、トリガー |
TriggersFailed 注記Apache Airflow v2.7.2 以上で利用可能です。 |
triggers.failed |
カウント |
関数、トリガー |
TriggersBlockedMainThread 注記Apache Airflow v2.7.2 以上で利用可能です。 |
triggers.blocked_main_thread |
カウント |
関数、トリガー |
TriggerHeartbeat 注記Apache Airflow v2.8.1 以降で使用できます。 |
triggerer_ハートビート |
カウント |
関数、トリガー |
TaskInstanceCreatedUsingOperator |
airflow.task_instance_created_ 注記Apache Airflow v2.7.2 以上で利用可能です。 |
カウント |
演算子、 |
ZombiesKilled |
zombies_killed |
カウント |
DAG、すべて タスク、すべて |
Apache Airflow Gauges
このセクションの Apache Airflow メトリクスには、Apache Airflow ゲージ
CloudWatch メトリクス | Apache Airflow メトリクス | 単位 | ディメンション |
---|---|---|---|
DAGFileRefreshError |
dag_file_refresh_error |
カウント |
関数、DAG処理中 |
ImportErrors |
dag_processing.import_errors |
カウント |
関数、DAG処理中 |
ExceptionFailures |
smart_sensor_operator.exception_failures |
カウント |
関数、スマートセンサーオペレーター |
ExecutedTasks |
smart_sensor_operator.executed_tasks |
カウント |
関数、スマートセンサーオペレーター |
InfraFailures |
smart_sensor_operator.infra_failures |
カウント |
関数、スマートセンサーオペレーター |
LoadedTasks |
smart_sensor_operator.loaded_tasks |
カウント |
関数、スマートセンサーオペレーター |
TotalParseTime |
dag_processing.total_parse_time |
[秒] |
関数、DAG処理中 |
TriggeredDagRuns 注記Apache Airflow v2.6.3 以上で利用可能です。 |
dataset.triggered_dagruns |
カウント |
関数、スケジュール |
TriggersRunning 注記Apache Airflow v2.7.2 以上で利用可能です。 |
triggers.running。 |
カウント |
関数、トリガー HostName, |
PoolDeferredSlots 注記Apache Airflow v2.7.2 以上で利用可能です。 |
pool.deferred_slots. |
カウント |
Pool, {pool_name} |
DAGFileProcessingLastRunSecondsAgo |
dag_processing.last_run.seconds_ago.{dag_filename} |
[秒] |
DAG ファイル名、{dag_filename} |
OpenSlots |
executor.open_slots |
カウント |
関数、エグゼキューター |
OrphanedTasksAdopted |
scheduler.orphaned_tasks.adopted |
カウント |
関数、スケジュール |
OrphanedTasksCleared |
scheduler.orphaned_tasks.cleared |
カウント |
関数、スケジュール |
PokedExceptions |
smart_sensor_operator.poked_exception |
カウント |
関数、スマートセンサーオペレーター |
PokedSuccess |
smart_sensor_operator.poked_success |
カウント |
関数、スマートセンサーオペレーター |
PokedTasks |
smart_sensor_operator.poked_tasks |
カウント |
関数、スマートセンサーオペレーター |
PoolFailures |
pool.open_slots.{pool_name} |
カウント |
Pool, {pool_name} |
PoolStarvingTasks |
pool.starving_tasks.{pool_name} |
カウント |
Pool, {pool_name} |
PoolOpenSlots |
pool.open_slots.{pool_name} |
カウント |
Pool, {pool_name} |
PoolQueuedSlots |
pool.queued_slots.{pool_name} |
カウント |
Pool, {pool_name} |
PoolRunningSlots |
pool.running_slots.{pool_name} |
カウント |
Pool, {pool_name} |
ProcessorTimeouts |
dag_processing.processor_timeouts |
カウント |
関数、DAG処理中 |
QueuedTasks |
executor.queued_tasks |
カウント |
関数、エグゼキューター |
RunningTasks |
executor.running_tasks |
カウント |
関数、エグゼキューター |
TasksExecutable |
scheduler.tasks.executable |
カウント |
関数、スケジュール |
TasksPending 注記Apache Airflow v2.2 以上には適用されません。 |
scheduler.tasks.pending |
カウント |
関数、スケジュール |
TasksRunning |
scheduler.tasks.running |
カウント |
関数、スケジュール |
TasksStarving |
scheduler.tasks.starving |
カウント |
関数、スケジュール |
TasksWithoutDagRun |
scheduler.tasks.without_dagrun |
カウント |
関数、スケジュール |
Apache Airflow Timers
このセクションの Apache Airflow メトリクスには、Apache Airflow Timers
CloudWatch メトリクス | Apache Airflow メトリクス | 単位 | ディメンション |
---|---|---|---|
CollectDBDags |
collect_db_dags |
ミリ秒 |
関数、DAG処理中 |
CriticalSectionDuration |
scheduler.critical_section_duration |
ミリ秒 |
関数、スケジュール |
CriticalSectionQueryDuration 注記Apache Airflow v2.5.1 以上で利用可能です。 |
scheduler.critical_section_query_duration |
ミリ秒 |
関数、スケジュール |
DAGDependencyCheck |
dagrun.dependency-check.{dag_id} |
ミリ秒 |
DAG、{dag_id} |
DAGDurationFailed |
dagrun.duration.failed.{dag_id} |
ミリ秒 |
DAG、{dag_id} |
DAGDurationSuccess |
dagrun.duration.success.{dag_id} |
ミリ秒 |
DAG、{dag_id} |
DAGFileProcessingLastDuration |
dag_processing.last_duration.{dag_filename} |
[秒] |
DAG ファイル名、{dag_filename} |
DAGScheduleDelay |
dagrun.schedule_delay.{dag_id} |
ミリ秒 |
DAG、{dag_id} |
FirstTaskSchedulingDelay |
dagrun.{dag_id}.first_task_scheduling_delay |
ミリ秒 |
DAG、{dag_id} |
SchedulerLoopDuration 注記Apache Airflow v2.5.1 以上で利用可能です。 |
scheduler.scheduler_loop_duration |
ミリ秒 |
関数、スケジュール |
TaskInstanceDuration |
dag.{dag_id}.{task_id}.duration |
ミリ秒 |
DAG、{dag_id} Task, {task_id} |
TaskInstanceQueuedDuration |
dag. 注記Apache Airflow v2.7.2 以上で利用可能です。 |
ミリ秒 |
DAG、{dag_id} Task, {task_id} |
TaskInstanceScheduledDuration 注記Apache Airflow v2.7.2 以上で利用可能です。 |
dag. |
ミリ秒 |
DAG、{dag_id} Task, {task_id} |
どのメトリクスを報告するかを選択する
次の Amazon MWAA設定オプションを使用して CloudWatch、Apache Airflow に出力される、または Apache Airflow によってブロックされる Apache Airflow メトリクスを選択できます。
metrics.metrics_allow_list
— 環境 CloudWatch から出力されるメトリクスを選択するために使用できるカンマ区切りプレフィックスのリスト。Apache Airflow で利用可能なメトリクスをすべて送信させずに、要素のサブセットを選択させたい場合は、このオプションを使用してください。例えば、scheduler,executor,dagrun
と指定します。metrics.metrics_block_list
— リストの要素で始まるメトリクスを除外するための、カンマで区切られたプレフィックスのリスト。例えば、scheduler,executor,dagrun
と指定します。
metrics.metrics_allow_list
と metrics.metrics_block_list
を両方構成した場合、Apache Airflow は metrics.metrics_block_list
を無視します。metrics.metrics_block_list
を構成して、metrics.metrics_allow_list
を構成しなかった場合、Apache Airflow は metrics.metrics_block_list
で指定した要素を除外します。
注記
metrics.metrics_allow_list
および metrics.metrics_block_list
設定オプションは、Apache Airflow v2.6.3 以降にのみ適用されます。Apache Airflow の以前のバージョンでは、metrics.statsd_block_list
代わりに metrics.statsd_allow_list
と を使用します。
次のステップ
-
で環境ヘルスメトリクスを公開するために使用される Amazon MWAAAPIオペレーションについて説明しますPublishMetrics。