翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 # CloudWatch の Apache Airflow 環境メトリクス Apache Airflow v2 および v3 は、Amazon Managed Workflows for Apache Airflow 環境の [StatsD](https://github.com/etsy/statsd) メトリクスを収集して Amazon CloudWatch に送信するようにすでに設定されています。Apache Airflow が送信するメトリクスの全リストは、*Apache Airflow リファレンスガイド* の [メトリクス](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html) ページにあります。このページでは、CloudWatch で使用できる Apache Airflow メトリクスと、CloudWatch コンソールでメトリクスにアクセスする方法について説明します。 **Contents** + [用語](#access-metrics-cw-terms) + [ディメンション](#metrics-dimensions) + [CloudWatch コンソールのメトリクスにアクセスする](#access-metrics-cw-console) + [CloudWatch で利用可能な Apache Airflow メトリクス](#available-metrics-cw) + [Apache Airflow カウンター](#counters-metrics) + [Apache Airflow Gauges](#gauges-metrics) + [Apache Airflow Timers](#timers-metrics) + [どのメトリクスを報告するかを選択する](#choosing-metrics) + [次のステップ](#mwaa-metrics202-next-up) ## 用語 **Namespace** 名前空間は、 AWS サービスの CloudWatch メトリクスのコンテナです。*Amazon MWAA* の場合、名前空間は AmazonMWAA です。 **CloudWatch メトリクス** CloudWatch メトリクスは、CloudWatch に特異的な時系列のデータポイントのセットを表します。 **Apache Airflow メトリクス** Apache Airflow 固有の [メトリクス](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html )。 **ディメンション** ディメンションは、メトリクスのアイデンティティの一部である名前と値のペアです。 **Unit** 1 つの統計には、測定単位があります。Amazon MWAA の単位には、*カウント*、*秒*、*ミリ秒* が含まれます。Amazon MWAA の場合、単位は元の Airflow メトリクスの単位に基づいて設定されます。 ## ディメンション このセクションでは、CloudWatch の Apache Airflow メトリクスの CloudWatch *ディメンション* グループについて説明します。 | ディメンション | 説明 | | --- | --- | | DAG | 特定の Apache Airflow DAG 名を示します。 | | DAG ファイル名 | 特定の Apache Airflow DAG ファイル名を示します。 | | 関数 | このディメンションは、CloudWatch のメトリクスのグループ化を改善するために使用されます。 | | ジョブ | スケジューラーによって実行される Apache Airflow ジョブを示します。常に `Job` という価値があります。 | | オペレーター | 特定の Apache Airflow オペレーターを示します。 | | プール | 特定の Apache Airflow ワーカープールを示します。 | | タスク | 特定の Apache Airflow タスクを示します。 | | HostName | 実行中の特定の Apache Airflow プロセスのホスト名を示します。 | ## CloudWatch コンソールのメトリクスにアクセスする このセクションでは、特定の DAG の CloudWatch のパフォーマンスメトリクスにアクセスする方法について説明します。 **ディメンションのパフォーマンスメトリクスにアクセスするには** 1. CloudWatch コンソールで [メトリクスのページ](https://console.aws.amazon.com/cloudwatch/home#metricsV2:graph=~()) を開きます。 1. を選択します AWS リージョン。 1. **AmazonMWAA** の名前空間を選択します。 1. **すべてのメトリクス** タブでディメンションを選択します。例えば、*DAG や環境* などです。 1. ディメンションの CloudWatch メトリクスを選択します。例えば、*TaskInstanceSuccesses* や *TaskInstanceDuration* などです。**すべての検索結果をグラフ化** を選択します。 1. **グラフ化されたメトリクス** タブを選択すると、*DAG、環境、タスク* などの Apache Airflow メトリクスのパフォーマンス統計にアクセスできます。 ## CloudWatch で利用可能な Apache Airflow メトリクス このセクションでは、CloudWatch に送信される Apache Airflow のメトリクスとディメンションについて説明します。 ### Apache Airflow カウンター このセクションの Apache Airflow メトリクスには、[Apache Airflow *カウンター*](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html#counters) に関するデータが含まれています。 | [CloudWatch メトリクス] | Apache Airflow メトリクス | Unit | ディメンション | | --- | --- | --- | --- | | SLAMissed Apache Airflow v2.4.3 から v2.10.3 でのみ使用できます。 | sla\_missed | カウント | 関数、スケジュール | | FailedSLACallback Apache Airflow v2.4.3 から v2.10.3 でのみ使用できます。 | sla\_callback\_notification\_failure | カウント | 関数、スケジュール | | 更新 Apache Airflow v2.6.3 以降で利用可能です。 | dataset.updates | カウント | 関数、スケジュール | | Orphaned Apache Airflow v2.6.3 以降で利用可能です。 | dataset.orphaned | カウント | 関数、スケジュール | | FailedCeleryTaskExecution Apache Airflow v2.4.3 以降で利用可能です。 | celery.execute\_command.failure | カウント | 関数、Celery | | FilePathQueueUpdateCount Apache Airflow v2.6.3 以降で利用可能です。 | dag\_processing.file\_path\_queue\_update\_count | カウント | 関数、スケジュール | | CriticalSectionBusy | scheduler.critical\_section\_busy | カウント | 関数、スケジュール | | DagBagSize | dagbag\_size | カウント | 関数、DAG 処理 | | DagCallbackExceptions | dag.callback\_exceptions | カウント | DAG、すべて | | FailedSLAEmailAttempts Apache Airflow v3.0.6 以降で利用可能です。 | sla\_email\_notification\_failure | カウント | 関数、スケジュール | | TaskInstanceFinished | ti.finish.{dag\_id}.{task\_id}.{state} | カウント | DAG, {dag\_id}
Task, {task\_id}
State, {state} | | JobEnd | {job\_name}\_end | カウント | Job, {job\_name} | | JobHeartbeatFailure | {job\_name}\_heartbeat\_failure | カウント | Job, {job\_name} | | JobStart | {job\_name}\_start | カウント | Job, {job\_name} | | ManagerStalls | dag\_processing.manager\_stalls | カウント | 関数、DAG 処理 | | OperatorFailures | operator\_failures\_{operator\_name} | カウント | Operator, {operator\_name} | | OperatorSuccesses | operator\_successes\_{operator\_name} | カウント | Operator, {operator\_name} | | OtherCallbackCount Apache Airflow v2.6.3 以降で利用可能です。 | dag\_processing.other\_callback\_count | カウント | 関数、スケジュール | | プロセス | dag\_processing.processes | カウント | 関数、DAG 処理 | | SchedulerHeartbeat | scheduler\_heartbeat | カウント | 関数、スケジュール | | StartedTaskInstances | ti.start.{dag\_id}.{task\_id} | カウント | DAG、すべて
タスク、すべて | | SlaCallbackCount | dag\_processing.sla\_callback\_count Apache Airflow v2.6.3 以降で利用可能です。 | カウント | 関数、スケジュール | | TasksKilledExternally | scheduler.tasks.killed\_externally | カウント | 関数、スケジュール | | TaskTimeoutError | celery.task\_timeout\_error | カウント | 関数、Celery | | TaskInstanceCreatedUsingOperator | task\_instance\_created-{operator\_name} | カウント | Operator, {operator\_name} | | TaskInstancePreviouslySucceeded | previously\_succeeded | カウント | DAG、すべて
タスク、すべて | | TaskInstanceFailures | ti\_failure | カウント | DAG、すべて
タスク、すべて | | TaskInstanceSuccesses | ti\_success | カウント | DAG、すべて
タスク、すべて | | TaskRemovedFromDAG | task\_removed\_from\_dag.{dag\_id} | カウント | DAG, {dag\_id} | | TaskRestoredToDAG | task\_restored\_to\_dag.{dag\_id} | カウント | DAG, {dag\_id} | | TriggersSucceeded Apache Airflow v2.7.2 以降で利用可能です。 | triggers.succeeded | カウント | 関数、トリガー | | TriggersFailed Apache Airflow v2.7.2 以降で利用可能です。 | triggers.failed | カウント | 関数、トリガー | | TriggersBlockedMainThread Apache Airflow v2.7.2 以降で利用可能です。 | triggers.blocked\_main\_thread | カウント | 関数、トリガー | | TriggerHeartbeat Apache Airflow v2.8.1 以降で利用可能です。 | triggerer\_heartbeat | カウント | 関数、トリガー | | TaskInstanceCreatedUsingOperator | airflow.task\_instance\_created\_`{operator_name}` Apache Airflow v2.7.2 以降で利用可能です。 | カウント | 演算子、`{operator_name}` | | ZombiesKilled | zombies\_killed | カウント | DAG、すべて
タスク、すべて | ### Apache Airflow Gauges このセクションの Apache Airflow メトリクスには、[Apache Airflow *ゲージ*](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html#gauges) に関するデータが含まれています。 | [CloudWatch メトリクス] | Apache Airflow メトリクス | Unit | ディメンション | | --- | --- | --- | --- | | DAGFileRefreshError | dag\_file\_refresh\_error | カウント | 関数、DAG 処理 | | ImportErrors | dag\_processing.import\_errors | カウント | 関数、DAG 処理 | | ExceptionFailures | smart\_sensor\_operator.exception\_failures | カウント | 関数、スマートセンサーオペレーター | | ExecutedTasks | smart\_sensor\_operator.executed\_tasks | カウント | 関数、スマートセンサーオペレーター | | InfraFailures | smart\_sensor\_operator.infra\_failures | カウント | 関数、スマートセンサーオペレーター | | LoadedTasks | smart\_sensor\_operator.loaded\_tasks | カウント | 関数、スマートセンサーオペレーター | | TotalParseTime | dag\_processing.total\_parse\_time | 秒 | 関数、DAG 処理 | | TriggeredDagRuns Apache Airflow v2.6.3 以降で利用可能です。 | dataset.triggered\_dagruns | カウント | 関数、スケジュール | | TriggersRunning Apache Airflow v2.7.2 以降で利用可能です。 | triggers.running.{{{hostname}}} | カウント | 関数、トリガー
HostName, {{{hostname}}} | | PoolDeferredSlots Apache Airflow v2.7.2 以降で利用可能です。 | pool.deferred\_slots.`{pool_name}` | カウント | Pool, {pool\_name} | | DAGFileProcessingLastRunSecondsAgo | dag\_processing.last\_run.seconds\_ago.{dag\_filename} | 秒 | DAG Filename, {dag\_filename} | | OpenSlots | executor.open\_slots | カウント | 関数、エグゼキューター | | OrphanedTasksAdopted | scheduler.orphaned\_tasks.adopted | カウント | 関数、スケジュール | | OrphanedTasksCleared | scheduler.orphaned\_tasks.cleared | カウント | 関数、スケジュール | | PokedExceptions | smart\_sensor\_operator.poked\_exception | カウント | 関数、スマートセンサーオペレーター | | PokedSuccess | smart\_sensor\_operator.poked\_success | カウント | 関数、スマートセンサーオペレーター | | PokedTasks | smart\_sensor\_operator.poked\_tasks | カウント | 関数、スマートセンサーオペレーター | | PoolFailures | pool.open\_slots.{pool\_name} | カウント | Pool, {pool\_name} | | PoolStarvingTasks | pool.starving\_tasks.{pool\_name} | カウント | Pool, {pool\_name} | | PoolOpenSlots | pool.open\_slots.{pool\_name} | カウント | Pool, {pool\_name} | | PoolQueuedSlots | pool.queued\_slots.{pool\_name} | カウント | Pool, {pool\_name} | | PoolRunningSlots | pool.running\_slots.{pool\_name} | カウント | Pool, {pool\_name} | | ProcessorTimeouts | dag\_processing.processor\_timeouts | カウント | 関数、DAG 処理 | | QueuedTasks | executor.queued\_tasks | カウント | 関数、エグゼキューター | | RunningTasks | executor.running\_tasks | カウント | 関数、エグゼキューター | | TasksExecutable | scheduler.tasks.executable | カウント | 関数、スケジュール | | TasksPending Apache Airflow v2.2 以降には適用されません。 | scheduler.tasks.pending | カウント | 関数、スケジュール | | TasksRunning | scheduler.tasks.running | カウント | 関数、スケジュール | | TasksStarving | scheduler.tasks.starving | カウント | 関数、スケジュール | | TasksWithoutDagRun | scheduler.tasks.without\_dagrun | カウント | 関数、スケジュール | | DAGFileProcessingLastNumOfDbQueries Apache Airflow v2.10.1 以降で利用可能です。 | dag\_processing.last\_num\_of\_db\_queries.{dag\_filename} | カウント | DAG Filename, {dag\_filename} | | PoolScheduledSlots Apache Airflow v2.10.1 以降で利用可能です。 | pool.scheduled\_slots.{pool\_name} | カウント | Pool, {pool\_name} | | TaskCpuUsage Apache Airflow v2.10.1 以降で利用可能です。 | cpu.usage.{dag\_id}.{task\_id} | 割合 (%) | DAG, {dag\_id}
Task, {task\_id} | | TaskMemoryUsage Apache Airflow v2.10.1 以降で利用可能です。 | mem.usage.{dag\_id}.{task\_id} | 割合 (%) | DAG, {dag\_id}
Task, {task\_id} | ### Apache Airflow Timers このセクションの Apache Airflow メトリクスには、[Apache Airflow *Timers*](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html#timers) に関するデータが含まれています。 | [CloudWatch メトリクス] | Apache Airflow メトリクス | Unit | ディメンション | | --- | --- | --- | --- | | CollectDBDags | collect\_db\_dags | ミリ秒 | 関数、DAG 処理 | | CriticalSectionDuration | scheduler.critical\_section\_duration | ミリ秒 | 関数、スケジュール | | CriticalSectionQueryDuration Apache Airflow v2.5.1 以降で利用可能です。 | scheduler.critical\_section\_query\_duration | ミリ秒 | 関数、スケジュール | | DAGDependencyCheck | dagrun.dependency-check.{dag\_id} | ミリ秒 | DAG, {dag\_id} | | DAGDurationFailed | dagrun.duration.failed.{dag\_id} | ミリ秒 | DAG, {dag\_id} | | DAGDurationSuccess | dagrun.duration.success.{dag\_id} | ミリ秒 | DAG, {dag\_id} | | DAGFileProcessingLastDuration | dag\_processing.last\_duration.{dag\_filename} | 秒 | DAG Filename, {dag\_filename} | | DAGScheduleDelay | dagrun.schedule\_delay.{dag\_id} | ミリ秒 | DAG, {dag\_id} | | FirstTaskSchedulingDelay | dagrun.{dag\_id}.first\_task\_scheduling\_delay | ミリ秒 | DAG, {dag\_id} | | SchedulerLoopDuration Apache Airflow v2.5.1 以降で利用可能です。 | scheduler.scheduler\_loop\_duration | ミリ秒 | 関数、スケジュール | | TaskInstanceDuration | dag.{dag\_id}.{task\_id}.duration | ミリ秒 | DAG, {dag\_id}
Task, {task\_id} | | TaskInstanceQueuedDuration | dag.`{dag_id}`.`{task_id}`.queued\_duration Apache Airflow v2.7.2 以降で利用可能です。 | ミリ秒 | DAG, {dag\_id}
Task, {task\_id} | | TaskInstanceScheduledDuration Apache Airflow v2.7.2 以降で利用可能です。 | dag.`{dag_id}`.`{task_id}`.scheduled\_duration | ミリ秒 | DAG, {dag\_id}
Task, {task\_id} | ## どのメトリクスを報告するかを選択する 次の Amazon MWAA [設定オプション](configuring-env-variables.md) を使用して、どの Apache Airflow メトリクスを CloudWatch に送信するか、またはApache Airflow によってブロックするかを選択できます。 + **`metrics.metrics_allow_list`** — お使いの環境によって CloudWatch に送信されるメトリクスを選択するために使用できるカンマで区切られたプレフィックスのリスト。Apache Airflow で利用可能なメトリクスをすべて送信させずに、要素のサブセットを選択させたい場合は、このオプションを使用してください。例えば、`scheduler,executor,dagrun` です。 + **`metrics.metrics_block_list`** — リストの要素で始まるメトリクスを除外するための、カンマで区切られたプレフィックスのリスト。例えば、`scheduler,executor,dagrun` です。 `metrics.metrics_allow_list` と `metrics.metrics_block_list` を両方構成した場合、Apache Airflow は `metrics.metrics_block_list` を無視します。`metrics.metrics_block_list` を設定して、`metrics.metrics_allow_list` を設定しなかった場合、Apache Airflow は `metrics.metrics_block_list` で指定した要素を除外します。 **注記** `metrics.metrics_allow_list` および `metrics.metrics_block_list` 設定オプションは、Apache Airflow v2.6.3 以降にのみ適用されます。以前のバージョンの Apache Airflow では、`metrics.statsd_allow_list` と `metrics.statsd_block_list` を使用します。 ## 次のステップ + [PublishMetrics](https://docs.aws.amazon.com/mwaa/latest/API/API_PublishMetrics.html) で環境ヘルスメトリクスの公開に使用される Amazon MWAA API オペレーションをご覧ください。