Amazon 的容器、佇列和資料庫指標 MWAA - Amazon Managed Workflows for Apache Airflow

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon 的容器、佇列和資料庫指標 MWAA

除了 Apache Airflow 指標之外,您還可以使用 來監控 Amazon Managed Workflows for Apache Airflow 環境的基礎元件 CloudWatch,它會收集原始資料並將資料處理為可讀取的近乎即時的指標。透過這些環境指標,您將更清楚掌握關鍵效能指標,協助您適當地調整環境大小,並偵錯工作流程的問題。這些指標適用於 Amazon 上所有支援的 Apache Airflow 版本MWAA。

Amazon MWAA將為每個 Amazon Elastic Container Service (Amazon ECS) 容器和 Amazon Aurora PostgreSQL 執行個體提供 CPU 和記憶體使用率,以及 Amazon Simple Queue Service (Amazon SQS) 指標提供訊息數量和最舊訊息年齡、Amazon Relational Database Service (Amazon RDS) 資料庫連線、磁碟佇列深度、寫入操作、延遲和輸送量,以及 Amazon RDS Proxy 指標。這些指標也包括基礎工作者、其他工作者、排程器和 Web 伺服器的數量。

這些統計資料會保留 15 個月,以便您可以存取歷史資訊,並更了解排程失敗的原因,以及對基礎問題進行疑難排解。您也可以設定留意特定閾值的警示,當滿足這些閾值時傳送通知或採取動作。如需詳細資訊,請參閱 Amazon CloudWatch 使用者指南

條款

命名空間

命名空間是服務 CloudWatch 指標的容器 AWS 。對於 Amazon MWAA,命名空間為 AWS/MWAA

CloudWatch 指標

CloudWatch 指標代表 特有的資料點時間排序集 CloudWatch。

維度

維度是一組名稱值對,是指標身分的一部分。

單位

統計資料具有測量單位。對於 Amazon MWAA,單位包含計數

維度

本節說明 中 Amazon MWAA指標的 CloudWatch 維度分組 CloudWatch。

維度 描述

叢集

Amazon MWAA環境用來執行 Apache Airflow 元件的最少三個 Amazon ECS容器的指標:排程器、工作者和 Web 伺服器。

佇列

Amazon SQS佇列的指標,可將排程器與工作者分離。當工作者閱讀訊息時,它們會被視為在進行中,不適用於其他工作者。如果在 12 小時可見性逾時之前未刪除訊息,其他工作者即可讀取訊息。

資料庫

衡量 Amazon 使用的 Aurora 叢集MWAA。這包括主要資料庫執行個體的指標,以及支援讀取操作的僅供讀取複本。Amazon MWAA 會同時發佈 READER和 WRITER執行個體的資料庫指標。

在 CloudWatch 主控台中存取指標

本節說明如何存取 中的 Amazon MWAA指標 CloudWatch。

檢視維度的效能指標
  1. 開啟 CloudWatch 主控台上的指標頁面

  2. 使用 AWS 區域選取器來選取您的區域。

  3. 選擇 AWS/MWAA 命名空間。

  4. 在所有指標索引標籤中,選擇維度。例如,叢集

  5. 選擇維度的 CloudWatch 指標。例如, NumSchedulersCPUUtilization。然後選擇繪製所有搜尋結果的圖形

  6. 選擇圖形化指標索引標籤以檢視效能指標。

指標清單

下表列出 Amazon 的叢集、佇列和資料庫服務指標MWAA。若要檢視直接從 Amazon ECS、Amazon SQS或 Amazon 發出的指標描述RDS,請選擇個別文件連結。

叢集指標

下列指標適用於每個排程器、基礎工作者、其他工作者和 Web 伺服器。如需每個叢集指標的詳細資訊和說明,請參閱 Amazon ECS開發人員指南 中的可用指標和維度

命名空間 指標 單位

AWS/MWAA

CPUUtilization

百分比

AWS/MWAA

MemoryUtilization

百分比

評估其他工作者和 Web 伺服器容器的數量

您可以使用叢集維度下提供的元件指標,如下列程序所述,評估環境在特定時間點使用的其他工作者或 Web 伺服器數量。您可以繪製 CPUUtilizationMemoryUtilization 指標,並將統計類型設定為 Sample Count 來達成此目的。產生的值是AdditionalWorker元件RUNNING的任務總數。了解環境使用的其他工作者執行個體數量,可協助您評估環境如何擴展,並讓您最佳化其他工作者的數量。

Workers
使用 評估其他工作者的數量 AWS Management Console
  1. 選擇 AWS/MWAA 命名空間。

  2. 在所有指標索引標籤中,選擇叢集維度。

  3. 叢集維度下,針對 AdditionalWorker,選擇 CPUUtilizationMemoryUtilization 指標。

  4. 圖形化指標索引標籤上,將期間設定為 1 分鐘,將統計資料設定為範例計數

Web servers
使用 評估其他 Web 伺服器的數量 AWS Management Console
  1. 選擇 AWS/MWAA 命名空間。

  2. 在所有指標索引標籤中,選擇叢集維度。

  3. 叢集維度下,針對 AdditionalWebservers,選擇 CPUUtilizationMemoryUtilization 指標。

  4. 圖形化指標索引標籤上,將期間設定為 1 分鐘,將統計資料設定為範例計數

如需詳細資訊,請參閱 Amazon Elastic Container Service 開發人員指南 中的服務RUNNING任務計數

資料庫指標

下列指標適用於與 Amazon MWAA環境相關聯的每個資料庫執行個體。

命名空間 指標 單位

AWS/MWAA

CPUUtilization

百分比

AWS/MWAA

DatabaseConnections

計數

AWS/MWAA

DiskQueueDepth

計數

AWS/MWAA

FreeableMemory

位元組

AWS/MWAA

VolumeWriteIOPS

每五分鐘計數

AWS/MWAA

WriteIOPS

每秒計數

AWS/MWAA

WriteLatency

秒鐘

AWS/MWAA

WriteThroughput

每秒位元組數

佇列指標

如需下列佇列指標的單位和說明的詳細資訊,請參閱 Amazon Simple Queue Service 開發人員指南 中的 Amazon 可用 CloudWatch 指標SQS

命名空間 指標 單位

AWS/MWAA

ApproximateAgeOfOldestTask

秒鐘

AWS/MWAA

RunningTasks

計數

AWS/MWAA

QueuedTasks

計數

Application Load Balancer 指標

Application Load Balancer 指標適用於在您環境中執行的 Web 伺服器。Amazon MWAA使用這些指標來根據流量量擴展 Web 伺服器。如需下列負載平衡器指標的單位和說明詳細資訊,請參閱 Application CloudWatch Application Load Balancer中的 Application Load Balancer 指標。

命名空間 指標 單位

AWS/MWAA

ActiveConnectionCount

計數