使用 CloudWatch 指標監控 Apache Spark 計算 - Amazon Athena

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 CloudWatch 指標監控 Apache Spark 計算

當為您已啟用 Spark 的工作群組選取 Publish CloudWatch metrics 選項時,Athena 會將計算相關指標發佈至 Amazon CloudWatch。您可以在 CloudWatch 主控台中建立自訂儀表板,設定指標的警示和觸發。

Athena 會將以下指標發佈至 AmazonAthenaForApacheSpark 命名空間下的 CloudWatch 主控台:

  • DPUCount – 工作階段期間用來執行計算所消耗的 DPU 數目。

該指標具有下列兩個維度:

  • SessionId – 要提交計算的工作階段 ID。

  • WorkGroup – 工作群組的名稱。

若要在 Amazon CloudWatch 主控台中檢視已啟用 Spark 的工作群組的指標
  1. https://console.aws.amazon.com/cloudwatch/ 開啟 CloudWatch 主控台。

  2. 在導覽窗格中,選擇 Metrics (指標)、All metrics (所有指標)。

  3. 選取 AmazonAthenaForApacheSpark 命名空間。

使用 CLI 來檢視指標
  • 執行下列任意一項:

    • 若要列出已啟用 Athena Spark 的工作群組的指標,請開啟命令提示,然後使用下列命令:

      aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark"
    • 若要列出所有可用的指標,請使用以下命令:

      aws cloudwatch list-metrics

Athena 中的 Apache Spark 計算的 CloudWatch 指標和維度清單

如果您已在已啟用 Spark 的 Athena 工作群組中啟用 CloudWatch 指標,其會按照工作群組將以下指標傳送到 CloudWatch。指標使用 AmazonAthenaForApacheSpark 命名空間。

指標名稱 描述
DPUCount 工作階段期間用來執行計算所消耗的 DPU (資料處理單位) 數目。DPU 是相對的處理能力,包含 4 個 vCPU 的運算容量和 16 GB 的記憶體。

該指標具有下列維度。

維度 描述
SessionId

要提交計算的工作階段 ID。

WorkGroup

工作群組的名稱。