使用 CloudWatch 指标监控 Apache Spark 计算 - Amazon Athena

使用 CloudWatch 指标监控 Apache Spark 计算

选择启用 Spark 的工作组的 Publish CloudWatch metrics 选项后，Athena 会向 Amazon CloudWatch 发布与计算相关的指标。在 CloudWatch 控制台中，您可以创建自定义控制面板，并为指标设置警报和触发器。

Athena 会将以下指标发布到 AmazonAthenaForApacheSpark 命名空间下的 CloudWatch 控制台：

  • DPUCount – 会话期间为执行计算而使用的 DPU 数量。

该指标具有以下维度：

  • SessionId – 提交计算的会话 ID。

  • WorkGroup – 工作组名称。

在 Amazon CloudWatch 控制台中查看启用 Spark 的工作组的指标

  1. 访问 https://console.aws.amazon.com/cloudwatch/ 打开 CloudWatch 控制台。

  2. 在导航窗格中，依次选择 Metrics（指标）、All metrics（所有指标）。

  3. 选择 AmazonAthenaForApacheSpark 命名空间。

借助 CLI 查看指标

  • 请执行以下操作之一：

    • 要列出启用 Spark 的 Athena 工作组指标，请打开命令提示符，然后使用以下命令：

      aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark"

    • 要列出所有可用的指标，请使用以下命令：

      aws cloudwatch list-metrics

如果您在启用 Spark 的 Athena 工作组中启用了 CloudWatch 指标，Athena 会按工作组将以下指标发送到 CloudWatch。该指标使用 AmazonAthenaForApacheSpark 命名空间。

指标名称 描述
DPUCount 会话期间为执行计算而使用的 DPU（数据处理单元）数量。DPU 是对处理能力的相对度量，它由 4 个 vCPU 的计算容量和 16GB 内存组成。

该指标具有以下维度。

维度 描述
SessionId

提交计算的会话 ID。
工作组

工作组的名称。