Monitorar os cálculos do Apache Spark com as métricas do CloudWatch
O Athena publica métricas relacionadas a cálculos no Amazon CloudWatch quando a opção Publish CloudWatch metrics para seu grupo de trabalho habilitado para Spark está selecionada. É possível criar painéis personalizados, definir alarmes e acionar métricas no console do CloudWatch.
O Athena publica a seguinte métrica no console do CloudWatch sob o namespace AmazonAthenaForApacheSpark
:
-
DPUCount
: a quantidade de DPUs consumidas durante a sessão para executar os cálculos.
Essa métrica tem as seguintes dimensões:
-
SessionId
: o ID da sessão para a qual os cálculos são enviados. -
WorkGroup
: o nome do grupo de trabalho.
Para visualizar as métricas para grupos de trabalho habilitados para Spark no console do Amazon CloudWatch
Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/
. -
No painel de navegação, escolha Metrics (Métricas), All metrics (Todas as métricas).
-
Selecione o namespace AmazonAthenaForApacheSpark.
Para exibir métricas com a CLI
-
Execute um destes procedimentos:
-
Para listar as métricas dos grupos de trabalho habilitados para Spark do Athena, abra uma solicitação de comando e use o comando a seguir:
aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark"
-
Para listar todas as métricas disponíveis, use o comando a seguir:
aws cloudwatch list-metrics
-
Se você habilitou as métricas do CloudWatch em seu grupo de trabalho habilitado para Spark do Athena, o Athena enviará a métrica a seguir para o CloudWatch por grupo de trabalho. A métrica usa o namespace AmazonAthenaForApacheSpark
.
Nome da métrica | Descrição |
---|---|
DPUCount | A quantidade de DPUs (unidades de processamento de dados) consumidas durante a sessão para executar os cálculos. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. |
Essa métrica tem as seguintes dimensões.
Dimensão | Descrição |
---|---|
SessionId |
O ID da sessão para a qual os cálculos são enviados. |
WorkGroup |
O nome do grupo de trabalho. |