Painéis de monitoramento e alarmes na Amazon MWAA - Amazon Managed Workflows for Apache Airflow
MetricsVisão geral dos estados de alarmeExemplos de painéis e alarmes personalizadosComo apagar métricas e painéisPróximas etapas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Painéis de monitoramento e alarmes na Amazon MWAA

Você pode criar um painel personalizado na Amazon CloudWatch e adicionar alarmes para uma métrica específica para monitorar o status de saúde de um ambiente Amazon Managed Workflows for Apache Airflow. Quando um alarme está em um painel, ele fica vermelho quando está no ALARM estado, facilitando o monitoramento proativo da integridade de um MWAA ambiente da Amazon.

O Apache Airflow expõe métricas para vários processos, incluindo o número de processos, o tamanho da DAG DAG bolsa, as tarefas em execução no momento, as falhas e os sucessos das tarefas. Quando você cria um ambiente, o Airflow é configurado para enviar automaticamente métricas de um MWAA ambiente da Amazon para CloudWatch. Esta página descreve como criar um painel de status de saúde para as métricas do Airflow em CloudWatch um MWAA ambiente Amazon.

Metrics

Você pode criar um painel e um alarme personalizados para qualquer uma das métricas disponíveis para sua versão do Apache Airflow. Cada métrica corresponde a um indicador chave de desempenho do Apache Airflow ()KPI. Para visualizar uma lista de métricas, consulte:

Visão geral dos estados de alarme

Um alarme de métrica tem estes estados possíveis:

  • OK: a métrica ou a expressão está dentro do limite definido.

  • ALARM: a métrica ou a expressão está fora do limite definido.

  • INSUFFICIENT_DATA: o alarme acabou de ser acionado, a métrica não está disponível ou não há dados suficientes para a métrica determinar o estado do alarme.

Exemplos de painéis e alarmes personalizados

Você pode criar um painel de monitoramento personalizado que exibe gráficos de métricas selecionadas para seu MWAA ambiente Amazon.

Sobre essas métricas

A lista a seguir descreve cada uma das métricas criadas no painel personalizado pelas definições do tutorial e do modelo nesta seção.

  • QueuedTasks- O número de tarefas com estado em fila. Corresponde à métrica executor.queued_tasks do Apache Airflow.

  • TasksPending- O número de tarefas pendentes no executor. Corresponde à métrica scheduler.tasks.pending do Apache Airflow.

    nota

    Não se aplica ao Apache Airflow v2.2 e superior.

  • RunningTasks- O número de tarefas em execução no executor. Corresponde à métrica executor.running_tasks do Apache Airflow.

  • SchedulerHeartbeat- O número de check-ins que o Apache Airflow realiza no trabalho do agendador. Corresponde às métricas scheduler_heartbeat do Apache Airflow.

  • TotalParseTime- O número de segundos necessários para digitalizar e importar todos os DAG arquivos uma vez. Corresponde à métrica dag_processing.total_parse_time do Apache Airflow.

Sobre o painel

A imagem a seguir mostra o painel de monitoramento criado pelo tutorial e pela definição do modelo nesta seção.

Esta imagem mostra onde encontrar a opção de rede privada no MWAA console da Amazon.

Usando AWS tutoriais

Você pode usar o AWS tutorial a seguir para criar automaticamente um painel de status de saúde para qualquer MWAA ambiente da Amazon que esteja atualmente implantado. Ele também cria CloudWatch alarmes para trabalhadores insalubres e falhas de pulsação do agendador em todos os ambientes da Amazon. MWAA

Usando AWS CloudFormation

Você pode usar a definição do AWS CloudFormation modelo nesta seção para criar um painel de monitoramento e CloudWatch, em seguida, adicionar alarmes no CloudWatch console para receber notificações quando uma métrica ultrapassar um limite específico. Para criar a pilha usando essa definição de modelo, consulte Criação de uma pilha no AWS CloudFormation console. Para adicionar um alarme ao painel, consulte Como usar alarmes. 

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Como apagar métricas e painéis

Se você excluir um MWAA ambiente da Amazon, o painel correspondente também será excluído. CloudWatch as métricas são armazenadas por quinze (15) meses e não podem ser excluídas. O CloudWatch console limita a pesquisa de métricas a duas (2) semanas após a última ingestão de uma métrica para garantir que as instâncias mais atualizadas sejam mostradas para seu MWAA ambiente Amazon. Para saber mais, consulte Amazon CloudWatch FAQs.

Próximas etapas