Tableaux de bord de surveillance et alarmes sur Amazon MWAA - Amazon Managed Workflows for Apache Airflow
MétriquesVue d'ensemble des états d'alarmeExemples de tableaux de bord et d'alarmes personnalisésSupprimer des métriques et des tableaux de bordQuelle est la prochaine étape ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Tableaux de bord de surveillance et alarmes sur Amazon MWAA

Vous pouvez créer un tableau de bord personnalisé dans Amazon CloudWatch et ajouter des alarmes pour une métrique particulière afin de surveiller l'état de santé d'un environnement Amazon Managed Workflows for Apache Airflow. Lorsqu'une alarme apparaît sur un tableau de bord, elle devient rouge lorsqu'elle est en ALARM état, ce qui vous permet de surveiller plus facilement l'état de santé d'un MWAA environnement Amazon de manière proactive.

Apache Airflow expose les métriques d'un certain nombre de processus, notamment le nombre de processus, la taille du DAG sac, DAG les tâches en cours d'exécution, les échecs et les réussites des tâches. Lorsque vous créez un environnement, Airflow est configuré pour envoyer automatiquement les métriques d'un MWAA environnement Amazon à CloudWatch. Cette page explique comment créer un tableau de bord d'état de santé pour les métriques Airflow dans CloudWatch un MWAA environnement Amazon.

Métriques

Vous pouvez créer un tableau de bord personnalisé et une alarme pour toutes les métriques disponibles pour votre version d'Apache Airflow. Chaque métrique correspond à un indicateur de performance clé d'Apache Airflow (KPI). Pour consulter la liste des indicateurs, voir :

Vue d'ensemble des états d'alarme

Une alerte de métrique peut avoir les états suivants :

  • OK – La métrique ou l'expression se trouve dans le seuil défini.

  • ALARM – La métrique ou l'expression se trouve à l'extérieur du seuil défini.

  • INSUFFICIENT_DATA – L'alerte vient de commencer, la métrique n'est pas disponible, ou la quantité de données n'est pas suffisante pour permettre à la métrique de déterminer le statut de l'alerte.

Exemples de tableaux de bord et d'alarmes personnalisés

Vous pouvez créer un tableau de bord de surveillance personnalisé qui affiche des graphiques des mesures sélectionnées pour votre MWAA environnement Amazon.

À propos de ces indicateurs

La liste suivante décrit chacune des métriques créées dans le tableau de bord personnalisé par le didacticiel et les définitions de modèles de cette section.

  • QueuedTasks- Le nombre de tâches mises en file d'attente. Correspond à la métrique executor.queued_tasks Apache Airflow.

  • TasksPending- Le nombre de tâches en attente dans l'exécuteur. Correspond à la métrique scheduler.tasks.pending Apache Airflow.

    Note

    Ne s'applique pas à Apache Airflow v2.2 et versions ultérieures.

  • RunningTasks- Le nombre de tâches exécutées dans l'exécuteur. Correspond à la métrique executor.running_tasks Apache Airflow.

  • SchedulerHeartbeat- Le nombre d'enregistrements effectués par Apache Airflow dans le cadre de la tâche du planificateur. Correspond aux métriques d'scheduler_heartbeatApache Airflow.

  • TotalParseTime- Le nombre de secondes nécessaires pour scanner et importer tous les DAG fichiers une fois. Correspond à la métrique dag_processing.total_parse_time Apache Airflow.

À propos du tableau de bord

L'image suivante montre le tableau de bord de surveillance créé par le didacticiel et la définition du modèle de cette section.

Cette image montre où trouver l'option Réseau privé sur la MWAA console Amazon.

Utilisation de AWS didacticiels

Vous pouvez utiliser le AWS didacticiel suivant pour créer automatiquement un tableau de bord d'état de santé pour tous les MWAA environnements Amazon actuellement déployés. Il génère également des CloudWatch alarmes en cas de mauvaise santé des employés et de défaillances du rythme cardiaque du planificateur dans tous les environnements Amazon. MWAA

En utilisant AWS CloudFormation

Vous pouvez utiliser la définition du AWS CloudFormation modèle présentée dans cette section pour créer un tableau de bord de surveillance CloudWatch, puis ajouter des alarmes sur la CloudWatch console pour recevoir des notifications lorsqu'une métrique dépasse un certain seuil. Pour créer la pile à l'aide de cette définition de modèle, consultez la section Création d'une pile sur la AWS CloudFormation console. Pour ajouter une alarme au tableau de bord, consultez la section Utilisation des alarmes. 

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Supprimer des métriques et des tableaux de bord

Si vous supprimez un MWAA environnement Amazon, le tableau de bord correspondant est également supprimé. CloudWatch les métriques sont conservées pendant quinze (15) mois et ne peuvent pas être supprimées. La CloudWatch console limite la recherche de métriques à deux (2) semaines après la dernière ingestion d'une métrique afin de garantir que les instances les plus récentes sont affichées pour votre MWAA environnement Amazon. Pour en savoir plus, consultez Amazon CloudWatch FAQs.

Quelle est la prochaine étape ?