View a markdown version of this page

Tableaux de bord de surveillance et alarmes sur Amazon MWAA - Amazon Managed Workflows for Apache Airflow
MétriquesVue d'ensemble des états d'alarmeExemples de tableaux de bord et d'alarmes personnalisésSupprimer des métriques et des tableaux de bordQuelle est la prochaine étape ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Tableaux de bord de surveillance et alarmes sur Amazon MWAA

Vous pouvez créer un tableau de bord personnalisé dans Amazon CloudWatch et ajouter des alarmes pour une métrique particulière afin de surveiller l'état de santé d'un environnement Amazon Managed Workflows pour Apache Airflow. Lorsqu'une alarme apparaît sur un tableau de bord, elle devient rouge lorsqu'elle est activée, ce qui permet de surveiller plus facilement ALARM l'état de santé d'un environnement Amazon MWAA de manière proactive.

Apache Airflow expose les métriques de plusieurs processus, notamment le nombre de processus DAG, la taille du sac DAG, les tâches en cours d'exécution, les échecs des tâches et les réussites. Lorsque vous créez un environnement, Airflow envoie automatiquement les métriques d'un environnement Amazon MWAA à. CloudWatch Cette page explique comment créer un tableau de bord de l'état de santé pour les mesures Airflow dans un CloudWatch environnement Amazon MWAA.

Métriques

Vous pouvez créer un tableau de bord et une alarme personnalisés pour toutes les métriques disponibles pour votre version d'Apache Airflow. Chaque métrique correspond à un indicateur clé de performance (KPI) Apache Airflow. Pour accéder à une liste de mesures, reportez-vous à :

Vue d'ensemble des états d'alarme

Une alerte de métrique peut avoir les états suivants :

  • OK – La métrique ou l'expression se trouve dans le seuil défini.

  • ALARM – La métrique ou l'expression se trouve à l'extérieur du seuil défini.

  • INSUFFICIENT_DATA – L'alerte vient de commencer, la métrique n'est pas disponible, ou la quantité de données n'est pas suffisante pour permettre à la métrique de déterminer le statut de l'alerte.

Exemples de tableaux de bord et d'alarmes personnalisés

Vous pouvez créer un tableau de bord de surveillance personnalisé qui affiche des graphiques des mesures sélectionnées pour votre environnement Amazon MWAA.

À propos de ces indicateurs

La liste suivante décrit chacune des mesures créées dans le tableau de bord personnalisé par le didacticiel et les définitions des modèles de cette section.

  • QueuedTasks- Le nombre de tâches dont l'état est en file d'attente. Correspond à la métrique executor.queued_tasks Apache Airflow.

  • TasksPending- Le nombre de tâches en attente dans l'exécuteur. Correspond à la métrique scheduler.tasks.pending Apache Airflow.

    Note

    Ne s'applique pas à Apache Airflow v2.2 et versions ultérieures.

  • RunningTasks- Le nombre de tâches exécutées dans l'exécuteur. Correspond à la métrique executor.running_tasks Apache Airflow.

  • SchedulerHeartbeat- Le nombre d'enregistrements effectués par Apache Airflow lors de la tâche du planificateur. Correspond aux métriques scheduler_heartbeat Apache Airflow.

  • TotalParseTime- Le nombre de secondes nécessaires pour numériser et importer tous les fichiers DAG une fois. Correspond à la métrique dag_processing.total_parse_time Apache Airflow.

À propos du tableau de bord

L'image suivante montre le tableau de bord de surveillance créé par le didacticiel et la définition du modèle dans cette section.

Cette image montre où se trouve l'option Réseau privé sur la console Amazon MWAA.

Utilisation AWS Tutoriels  

Vous pouvez utiliser le AWS didacticiel suivant pour créer automatiquement un tableau de bord de l'état de santé de tous les environnements Amazon MWAA actuellement déployés. Il crée également des CloudWatch alarmes pour les travailleurs en mauvaise santé et les défaillances cardiaques du planificateur dans tous les environnements Amazon MWAA.

Utilisation CloudFormation

Vous pouvez utiliser la définition du CloudFormation modèle de cette section pour créer un tableau de bord de surveillance dans CloudWatch, puis ajouter des alarmes sur la CloudWatch console pour recevoir des notifications lorsqu'une métrique dépasse un seuil donné. Pour créer la pile à l'aide de cette définition de modèle, reportez-vous à la section Création d'une pile sur la CloudFormation console. Pour ajouter une alarme au tableau de bord, reportez-vous à la section Utilisation des alarmes.

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Supprimer des métriques et des tableaux de bord

Si vous supprimez un environnement Amazon MWAA, le tableau de bord correspondant est également supprimé. CloudWatch les métriques sont stockées pendant quinze (15) mois et ne peuvent pas être supprimées. La CloudWatch console limite la recherche de métriques à deux (2) semaines après la dernière ingestion d'une métrique afin de garantir que les instances les plus récentes sont affichées pour votre environnement Amazon MWAA. Pour en savoir plus, consultez les CloudWatch FAQ d'Amazon.

Quelle est la prochaine étape ?