Überwachung von Dashboards und Alarmen bei Amazon MWAA - Amazon Managed Workflows für Apache Airflow
MetrikenÜbersicht über die AlarmstatusBeispiel für benutzerdefinierte Dashboards und AlarmeLöschen von Metriken und DashboardsAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung von Dashboards und Alarmen bei Amazon MWAA

Sie können in Amazon ein benutzerdefiniertes Dashboard erstellen CloudWatch und Alarme für eine bestimmte Metrik hinzufügen, um den Status einer Amazon Managed Workflows for Apache Airflow-Umgebung zu überwachen. Wenn sich ein Alarm auf einem Dashboard befindet, wird er rot, wenn er sich im ALARM Status befindet, sodass Sie den Zustand einer MWAA Amazon-Umgebung leichter proaktiv überwachen können.

Apache Airflow stellt Kennzahlen für eine Reihe von Prozessen bereit, darunter die Anzahl der Prozesse, die Größe des DAG DAG Beutels, aktuell ausgeführte Aufgaben, fehlgeschlagene Aufgaben und Erfolge. Wenn Sie eine Umgebung erstellen, ist Airflow so konfiguriert, dass automatisch Metriken für eine MWAA Amazon-Umgebung an CloudWatch gesendet werden. Auf dieser Seite wird beschrieben, wie Sie ein Gesundheitsstatus-Dashboard für die Airflow-Metriken in CloudWatch einer MWAA Amazon-Umgebung erstellen.

Metriken

Sie können ein benutzerdefiniertes Dashboard und einen Alarm für alle Metriken erstellen, die für Ihre Apache Airflow-Version verfügbar sind. Jede Metrik entspricht einem wichtigen Leistungsindikator von Apache Airflow ()KPI. Eine Liste von Metriken finden Sie unter:

Übersicht über die Alarmstatus

Ein Metrikalarm kann die folgenden Status aufweisen:

  • OK – Die Metrik oder der Ausdruck liegt innerhalb des festgelegten Schwellenwerts.

  • ALARM – Die Metrik oder der Ausdruck liegt außerhalb des festgelegten Schwellenwerts.

  • INSUFFICIENT_DATA – Der Alarm wurde soeben gestartet; die Metrik ist nicht verfügbar oder es sind nicht genügend Daten verfügbar, damit die Metrik den Alarmstatus bestimmen kann.

Beispiel für benutzerdefinierte Dashboards und Alarme

Sie können ein benutzerdefiniertes Monitoring-Dashboard erstellen, das Diagramme mit ausgewählten Kennzahlen für Ihre MWAA Amazon-Umgebung anzeigt.

Über diese Metriken

In der folgenden Liste werden alle Metriken beschrieben, die im benutzerdefinierten Dashboard anhand des Tutorials und der Vorlagendefinitionen in diesem Abschnitt erstellt wurden.

  • QueuedTasks- Die Anzahl der Aufgaben mit dem Status „Warteschlange“. Entspricht der executor.queued_tasks Apache Airflow-Metrik.

  • TasksPending- Die Anzahl der Aufgaben, die im Executor noch ausstehen. Entspricht der scheduler.tasks.pending Apache Airflow-Metrik.

    Anmerkung

    Gilt nicht für Apache Airflow v2.2 und höher.

  • RunningTasks- Die Anzahl der Aufgaben, die im Executor ausgeführt werden. Entspricht der executor.running_tasks Apache Airflow-Metrik.

  • SchedulerHeartbeat— Die Anzahl der Check-ins, die Apache Airflow für den Scheduler-Job durchführt. Entspricht den scheduler_heartbeat Apache Airflow-Metriken.

  • TotalParseTime- Die Anzahl der Sekunden, die benötigt wurden, um alle DAG Dateien einmal zu scannen und zu importieren. Entspricht der dag_processing.total_parse_time Apache Airflow-Metrik.

Über das Armaturenbrett

Die folgende Abbildung zeigt das Monitoring-Dashboard, das mit dem Tutorial und der Vorlagendefinition in diesem Abschnitt erstellt wurde.

Dieses Bild zeigt, wo Sie die Option Privates Netzwerk auf der MWAA Amazon-Konsole finden.

Mithilfe von AWS Tutorials

Sie können das folgende AWS Tutorial verwenden, um automatisch ein Integritätsstatus-Dashboard für alle MWAA Amazon-Umgebungen zu erstellen, die derzeit bereitgestellt werden. Außerdem werden in allen CloudWatch Amazon-Umgebungen Alarme für kranke Mitarbeiter und für Heartbeat-Ausfälle im Terminplaner generiert. MWAA

Verwenden AWS CloudFormation

Sie können die AWS CloudFormation Vorlagendefinition in diesem Abschnitt verwenden, um ein Überwachungs-Dashboard zu erstellen und dann Alarme auf der CloudWatch Konsole hinzuzufügen CloudWatch, um Benachrichtigungen zu erhalten, wenn eine Metrik einen bestimmten Schwellenwert überschreitet. Informationen zum Erstellen des Stacks mithilfe dieser Vorlagendefinition finden Sie unter Einen Stack auf der AWS CloudFormation Konsole erstellen. Informationen zum Hinzufügen eines Alarms zum Dashboard finden Sie unter Alarme verwenden. 

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Löschen von Metriken und Dashboards

Wenn Sie eine MWAA Amazon-Umgebung löschen, wird auch das entsprechende Dashboard gelöscht. CloudWatch Metriken werden für fünfzehn (15) Monate gespeichert und können nicht gelöscht werden. Die CloudWatch Konsole beschränkt die Suche nach Metriken auf zwei (2) Wochen nach der letzten Erfassung einer Metrik, um sicherzustellen, dass die aktuellsten Instances für Ihre MWAA Amazon-Umgebung angezeigt werden. Weitere Informationen finden Sie auf Amazon CloudWatch FAQs.

Als nächstes