View a markdown version of this page

Überwachung von Dashboards und Alarmen auf Amazon MWAA - Von Amazon verwaltete Workflows für Apache Airflow
KennzahlenÜbersicht über die AlarmzuständeBeispiel für benutzerdefinierte Dashboards und AlarmeMetriken und Dashboards löschenAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung von Dashboards und Alarmen auf Amazon MWAA

Sie können ein benutzerdefiniertes Dashboard in Amazon erstellen CloudWatch und Alarme für eine bestimmte Metrik hinzufügen, um den Status einer Amazon Managed Workflows for Apache Airflow-Umgebung zu überwachen. Wenn sich ein Alarm auf einem Dashboard befindet, leuchtet er rot, wenn er sich im ALARM Status befindet. Dadurch ist es einfacher, den Zustand einer Amazon MWAA-Umgebung proaktiv zu überwachen.

Apache Airflow stellt Metriken für mehrere Prozesse zur Verfügung, darunter die Anzahl der DAG-Prozesse, die Größe des DAG-Beutels, aktuell ausgeführte Aufgaben, Aufgabenfehler und Erfolge. Wenn Sie eine Umgebung erstellen, sendet Airflow automatisch Metriken für eine Amazon MWAA-Umgebung an. CloudWatch Auf dieser Seite wird beschrieben, wie Sie ein Status-Dashboard für die Airflow-Metriken CloudWatch für eine Amazon MWAA-Umgebung erstellen.

Kennzahlen

Sie können ein benutzerdefiniertes Dashboard und einen Alarm für jede der für Ihre Apache Airflow-Version verfügbaren Metriken erstellen. Jede Metrik entspricht einem Apache Airflow Key Performance Indicator (KPI). Eine Liste von Metriken finden Sie unter:

Übersicht über die Alarmzustände

Ein Metrikalarm kann die folgenden Status aufweisen:

  • OK – Die Metrik oder der Ausdruck liegt innerhalb des festgelegten Schwellenwerts.

  • ALARM – Die Metrik oder der Ausdruck liegt außerhalb des festgelegten Schwellenwerts.

  • INSUFFICIENT_DATA – Der Alarm wurde soeben gestartet; die Metrik ist nicht verfügbar oder es sind nicht genügend Daten verfügbar, damit die Metrik den Alarmstatus bestimmen kann.

Beispiel für benutzerdefinierte Dashboards und Alarme

Sie können ein benutzerdefiniertes Überwachungs-Dashboard erstellen, das Diagramme mit ausgewählten Metriken für Ihre Amazon MWAA-Umgebung anzeigt.

Über diese Metriken

In der folgenden Liste werden alle Metriken beschrieben, die im benutzerdefinierten Dashboard anhand der Tutorial- und Vorlagendefinitionen in diesem Abschnitt erstellt wurden.

  • QueuedTasks— Die Anzahl der Aufgaben mit dem Status „In der Warteschlange“. Entspricht der executor.queued_tasks Apache Airflow-Metrik.

  • TasksPending— Die Anzahl der im Executor ausstehenden Aufgaben. Entspricht der scheduler.tasks.pending Apache Airflow-Metrik.

    Anmerkung

    Gilt nicht für Apache Airflow v2.2 und höher.

  • RunningTasks- Die Anzahl der Aufgaben, die im Executor ausgeführt werden. Entspricht der executor.running_tasks Apache Airflow-Metrik.

  • SchedulerHeartbeat— Die Anzahl der Check-Ins, die Apache Airflow im Rahmen des Scheduler-Jobs durchführt. Entspricht den scheduler_heartbeat Apache Airflow-Metriken.

  • TotalParseTime- Die Anzahl der Sekunden, die benötigt werden, um alle DAG-Dateien einmal zu scannen und zu importieren. Entspricht der dag_processing.total_parse_time Apache Airflow-Metrik.

Über das Armaturenbrett

Die folgende Abbildung zeigt das Überwachungs-Dashboard, das mit dem Tutorial und der Vorlagendefinition in diesem Abschnitt erstellt wurde.

Dieses Bild zeigt, wo Sie die Option Privates Netzwerk auf der Amazon MWAA-Konsole finden.

Verwenden AWS   Tutorials

Sie können das folgende AWS Tutorial verwenden, um automatisch ein Integritätsstatus-Dashboard für alle Amazon MWAA-Umgebungen zu erstellen, die derzeit bereitgestellt werden. Es generiert auch CloudWatch Alarme für kranke Mitarbeiter und Taktfehler beim Scheduler in allen Amazon MWAA-Umgebungen.

Verwenden CloudFormation

Sie können die CloudFormation Vorlagendefinition in diesem Abschnitt verwenden, um ein Überwachungs-Dashboard zu erstellen und dann Alarme auf der CloudWatch Konsole hinzuzufügen CloudWatch, um Benachrichtigungen zu erhalten, wenn eine Metrik einen bestimmten Schwellenwert überschreitet. Informationen zum Erstellen des Stacks mithilfe dieser Vorlagendefinition finden Sie unter Stapel auf der CloudFormation Konsole https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-console-create-stack.html erstellen. Informationen zum Hinzufügen eines Alarms zum Dashboard finden Sie unter Verwenden von Alarmen.

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Metriken und Dashboards löschen

Wenn Sie eine Amazon MWAA-Umgebung löschen, wird auch das entsprechende Dashboard gelöscht. CloudWatch Metriken werden für fünfzehn (15) Monate gespeichert und können nicht gelöscht werden. Die CloudWatch Konsole begrenzt die Suche nach Metriken auf zwei (2) Wochen nach der letzten Erfassung einer Metrik, um sicherzustellen, dass die aktuellsten Instances für Ihre Amazon MWAA-Umgebung angezeigt werden. Weitere Informationen finden Sie in den häufig gestellten Fragen zu Amazon. CloudWatch

Als nächstes