View a markdown version of this page

Container-, Warteschlangen- und Datenbankmetriken für Amazon MWAA - Von Amazon verwaltete Workflows für Apache Airflow

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Container-, Warteschlangen- und Datenbankmetriken für Amazon MWAA

Zusätzlich zu den Apache Airflow-Metriken können Sie die zugrunde liegenden Komponenten Ihrer Amazon Managed Workflows für Apache Airflow-Umgebungen überwachen. Verwenden Sie dazu das Tool CloudWatch, das Rohdaten sammelt und Daten zu lesbaren Metriken verarbeitet, die nahezu in Echtzeit sind. Mit diesen Umgebungsmetriken erhalten Sie einen besseren Einblick in die wichtigsten Leistungsindikatoren, sodass Sie Ihre Umgebungen angemessen dimensionieren und Probleme mit Ihren Workflows beheben können. Diese Metriken gelten für alle unterstützten Apache Airflow-Versionen auf Amazon MWAA.

Amazon MWAA liefert CPU- und Speicherauslastung für jeden Amazon Elastic Container Service (Amazon ECS) -Container und Amazon Aurora PostgreSQL-Instance sowie Amazon Simple Queue Service (Amazon SQS) -Metriken für die Anzahl der Nachrichten und das Alter der ältesten Nachricht, Amazon Relational Database Service (Amazon RDS) -Metriken für Datenbankverbindungen, Festplattenwarteschlangentiefe, Schreibvorgänge, Latenz und Durchsatz sowie Amazon RDS Proxy-Metriken. Zu diesen Metriken gehört auch die Anzahl der Basisarbeiter, der zusätzlichen Worker, der Scheduler und der Webserver.

Diese Statistiken werden 15 Monate lang aufbewahrt, sodass Sie auf historische Informationen zugreifen und einen besseren Überblick darüber erhalten, warum ein Zeitplan fehlschlägt, und die zugrunde liegenden Probleme beheben können. Sie können auch Alarme einrichten, die bestimmte Schwellenwerte überwachen, und Benachrichtigungen versenden oder Maßnahmen ergreifen, wenn diese Schwellenwerte erreicht werden. Weitere Informationen finden Sie im CloudWatch Amazon-Benutzerhandbuch.

Bedingungen

Namespace

Ein Namespace ist ein Container für die CloudWatch Metriken eines AWS Dienstes. Für Amazon MWAA lautet der Namespace. AWS/MWAA

CloudWatch Metriken

Eine CloudWatch Metrik stellt einen zeitlich geordneten Satz von Datenpunkten dar, die spezifisch für sind. CloudWatch

Dimension

Eine Dimension ist ein name/value Paar, das Teil der Identität einer Metrik ist.

Einheit

Eine Statistik hat eine Maßeinheit. Bei Amazon MWAA enthalten die Einheiten Count.

Dimensionen

In diesem Abschnitt wird die Gruppierung der CloudWatch Dimensionen für Amazon MWAA-Metriken beschrieben. CloudWatch

Dimension Description

Cluster

Metriken für die mindestens drei Amazon ECS-Container, die eine Amazon MWAA-Umgebung zur Ausführung der Apache Airflow-Komponenten verwendet: Scheduler, Worker und Webserver.

Warteschlange

Metriken für die Amazon SQS-Warteschlangen, die den Scheduler von den Workern entkoppeln. Wenn Mitarbeiter die Nachrichten lesen, gelten sie als während des Fluges und sind für andere Mitarbeiter nicht verfügbar. Nachrichten stehen anderen Mitarbeitern zum Lesen zur Verfügung, wenn sie nicht vor Ablauf des 12-stündigen Sichtbarkeitszeitlimits gelöscht werden.

Datenbank

Metriken der Aurora-Cluster, die von Amazon MWAA verwendet werden. Dazu gehören Metriken für die primäre Datenbank-Instance und eine Read Replica zur Unterstützung der Lesevorgänge. Amazon MWAA veröffentlicht Datenbankmetriken sowohl für READER- als auch für WRITER-Instances.

Zugreifen auf Metriken in der Konsole CloudWatch

In diesem Abschnitt wird beschrieben, wie Sie auf Ihre Amazon MWAA-Metriken zugreifen können. CloudWatch

So greifen Sie auf Leistungskennzahlen für eine Dimension zu
  1. Öffnen Sie die Seite „https://console.aws.amazon.com/cloudwatch/home#metricsV2:graph=~()Metriken“ in der CloudWatch Konsole.

  2. Wählen Sie Ihre AWS-Region.

  3. Wählen Sie den Namespace AWS/MWAA aus.

  4. Wählen Sie auf der Registerkarte „Alle Metriken“ eine Dimension aus. Zum Beispiel Cluster.

  5. Wählen Sie eine CloudWatch Metrik für eine Dimension. Zum Beispiel NumSchedulers oder CPUUtilization. Wählen Sie dann Alle Suchergebnisse grafisch darstellen aus.

  6. Wählen Sie den Tab „Graphische Messwerte“, um auf Leistungskennzahlen zuzugreifen.

Liste der Metriken

In den folgenden Tabellen sind die Cluster-, Warteschlangen- und Datenbankservice-Metriken für Amazon MWAA aufgeführt. Um auf Beschreibungen für Metriken zuzugreifen, die direkt von Amazon ECS, Amazon SQS oder Amazon RDS ausgegeben werden, wählen Sie den entsprechenden Dokumentationslink.

Cluster-Metriken

Die folgenden Metriken gelten für jeden Scheduler, Basis-Worker, zusätzlichen Worker und Webserver. Weitere Informationen zu diesen Metriken finden Sie unter Amazon ECS-Überwachung und Amazon ECS Container Insights.

Namespace Metrik Einheit

AWS/MWAA

CPUUtilization

Prozent

AWS/MWAA

MemoryUtilization

Prozent

AWS/MWAA

EphemeralStorageUtilized

Megabyte

AWS/MWAA

EphemeralStorageReserved

Megabyte

AWS/MWAA

NetworkTxBytes

Bytes/Second

AWS/MWAA

NetworkRxBytes

Bytes/Second

Bewertung der Anzahl zusätzlicher Worker- und Webserver-Container

Sie können die in der Cluster-Dimension bereitgestellten Komponenten-Metriken verwenden, wie im folgenden Verfahren beschrieben, um zu beurteilen, wie viele zusätzliche Worker oder Webserver eine Umgebung zu einem bestimmten Zeitpunkt verwendet. Sie können dies tun, indem Sie entweder die CPUUtilization oder die MemoryUtilization Metrik grafisch darstellen und den Statistiktyp auf Sample Count setzen. Der resultierende Wert ist die Gesamtzahl der RUNNING Aufgaben für die Komponente. AdditionalWorker Wenn Sie die Anzahl der zusätzlichen Worker-Instanzen kennen, die von Ihrer Umgebung genutzt werden, können Sie besser einschätzen, wie Ihre Umgebung skaliert wird, und anhand dieser Informationen die Anzahl der zusätzlichen Worker optimieren.

Workers
Um die Anzahl der zusätzlichen Mitarbeiter zu ermitteln, verwenden Sie das AWS-Managementkonsole
  1. Wählen Sie den Namespace AWS/MWAA aus.

  2. Wählen Sie auf der Registerkarte Alle Metriken die Cluster-Dimension aus.

  3. Wählen Sie in der Cluster-Dimension für die AdditionalWorker entweder die CPUUtilisation oder die MemoryUtilization Metrik aus.

  4. Stellen Sie auf der Registerkarte Graphische Metriken den Wert Period auf 1 Minute und Statistik auf Stichprobenanzahl ein.

webservers
Um die Anzahl der zusätzlichen Webserver zu ermitteln, verwenden Sie das AWS-Managementkonsole
  1. Wählen Sie den Namespace AWS/MWAA aus.

  2. Wählen Sie auf der Registerkarte Alle Metriken die Cluster-Dimension aus.

  3. Wählen Sie in der Cluster-Dimension für die AdditionalWebservers entweder die CPUUtilisation oder die MemoryUtilization Metrik aus.

  4. Stellen Sie auf der Registerkarte Graphische Metriken den Wert Period auf 1 Minute und Statistik auf Stichprobenanzahl ein.

Weitere Informationen finden Sie im Amazon Elastic Container Service Developer Guide unter Anzahl der RUNNING Serviceaufgaben.

Datenbankmetriken

Die folgenden Metriken gelten für jede Datenbank-Instance, die mit der Amazon MWAA-Umgebung verknüpft ist.

Namespace Metrik Einheit

AWS/MWAA

CPUUtilization

Prozent

AWS/MWAA

DatabaseConnections

Anzahl

AWS/MWAA

DiskQueueDepth

Anzahl

AWS/MWAA

FreeableMemory

Bytes

AWS/MWAA

VolumeWriteIOPS

Zählen Sie alle fünf Minuten

AWS/MWAA

WriteIOPS

Anzahl pro Sekunde

AWS/MWAA

WriteLatency

Sekunden

AWS/MWAA

WriteThroughput

Bytes pro Sekunde

Warteschlangenmetriken

Weitere Informationen zu Einheiten und Beschreibungen für die folgenden Queue-Metriken finden Sie unter Verfügbare CloudWatch Metriken für Amazon SQS im Amazon Simple Queue Service Developer Guide.

Namespace Metrik Einheit

AWS/MWAA

ApproximateAgeOfOldestTask

Sekunden

AWS/MWAA

RunningTasks

Anzahl

AWS/MWAA

QueuedTasks

Anzahl

Application-Load-Balancer-Metriken

Die Application Load Balancer-Metriken gelten für die Webserver, die in Ihrer Umgebung laufen. Amazon MWAA verwendet diese Metriken, um Ihre Webserver auf der Grundlage des Datenverkehrs zu skalieren. Weitere Informationen zu Einheiten und Beschreibungen für die folgenden Load Balancer-Metriken finden Sie unter CloudWatch Metriken für Ihren Application Load Balancer im Application Load Balancers-Benutzerhandbuch.

Namespace Metrik Einheit

AWS/MWAA

ActiveConnectionCount

Anzahl