Überwachung von EMR Amazon-Metriken mit CloudWatch - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung von EMR Amazon-Metriken mit CloudWatch

Die Metriken werden alle fünf Minuten aktualisiert und automatisch CloudWatch für jeden EMR Amazon-Cluster gesammelt und weitergeleitet. Dieses Intervall kann nicht konfiguriert werden. Für die unter angegebenen EMR Amazon-Metriken fallen keine Gebühren an CloudWatch. Diese fünfminütigen Datenpunktmetriken werden 63 Tage lang archiviert. Danach werden die Daten verworfen.

Wie verwende ich EMR Amazon-Metriken?

Die folgende Tabelle zeigt die häufigsten Verwendungszwecke für von Amazon gemeldete MetrikenEMR. Es handelt sich dabei um Vorschläge für den Einstieg und nicht um eine umfassende Liste. Eine vollständige Liste der von Amazon EMR gemeldeten Kennzahlen finden Sie unterVon Amazon gemeldete Metriken EMR in CloudWatch.

Wie gehe ich vor? Relevante Metriken
Verfolgen des Cluster-Fortschritts Sehen Sie sich die Metriken RunningMapTasks, RemainingMapTasks, RunningReduceTasks und RemainingReduceTasks an.
Erkennen von Clustern im Leerlauf Die IsIdle-Metrik verfolgt, ob ein Cluster verfügbar ist, aber aktuell keine Aufgaben ausführt. Sie können einen Alarm einrichten, wenn sich der Cluster für einen bestimmten Zeitraum im Leerlauf befunden hat z. B. 30 Minuten.
Erkennen, wenn ein Knoten zu wenig Speicherplatz hat Die MRUnhealthyNodes Metrik verfolgt, wann einem oder mehreren Kern- oder Taskknoten der lokale Festplattenspeicher ausgeht und sie in einen bestimmten UNHEALTHY YARN Status übergehen. Zum Beispiel haben Core- oder Aufgabenknoten nur noch wenig Speicherplatz zur Verfügung und sie können keine Aufgaben ausführen.
Erkennen, wenn ein Cluster zu wenig Speicherplatz hat Die HDFSUtilization Metrik überwacht die kombinierte HDFS Kapazität des Clusters und kann eine Größenänderung des Clusters erfordern, um weitere Kernknoten hinzuzufügen. Beispielsweise ist die HDFS Auslastung hoch, was sich auf Jobs und den Zustand des Clusters auswirken kann.
Erkennt, wenn ein Cluster mit reduzierter Kapazität läuft Die MRLostNodes-Metrik verfolgt, wann ein oder mehrere Core- oder Aufgabenknoten nicht mit dem Hauptknoten kommunizieren können. Beispielsweise ist der Core- oder Aufgabenknoten für den Hauptknoten nicht erreichbar.

Weitere Informationen finden Sie unter Der EMR Amazon-Cluster endet mit NO_ _ LEFT und den SLAVE Kernknoten _BY_ FAILED MASTER und AWSSupport-A nalyzeEMRLogs.

CloudWatch Zugriffsmetriken für Amazon EMR

Sie können die Metriken, über die Amazon EMR berichtet, CloudWatch über die EMR Amazon-Konsole oder die CloudWatch Konsole anzeigen. Sie können Metriken auch mit dem CloudWatch CLI Befehl mon-get-stats oder dem abrufen CloudWatch GetMetricStatisticsAPI. Weitere Informationen zum Anzeigen oder Abrufen von Messwerten für Amazon EMR finden CloudWatch Sie im CloudWatch Amazon-Benutzerhandbuch.

Console
So zeigen Sie Metriken mit der Konsole an
  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

  2. Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Clusters und dann den Cluster aus, für den Sie Metriken anzeigen möchten. Dadurch wird die Cluster-Detailseite geöffnet.

  3. Wählen Sie auf der Cluster-Detailseite die Registerkarte Überwachung aus. Wählen Sie eine der Optionen Clusterstatus, Knotenstatus oder Ein- und Ausgaben aus, um die Berichte über den Fortschritt und den Zustand des Clusters zu laden.

  4. Nachdem Sie eine Metrik zur Anzeige ausgewählt haben, können Sie jedes Diagramm vergrößern. Um den Zeitrahmen Ihres Diagramms zu filtern, wählen Sie eine vorausgefüllte Option oder wählen Sie Benutzerdefiniert.

Von Amazon gemeldete Metriken EMR in CloudWatch

In den folgenden Tabellen sind die Metriken aufgeführt, die Amazon in der Konsole EMR meldet und an CloudWatch die Amazon weiterleitet.

EMRAmazon-Metriken

Amazon EMR sendet Daten für verschiedene Metriken an CloudWatch. Alle EMR Amazon-Cluster senden automatisch Metriken in Intervallen von fünf Minuten. Die Metriken werden für zwei Wochen archiviert. Nach Ablauf dieses Zeitraums werden die Daten verworfen.

Der AWS/ElasticMapReduce-Namespace enthält die folgenden Metriken.

Anmerkung

Amazon EMR ruft Metriken aus einem Cluster ab. Wenn die Verbindung zu einem Cluster verloren geht, werden keine Metriken gemeldet, bis der Cluster wieder verfügbar ist.

Die folgenden Metriken sind für Cluster mit Hadoop 2.x -Versionen verfügbar.

Metrik Beschreibung
Cluster-Status

IsIdle

Gibt an, dass ein Cluster keine Arbeiten mehr ausführt, aber unverändert aktiv ist und Kosten verursacht. Der Wert beträgt 1, wenn weder Tasks noch Aufträge ausgeführt werden, andernfalls beträgt der Wert 0. Dieser Wert wird in 5-Minuten-Intervallen geprüft. Wenn der Wert 1 beträgt, bedeutet dies, dass der Cluster zum Zeitpunkt der Prüfung ungenutzt war, aber nicht die gesamten fünf Minuten. Um Falschmeldungen zu vermeiden, sollten Sie einen Alarm auslösen, wenn dieser Wert in mehreren aufeinander folgenden 5-Minuten-Prüfungen 1 beträgt. Sie können zum Beispiel einen Alarm auslösen, wenn dieser Wert 30 Minuten oder länger 1 beträgt.

Anwendungsfall: Cluster-Leistung überwachen

Einheiten: boolescher Wert

ContainerAllocated

Die Anzahl der Ressourcencontainer, die von der ResourceManager zugewiesen wurden.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

ContainerReserved

Anzahl der reservierten Container.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

ContainerPending

Anzahl der Container in der Warteschlange, die noch nicht zugeordnet worden sind.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

ContainerPendingRatio

Das Verhältnis von ausstehenden Containern zu zugewiesenen Containern (ContainerPendingRatio = ContainerPending / ContainerAllocated). Wenn ContainerAllocated = 0, dann ContainerPendingRatio =ContainerPending. Der Wert von ContainerPendingRatio steht für eine Zahl, nicht für einen Prozentsatz. Dieser Wert ist zum Skalieren von Cluster-Ressourcen anhand des Zuordnungsverhaltens des Containers hilfreich.

Einheiten: Anzahl

AppsCompleted

Die Anzahl der eingereichten Anträge, YARN die abgeschlossen wurden.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

AppsFailed

Die Anzahl der YARN eingereichten Anträge wurde nicht abgeschlossen.

Anwendungsfall: Cluster-Fortschritt überwachen, Cluster-Zustand überwachen

Einheiten: Anzahl

AppsKilled

Die Anzahl der YARN eingereichten Anträge wurde abgelehnt.

Anwendungsfall: Cluster-Fortschritt überwachen, Cluster-Zustand überwachen

Einheiten: Anzahl

AppsPending

Die Anzahl der bei YARN dieser Stelle eingereichten Anträge ist noch nicht abgeschlossen.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

AppsRunning

Die Anzahl der Bewerbungen, die bei YARN diesem Dienst eingereicht wurden, laufen.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

AppsSubmitted

Die Anzahl der Anträge, die bei eingereicht wurdenYARN.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

Knotenstatus

CoreNodesRunning

Anzahl der arbeitenden Core-Knoten. Die Datenpunkte dieser Metrik werden nur dann angegeben, wenn die zugehörige Instance-Gruppe existiert.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

CoreNodesPending

Anzahl der Core-Knoten, die auf eine Zuordnung warten. Es müssen nicht alle angeforderten Core-Knoten sofort verfügbar sein. Diese Metrik gibt die ausstehenden Anforderungen an. Die Datenpunkte dieser Metrik werden nur dann angegeben, wenn die zugehörige Instance-Gruppe existiert.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

LiveDataNodes

Prozentsatz der Datenknoten, die Arbeit von Hadoop empfangen.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Prozent

MRTotalNodes

Die Anzahl der Knoten, die derzeit für MapReduce Jobs verfügbar sind. Entspricht einer YARN Metrikmapred.resourcemanager.TotalNodes.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

MRActiveNodes

Die Anzahl der Knoten, auf denen derzeit MapReduce Aufgaben oder Jobs ausgeführt werden. Entspricht einer YARN Metrikmapred.resourcemanager.NoOfActiveNodes.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

MRLostNodes

Die Anzahl der Knoten MapReduce , denen zugewiesen wurde, die in einem LOST Status markiert wurden. Entspricht einer YARN Metrikmapred.resourcemanager.NoOfLostNodes.

Anwendungsfall: Cluster-Fortschritt überwachen, Cluster-Zustand überwachen

Einheiten: Anzahl

MRUnhealthyNodes

Die Anzahl der Knoten, die für MapReduce Jobs verfügbar sind, die in einem UNHEALTHY Status markiert sind. Entspricht einer YARN Metrikmapred.resourcemanager.NoOfUnhealthyNodes.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

MRDecommissionedNodes

Die Anzahl der Knoten, die MapReduce Anwendungen zugewiesen sind, die als DECOMMISSIONED Status markiert wurden. Entspricht einer YARN Metrikmapred.resourcemanager.NoOfDecommissionedNodes.

Anwendungsfall: Cluster-Fortschritt überwachen, Cluster-Zustand überwachen

Einheiten: Anzahl

MRRebootedNodes

Die Anzahl der verfügbaren Knoten, MapReduce die neu gestartet und als Status markiert wurden. REBOOTED Entspricht einer Metrik. YARN mapred.resourcemanager.NoOfRebootedNodes

Anwendungsfall: Cluster-Fortschritt überwachen, Cluster-Zustand überwachen

Einheiten: Anzahl

MultiMasterInstanceGroupNodesRunning

Die Anzahl der zurzeit ausgeführten Master-Knoten.

Anwendungsfall: Überwachen von Ausfall und Ersetzung eines Master-Knotens

Einheiten: Anzahl

MultiMasterInstanceGroupNodesRunningPercentage

Der Prozentsatz der zurzeit im Verhältnis zur angeforderten Instance-Zahl für Master-Knoten ausgeführten Master-Knoten.

Anwendungsfall: Überwachen von Ausfall und Ersetzung eines Master-Knotens

Einheiten: Prozent

MultiMasterInstanceGroupNodesRequested

Die Anzahl der angeforderten Master-Knoten.

Anwendungsfall: Überwachen von Ausfall und Ersetzung eines Master-Knotens

Einheiten: Anzahl

IO

S3 BytesWritten

Anzahl der auf Amazon S3 geschriebenen Bytes. Diese Metrik aggregiert nur MapReduce Jobs und gilt nicht für andere Workloads bei Amazon. EMR

Anwendungsfall: Cluster-Leistung analysieren, Cluster-Fortschritt überwachen

Einheiten: Anzahl

S3 BytesRead

Anzahl der von Amazon S3 gelesenen Bytes. Diese Metrik aggregiert nur MapReduce Jobs und gilt nicht für andere Workloads bei Amazon. EMR

Anwendungsfall: Cluster-Leistung analysieren, Cluster-Fortschritt überwachen

Einheiten: Anzahl

HDFSUtilization

Der Prozentsatz des aktuell genutzten HDFS Speichers.

Anwendungsfall: Cluster-Leistung analysieren

Einheiten: Prozent

HDFSBytesRead

Die Anzahl der Byte, aus denen gelesen wurdeHDFS. Diese Metrik aggregiert nur MapReduce Jobs und gilt nicht für andere Workloads bei Amazon. EMR

Anwendungsfall: Cluster-Leistung analysieren, Cluster-Fortschritt überwachen

Einheiten: Anzahl

HDFSBytesWritten

Die Anzahl der Byte, in die geschrieben wurde. HDFS Diese Metrik aggregiert nur MapReduce Jobs und gilt nicht für andere Workloads bei Amazon. EMR

Anwendungsfall: Cluster-Leistung analysieren, Cluster-Fortschritt überwachen

Einheiten: Anzahl

MissingBlocks

Die Anzahl der Blöcke, in denen es keine HDFS Replikate gibt. Hierbei kann es sich um beschädigte Blöcke handeln.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

CorruptBlocks

Die Anzahl der Blöcke, die als beschädigt HDFS gemeldet werden.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

TotalLoad

Gesamtanzahl der gleichzeitigen Datenübertragungen.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

MemoryTotalMB

Gesamtgröße des Speichers im Cluster.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

MemoryReservedMB

Größe des reservierten Speichers.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

MemoryAvailableMB

Verfügbarer zuzuordnender Speicher.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

YARNMemoryAvailablePercentage

Der Prozentsatz des verbleibenden Speichers, der für verfügbar ist YARN (YARNMemoryAvailablePercentage= MemoryAvailable MB/MemoryTotalMB). Dieser Wert ist nützlich für die Skalierung von Clusterressourcen auf der Grundlage der YARN Speichernutzung.

Einheiten: Prozent

MemoryAllocatedMB

Menge des dem Cluster zugeordneten Speichers.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

PendingDeletionBlocks

Anzahl der zum Löschen gekennzeichneten Blöcke.

Anwendungsfall: Cluster-Fortschritt überwachen, Cluster-Zustand überwachen

Einheiten: Anzahl

UnderReplicatedBlocks

Anzahl der Blöcke, die nochmals repliziert werden müssen.

Anwendungsfall: Cluster-Fortschritt überwachen, Cluster-Zustand überwachen

Einheiten: Anzahl

DfsPendingReplicationBlocks

Status der Blockreplikation: replizierte Blöcke, Alter der Replikationsanforderung und nicht erfolgreiche Replikationsanforderungen.

Anwendungsfall: Cluster-Fortschritt überwachen, Cluster-Zustand überwachen

Einheiten: Anzahl

CapacityRemainingGB

Die Menge der verbleibenden HDFS Festplattenkapazität.

Anwendungsfall: Cluster-Fortschritt überwachen, Cluster-Zustand überwachen

Einheiten: Anzahl

Nachfolgend sind die Hadoop 1-Metriken aufgeführt:

Metrik Beschreibung
Cluster-Status

IsIdle

Gibt an, dass ein Cluster keine Arbeiten mehr ausführt, aber unverändert aktiv ist und Kosten verursacht. Der Wert beträgt 1, wenn weder Tasks noch Aufträge ausgeführt werden, andernfalls beträgt der Wert 0. Dieser Wert wird in 5-Minuten-Intervallen geprüft. Wenn der Wert 1 beträgt, bedeutet dies, dass der Cluster zum Zeitpunkt der Prüfung ungenutzt war, aber nicht die gesamten fünf Minuten. Um Falschmeldungen zu vermeiden, sollten Sie einen Alarm auslösen, wenn dieser Wert in mehreren aufeinander folgenden 5-Minuten-Prüfungen 1 beträgt. Sie können zum Beispiel einen Alarm auslösen, wenn dieser Wert 30 Minuten oder länger 1 beträgt.

Anwendungsfall: Cluster-Leistung überwachen

Einheiten: boolescher Wert

JobsRunning

Anzahl der Aufträge im Cluster, die gegenwärtig ausgeführt werden.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

JobsFailed

Anzahl der fehlgeschlagenen Aufträge im Cluster.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

Map/Reduce

MapTasksRunning

Anzahl der Map-Tasks für jeden Auftrag. Wenn Sie einen Scheduler installiert haben und mehrere Aufträge ausführen, werden mehrere Grafiken erstellt.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

MapTasksRemaining

Anzahl der verbleibenden Map-Tasks für jeden Auftrag. Wenn Sie einen Scheduler installiert haben und mehrere Aufträge ausführen, werden mehrere Grafiken erstellt. Eine verbleibende Map-Task ist eine Task, die sich in keinem der folgenden Zustände befindet: Running, Killed oder Completed.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

MapSlotsOpen

Ungenutzte Kapazität für Map-Tasks. Dies wird als die maximale Anzahl von Map-Tasks für einen bestimmten Cluster abzüglich der Gesamtanzahl der gegenwärtig ausgeführten Map-Tasks in diesem Cluster berechnet.

Anwendungsfall: Cluster-Leistung analysieren

Einheiten: Anzahl

RemainingMapTasksPerSlot

Das Verhältnis der insgesamt verbleibenden Map-Tasks, bezogen auf die insgesamt verfügbaren Map-Slots im Cluster.

Anwendungsfall: Cluster-Leistung analysieren

Einheiten: Verhältnis

ReduceTasksRunning

Anzahl der laufenden Reduce-Tasks für jeden Auftrag. Wenn Sie einen Scheduler installiert haben und mehrere Aufträge ausführen, werden mehrere Grafiken erstellt.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

ReduceTasksRemaining

Anzahl der verbleibenden Reduce-Tasks für jeden Auftrag. Wenn Sie einen Scheduler installiert haben und mehrere Aufträge ausführen, werden mehrere Grafiken erstellt.

Anwendungsfall: Cluster-Fortschritt überwachen

Einheiten: Anzahl

ReduceSlotsOpen

Ungenutzte Kapazität für Reduce-Tasks. Dies wird als die maximale Anzahl von Reduce-Tasks für einen bestimmten Cluster abzüglich der Gesamtanzahl der gegenwärtig ausgeführten Reduce-Tasks in diesem Cluster berechnet.

Anwendungsfall: Cluster-Leistung analysieren

Einheiten: Anzahl

Knotenstatus

CoreNodesRunning

Anzahl der arbeitenden Core-Knoten. Die Datenpunkte dieser Metrik werden nur dann angegeben, wenn die zugehörige Instance-Gruppe existiert.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

CoreNodesPending

Anzahl der Core-Knoten, die auf eine Zuordnung warten. Es müssen nicht alle angeforderten Core-Knoten sofort verfügbar sein. Diese Metrik gibt die ausstehenden Anforderungen an. Die Datenpunkte dieser Metrik werden nur dann angegeben, wenn die zugehörige Instance-Gruppe existiert.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

LiveDataNodes

Prozentsatz der Datenknoten, die Arbeit von Hadoop empfangen.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Prozent

TaskNodesRunning

Anzahl der arbeitenden Aufgabenknoten. Die Datenpunkte dieser Metrik werden nur dann angegeben, wenn die zugehörige Instance-Gruppe existiert.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

TaskNodesPending

Anzahl der Aufgabenknoten, die auf eine Zuordnung warten. Es müssen nicht alle angeforderten Aufgabenknoten sofort verfügbar sein. Diese Metrik gibt die ausstehenden Anforderungen an. Die Datenpunkte dieser Metrik werden nur dann angegeben, wenn die zugehörige Instance-Gruppe existiert.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

LiveTaskTrackers

Prozentsatz der funktionierenden Task-Tracker.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Prozent

IO

S3 BytesWritten

Anzahl der auf Amazon S3 geschriebenen Bytes. Diese Metrik aggregiert nur MapReduce Jobs und gilt nicht für andere Workloads bei Amazon. EMR

Anwendungsfall: Cluster-Leistung analysieren, Cluster-Fortschritt überwachen

Einheiten: Anzahl

S3 BytesRead

Anzahl der von Amazon S3 gelesenen Bytes. Diese Metrik aggregiert nur MapReduce Jobs und gilt nicht für andere Workloads bei Amazon. EMR

Anwendungsfall: Cluster-Leistung analysieren, Cluster-Fortschritt überwachen

Einheiten: Anzahl

HDFSUtilization

Der Prozentsatz des aktuell genutzten HDFS Speichers.

Anwendungsfall: Cluster-Leistung analysieren

Einheiten: Prozent

HDFSBytesRead

Die Anzahl der Byte, aus denen gelesen wurdeHDFS.

Anwendungsfall: Cluster-Leistung analysieren, Cluster-Fortschritt überwachen

Einheiten: Anzahl

HDFSBytesWritten

Die Anzahl der Byte, in die geschrieben wurdeHDFS.

Anwendungsfall: Cluster-Leistung analysieren, Cluster-Fortschritt überwachen

Einheiten: Anzahl

MissingBlocks

Die Anzahl der Blöcke, in denen es HDFS keine Replikate gibt. Hierbei kann es sich um beschädigte Blöcke handeln.

Anwendungsfall: Cluster-Zustand überwachen

Einheiten: Anzahl

TotalLoad

Die aktuelle Gesamtzahl der Leser und Schreiber, die von allen DataNodes in einem Cluster gemeldet wurden.

Anwendungsfall: Diagnose des Grads, in dem ein hoher E/A-Wert zu einer schlechten Leistung bei der Job-Ausführung beitragen könnte. Worker-Knoten, auf denen der DataNode Daemon ausgeführt wird, müssen auch Mapping- und Reduce-Aufgaben ausführen. Dauerhaft hohe TotalLoad Werte im Laufe der Zeit können darauf hindeuten, dass ein hoher I/O-Wert möglicherweise zu einer schlechten Leistung beiträgt. Gelegentliche Spitzen in diesem Wert sind typisch und weisen in der Regel nicht auf ein Problem hin.

Einheiten: Anzahl

Cluster-Kapazitätsmetriken

Die folgenden Metriken geben die aktuelle oder Zielkapazitäten eines Clusters an. Diese Metriken sind nur verfügbar, wenn verwaltete Skalierung oder automatische Beendigung aktiviert ist.

Bei Clustern, die aus Instance-Flotten bestehen, werden die Cluster-Kapazitätsmetriken in Units gemessen. Bei Clustern, die aus Instance-Gruppen bestehen, werden die Clusterkapazitätsmetriken in Nodes oder VCPU basierend auf dem Einheitentyp gemessen, der in der Richtlinie für verwaltete Skalierung verwendet wird. Weitere Informationen finden Sie unter Using EMR -managed scaling im Amazon EMR Management Guide.

Metrik Beschreibung
  • TotalUnitsRequested

  • TotalNodesRequested

  • TotalVCPURequested

Die Zielgesamtanzahl von units/nodes/vCPUs in einem Cluster, wie sie durch verwaltete Skalierung bestimmt wird.

Einheiten: Anzahl

  • TotalUnitsRunning

  • TotalNodesRunning

  • TotalVCPURunning

Die aktuelle Gesamtzahl der in einem laufenden Cluster units/nodes/vCPUs verfügbaren. Wenn eine Clustergrößenänderung angefordert wird, wird diese Metrik aktualisiert, nachdem die neuen Instances hinzugefügt oder aus dem Cluster entfernt wurden.

Einheiten: Anzahl

  • CoreUnitsRequested

  • CoreNodesRequested

  • CoreVCPURequested

Die Zielzahl von CORE units/nodes/vCPUs in einem Cluster, wie sie durch verwaltete Skalierung bestimmt wird.

Einheiten: Anzahl

  • CoreUnitsRunning

  • CoreNodesRunning

  • CoreVCPURunning

Die aktuelle Anzahl der in einem Cluster CORE units/nodes/vCPUs ausgeführten

Einheiten: Anzahl

  • TaskUnitsRequested

  • TaskNodesRequested

  • TaskVCPURequested

Die Zielzahl von TASK units/nodes/vCPUs in einem Cluster, wie sie durch verwaltete Skalierung bestimmt wird.

Einheiten: Anzahl

  • TaskUnitsRunning

  • TaskNodesRunning

  • TaskVCPURunning

Die aktuelle Anzahl der in einem Cluster TASK units/nodes/vCPUs ausgeführten

Einheiten: Anzahl

Amazon EMR gibt die folgenden Metriken mit einer Granularität von einer Minute aus, wenn Sie die automatische Kündigung mithilfe einer automatischen Kündigungsrichtlinie aktivieren. Einige Metriken sind nur für EMR Amazon-Versionen 6.4.0 und höher verfügbar. Weitere Informationen zur automatischen Beendigung finden Sie unter Verwenden einer automatischen Terminierungsrichtlinie für die EMR Amazon-Clusterbereinigung.

Metrik Beschreibung
TotalNotebookKernels Die Gesamtzahl der laufenden und inaktiven Notebook-Kernel auf dem Cluster.

Diese Metrik ist nur für EMR Amazon-Versionen 6.4.0 und höher verfügbar.

AutoTerminationIsClusterIdle Gibt an, ob der Cluster verwendet wird.

Der Wert 0 gibt an, dass der Cluster von einer der folgenden Komponenten aktiv verwendet wird:

  • Eine Anwendung YARN

  • HDFS

  • Ein Notebook

  • Eine Cluster-Benutzeroberfläche, z. B. der Spark History Server

Ein Wert von 1 gibt an, dass sich der Cluster im Leerlauf befindet. Amazon EMR prüft, ob der Cluster kontinuierlich inaktiv ist (AutoTerminationIsClusterIdle= 1). Wenn die Leerlaufzeit eines Clusters dem IdleTimeout Wert in Ihrer Richtlinie zur automatischen Kündigung entspricht, EMR beendet Amazon den Cluster.

Dimensionen für EMR Amazon-Metriken

EMRAmazon-Daten können mit jeder der Dimensionen in der folgenden Tabelle gefiltert werden.

Dimension Beschreibung
JobFlowId Entspricht der Cluster-ID, der eindeutigen Kennung eines Clusters mit dem Format j-XXXXXXXXXXXXX. Finden Sie diesen Wert, indem Sie in der EMR Amazon-Konsole auf den Cluster klicken.