Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Grundlegendes zu verwalteten Skalierungsmetriken in Amazon EMR
Amazon EMR veröffentlicht hochauflösende Metriken mit Daten mit einer Granularität von einer Minute, wenn die verwaltete Skalierung für einen Cluster aktiviert ist. Sie können Ereignisse bei jeder Initiierung und Beendigung der Größenänderung anzeigen, die durch verwaltete Skalierung mit der EMR Amazon-Konsole oder der CloudWatch Amazon-Konsole gesteuert werden. CloudWatch Metriken sind entscheidend für den Betrieb von Amazon EMR Managed Scaling. Wir empfehlen Ihnen, die CloudWatch Metriken genau zu überwachen, um sicherzustellen, dass keine Daten fehlen. Weitere Informationen darüber, wie Sie CloudWatch Alarme konfigurieren können, um fehlende Messwerte zu erkennen, finden Sie unter CloudWatch Amazon-Alarme verwenden. Weitere Informationen zur Verwendung von CloudWatch Ereignissen mit Amazon EMR finden Sie unter CloudWatchEreignisse überwachen.
Die folgenden Metriken geben die aktuelle oder Zielkapazitäten eines Clusters an. Diese Metriken sind nur verfügbar, wenn die verwaltete Skalierung aktiviert ist. Bei Clustern, die aus Instance-Flotten bestehen, werden die Cluster-Kapazitätsmetriken in Units gemessen. Bei Clustern, die aus Instance-Gruppen bestehen, werden die Clusterkapazitätsmetriken in Nodes oder vCPU basierend auf dem Einheitentyp gemessen, der in der Richtlinie für verwaltete Skalierung verwendet wird.
| Metrik | Beschreibung |
|---|---|
|
Die Zielgesamtanzahl von units/nodes/vCPUs in einem Cluster, wie sie durch verwaltete Skalierung bestimmt wird. Einheiten: Anzahl |
|
Die aktuelle Gesamtzahl der in einem laufenden Cluster units/nodes/vCPUs verfügbaren. Wenn eine Clustergrößenänderung angefordert wird, wird diese Metrik aktualisiert, nachdem die neuen Instances hinzugefügt oder aus dem Cluster entfernt wurden. Einheiten: Anzahl |
|
Die Zielzahl von CORE units/nodes/vCPUs in einem Cluster, wie sie durch verwaltete Skalierung bestimmt wird. Einheiten: Anzahl |
|
Die aktuelle Anzahl der in einem Cluster CORE units/nodes/vCPUs ausgeführten. Einheiten: Anzahl |
|
Die Zielzahl von TASK units/nodes/vCPUs in einem Cluster, wie sie durch verwaltete Skalierung bestimmt wird. Einheiten: Anzahl |
|
Die aktuelle Anzahl der in einem Cluster TASK units/nodes/vCPUs ausgeführten. Einheiten: Anzahl |
Die folgenden Metriken geben den Verwendungsstatus von Clustern und Anwendungen an. Diese Metriken sind für alle EMR Amazon-Funktionen verfügbar, werden jedoch in einer höheren Auflösung mit Daten mit einer Granularität von einer Minute veröffentlicht, wenn die verwaltete Skalierung für einen Cluster aktiviert ist. Sie können die folgenden Metriken mit den Clusterkapazitätsmetriken in der vorherigen Tabelle korrelieren, um die Entscheidungen bezüglich der verwalteten Skalierung zu verständlich zu machen.
| Metrik | Beschreibung |
|---|---|
|
|
Die Anzahl der eingereichten Anträge, YARN die abgeschlossen wurden. Anwendungsfall: Cluster-Fortschritt überwachen Einheiten: Anzahl |
|
|
Die Anzahl der bei YARN diesem Unternehmen eingereichten Anträge ist noch nicht abgeschlossen. Anwendungsfall: Cluster-Fortschritt überwachen Einheiten: Anzahl |
|
|
Die Anzahl der Bewerbungen, die bei YARN diesem Dienst eingereicht wurden, laufen. Anwendungsfall: Cluster-Fortschritt überwachen Einheiten: Anzahl |
ContainerAllocated |
Die Anzahl der Ressourcencontainer, die von der zugewiesen wurdenResourceManager. Anwendungsfall: Cluster-Fortschritt überwachen Einheiten: Anzahl |
|
|
Anzahl der Container in der Warteschlange, die noch nicht zugeordnet worden sind. Anwendungsfall: Cluster-Fortschritt überwachen Einheiten: Anzahl |
ContainerPendingRatio |
Das Verhältnis von ausstehenden Containern zu zugewiesenen Containern (ContainerPendingRatio = ContainerPending / ContainerAllocated). Wenn ContainerAllocated = 0, dann ContainerPendingRatio =ContainerPending. Der Wert von ContainerPendingRatio steht für eine Zahl, nicht für einen Prozentsatz. Dieser Wert ist zum Skalieren von Cluster-Ressourcen anhand des Zuordnungsverhaltens des Containers hilfreich. Einheiten: Anzahl |
|
|
Der Prozentsatz des aktuell genutzten HDFS Speichers. Anwendungsfall: Cluster-Leistung analysieren Einheiten: Prozent |
|
|
Gibt an, dass ein Cluster keine Arbeiten mehr ausführt, aber unverändert aktiv ist und Kosten verursacht. Der Wert beträgt 1, wenn weder Tasks noch Aufträge ausgeführt werden, andernfalls beträgt der Wert 0. Dieser Wert wird in 5-Minuten-Intervallen geprüft. Wenn der Wert 1 beträgt, bedeutet dies, dass der Cluster zum Zeitpunkt der Prüfung ungenutzt war, aber nicht die gesamten fünf Minuten. Um Fehlalarme zu vermeiden, sollten Sie einen Alarm auslösen, wenn dieser Wert mehrere aufeinander folgende fünfminütige Prüfungen lang 1 beträgt. Sie können zum Beispiel einen Alarm auslösen, wenn dieser Wert 30 Minuten oder länger 1 beträgt. Anwendungsfall: Cluster-Leistung überwachen Einheiten: boolescher Wert |
|
|
Verfügbarer zuzuordnender Speicher. Anwendungsfall: Cluster-Fortschritt überwachen Einheiten: Anzahl |
|
|
Die Anzahl der Knoten, auf denen derzeit MapReduce Aufgaben oder Jobs ausgeführt werden. Entspricht einer YARN Metrik Anwendungsfall: Cluster-Fortschritt überwachen Einheiten: Anzahl |
|
|
Der Prozentsatz des verbleibenden Speichers, der für verfügbar ist YARN (YARNMemoryAvailablePercentage= MemoryAvailable MB/MemoryTotalMB). Dieser Wert ist nützlich für die Skalierung von Clusterressourcen auf der Grundlage der YARN Speichernutzung. Einheiten: Prozent |
Die folgenden Metriken enthalten Informationen zu den Ressourcen, die von YARN Containern und Knoten verwendet werden. Diese Metriken aus dem YARN Ressourcenmanager bieten Einblicke in die Ressourcen, die von Containern und Knoten verwendet werden, die im Cluster ausgeführt werden. Der Vergleich dieser Metriken mit den Clusterkapazitätsmetriken der vorherigen Tabelle bietet ein klareres Bild der Auswirkungen der verwalteten Skalierung:
| Metrik | Dazugehörige Veröffentlichungen | Beschreibung |
|---|---|---|
|
|
Verfügbar für Release-Label 7.3.0 und höher |
Der verbrauchte Container-Speicher in * Sekunden für den Veröffentlichungszeitraum. Einheiten: GB * Sekunden |
|
|
Verfügbar für Release-Label 7.3.0 und höher |
Der gesamte Garnbehälter (* Sekunden) für den Veröffentlichungszeitraum. Einheiten: GB * Sekunden |
|
|
Verfügbar für Release-Label 7.5.0 und höher |
Der verbrauchte Container VCPU (* Sekunden) für den Veröffentlichungszeitraum. Einheiten: VCPU * Sekunden |
|
Verfügbar für Release-Label 7.5.0 und höher |
Die Gesamtzahl der VCPU Container* Sekunden für den Veröffentlichungszeitraum. Einheiten: VCPU * Sekunden |
|
|
Verfügbar für Release-Label 7.5.0 und höher |
Der verbrauchte Knotenspeicher (* Sekunden) für den Veröffentlichungszeitraum. Einheiten: GB * Sekunden |
|
Verfügbar für Release-Label 7.5.0 und höher |
Der gesamte Knotenspeicher (* Sekunden) für den Veröffentlichungszeitraum. Einheiten: GB * Sekunden |
|
|
Verfügbar für Release-Label 7.3.0 und höher |
Der verbrauchte Knoten VCPU (* Sekunden) für den Veröffentlichungszeitraum. Einheiten: VCPU * Sekunden |
|
|
Verfügbar für Release-Label 7.3.0 und höher |
Die Gesamtzahl der Knotensekunden VCPU (*) für den Veröffentlichungszeitraum. Einheiten: VCPU * Sekunden |
Grafieren der Metriken für verwaltete Skalierung
Sie können Metriken grafisch darstellen, um die Workload-Muster Ihres Clusters und die entsprechenden Skalierungsentscheidungen, die von Amazon EMR Managed Scaling getroffen wurden, zu visualisieren, wie die folgenden Schritte zeigen.
Um die Metriken für die verwaltete Skalierung in der CloudWatch Konsole grafisch darzustellen
-
Öffnen Sie die CloudWatch-Konsole
. -
Wählen Sie im Navigationsbereich Amazon ausEMR. Sie können die Cluster-Kennung auch nach dem zu überwachenden Cluster durchsuchen.
-
Scrollen Sie zur Metrik, die grafisch dargestellt werden soll. Öffnen Sie eine Metrik, um das Diagramm anzuzeigen.
-
Um eine oder mehrere Metriken grafisch darzustellen, aktivieren Sie das Kontrollkästchen neben jeder Metrik.
Das folgende Beispiel veranschaulicht die von Amazon EMR verwaltete Skalierungsaktivität eines Clusters. Das Diagramm zeigt drei automatische Scale-Down-Perioden, die Kosten sparen, wenn eine weniger aktive Workload vorliegt.
Alle Cluster-Kapazitäts- und Nutzungsmetriken werden in Intervallen von einer Minute veröffentlicht. Zusätzliche statistische Informationen sind auch jeweils mit allen einminütigen Daten verknüpft, sodass Sie verschiedene Funktionen wie Percentiles, Min, Max, Sum, Average, SampleCount darstellen können.
Im folgenden Diagramm wird beispielsweise dieselbe YARNMemoryAvailablePercentage-Metrik an verschiedenen Perzentilen (P10, P50, P90, P99) zusammen mit Sum, Average, Min, SampleCount dargestellt.
