Clusterskalierung verwenden - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Clusterskalierung verwenden

Sie können die Anzahl der für einen EMR Amazon-Cluster verfügbaren EC2 Amazon-Instances automatisch oder manuell anpassen, um auf Workloads mit unterschiedlichen Anforderungen zu reagieren. Um die automatische Skalierung zu verwenden, haben Sie zwei Optionen. Sie können Amazon EMR Managed Scaling aktivieren oder eine benutzerdefinierte automatische Skalierungsrichtlinie erstellen. Die folgende Tabelle beschreibt die Unterschiede zwischen den Optionen.

Von Amazon EMR verwaltete Skalierung Benutzerdefinierte automatische Skalierung

Skalieren von Richtlinien und Regeln

Keine Richtlinie erforderlich. Amazon EMR verwaltet die automatische Skalierung, indem es kontinuierlich Cluster-Metriken auswertet und optimierte Skalierungsentscheidungen trifft.

Sie müssen die Richtlinien und Regeln für das Auto Scaling definieren und verwalten, z. B. die spezifischen Bedingungen, die Skalierungsaktivitäten, Evaluierungszeiträume, Ruhephasen usw. auslösen.

Unterstützte EMR Amazon-Versionen

EMRAmazon-Version 5.30.0 und höher (außer EMR Amazon-Version 6.0.0)

Amazon EMR Version 4.0.0 und höher

Unterstützte Clusterzusammenstellung

Instance-Gruppen oder Instance-Flotten

Nur Instance-Gruppen

Konfiguration von Skalierungsgrenzen

Skalierungsgrenzwerte werden für den gesamten Cluster konfiguriert.

Skalierungslimits können nur für jede Instance-Gruppe konfiguriert werden.

Häufigkeit der Auswertung von Metriken

Alle 5 bis 10 Sekunden

Eine häufigere Auswertung von Metriken ermöglicht es AmazonEMR, genauere Skalierungsentscheidungen zu treffen.

Sie können die Auswertungszeiträume nur in Fünf-Minuten-Schritten definieren.

Unterstützte Anwendungen

Es werden nur YARN Anwendungen wie Spark, Hadoop, Hive, Flink unterstützt. Amazon EMR Managed Scaling unterstützt keine Anwendungen, die nicht darauf basierenYARN, wie Presto oderHBase.

Sie können auswählen, welche Anwendungen unterstützt werden, wenn Sie die Regeln für eine automatische Skalierung definieren.

Überlegungen

  • Ein EMR Amazon-Cluster besteht immer aus einem oder drei Primärknoten. Sobald Sie den Cluster zum ersten Mal konfiguriert haben, können Sie nur Core- und Aufgabenknoten skalieren. Sie können die Anzahl der Primärknoten für den Cluster nicht skalieren.

  • Bei Instance-Gruppen werden Rekonfigurations- und Größenänderungsvorgänge nacheinander und nicht gleichzeitig ausgeführt. Wenn Sie eine Neukonfiguration initiieren, während die Größe einer Instance-Gruppe geändert wird, beginnt die Neukonfiguration, sobald die Instance-Gruppe die laufende Größenänderung abgeschlossen hat. Umgekehrt, wenn Sie eine Größenänderung einleiten, während eine Instance-Gruppe ihre Neukonfiguration durchführt.