Amazon-EMR-Version 4.3.0

• Anwendungsversionen in Amazon-EMR-7.x-Versionen

• Anwendungsversionen in Amazon-EMR-6.x-Versionen

• Anwendungsversionen in Amazon-EMR-5.x-Versionen (PNG)

• Anwendungsversionen in Amazon-EMR-4.x-Versionen

Features

• Upgrade auf Hadoop 2.7.1

• Upgrade auf Spark 1.6.0

• Upgrade auf Ganglia 3.7.2

• Upgrade auf Presto 0.130

• Amazon EMR hat einige Änderungen an der Einstellung spark.dynamicAllocation.enabled vorgenommen, wenn sie auf „true“ gesetzt wurde. Standardmäßig lautet der Wert „false“. Wenn die Einstellung auf "true" festgelegt ist, wirkt sich dies auf von der Einstellung maximizeResourceAllocation vorgenommene Standardeinstellungen aus:

  • Wenn spark.dynamicAllocation.enabled auf "true" eingestellt ist, wird spark.executor.instances nicht von maximizeResourceAllocation festgelegt.

  • Die Einstellung spark.driver.memory wird nun basierend auf den Instance-Typen im Cluster auf ähnliche Weise konfiguriert, wie spark.executors.memory festgelegt wird. Da die Spark-Treiberanwendung jedoch entweder in der Master-Instance oder in einer der Core-Instances ausgeführt werden kann (z. B. im YARN-Client- bzw. -Cluster-Modus), wird die Einstellung spark.driver.memory auf der Grundlage des kleineren Instance-Typs in diesen beiden Instance-Gruppen festgelegt.

  • Die Einstellung spark.default.parallelism wird jetzt auf die doppelte Anzahl von CPU-Kernen für YARN Container festgelegt. In früheren Versionen war dies die Hälfte des Werts.

  • Die Berechnungen für den Arbeitsspeicher-Overhead, der für Spark YARN-Prozesse reserviert wurde, wurde präziser angepasst. Dies führt zu einer kleinen Erhöhung des gesamten, verfügbaren Speichers für Spark (d. h. spark.executor.memory).

Bekannte Probleme aus den früheren Versionen, die behoben wurden

• Die YARN-Protokollaggregation ist jetzt standardmäßig aktiviert.

• Es wurde ein Problem behoben, bei dem Protokolle nicht per Push auf den Amazon-S3-Protokoll-Bucket für das Cluster übertragen wurden, wenn die YARN-Protokollaggregation aktiviert war.

• Die Größe von YARN-Containern haben jetzt ein neues Minimum von 32 für alle Knotentypen.

• Es wurde ein Problem mit Ganglia behoben, dass zu übermäßigen Festplatten-E/A-Vorgängen auf dem Primärknoten in großen Clustern führte.

• Es wurde ein Problem behoben, das verhinderte, das Anwendungsprotokolle per Push-Verfahren an Amazon S3 übertragen wurden, wenn ein Cluster heruntergefahren wird.

• Es wurde ein Problem in der EMRFS-CLI behoben, das dazu führte, dass einige Befehle fehlschlugen.

• Es wurde ein Problem mit Zeppelin behoben, das verhinderte, dass Abhängigkeiten in die Basisdatei geladen wurden. SparkContext

• Es wurde ein Problem behoben, das aus einer Größenanpassung resultierte bei dem Versuch, Instances hinzuzufügen.

• Es wurde ein Problem in Hive behoben, bei dem CREATE TABLE AS SELECT übermäßige Listenaufrufe an Amazon S3 erstellt.

• Es wurde ein Problem behoben, bei dem große Cluster nicht ordnungsgemäß bereitgestellt wurden wenn Hue, Oozie und Ganglia installiert sind.

• Es wurde ein Problem in s3-dist-cp behoben, bei dem ein Beendigungscode gleich Null zurückgegeben wurde, wenn ein Fehler auftrat.