EMRAmazon-Version 4.4.0

• Anwendungsversionen in Amazon EMR 7.x-Versionen

• Anwendungsversionen in Amazon-EMR-6.x-Versionen

• Anwendungsversionen in Amazon-EMR-5.x-Versionen (PNG)

• Anwendungsversionen in Amazon-EMR-4.x-Versionen

Features

• 1.0.0 wurde hinzugefügt HCatalog

• Sqoop-Sandbox 1.4.6 wurde hinzugefügt.

• Upgrade auf Presto 0.136

• Upgrade auf Zeppelin 0.5.6

• Upgrade auf Mahout 0.11.1

• dynamicResourceAllocation wurde standardmäßig aktiviert.

• Es wurde eine Tabelle mit allen Konfigurationsklassifizierungen für die Version hinzugefügt. Weitere Informationen finden Sie in der Konfigurationsklassifizierungstabelle unter Konfigurieren von Anwendungen.

Bekannte Probleme aus den früheren Versionen, die behoben wurden

• Es wurde ein Problem behoben, bei dem die maximizeResourceAllocation Einstellung nicht genug Speicher für YARN ApplicationMaster Daemons reservierte.

• Es wurde ein Problem behoben, das bei einem benutzerdefinierten Gerät aufgetreten ist. DNS Wenn Einträge in resolve.conf den angegebenen, benutzerdefinierten Einträge vorangestellt werden, können die benutzerdefinierten Einträge nicht aufgelöst werden. Dieses Verhalten wurde durch Cluster in einem beeinflusst, in VPC dem der VPC Standard-Nameserver als oberster Eintrag eingefügt wurderesolve.conf.

• Es wurde ein Problem behoben, bei dem die Python-Standardversion auf Version 2.7 geändert wurde und boto für diese Version nicht installiert war.

• Es wurde ein Problem behoben, bei dem YARN Container und Spark-Anwendungen eine eindeutige Ganglia-Round-Robin-Datenbankdatei (RRD) generierten, was dazu führte, dass die erste Festplatte, die an die Instanz angeschlossen war, voll wurde. Aufgrund dieses Fixes wurden Metriken auf YARN Containerebene und Kennzahlen auf Spark-Anwendungsebene deaktiviert.

• Es wurde ein Problem im Protokoll-Pusher behoben, bei dem alle leeren Protokollordner gelöscht wurden. Das hatte zur Folge, dass Hive CLI nicht protokollieren konnte, weil der Log-Pusher den leeren user Ordner darunter entfernte. /var/log/hive

• Es wurde ein Problem mit Hive-Importen behoben, da sich auf die Partitionierung auswirkte und beim Import zu einem Fehler führte.

• Es wurde ein Problem behoben, bei dem EMRFS s3-dist-cp Bucket-Namen, die Punkte enthielten, nicht richtig behandelte.

• Das Verhalten wurde EMRFS dahingehend geändert, dass in Buckets mit aktivierter Versionierung die _$folder$ Markierungsdatei nicht kontinuierlich erstellt wird, was zu einer verbesserten Leistung für Buckets mit Versionierung beitragen kann.

• Das Verhalten wurde EMRFS dahingehend geändert, dass es keine Befehlsdateien verwendet, außer in Fällen, in denen die clientseitige Verschlüsselung aktiviert ist. Wenn Sie Anweisungsdateien bei Verwendung der clientseitigen Verschlüsselung löschen möchten, können Sie die emrfs-site.xml-Eigenschaft, fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled, auf "true" festlegen.

• Die YARN Protokollaggregation wurde dahingehend geändert, dass die Protokolle zwei Tage lang am Aggregationsziel aufbewahrt werden. Das Standardziel ist Ihr HDFS Clusterspeicher. Wenn Sie diese Dauer ändern möchten, ändern Sie den Wert yarn.log-aggregation.retain-seconds mit der Konfigurationsklassifizierung yarn-site beim Erstellen Ihres Clusters. Wie immer können Sie Ihre Anwendungsprotokolle beim Erstellen Ihres Clusters mit dem Parameter log-uri in Amazon S3 speichern.

Angewendete Patches

• HIVE-9655

• HIVE-9183

• HADOOP-12810