Amazon EMR version 4.4.0

• Versions des applications dans les versions EMR 7.x d'Amazon

• Versions des applications dans les versions 6.x d'Amazon EMR

• Versions des applications dans les versions 5.x d'Amazon EMR

• Versions des applications dans les versions 4.x d'Amazon EMR

Fonctionnalités

• Ajouté HCatalog 1.0.0

• Ajout de Sqoop-Sandbox 1.4.6

• Mise à niveau vers Presto 0.136

• Mise à niveau vers Zeppelin 0.5.6

• Mise à niveau vers Mahout 0.11.1

• dynamicResourceAllocation activé par défaut.

• Ajout d'un tableau de toutes les classifications de configuration pour la version. Pour en savoir plus, consultez le tableau Classifications des configurations dans Configuration des applications.

Problèmes connus résolus depuis les versions précédentes

• Correction d'un problème à cause duquel le maximizeResourceAllocation paramètre ne réservait pas suffisamment de mémoire aux YARN ApplicationMaster démons.

• Correction d'un problème rencontré avec une personnalisationDNS. Si des entrées dans resolve.conf précèdent les entrées personnalisées fournies, les entrées personnalisées ne peuvent pas être résolues. Ce comportement a été affecté par les clusters dans VPC lesquels le serveur de VPC noms par défaut est inséré en tant qu'entrée supérieureresolve.conf.

• Résolution d'un problème où la version Python par défaut passait à la version 2.7 et boto n'était pas installé pour cette version.

• Correction d'un problème à cause duquel les YARN conteneurs et les applications Spark généraient un fichier de base de données Ganglia Round Robin (rrd) unique, ce qui entraînait le remplissage du premier disque attaché à l'instance. En raison de ce correctif, les métriques au niveau du YARN conteneur ont été désactivées et les métriques au niveau de l'application Spark ont été désactivées.

• Résolution d'un problème dans le transmetteur de journaux où celui-ci supprimait tous les dossiers de journal vides. Cela a eu pour effet que la Hive n'CLIa pas pu se connecter car Log Pusher supprimait le user dossier vide situé en dessous. /var/log/hive

• Résolution d'un problème affectant les importations Hive qui avait une incidence sur le partitionnement et entraînait une erreur lors de l'importation.

• Correction d'un problème à cause duquel EMRFS s3-dist-cp ne gérait pas correctement les noms de compartiments contenant des points.

• Modification d'un comportement de EMRFS telle sorte que dans les compartiments compatibles avec les versions, le fichier de _$folder$ marqueurs n'est pas créé en permanence, ce qui peut contribuer à améliorer les performances des compartiments compatibles avec les versions.

• Le comportement a été modifié de EMRFS telle sorte qu'il n'utilise pas de fichiers d'instructions, sauf dans les cas où le chiffrement côté client est activé. Si vous souhaitez supprimer des fichiers d'instruction tout en utilisant le chiffrement côté client, vous pouvez définir la propriété d'emrfs-site.xml fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled sur true.

• Modification de l'agrégation des YARN journaux pour conserver les journaux à la destination de l'agrégation pendant deux jours. La destination par défaut est votre HDFS stockage en cluster. Si vous souhaitez modifier cette durée, remplacez la valeur yarn.log-aggregation.retain-seconds à l'aide de la classification de configuration yarn-site lorsque vous créez votre cluster. Comme toujours, vous pouvez enregistrer vos journaux d'applications dans Amazon S3 à l'aide du paramètre log-uri lorsque vous créez votre cluster.

Correctifs appliqués

• HIVE-9655

• HIVE-9183

• HADOOP-12810