Amazon EMR version 4.4.0

• Versions des applications dans les versions 7.x d’Amazon EMR

• Versions des applications dans les versions 6.x d'Amazon EMR

• Versions des applications dans les versions 5.x d'Amazon EMR

• Versions des applications dans les versions 4.x d'Amazon EMR

Fonctionnalités

• Ajouté HCatalog 1.0.0

• Ajout de Sqoop-Sandbox 1.4.6

• Mise à niveau vers Presto 0.136

• Mise à niveau vers Zeppelin 0.5.6

• Mise à niveau vers Mahout 0.11.1

• dynamicResourceAllocation activé par défaut.

• Ajout d'un tableau de toutes les classifications de configuration pour la version. Pour en savoir plus, consultez le tableau Classifications des configurations dans Configuration des applications.

Problèmes connus résolus depuis les versions précédentes

• Correction d'un problème à cause duquel le maximizeResourceAllocation paramètre ne réservait pas suffisamment de mémoire pour les ApplicationMaster démons YARN.

• Résolution d'un problème rencontré avec un DNS personnalisé. Si des entrées dans resolve.conf précèdent les entrées personnalisées fournies, les entrées personnalisées ne peuvent pas être résolues. Ce comportement était affecté par des clusters dans un VPC dans lequel le serveur de noms VPC par défaut était inséré comme première entrée dans resolve.conf.

• Résolution d'un problème où la version Python par défaut passait à la version 2.7 et boto n'était pas installé pour cette version.

• Résolution d'un problème où des conteneurs YARN et des applications Spark généraient un fichier rdd (round robin database) unique Ganglia, si bien que le premier disque attaché à l'instance se remplissait. En raison de ce correctif, les métriques de niveau conteneur YARN ont été désactivées et les métriques de niveau application Spark ont été désactivées.

• Résolution d'un problème dans le transmetteur de journaux où celui-ci supprimait tous les dossiers de journal vides. De ce fait, l'interface de ligne de commande Hive ne pouvait pas journaliser, car le transmetteur de journaux supprimait le dossier user vide sous /var/log/hive.

• Résolution d'un problème affectant les importations Hive qui avait une incidence sur le partitionnement et entraînait une erreur lors de l'importation.

• Résolution d'un problème où EMRFS et s3-dist-cp ne géraient pas correctement les noms de compartiment qui contenaient des points.

• Modification d'un comportement dans EMRFS de sorte que dans les compartiments activés pour la gestion des versions, le fichier marqueur _$folder$ ne soit pas créé en permanence, ce qui peut contribuer à l'amélioration des performances de tels compartiments.

• Modification d'un comportement dans EMRFS pour ne pas utiliser pas des fichiers d'instruction à l'exception des cas où le chiffrement côté client est activé. Si vous souhaitez supprimer des fichiers d'instruction tout en utilisant le chiffrement côté client, vous pouvez définir la propriété d'emrfs-site.xml fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled sur true.

• Modification de l'agrégation de journaux YARN pour conserver les journaux dans la destination d'agrégation pendant deux jours. La destination par défaut est le stockage HDFS de votre cluster. Si vous souhaitez modifier cette durée, remplacez la valeur yarn.log-aggregation.retain-seconds à l'aide de la classification de configuration yarn-site lorsque vous créez votre cluster. Comme toujours, vous pouvez enregistrer vos journaux d'applications dans Amazon S3 à l'aide du paramètre log-uri lorsque vous créez votre cluster.

Correctifs appliqués

• HIVE-9655

• HIVE-9183

• HADOOP-12810