Amazon EMR, versión 4.4.0

• Versiones de las aplicaciones en las versiones 7.x de Amazon EMR

• Versiones de la aplicación en las versiones 6.x de Amazon EMR

• Versiones de la aplicación en las versiones 5.x de Amazon EMR

• Versiones de la aplicación en las versiones 4.x de Amazon EMR

Características

• Se ha añadido HCatalog 1.0.0

• Se ha añadido Sqoop-Sandbox 1.4.6

• Actualizado a Presto 0.136

• Actualizado a Zeppelin 0.5.6

• Actualizado a Mahout 0.11.1

• dynamicResourceAllocation habilitado de forma predeterminada.

• Se ha añadido una tabla de todas las clasificaciones de configuración para esta versión. Para obtener más información, consulte la tabla de clasificaciones de configuración de Configuración de aplicaciones.

Problemas conocidos resueltos de las versiones anteriores

• Se ha corregido un error donde la configuración maximizeResourceAllocation no reservaría memoria suficiente para daemons ApplicationMaster de YARN.

• Se ha corregido un problema encontrado con una DNS personalizada. Si alguna entrada en resolve.conf precede a las entradas personalizadas proporcionada, entonces las entradas personalizadas no se pueden resolver. Este comportamiento se veía afectado por clústeres en una VPC donde el servidor de nombres de VPC predeterminado se inserta como entrada superior en resolve.conf.

• Se ha corregido un problema donde la versión predeterminada de Python se traslada a la versión 2.7 y boto no se ha instalado para dicha versión.

• Se ha corregido un error donde los contenedores de YARN y las aplicaciones de Spark generarían un archivo único de base de datos round robin (rrd) de Ganglia, que daría lugar a que se llenara el primer disco asociado a la instancia. Debido a esta solución, las métricas en el nivel de contenedor de YARN se han deshabilitado y las métricas en el nivel de aplicación de Spark se han deshabilitado.

• Se ha corregido un problema en el insertador de registros que eliminaría todas las carpetas con registro vacío. El resultado era que la CLI de Hive no podía realizar el registro porque el insertador de registros eliminaba la carpeta user vacía en /var/log/hive.

• Se ha corregido un problema que afectaba a las importaciones de Hive, que afectaba a las particiones y daba lugar a un error durante la importación.

• Se ha corregido un problema donde EMRFS y s3-dist-cp no gestionaban de forma adecuada los nombres de bucket que contenían puntos.

• Se ha cambiado un comportamiento en EMRFS, de forma que los buckets con control de versiones habilitado en el archivo de marcador _$folder$ no se creaba de forma continua, lo que podría contribuir a mejorar el rendimiento de los buckets con control de versiones habilitado.

• Se ha cambiado el comportamiento en EMRFS de forma que no utiliza archivos de instrucciones, excepto en aquellos casos en los que el cifrado del lado del cliente está habilitado. Si desea eliminar archivos de instrucciones al utilizar el cifrado del lado cliente, puede establecer la propiedad de emrfs-site.xml, fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled, en true.

• Se ha cambiado la agregación de registros de YARN para conservar los registros en el destino agregación durante dos días. El destino predeterminado es el almacenamiento de HDFS de su clúster. Si desea cambiar esta duración, cambie el valor de yarn.log-aggregation.retain-seconds utilizando la clasificación de configuración yarn-site al crear el clúster. Como siempre, puede guardar los registros de las aplicaciones en Amazon S3 utilizando el parámetro log-uri al crear el clúster.

Parches aplicados

• HIVE-9655

• HIVE-9183

• HADOOP-12810