Amazon EMR versión 4.4.0

• Versiones de aplicaciones en las versiones EMR 7.x de Amazon

• Versiones de la aplicación en las versiones 6.x de Amazon EMR

• Versiones de la aplicación en las versiones 5.x de Amazon EMR

• Versiones de la aplicación en las versiones 4.x de Amazon EMR

Características

• Se agregó HCatalog la versión 1.0.0

• Se ha añadido Sqoop-Sandbox 1.4.6

• Actualizado a Presto 0.136

• Actualizado a Zeppelin 0.5.6

• Actualizado a Mahout 0.11.1

• dynamicResourceAllocation habilitado de forma predeterminada.

• Se ha añadido una tabla de todas las clasificaciones de configuración para esta versión. Para obtener más información, consulte la tabla de clasificaciones de configuración de Configuración de aplicaciones.

Problemas conocidos resueltos de las versiones anteriores

• Se ha corregido un error que provocaba que la maximizeResourceAllocation configuración no reservara suficiente memoria para los YARN ApplicationMaster demonios.

• Se ha corregido un error que se producía con una personalización. DNS Si alguna entrada en resolve.conf precede a las entradas personalizadas proporcionada, entonces las entradas personalizadas no se pueden resolver. Este comportamiento se vio afectado por los clústeres VPC en los que el servidor de VPC nombres predeterminado se inserta como la entrada superiorresolve.conf.

• Se ha corregido un problema donde la versión predeterminada de Python se traslada a la versión 2.7 y boto no se ha instalado para dicha versión.

• Se solucionó un problema que provocaba que YARN los contenedores y las aplicaciones de Spark generaran un archivo único de base de datos por turnos (rrd) de Ganglia, lo que provocaba que el primer disco conectado a la instancia se llenara. Debido a esta solución, se deshabilitaron las métricas a nivel de YARN contenedor y las métricas a nivel de aplicación de Spark se deshabilitaron.

• Se ha corregido un problema en el insertador de registros que eliminaría todas las carpetas con registro vacío. El efecto era que Hive CLI no podía iniciar sesión porque Log Pusher estaba quitando la user carpeta vacía que había debajo. /var/log/hive

• Se ha corregido un problema que afectaba a las importaciones de Hive, que afectaba a las particiones y daba lugar a un error durante la importación.

• Se ha corregido EMRFS un error que provocaba que s3-dist-cp no gestionara correctamente los nombres de los cubos que contienen puntos.

• Se modificó un comportamiento EMRFS para que, en los depósitos con control de versiones activado, el archivo de _$folder$ marcadores no se creara continuamente, lo que podría contribuir a mejorar el rendimiento de los depósitos con control de versiones activado.

• Se modificó el comportamiento para que no utilice archivos de instrucciones, excepto en EMRFS los casos en que el cifrado del lado del cliente esté habilitado. Si desea eliminar archivos de instrucciones al utilizar el cifrado del lado cliente, puede establecer la propiedad de emrfs-site.xml, fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled, en true.

• Se modificó la agregación de YARN registros para conservar los registros en el destino de agregación durante dos días. El destino predeterminado es el HDFS almacenamiento en clústeres. Si desea cambiar esta duración, cambie el valor de yarn.log-aggregation.retain-seconds utilizando la clasificación de configuración yarn-site al crear el clúster. Como siempre, puede guardar los registros de las aplicaciones en Amazon S3 utilizando el parámetro log-uri al crear el clúster.

Parches aplicados

• HIVE-9655

• HIVE-9183

• HADOOP-12810