Amazon EMR, versión 6.4.0

• Versiones de las aplicaciones en las versiones 7.x de Amazon EMR

• Versiones de la aplicación en las versiones 6.x de Amazon EMR

• Versiones de la aplicación en las versiones 5.x de Amazon EMR

• Versiones de la aplicación en las versiones 4.x de Amazon EMR

Aplicaciones compatibles

• AWS SDK for Java versión 1.12.31

• CloudWatch Sink versión 2.2.0

• Conector de DynamoDB, versión 4.16.0

• EMRFS, versión 2.47.0

• Amazon EMR Goodies, versión 3.2.0

• Conector de Kinesis para Amazon EMR, versión 3.5.0

• Servidor de registros de Amazon EMR, versión 2.1.0

• Scripts de Amazon EMR, versión 2.5.0

• Flink, versión 1.13.1

• Versión de Ganglia 3.7.2

• AWS Cliente Glue Hive Metastore versión 3.3.0

• Hadoop, versión 3.2.1-amzn-4

• HBase versión 2.4.4-amzn-0

• HBase-operator-tools 1.1.0

• HCatalog versión 3.1.2-amzn-5

• Hive, versión 3.1.2-amzn-5

• Hudi versión 0.8.0-amzn-0

• Hue versión 4.9.0

• Java JDK, versión Corretto-8.302.08.1 (compilación 1.8.0_302-b08)

• JupyterHub versión 1.4.1

• Livy versión 0.7.1-incubating

• MXNet versión 1.8.0

• Oozie versión 5.2.1

• Phoenix versión 5.1.2

• Pig, versión 0.17.0

• Presto, versión 0.254.1-amzn-0

• Trino, versión 359

• Apache Ranger KMS (cifrado transparente multimaestro), versión 2.0.0

• ranger-plugins 2.0.1-amzn-0

• ranger-s3-plugin 1.2.0

• SageMaker Spark SDK versión 1.4.1

• Scala, versión 2.12.10 (máquina virtual de servidor OpenJDK de 64 bits, Java 1.8.0_282)

• Spark, versión 3.1.2-amzn-0

• spark-rapids 0.4.1

• Sqoop, versión 1.4.7

• TensorFlow versión 2.4.1

• Tez, versión 0.9.2

• Zeppelin versión 0.9.0

• ZooKeeper versión 3.5.7

• Conectores y controladores: conector de DynamoDB 4.16.0

Nuevas características

• [Escalado administrado] Optimización del escalado administrado de datos de mezclas aleatorias de Spark: para las versiones 5.34.0 y posteriores de Amazon EMR, y las versiones 6.4.0 y posteriores de EMR, el escalado administrado ahora es compatible con los datos de mezclas aleatorias de Spark (datos que Spark redistribuye entre las particiones para realizar operaciones específicas). Para más información sobre las operaciones de mezclas aleatorias, consulte Uso del escalado administrado de EMR en Amazon EMR en la Guía de administración de Amazon EMR y Spark Programming Guide.

• En los clústeres de Amazon EMR habilitados para Apache Ranger, puede utilizar Apache Spark SQL para insertar datos o actualizar las tablas del metaalmacén de Apache Hive mediante INSERT INTO, INSERT OVERWRITE y ALTER TABLE. Al utilizar ALTER TABLE con Spark SQL, la ubicación de una partición debe ser el directorio secundario de la ubicación de una tabla. Amazon EMR no admite actualmente la inserción de datos en una partición en la que la ubicación de la partición es diferente de la ubicación de la tabla.

• PrestoSQL se ha renombrado como Trino.

• Hive: la ejecución de consultas SELECT sencillas con la cláusula LIMIT se acelera al detener la ejecución de las consultas en cuanto se obtiene el número de registros mencionado en la cláusula LIMIT. Las consultas SELECT simples son consultas que no tienen GROUP BY u ORDER BY por cláusula o consultas que no tienen una etapa reductora. Por ejemplo, SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>.

Control de simultaneidad de Hudi

• Hudi ahora es compatible con el control de simultaneidad optimista (OCC), que se puede utilizar con operaciones de escritura como UPSERT e INSERT para permitir cambios desde varios escritores a la misma tabla de Hudi. Se trata de un OCC de nivel de archivo, por lo que dos confirmaciones (o escritores) pueden escribir en la misma tabla, siempre que sus cambios no entren en conflicto. Para más información, consulte Control de simultaneidad de Hudi.

• Los clústeres de Amazon EMR tienen instalado ZooKeeper, que se puede utilizar como proveedor de bloqueos para OCC. Para facilitar el uso de esta característica, los clústeres de Amazon EMR tienen las siguientes propiedades preconfiguradas:

  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi

  Para habilitar el OCC, debe configurar las siguientes propiedades con sus opciones de trabajo de Hudi o en el nivel de clúster mediante la API de configuraciones de Amazon EMR:

  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)

Hudi Monitoring: CloudWatch integración de Amazon para informar sobre las métricas de Hudi

• Amazon EMR admite la publicación de Hudi Metrics en Amazon. CloudWatch Se habilita mediante el establecimiento de las siguientes configuraciones obligatorias:

  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH

• Las siguientes son configuraciones opcionales de Hudi que se pueden cambiar:

  Opción	Descripción	Valor
  hoodie.metrics.cloudwatch.report.period.seconds	Frecuencia (en segundos) con la que se reportan las métricas a Amazon CloudWatch	El valor predeterminado es 60 segundos, lo cual está bien para la resolución predeterminada de un minuto que ofrece Amazon. CloudWatch
  hoodie.metrics.cloudwatch.metric.prefix	Prefijo que se agregará al nombre de cada métrica	El valor predeterminado es vacío (sin prefijo)
  hoodie.metrics.cloudwatch.namespace	Espacio de CloudWatch nombres de Amazon en el que se publican las métricas	El valor predeterminado es Hudi
  hoodie.metrics.cloudwatch. maxDatumsPerSolicitud	Número máximo de datos que se pueden incluir en una solicitud a Amazon CloudWatch	El valor predeterminado es 20, que es el mismo que el CloudWatch valor predeterminado de Amazon

Soporte y mejoras en las configuraciones de Amazon EMR Hudi

• Los clientes ahora pueden aprovechar la API de configuraciones de EMR y la característica de reconfiguración para configurar los ajustes de Hudi en el nivel de clúster. Se ha introducido un nuevo soporte de configuración basado en archivosvia /etc/hudi/conf/hudi: defaults.conf, similar al de otras aplicaciones como Spark, Hive, etc. EMR configura algunos valores predeterminados para mejorar la experiencia del usuario:

  — hoodie.datasource.hive_sync.jdbcurl se ha configurado en la URL del servidor de Hive del clúster y ya no es necesario especificarlo. Esto resulta especialmente útil cuando se ejecuta un trabajo en el modo de clúster de Spark, en el que anteriormente había que especificar la IP maestra de Amazon EMR.

  — configuraciones HBase específicas, que son útiles para usar el índice con Hudi. HBase

  — Configuración específica para el proveedor de bloqueos de ZooKeeper, tal como se explica en la sección de control de simultaneidad, que facilita el uso del control de simultaneidad optimista (OCC).

• Se han introducido cambios adicionales para reducir el número de configuraciones que hay que pasar y, en la medida de lo posible, deducir automáticamente:

  — La palabra clave partitionBy se puede utilizar para especificar la columna de particiones.

  — Al activar Hive Sync, ya no es obligatorio pasar HIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY. Estos valores se pueden deducir del nombre de la tabla de Hudi y del campo de partición.

  — No es obligatorio pasar KEYGENERATOR_CLASS_OPT_KEY y se puede deducir de casos más simples de SimpleKeyGenerator y ComplexKeyGenerator.

Advertencias de Hudi

• Hudi no admite la ejecución vectorizada en las tablas Hive for Merge on Read (MoR) y Bootstrap. Por ejemplo, count(*) presenta un error con la tabla en tiempo real de Hudi cuando hive.vectorized.execution.enabled se establece en true. Como solución alternativa, puede deshabilitar la lectura vectorizada al establecer hive.vectorized.execution.enabled en false.

• La compatibilidad con varios escritores no es compatible con la característica de arranque de Hudi.

• Flink Streamer y Flink SQL son características experimentales de esta versión. Se recomienda el uso de estas características en implementaciones de producción.

Cambios, mejoras y problemas resueltos

Esta es una versión para solucionar problemas con el escalado de Amazon EMR cuando no logra escalar o reducir verticalmente de forma correcta un clúster o provoca errores en las aplicaciones.

• Anteriormente, el reinicio manual del administrador de recursos en un clúster multimaestro provocaba que los daemons en el clúster de Amazon EMR, como ZooKeeper, recargaran todos los nodos perdidos o retirados previamente en el archivo znode de ZooKeeper. Esto provocaba que se superaran los límites predeterminados en ciertas situaciones. Amazon EMR ahora elimina del archivo de ZooKeeper los registros de nodos perdidos o retirados que tengan más de una hora de antigüedad y se han incrementado los límites internos.

• Se solucionó un problema por el que las solicitudes de escalado de un clúster grande y muy utilizado fallaban cuando los daemons en el clúster de Amazon EMR ejecutaban actividades de comprobación de estado, como recopilar el estado del nodo de YARN y el estado del nodo de HDFS. Esto se debía a que los daemons en el clúster no podían comunicar los datos del estado de un nodo a los componentes internos de Amazon EMR.

• Se han mejorado los daemons de EMR en el clúster para realizar un seguimiento correcto de los estados de los nodos cuando se reutilizan las direcciones IP a fin de mejorar la fiabilidad durante las operaciones de escalado.

• SPARK-29683. Se ha corregido un error que provocaba que se produjeran errores en los trabajos durante la reducción vertical del clúster, ya que Spark daba por sentado que todos los nodos disponibles estaban en la lista de denegados.

• YARN-9011. Se ha corregido un error que provocaba que se produjeran errores en los trabajos debido a una condición de carrera durante la retirada de YARN cuando el clúster intentaba escalarse o reducirse verticalmente.

• Se ha solucionado el problema que provocaba errores en los pasos o trabajos durante el escalado del clúster al garantizar que los estados de los nodos sean siempre coherentes entre los daemons en el clúster de Amazon EMR y YARN o HDFS.

• Se ha solucionado un problema por el que las operaciones de clúster, como la reducción vertical y el envío escalonado, fallaban en los clústeres de Amazon EMR habilitados con la autenticación de Kerberos. Esto se debía a que el daemon en el clúster de Amazon EMR no renovó el ticket de Kerberos, que es necesario para comunicarse de forma segura con HDFS o YARN en ejecución en el nodo principal.

• Configuración de un clúster para corregir los problemas de rendimiento del servidor YARN Timeline de Apache en las versiones 1 y 1.5

  Las versiones 1 y 1.5 del servidor YARN Timeline de Apache pueden provocar problemas de rendimiento con clústeres de EMR grandes y muy activos, especialmente con yarn.resourcemanager.system-metrics-publisher.enabled=true, que es la configuración predeterminada de Amazon EMR. Un servidor YARN Timeline v2 de código abierto resuelve el problema de rendimiento relacionado con la escalabilidad del servidor YARN Timeline.

  Otras alternativas para este problema incluyen:

  • Configurando yarn.resourcemanager. system-metrics-publisher.enabled=false en yarn-site.xml.

  • La habilitación de la corrección para este problema al crear un clúster, tal y como se describe a continuación.

  Las siguientes versiones de Amazon EMR contienen una corrección para este problema de rendimiento del servidor YARN Timeline.

  EMR 5.30.2, 5.31.1, 5.32.1, 5.33.1, 5.34.x, 6.0.1, 6.1.1, 6.2.1, 6.3.1, 6.4.x

  Para habilitar la corrección en cualquiera de las versiones de Amazon EMR especificadas anteriormente, defina estas propiedades como true en un archivo JSON de configuración que se pasa mediante el parámetro de comando aws emr create-cluster: --configurations file://./configurations.json. También puede habilitar la corrección mediante la interfaz de usuario de la consola de reconfiguración.

  Ejemplo del contenido del archivo configurations.json:

  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]

• Los servidores WebHDFS y HttpFS están deshabilitados de forma predeterminada. Puede volver a habilitar WebHDFS mediante la configuración de Hadoop, dfs.webhdfs.enabled. El servidor HttpFS se puede iniciar mediante sudo systemctl start hadoop-httpfs.

• HTTPS ahora está habilitado de forma predeterminada para los repositorios de Amazon Linux. Si utiliza una política de VPCE de Amazon S3 para restringir el acceso a buckets específicos, debe agregar el nuevo ARN arn:aws:s3:::amazonlinux-2-repos-$region/* del bucket de Amazon Linux a su política (sustituya $region por la región en la que se encuentra el punto de conexión). Para obtener más información, consulte este tema en los foros de discusión. AWS Anuncio: Amazon Linux 2 ahora admite la posibilidad de utilizar HTTPS mientras se conecta a repositorios de paquetes.

• Hive: se ha mejorado el rendimiento de las consultas de escritura al permitir el uso de un directorio temporal en HDFS para el último trabajo. Los datos temporales del trabajo final se escriben en HDFS en lugar de Amazon S3 y el rendimiento mejora porque los datos se mueven de HDFS a la ubicación de la tabla final (Amazon S3) en lugar de entre dispositivos Amazon S3.

• Hive: mejora el tiempo de compilación de consultas hasta 2,5 veces con la eliminación de particiones del metaalmacén de Glue.

• De forma predeterminada, cuando Hive UDFs transfiere los elementos integrados al servidor Hive Metastore, solo un subconjunto de los integrados UDFs se pasa a Glue Metastore, ya que Glue solo admite operadores de expresiones limitadas. Si configura hive.glue.partition.pruning.client=true, toda la eliminación de particiones se realiza en el cliente. Si configura hive.glue.partition.pruning.server=true, entonces toda la eliminación de particiones se realiza en el lado del servidor.

Problemas conocidos

• Las consultas de Hue no funcionan en Amazon EMR 6.4.0 porque el servidor HttpFS de Apache Hadoop está deshabilitado de forma predeterminada. Para usar Hue en Amazon EMR 6.4.0, inicie manualmente el servidor HttpFS en el nodo principal de Amazon EMR mediante sudo systemctl start hadoop-httpfs o utilice un paso de Amazon EMR.

• La característica Cuadernos de Amazon EMR que se utiliza con la suplantación de usuarios de Livy no funciona porque HttpFS está deshabilitado de forma predeterminada. En este caso, el cuaderno de EMR no puede conectarse al clúster que tiene habilitada la suplantación de Livy. La solución alternativa consiste en iniciar el servidor HttpFS antes de conectar el cuaderno de EMR al clúster mediante sudo systemctl start hadoop-httpfs.

• En la versión 6.4.0 de Amazon EMR, Phoenix no admite el componente de conectores de Phoenix.

• Para utilizar las acciones de Spark con Apache Oozie, debe agregar la siguiente configuración al archivo workflow.xml de Oozie. De lo contrario, varias bibliotecas críticas, como Hadoop y EMRFS, no aparecerán en la ruta de clases de los ejecutores de Spark que lance Oozie.

  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>

• Cuando utiliza Spark con el formato de ubicación de particiones de Hive para leer datos en Amazon S3 y ejecuta Spark en las versiones 5.30.0 a 5.36.0 y 6.2.0 a 6.9.0 de Amazon EMR, es posible que se produzca un problema que impida que el clúster lea los datos correctamente. Esto puede ocurrir si las particiones tienen todas las características siguientes:

  • Se analizan dos o más particiones de la misma tabla.

  • Al menos una ruta de directorio de particiones es un prefijo de al menos otra ruta de directorio de particiones; por ejemplo, s3://bucket/table/p=a es un prefijo de s3://bucket/table/p=a b.

  • El primer carácter que sigue al prefijo del otro directorio de particiones tiene un valor UTF-8 inferior al carácter / (U+002F). Por ejemplo, el carácter de espacio (U+0020) que aparece entre a y b en s3://bucket/table/p=a b entra en esta categoría. Tenga en cuenta que hay otros 14 caracteres que no son de control: !"#$%&‘()*+,-. Para más información, consulte UTF-8 encoding table and Unicode characters.

  Como solución alternativa a este problema, defina la configuración spark.sql.sources.fastS3PartitionDiscovery.enabled como false en la clasificación spark-defaults.