Amazon EMR 7.6.0 - Notas de la versión de Hive

Mejoras

Se agregó una función rápida de listado de prefijos S3 para las tablas particionadas ORC que no son de ACID

Característica

Se agregó compatibilidad con Magic Committers para consultas de escritura en Hive en el sistema S3 AFile

Corrección de errores

HIVE-17709: elimine las referencias a Sun.Misc.Cleaner

hive-site

hive.exec.fast.s3.partition.discovery.enabled

true

Si se debe utilizar la detección rápida de particiones de S3 para el cálculo de divisiones. Esto habilitará la lista basada en prefijos para los formatos de archivo compatibles: ORC. Tenga en cuenta que esta función utiliza un parámetro de la API de S3 que la clase de almacenamiento S3 Express One Zone no admite. Cuando los utilices, desactiva esta función.

hive-site

hive.exec.fast.s3.partition.discovery.max.thread.threshold

128

El grado máximo de paralelismo para una rápida detección de particiones S3.

hive-site

hive.exec.fast.s3.partition.discovery.parallelism

10

El grado de paralelismo de una sola ejecución de detección rápida de particiones S3. Esta configuración solo tiene efecto si hive.exec.fast.s3.partition.discovery.enabled se establece en true

hive-site

hive.blobstore.output-committer.magic.track.commits.in.memory.enabled

true

Si Magic Committer y Hive rastrean todas las confirmaciones pendientes en la memoria, ¿deberían registrarse? El confirmador de Magic tiene la opción de almacenar los datos de confirmación en la memoria, lo que puede acelerar la TaskCommit operación al realizar menos llamadas a S3. Esta configuración anula la configuración de Hadoop fs.s3a.committer.magic.track.commits.in.memory.enabled

hive-site

hive.blobstore.output-committer.dp.skip.task.staging.dir.creation

true

¿Debería Magic Committer crear las rutas de ensayo dp en la blobstore? Esta marca solo se aplica al rastrear las confirmaciones en la memoria cuando Hive usa Magic Committer a través de. hive.blobstore.output-committer.magic.track.commits.in.memory.enabled De forma predeterminada, se establece en true, pero solo surte efecto si hive.blobstore.output-committer.magic.track.commits.in.memory.enabled está activado y guarda las llamadas S3 adicionales de las rutas de intentos de creación de tareas en blobstore.

hive-site

hive.blobstore.output-committer.magic.disable.fs.cache.for.llap

true

Marca esta opción para seleccionar si las cachés FS de blobstore deben estar deshabilitadas en los flujos de escritura de LLAP cuando se usa Magic Committer. Este indicador aparece cuando el LLAP está activado y, por defecto, está establecido en true.