Amazon EMR 7.6.0 - Notes de mise à jour de Hive

Amélioration

Ajout d'une fonction de listage rapide des préfixes S3 pour les tables partitionnées ORC non ACID

Fonctionnalité

Ajout du support pour les requêtes Magic Committers for Hive Write sur le système S3 AFile

Correctif de bogue.

HIVE-17709 : supprimer les références Sun.Misc.Cleaner

hive-site

hive.exec.fast.s3.partition.discovery.enabled

true

S'il faut utiliser la découverte rapide des partitions S3 pour le calcul du fractionnement. Cela permettra d'obtenir une liste basée sur des préfixes pour les formats de fichiers pris en charge : ORC. Notez que cette fonctionnalité utilise un paramètre d'API S3 que la classe de stockage S3 Express One Zone ne prend pas en charge. Lorsque vous les utilisez, désactivez cette fonctionnalité.

hive-site

hive.exec.fast.s3.partition.discovery.max.thread.threshold

128

Le degré de parallélisme maximal pour une découverte rapide des partitions S3.

hive-site

hive.exec.fast.s3.partition.discovery.parallelism

10

Degré de parallélisme d'une seule opération de découverte rapide de partitions S3. Cette configuration n'a d'effet que si elle hive.exec.fast.s3.partition.discovery.enabled est définie sur true

hive-site

hive.blobstore.output-committer.magic.track.commits.in.memory.enabled

true

Drapeau pour activer Magic Committer with Hive devrait-il suivre tous les validations en attente en mémoire ? Le validateur Magic dispose d'une option permettant de stocker les données de validation en mémoire, ce qui peut accélérer l' TaskCommit opération en effectuant moins d'appels S3. Cette configuration remplace la configuration Hadoop fs.s3a.committer.magic.track.commits.in.memory.enabled

hive-site

hive.blobstore.output-committer.dp.skip.task.staging.dir.creation

true

Drapeau pour activer Magic Committer doit-il créer les chemins de mise en scène DP dans le blobstore ? Cet indicateur n'est applicable que lors du suivi des validations en mémoire lorsque Hive utilise Magic Committer via. hive.blobstore.output-committer.magic.track.commits.in.memory.enabled Par défaut, il est défini sur true mais il ne prend effet que s'il hive.blobstore.output-committer.magic.track.commits.in.memory.enabled est activé et enregistre des appels S3 supplémentaires pour créer des chemins de tentative de tâche dans le blobstore.

hive-site

hive.blobstore.output-committer.magic.disable.fs.cache.for.llap

true

Indicateur permettant d'activer si les caches Blobstore FS doivent être désactivés dans les flux d'écriture pour LLAP lors de l'utilisation de Magic Committer. Ce drapeau apparaît lorsque LLAP est activé et est défini par défaut sur true.