Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Amazon EMR 6.7.0 - Notes de mise à jour de Hive
Amazon EMR 6.7.0 - Changements concernant Hive
| Type | Description |
|---|---|
| Fonctionnalité | Intégration d'Amazon EMR Hive |
| Fonctionnalité | Journalisation d'audit supplémentaire pour le commit optimisé Hive EMRFS pour Amazon S3. Configuration Hive : hive.blobstore.output-committer.logging, par défaut : false |
| Fonctionnalité | Le répertoire cible supprimé lors de l'insertion est remplacé par un résultat de sélection vide dans une table/partition statique non partitionnée afin qu'il se comporte de la même manière que Hive 2.x. Configuration Hive : hive.emr.iow.clean.target.dir, par défaut : false |
| Bogue | Correction d'un échec de requête intermittent lors de l'utilisation du validateur Hive EMRFS Amazon S3 optimisé avec tri des compartiments de partition. |
| Upgrade | La version de Hive a été mise à niveau vers 3.1.3. Reportez-vous aux notes de mise à jour d'Apache Hive 3.1.3 |
| Upgrade | Parquet mis à niveu vers la version 1.12.2 |
| Rétroportage | HIVE-20065 |
| Rétroportage | HIVE-20071 |
| Rétroportage | HIVE-20607 |
| Rétroportage | HIVE-20740 |
| Rétroportage | HIVE-20961 |
| Rétroportage | HIVE-22059 |
| Rétroportage | HIVE-22351 |
| Rétroportage | HIVE-23534 |
| Rétroportage | HIVE-24048 |
| Rétroportage | HIVE-24768 |
| Rétroportage | HIVE-24816 |
| Rétroportage | HIVE-25971 |
| Rétroportage | HIVE-26036 |
Amazon EMR 6.7.0 - Problèmes connus liés à Hive
-
Les requêtes avec des fonctions de fenêtrage sur la même colonne que la jointure peuvent conduire à des transformations invalides comme rapporté dans HIVE-25278
et causer des résultats incorrects ou des échecs de requête. Une solution de contournement serait de désactiver le CBO au niveau de la requête pour de telles requêtes. Le correctif sera disponible dans une version Amazon EMR ultérieure à la version 6.7.0. Pour plus d'informations, contactez AWS le support. Avec Amazon EMR 6.6.0 à 6.9.x, les requêtes INSERT avec partition dynamique et clause ORDER BY ou SORT BY auront toujours deux réducteurs. Ce problème est dû à la modification d'OSS HIVE-20703
, qui place l'optimisation des partitions dynamiques de tri dans le cadre d'une décision basée sur les coûts. Si votre charge de travail ne nécessite pas le tri des partitions dynamiques, nous vous recommandons de définir la propriété hive.optimize.sort.dynamic.partition.thresholdsur-1pour désactiver la nouvelle fonctionnalité et obtenir le nombre de réducteurs correctement calculé. Ce problème est résolu dans OSS Hive dans le cadre de HIVE-22269et dans Amazon EMR 6.10.0.
