翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon EMR 6.9.0 - Hive リリースノート
Amazon EMR 6.9.0 - Hive の変更点
| タイプ | 説明 |
|---|---|
| アップグレード | Jetty を 9.4.48.v20220622 |
| アップグレード | Hadoop 3.3.3 をサポート |
| 機能 | Amazon EMR Hive を Lake Formation と統合して、GCSC API を使用するインタラクティブワークロードを実現します。 |
| 機能 | Amazon EMR Hive と Iceberg の統合。 |
| 改良点 | Amazon EMR セキュリティ設定を使用して転送中の暗号化が有効になっている場合は、HiveServer2 で SSL を有効にします。 |
| 改良点 | Hive EMRFS Amazon S3 最適化コミッターをデフォルトで有効にします。詳細については、「Hive EMRFS S3 向けに最適化されたコミッターを有効にする」を参照してください。 |
| 改良点 | SPARK-34210HiveHBaseTableInputFormatV2 を追加しました。これを使うには hive.hbase.inputformat.v2 を true に設定してください。 |
| 改良点 | TezAM を終了してすぐに新しいバージョンを起動するのではなく、hive.cli.tez.session.async を使用してバックグラウンドで起動するのを待ちます。このタイムアウトを秒単位で設定するには hive.emr.cli.tez.session.open.timeout を使用します。 |
| 改良点 | hive.conf.restricted.list.append オプションを追加すると、カンマで区切られた設定を既存の制限付き設定リスト hive.conf.restricted.list に追加できます。 |
| 改良点 | データベースのロケーションが定義されていないために Hive クエリが失敗したときのエラーメッセージがわかりやすくなりました。 |
| バックポート | HIVE-24484 |
| バックポート | HIVE-22398 |
| バックポート | HIVE-23190 |
| バックポート | HIVE-22185 |
| バックポート | HIVE-21670mockito-all を mockito-core 依存関係に置き換え。 |
| バックポート | HIVE-24542 |
| バックポート | HIVE-23751ProxyFileSystem で #mkdirs() メソッドをオーバーライドして位置合わせする。 |
| バックポート | HIVE-21603 |
| バックポート | HIVE-24083hcatalog エラー: 認証タイプが必要。 |
| バックポート | HIVE-24282 |
| バックポート | HIVE-20656 |
| バックポート | HIVE-25443 |
| バックポート | HIVE-19792 |
| バックポート | HIVE-20437 |
| バックポート | HIVE-21987 |
| バックポート | HIVE-20038 |
Amazon EMR 6.9.0 - Hive の既知の問題
Amazon EMR 6.6.0 から 6.9.x では、動的パーティションと ORDER BY 句または SORT BY 句を使用した INSERT クエリには常に 2 つのリデューサーがあります。この問題は、OSS が変更された HIVE-20703
が原因です。これにより、動的ソートパーティションの最適化がコストベースの決定下に置かれます。ワークロードで動的パーティションのソートが不要な場合は、 hive.optimize.sort.dynamic.partition.thresholdプロパティを-1に設定して新機能を無効にし、リデューサーの数を正しく計算することをお勧めします。この問題は、HIVE-22269の一部として OSS Hive で修正され、Amazon EMR 6.10.0 で修正されています。
