기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon EMR 6.7.0 - Hive 릴리스 정보
Amazon EMR 6.7.0 - Hive 변경
| 유형 | 설명 |
|---|---|
| Feature | Amazon EMR Hive와 LakeFormation 통합 |
| Feature | Hive EMRFS Amazon S3 최적화 커미터에 대한 추가 감사 로깅. Hive 구성: hive.blobstore.output-committer.logging, 기본값: false |
| Feature | 삽입 시 삭제된 대상 디렉터리가 파티셔닝되지 않은 테이블 및 정적 파티션에 빈 select 결과를 덮어씁니다(Hive 2.x와 비슷한 동작). Hive 구성: hive.emr.iow.clean.target.dir, 기본값: false |
| 버그 | 파티션 버킷 정렬과 함께 Hive EMRFS Amazon S3 최적화 커미터를 사용할 때 간헐적으로 발생하는 쿼리 오류를 수정했습니다. |
| 업그레이드 | Hive 버전을 3.1.3으로 업그레이드했습니다. 자세한 내용은 Apache Hive 3.1.3 릴리스 정보 |
| 업그레이드 | Parquet을 1.12.2 |
| 백포트 | HIVE-20065 |
| 백포트 | HIVE-20071 |
| 백포트 | HIVE-20607 |
| 백포트 | HIVE-20740 |
| 백포트 | HIVE-20961 |
| 백포트 | HIVE-22059 |
| 백포트 | HIVE-22351 |
| 백포트 | HIVE-23534 |
| 백포트 | HIVE-24048 |
| 백포트 | HIVE-24768 |
| 백포트 | HIVE-24816 |
| 백포트 | HIVE-25971 |
| 백포트 | HIVE-26036 |
Amazon EMR 6.7.0 - Hive 알려진 문제
-
조인과 동일한 열에서 윈도우 함수를 사용하는 쿼리는 HIVE-25278
에서 보고된 바와 같이 잘못된 변환으로 이어져 잘못된 결과를 생성하거나 쿼리에 실패할 수 있습니다. 해결 방법은 이러한 쿼리에 대해 쿼리 수준에서 CBO를 비활성화하는 것입니다. 수정 사항은 6.7.0 이후 Amazon EMR 릴리스에서 제공될 예정입니다. 자세한 내용은 AWS 지원팀에 문의하십시오. Amazon EMR 6.6.0~6.9.x에서는 ORDER BY 또는 SORT BY 절과 동적 파티션에서의 INSERT 쿼리에 항상 두 개의 reducer가 있습니다. 이 문제는 OSS 변경 HIVE-20703
때문에 발생하며, 이로 인해 비용 기반 의사 결정에 따라 동적 정렬 파티션 최적화가 적용됩니다. 워크로드에 동적 파티션 정렬이 필요하지 않은 경우 새 기능을 비활성화하고 올바르게 계산된 reducer 수를 가져오도록 hive.optimize.sort.dynamic.partition.threshold속성을-1로 설정하는 것이 좋습니다. 이 문제는 OSS Hive에서 HIVE-22269일부로 수정되었으며 Amazon EMR 6.10.0에서 수정되었습니다.
