기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon EMR on EKS 7.3.0 릴리스
이 페이지에서EMR는 EMR EKS 배포 시 Amazon과 관련된 Amazon의 새로운 기능과 업데이트된 기능에 대해 설명합니다. Amazon에서 EMR 실행되는 Amazon EC2 및 Amazon EMR 7.3.0 릴리스에 대한 일반적인 자세한 내용은 Amazon EMR 릴리스 가이드의 Amazon EMR 7.3.0을 참조하세요.
Amazon EMR on EKS 7.3 릴리스
다음 Amazon EMR 7.3.0 릴리스는 Amazon on EMR에서 사용할 수 있습니다EKS. 특정 emr-7.3.0-XXXX 릴리스를 선택하여 관련 컨테이너 이미지 태그와 같은 세부 정보를 봅니다.
릴리스 정보
Amazon EMR on EKS 7.3.0 릴리스 정보
-
지원되는 애플리케이션 ‐ AWS SDK for Java 2.25.70 and 1.12.747, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.15.0-amzn-0, Apache Iceberg 1.5.2-amzn-0, Delta 3.2.0-amzn-0, Apache Spark RAPIDS 24.06.1-amzn-0, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-2, Flink Operator 1.9.0-amzn-0
-
지원되는 구성 요소 ‐
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
지원되는 구성 분류
StartJobRun 및 CreateManagedEndpoint와 함께 사용하는 경우APIs:
분류 설명 core-siteHadoop의
core-site.xml파일에서 값을 변경합니다.emrfs-siteEMRFS 설정을 변경합니다.
spark-metricsSpark의
metrics.properties파일에서 값을 변경합니다.spark-defaultsSpark의
spark-defaults.conf파일에서 값을 변경합니다.spark-envthe Spark 환경의 값을 변경합니다.
spark-hive-siteSpark의
hive-site.xml파일에서 값을 변경합니다.spark-log4j2Spark의
log4j2.properties파일에서 값을 변경합니다.emr-job-submitter작업 제출자 포드 구성.
특히 CreateManagedEndpoint와 함께 사용하는 경우APIs:
분류 설명 jeg-configJupyter Enterprise Gateway의
jupyter_enterprise_gateway_config.py파일에서 값을 변경합니다.jupyter-kernel-overridesJupyter 커널 사양 파일에서 커널 이미지 값을 변경합니다.
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는와 같은 애플리케이션의 구성 XML 파일에 해당하는 경우가 많습니다
spark-hive-site.xml. 자세한 내용은 애플리케이션 구성을 참조하세요.
주목할 만한 기능
다음 기능은 Amazon on의 7.3.0 릴리스EMR에 포함되어 있습니다EKS.
-
애플리케이션 업그레이드 - Amazon EMR on에는 EKS 이제 Flink 연산자 1.9.0이 포함됩니다. 이제 Flink Kubernetes를 사용하면 다른 기능 외에도 오토 스케일러에 대한 CPU 및 메모리 할당량을 설정할 수 있습니다.
-
Apache Flink에 대한 Apache Iceberg 지원 - Apache Iceberg는 오픈 소스 고성능 형식의 대규모 분석 테이블입니다. Amazon EMR 7.3.0부터는 Amazon on에서 Apache Flink를 실행할 때 Apache Iceberg 테이블EMR을 사용할 수 있습니다EKS. 자세한 내용은 Amazon EMR on에서 Amazon과 함께 Apache IcebergEKS를 사용하는 Amazon을 참조하세요. EMR EKS
-
Apache Flink에 대한 Delta Lake 지원 - Delta Lake는 일반적으로 Amazon S3에 구축되는 레이크 하우스 아키텍처를 위한 스토리지 계층 프레임워크입니다. Amazon EMR 7.3.0 이상에서는 Amazon on에서 Apache Flink를 실행할 때 Delta 테이블EMR을 사용할 수 있습니다EKS. 자세한 내용은 EMR에서 Amazon과 함께 Delta Lake 사용을 EKS참조하세요.
변경 사항
의 Amazon 7.3.0 릴리스에는 다음과 같은 변경 사항이 포함되어 EMR 있습니다EKS.
-
Amazon EMR on EKS 7.3.0 이상에서 Apache Flink는 이제 기본적으로 Java 17 런타임을 사용합니다.
