기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon EMR on EKS 6.11.0 릴리스
이 페이지에서EMR는 EMR EKS 배포 시 Amazon과 관련된 Amazon의 새로운 기능과 업데이트된 기능에 대해 설명합니다. Amazon에서 EMR 실행되는 Amazon EC2 및 Amazon EMR 6.11.0 릴리스에 대한 일반적인 자세한 내용은 Amazon EMR 릴리스 가이드의 Amazon EMR 6.11.0을 참조하세요.
Amazon EMR on EKS 6.11 릴리스
다음 Amazon EMR 6.11.0 릴리스는 Amazon on EMR에서 사용할 수 있습니다EKS. 특정 emr-6.11.0-XXXX 릴리스를 선택하여 관련 컨테이너 이미지 태그와 같은 자세한 내용을 봅니다.
-
emr-6.11.0-spark-rapids-latest
-
emr-6.11.0-spark-rapids-20230509
-
emr-6.11.0-java11-latest
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-latest
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-latest
-
notebook-python/emr-6.11.0-20230509
릴리스 정보
Amazon EMR on EKS 6.11.0 릴리스 정보
-
지원되는 애플리케이션 - AWS SDK for Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark RAPIDS 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
지원되는 구성 요소 ‐
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
지원되는 구성 분류
StartJobRun 및 CreateManagedEndpoint와 함께 사용하는 경우APIs:
분류 설명 core-siteHadoop의
core-site.xml파일에서 값을 변경합니다.emrfs-siteEMRFS 설정을 변경합니다.
spark-metricsSpark의
metrics.properties파일에서 값을 변경합니다.spark-defaultsSpark의
spark-defaults.conf파일에서 값을 변경합니다.spark-envthe Spark 환경의 값을 변경합니다.
spark-hive-siteSpark의
hive-site.xml파일에서 값을 변경합니다.spark-log4jSpark의
log4j.properties파일에서 값을 변경합니다.특히 CreateManagedEndpoint와 함께 사용하는 경우APIs:
분류 설명 jeg-configJupyter Enterprise Gateway의
jupyter_enterprise_gateway_config.py파일에서 값을 변경합니다.jupyter-kernel-overridesJupyter 커널 사양 파일에서 커널 이미지 값을 변경합니다.
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는와 같은 애플리케이션의 구성 XML 파일에 해당하는 경우가 많습니다
spark-hive-site.xml. 자세한 내용은 애플리케이션 구성을 참조하세요.
주목할 만한 기능
다음 기능은의 Amazon 6.11 릴리스EMR에 포함되어 있습니다EKS.
-
Amazon ECR Public Gallery의 Amazon EMR EKS 기본 이미지 - 사용자 지정 이미지 기능을 사용하는 경우 기본 이미지는에서 Amazon과 상호 작용하기 위한 필수 jar, 구성 및 라이브러리EMR를 제공합니다EKS. 이제 Amazon ECR Public Gallery
에서 기본 이미지를 찾을 수 있습니다. -
Spark 컨테이너 로그 교체 - Amazon EMR on EKS 6.11은 Spark 컨테이너 로그 교체를 지원합니다. 의
MonitoringConfiguration작업containerLogRotationConfiguration내에서StartJobRun를 사용하여 기능을 활성화할 수 있습니다API.rotationSize및를 구성maxFilestoKeep하여 Amazon이 Spark 드라이버 및 실행기 포드에 EMR EKS 보관할 로그 파일의 수와 크기를 지정할 수 있습니다. 자세한 내용은 Spark 컨테이너 로그 로테이션 사용 단원을 참조하십시오. -
Spark 연산자 및 spark-submit에서 Volcano 지원 - Amazon EMR on EKS 6.11은 Spark 연산자 및 spark-submit에서 Kubernetes 사용자 지정 스케줄러로 Volcano를 사용하여 Spark 작업 실행을 지원합니다. 단체 예약, 대기열 관리, 선점, 공정 공유 예약과 같은 기능을 사용하여 높은 예약 처리량 및 최적화된 용량을 지원할 수 있습니다. 자세한 내용은 Amazon EMR on EKS에서 Apache Spark의 사용자 지정 스케줄러로 Volcano 사용 단원을 참조하십시오.
