Amazon EMR on EKS 7.0.0 릴리스 - Amazon EMR
출시릴리스 정보특성변경

Amazon EMR on EKS 7.0.0 릴리스

이 페이지에서는 Amazon EMR on EKS 배포에 특정한 Amazon EMR의 신규 기능 및 업데이트된 기능을 설명합니다. Amazon EC2에서 실행되는 Amazon EMR 및 Amazon EMR 7.0.0 릴리스에 대한 일반적인 세부 정보는 Amazon EMR 릴리스 안내서에서 Amazon EMR 7.0.0을 참조하세요.

Amazon EMR on EKS 7.0 릴리스

Amazon EMR on EKS에 대해 다음 Amazon EMR 7.0.0 릴리스를 사용할 수 있습니다. 특정 emr-7.0.0-XXXX 릴리스를 선택하여 관련 컨테이너 이미지 태그와 같은 세부 정보를 확인합니다.

Flink releases

Flink 애플리케이션을 실행할 때 Amazon EMR on EKS에 대해 다음 Amazon EMR 7.0.0 릴리스를 사용할 수 있습니다.

Spark releases

Spark 애플리케이션을 실행할 때 Amazon EMR on EKS에 대해 다음 Amazon EMR 7.0.0 릴리스를 사용할 수 있습니다.

  • emr-7.0.0-latest

  • emr-7.0.0-20231211

  • emr-7.0.0-spark-rapids-latest

  • emr-7.0.0-spark-rapids-20231211

  • emr-7.0.0-java11-latest

  • emr-7.0.0-java11-20231211

  • emr-7.0.0-java8-latest

  • emr-7.0.0-java8-20231211

  • emr-7.0.0-spark-rapids-java8-latest

  • emr-7.0.0-spark-rapids-java8-20231211

  • notebook-spark/emr-7.0.0-latest

  • notebook-spark/emr-7.0.0-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-latest

  • notebook-spark/emr-7.0.0-spark-rapids-20231211

  • notebook-spark/emr-7.0.0-java11-latest

  • notebook-spark/emr-7.0.0-java11-20231211

  • notebook-spark/emr-7.0.0-java8-latest

  • notebook-spark/emr-7.0.0-java8-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.0.0-spark-rapids-java8-20231211

  • notebook-python/emr-7.0.0-latest

  • notebook-python/emr-7.0.0-20231211

  • notebook-python/emr-7.0.0-spark-rapids-latest

  • notebook-python/emr-7.0.0-spark-rapids-20231211

  • notebook-python/emr-7.0.0-java11-latest

  • notebook-python/emr-7.0.0-java11-20231211

  • notebook-python/emr-7.0.0-java8-latest

  • notebook-python/emr-7.0.0-java8-20231211

  • notebook-python/emr-7.0.0-spark-rapids-java8-latest

  • notebook-python/emr-7.0.0-spark-rapids-java8-20231211

릴리스 정보

Amazon EMR on EKS 7.0.0 릴리스 정보

  • 지원되는 애플리케이션 ‐ AWS SDK for Java 2.20.160-amzn-0 and 1.12.595, Apache Spark 3.5.0-amzn-0, Apache Flink 1.18.0-amzn-0, Flink Operator 1.6.1, Apache Hudi 0.14.0-amzn-1, Apache Iceberg 1.4.2-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-0, Jupyter Enterprise Gateway 2.6.0

  • 지원되는 구성 요소 ‐ aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • 지원되는 구성 분류

    StartJobRun 및 CreateManagedEndpoint API와 함께 사용하는 경우:

    분류 설명

    core-site

    Hadoop의 core-site.xml 파일에서 값을 변경합니다.

    emrfs-site

    EMRFS 설정을 변경합니다.

    spark-metrics

    Spark의 metrics.properties 파일에서 값을 변경합니다.

    spark-defaults

    Spark의 spark-defaults.conf 파일에서 값을 변경합니다.

    spark-env

    the Spark 환경의 값을 변경합니다.

    spark-hive-site

    Spark의 hive-site.xml 파일에서 값을 변경합니다.

    spark-log4j

    Spark의 log4j2.properties 파일에서 값을 변경합니다.

    emr-job-submitter

    작업 제출자 포드 구성.

    특별히 CreateManagedEndpoint API와 함께 사용하는 경우:

    분류 설명

    jeg-config

    Jupyter Enterprise Gateway의 jupyter_enterprise_gateway_config.py 파일에서 값을 변경합니다.

    jupyter-kernel-overrides

    Jupyter 커널 사양 파일에서 커널 이미지 값을 변경합니다.

    구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 spark-hive-site.xml과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 애플리케이션 구성을 참조하세요.

주목할 만한 기능

Amazon EMR on EKS 7.0 릴리스에 다음과 같은 기능이 포함되어 있습니다.

  • 애플리케이션 업그레이드 – Amazon EMR on EKS 7.0.0 애플리케이션 업그레이드는 Spark 3.5, Flink 1.18과 Flink Operator 1.6.1을 포함합니다.

  • Flink Autoscaler 파라미터 자동 튜닝 – Flink Autoscaler에서 조정 계산을 위해 사용하는 기본 파라미터는 특정 작업의 최적값이 아닐 수 있습니다. Amazon EMR on EKS 7.0.0은 작업에 맞게 조정된 최적의 파라미터를 계산하기 위해 수집된 특정 지표의 과거 추세를 사용합니다.

변경

Amazon EMR on EKS 7.0 릴리스에 다음과 같은 변경 사항이 포함되어 있습니다.

  • Amazon Linux 2023 – Amazon EMR on EKS 7.0.0 이상에서 모든 컨테이너 이미지는 Amazon Linux 2023을 기반으로 합니다.

  • Java 17을 기본 런타임으로 사용하는 Spark – Amazon EMR on EKS 7.0.0 Spark는 Java 17을 기본 런타임으로 사용합니다. 필요한 경우 Amazon EMR on EKS 7.0 릴리스 목록에 기재된 대로 해당 릴리스 레이블이 포함된 Java 8 또는 Java 11을 사용하도록 전환할 수 있습니다.