Amazon EMR on EKS 6.12.0 リリース - Amazon EMR
リリースリリースノート機能

Amazon EMR on EKS 6.12.0 リリース

このページでは、Amazon EMR on EKS デプロイに固有の Amazon EMR の新しい機能と更新された機能について説明します。Amazon EC2 で実行されている Amazon EMR の詳細と Amazon EMR 6.12.0 リリース全般の詳細については、「Amazon EMR リリースガイド」の「Amazon EMR 6.12.0」を参照してください。

Amazon EMR on EKS 6.12 リリース

Amazon EMR on EKS では、次の Amazon EMR 6.12.0 リリースが利用可能です。特定の emr-6.12.0-XXXX リリースを選択すると、関連するコンテナイメージタグなどの詳細が表示されます。

  • emr-6.12.0-latest

  • emr-6.12.0-20240321

  • emr-6.12.0-20230701

  • emr-6.12.0-spark-rapids-latest

  • emr-6.12.0-spark-rapids-20230701

  • emr-6.12.0-java11-latest

  • emr-6.12.0-java11-20230701

  • emr-6.12.0-java17-latest

  • emr-6.12.0-java17-20230701

  • emr-6.12.0-spark-rapids-java17-latest

  • emr-6.12.0-spark-rapids-java17-20230701

  • notebook-spark/emr-6.12.0-latest

  • notebook-spark/emr-6.12.0-20230701

  • notebook-spark/emr-6.12.0-spark-rapids-latest

  • notebook-spark/emr-6.12.0-spark-rapids-20230701

  • notebook-python/emr-6.12.0-latest

  • notebook-python/emr-6.12.0-20230701

  • notebook-python/emr-6.12.0-spark-rapids-latest

  • notebook-python/emr-6.12.0-spark-rapids-20230701

リリースノート

Amazon EMR on EKS 6.12.0 のリリースノート

  • サポートされているアプリケーション - AWS SDK for Java 1.12.490、Apache Spark 3.4.0-amzn-0、Apache Hudi 0.13.1-amzn-0、Apache Iceberg 1.3.0-amzn-0、Delta 2.4.0、Apache Spark RAPIDS 23.06.0-amzn-0、Jupyter Enterprise Gateway 2.6.0

  • サポートされているコンポーネント - aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • サポートされている設定分類

    StartJobRun API と CreateManagedEndpoint API で使用する場合:

    分類 説明

    core-site

    core-site.xml Hadoop ファイル内の値を変更します。

    emrfs-site

    EMRFS の設定を変更します。

    spark-metrics

    metrics.properties Spark ファイル内の値を変更します。

    spark-defaults

    spark-defaults.conf Spark ファイル内の値を変更します。

    spark-env

    Spark 環境の値を変更します。

    spark-hive-site

    hive-site.xml Spark ファイル内の値を変更します。

    spark-log4j

    log4j2.properties Spark ファイル内の値を変更します。

    emr-job-submitter

    ジョブ送信者ポッドの設定。

    特に CreateManagedEndpoint API で使用する場合:

    分類 説明

    jeg-config

    Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py ファイルの値を変更します。

    jupyter-kernel-overrides

    Jupyter カーネル仕様ファイル内のカーネルイメージの値を変更します。

    設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、spark-hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

注目すべき機能

Amazon EMR on EKS の 6.12 リリースには、以下の機能が含まれています。

  • Java 17 - Amazon EMR on EKS 6.12 以降では、Spark を Java 17 ランタイムと共に起動できます。このためには、emr-6.12.0-java17-latest をリリースラベルとして渡します。本番稼働用ワークロードを以前のバージョンの Java イメージから Java 17 イメージに移行する前に、パフォーマンステストを検証して実行することをお勧めします。