Amazon EMR on EKS 6.7.0 リリース - Amazon EMR

Amazon EMR on EKS 6.7.0 リリース

Amazon EMR on EKS では、次の Amazon EMR 6.7.0 リリースが利用可能です。特定の emr-6.7.0-XXXX リリースを選択すると、関連するコンテナイメージタグなどの詳細が表示されます。

Amazon EMR 6.7.0 のリリースノート

  • サポートされているアプリケーション - Spark 3.2.1-amzn-0、Jupyter Enterprise Gateway 2.6、Hudi 0.11-amzn-0、Iceberg 0.13.1。

  • サポートされるコンポーネント‐aws-hm-client (Glue コネクタ) 、aws-sagemaker-spark-sdk、emr-s3-select、emrfs、emr-ddb、hudi-spark。

  • JEG 2.6 へのアップグレードにより、カーネル管理が非同期になりました。つまり、カーネルの起動中、JEG はトランザクションをブロックしません。この結果、以下の機能が利用できるようになり、ユーザーエクスペリエンスが大幅に向上しています。

    • 他のカーネルが起動中のときに現在実行中のノートブックでコマンドを実行できる機能

    • 既に実行中のカーネルに影響を与えることなく複数のカーネルを同時に起動できる機能

  • サポートされている設定分類 :

    分類 説明

    core-site

    Hadoop core-site.xml ファイル内の値を変更します。

    emrfs-site

    EMRFS の設定を変更します。

    spark-metrics

    Spark metrics.properties ファイル内の値を変更します。

    spark-defaults

    Spark spark-defaults.conf ファイル内の値を変更します。

    spark-env

    Spark 環境の値を変更します。

    spark-hive-site

    Spark hive-site.xml ファイル内の値を変更します。

    spark-log4j

    Spark log4j.properties ファイル内の値を変更します。

    設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、spark-hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

解決された問題

  • Amazon EMR on EKS 6.7 では、インタラクティブエンドポイントで Apache Spark のポッドテンプレート機能を使用すると発生していた 6.6 の問題を修正しています。Amazon EMR on EKS リリース 6.4、6.5、6.6 でも、同じ問題が発生していました。インタラクティブエンドポイントを使用してインタラクティブな分析を実行するときに、ポッドテンプレートを使用して Spark ドライバーポッドとエグゼキュターポッドをどのように起動するかを定義できるようになりました。

  • 以前の Amazon EMR on EKS リリースでは、カーネルの起動中は Jupyter Enterprise Gateway がトランザクションをブロックしていたため、現在実行中のノートブックセッションが阻害されていました。他のカーネルが起動中のときに、現在実行中のノートブックでコマンドを実行できるようになりました。また、既に実行中のカーネルとの接続を失うことなく、複数のカーネルを同時に起動することもできます。