Amazon EMR on EKS 6.15.0 リリース - Amazon EMR
リリースリリースノート機能

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR on EKS 6.15.0 リリース

このページでは、EKSデプロイEMR中の Amazon EMR に固有の Amazon の新機能と更新された機能について説明します。Amazon でEMR実行されている Amazon EC2および Amazon 6.15.0 EMR リリース全般の詳細については、「Amazon EMR リリースガイド」の「Amazon EMR 6.15.0」を参照してください。

Amazon EMR on EKS 6.15 リリース

Amazon on では、次の Amazon EMR 6.15.0 EMR リリースが利用可能ですEKS。特定の emr-6.15.0-XXXX リリースを選択すると、関連するコンテナイメージタグなどの詳細が表示されます。

Flink releases

Flink EMR アプリケーションを実行するEKSと、 EMRの Amazon で次の Amazon 6.15.0 リリースを利用できます。

Spark releases

Spark EMR アプリケーションを実行するEKSと、 EMRの Amazon で次の Amazon 6.15.0 リリースを利用できます。

  • emr-6.15.0-latest

  • emr-6.15.0-20231109

  • emr-6.15.0-spark-rapids-latest

  • emr-6.15.0-spark-rapids-20231109

  • emr-6.15.0-java11-latest

  • emr-6.15.0-java11-20231109

  • emr-6.15.0-java17-latest

  • emr-6.15.0-java17-20231109

  • emr-6.15.0-java17-al2023-latest

  • emr-6.15.0-java17-al2023-20231109

  • emr-6.15.0-spark-rapids-java17-latest

  • emr-6.15.0-spark-rapids-java17-20231109

  • emr-6.15.0-spark-rapids-java17-al2023-latest

  • emr-6.15.0-spark-rapids-java17-al2023-20231109

  • notebook-spark/emr-6.15.0-latest

  • notebook-spark/emr-6.15.0-20231109

  • notebook-spark/emr-6.15.0-spark-rapids-latest

  • notebook-spark/emr-6.15.0-spark-rapids-20231109

  • notebook-spark/emr-6.15.0-java11-latest

  • notebook-spark/emr-6.15.0-java11-20231109

  • notebook-spark/emr-6.15.0-java17-latest

  • notebook-spark/emr-6.15.0-java17-20231109

  • notebook-spark/emr-6.15.0-java17-al2023-latest

  • notebook-spark/emr-6.15.0-java17-al2023-20231109

  • notebook-python/emr-6.15.0-latest

  • notebook-python/emr-6.15.0-20231109

  • notebook-python/emr-6.15.0-spark-rapids-latest

  • notebook-python/emr-6.15.0-spark-rapids-20231109

  • notebook-python/emr-6.15.0-java11-latest

  • notebook-python/emr-6.15.0-java11-20231109

  • notebook-python/emr-6.15.0-java17-latest

  • notebook-python/emr-6.15.0-java17-20231109

  • notebook-python/emr-6.15.0-java17-al2023-latest

  • notebook-python/emr-6.15.0-java17-al2023-20231109

リリースノート

Amazon on 6.15.0 EKS EMRのリリースノート

  • サポートされているアプリケーション ‐ AWS SDK for Java 1.12.569, Apache Spark 3.4.1-amzn-2, Apache Flink 1.17.1-amzn-1, Apache Hudi 0.14.0-amzn-0, Apache Iceberg 1.4.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.08.01-amzn-0, Jupyter Enterprise Gateway 2.6.0

  • サポートされているコンポーネント - aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • サポートされている設定分類

    StartJobRun および CreateManagedEndpoint で使用する場合APIs：

    分類 説明

    core-site

    core-site.xml Hadoop ファイル内の値を変更します。

    emrfs-site

    EMRFS 設定を変更します。

    spark-metrics

    metrics.properties Spark ファイル内の値を変更します。

    spark-defaults

    spark-defaults.conf Spark ファイル内の値を変更します。

    spark-env

    Spark 環境の値を変更します。

    spark-hive-site

    hive-site.xml Spark ファイル内の値を変更します。

    spark-log4j

    log4j2.properties Spark ファイル内の値を変更します。

    emr-job-submitter

    ジョブ送信者ポッドの設定。

    特に CreateManagedEndpoint で使用する場合APIs：

    分類 説明

    jeg-config

    Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py ファイルの値を変更します。

    jupyter-kernel-overrides

    Jupyter カーネル仕様ファイル内のカーネルイメージの値を変更します。

    設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますspark-hive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

注目すべき機能

EMR での Amazon 6.15 リリースには、以下の機能が含まれていますEKS。

  • Amazon EMR on EKS with Apache Flink - Amazon EMR on EKS 6.15.0 では、Apache Flink ベースのアプリケーションを、同じ Amazon EKSクラスター上の他のタイプのアプリケーションと一緒に実行できます。これにより、リソース使用率が向上し、インフラストラクチャ管理が簡素化されます。Flink アプリケーションでスポットインスタンスを正常に廃止し、Amazon によるきめ細かな復旧とタスクローカル復旧により、再起動時間を短縮できますEBS。アクセシビリティとモニタリング機能には、Amazon S3 に保存されている jar で Flink アプリケーションを起動する機能、 AWS Glue データカタログへのアクセス、Amazon S3 と Amazon との統合のモニタリング CloudWatch、コンテナログのローテーションなどがあります。