Cookie の設定を選択する

当社は、当社のサイトおよびサービスを提供するために必要な必須 Cookie および類似のツールを使用しています。当社は、パフォーマンス Cookie を使用して匿名の統計情報を収集することで、お客様が当社のサイトをどのように利用しているかを把握し、改善に役立てています。必須 Cookie は無効化できませんが、[カスタマイズ] または [拒否] をクリックしてパフォーマンス Cookie を拒否することはできます。

お客様が同意した場合、AWS および承認された第三者は、Cookie を使用して便利なサイト機能を提供したり、お客様の選択を記憶したり、関連する広告を含む関連コンテンツを表示したりします。すべての必須ではない Cookie を受け入れるか拒否するには、[受け入れる] または [拒否] をクリックしてください。より詳細な選択を行うには、[カスタマイズ] をクリックしてください。

Amazon EMR リリース 6.9.0 - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR リリース 6.9.0

6.9.0 アプリケーションバージョン

このリリースには、次のアプリケーションが含まれています。Delta、、FlinkGangliaHBaseHCatalog、、HadoopHiveHudiHue、、、IcebergJupyterEnterpriseGatewayJupyterHubLivyMXNet、、、、Oozie、、PhoenixPigPrestoSpark、、、Sqoop、、、、、、、、TensorFlowTezTrino、、、、Zeppelin、。 ZooKeeper

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-6.9.0 emr-6.8.1 emr-6.8.0 emr-6.7.0
AWS SDK for Java 1.12.1701.12.1701.12.1701.12.170
Python 2.7、3.72.7、3.72.7、3.72.7、3.7
Scala 2.12.152.12.152.12.152.12.15
AmazonCloudWatchAgent - - - -
Delta2.1.0 - - -
Flink1.15.21.15.11.15.11.14.2
Ganglia3.7.23.7.23.7.23.7.2
HBase2.4.132.4.122.4.122.4.4
HCatalog3.1.33.1.33.1.33.1.3
Hadoop3.3.33.2.13.2.13.2.1
Hive3.1.33.1.33.1.33.1.3
Hudi0.12.1-amzn-00.11.1-amzn-00.11.1-amzn-00.11.0-amzn-0
Hue4.10.04.10.04.10.04.10.0
Iceberg0.14.1-amzn-00.14.0-amzn-00.14.0-amzn-00.13.1-amzn-0
JupyterEnterpriseGateway2.6.02.1.02.1.02.1.0
JupyterHub1.4.11.4.11.4.11.4.1
Livy0.7.10.7.10.7.10.7.1
MXNet1.9.11.9.11.9.11.8.0
Mahout - - - -
Oozie5.2.15.2.15.2.15.2.1
Phoenix5.1.25.1.25.1.25.1.2
Pig0.17.00.17.00.17.00.17.0
Presto0.2760.2730.2730.272
Spark3.3.03.3.03.3.03.2.1
Sqoop1.4.71.4.71.4.71.4.7
TensorFlow2.10.02.9.12.9.12.4.1
Tez0.10.20.9.20.9.20.9.2
Trino398388388378
Zeppelin0.10.10.10.10.10.10.10.0
ZooKeeper3.5.103.5.103.5.103.5.7

6.9.0 リリースノート

次のリリースノートには、Amazon EMR リリース 6.9.0 に関する情報が含まれています。Amazon EMR リリース 6.8.0 からの変更が含まれています。リリースタイムラインの詳細については、「変更ログ」を参照してください。

新機能
  • Amazon EMR リリース 6.9.0 は、Apache Spark RAPIDS 22.08.0、Apache Hudi 0.12.1、Apache Iceberg 0.14.1、Trino 398、Tez 0.10.2 をサポートしています。

  • Amazon EMR リリース 6.9.0 には、新しいオープンソースアプリケーションである Delta Lake 2.1.0 が含まれています。

  • Apache Spark 用の Amazon Redshift の統合は、Amazon EMR リリース 6.9.0 以降に含まれています。以前はオープンソースツールであったこのネイティブインテグレーションは Spark コネクタと呼ばれるもので、これを使用して Apache Spark アプリケーションを構築することで、Amazon Redshift と Amazon Redshift Serverless 内のデータを読み書きできます。詳細については、「Amazon EMR での Apache Spark 用の Amazon Redshift インテグレーションの使用 」を参照してください。

  • Amazon EMR リリース 6.9.0 では、クラスターのスケールダウン中に Amazon S3 にログをアーカイブするためのサポートが追加されています。以前は、Amazon S3 にログファイルをアーカイブできるのはクラスター終了時のみでした。この新機能により、クラスターで生成されたログファイルは、ノードが終了した後も Amazon S3 に残ります。詳細については、「クラスターのログ記録とデバッグを設定する」を参照してください。

  • 長時間実行されるクエリをサポートするため、Trino には耐障害性実行メカニズムが組み込まれました。耐障害性実行では、失敗したクエリやそのコンポーネントタスクを再試行することで、クエリの失敗を軽減します。

  • Amazon EMR で Apache Flink を使用して、Apache Hive テーブル、または Iceberg、Kinesis、Kafka などの任意の Flink テーブルソースのメタデータの BATCH 処理と STREAM 処理を統合することができます。、、または Amazon EMR API を使用して AWS Management Console AWS CLI、 AWS Glue データカタログを Flink のメタストアとして指定できます。詳細については、「Amazon EMR で Flink を設定する」を参照してください。

  • Amazon SageMaker AI Studio を使用してEC2 クラスター上の Amazon EMR に対する Apache Spark、Apache Hive、Presto クエリに AWS Identity and Access Management (IAM) ランタイムロールと AWS Lake Formationベースのアクセスコントロールを指定できるようになりました。詳細については、「Configure runtime roles for Amazon EMR steps」を参照してください。

既知の問題
  • Amazon EMR リリース 6.9.0 では、Apache Ranger が有効になっているクラスターでは Trino は動作しません。Ranger で Trino を使用する必要がある場合は、サポート にお問い合わせください。

  • Amazon Redshift integration for Apache Spark を使用している場合に、time、timetz、timestamp、timestamptz のいずれかにマイクロ秒の精度を Parquet 形式で設定していると、コネクタがその時間値を最も近いミリ秒値に四捨五入します。回避策として、テキストアンロード形式 unload_s3_format パラメータを使用してください。

  • Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。

    • 同じテーブルから 2 つ以上のパーティションがスキャンされます。

    • 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、s3://bucket/table/p=as3://bucket/table/p=a b のプレフィックスです。

    • 他のパーティションディレクトリのプレフィックスに続く最初の文字が、/ 文字 (U+002F) より小さい UTF-8 値を持ちます。例えば、s3://bucket/table/p=a b の a と b の間にあるスペース文字 (U+0020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: !"#$%&‘()*+,-。詳細については、「UTF-8 encoding table and Unicode characters」を参照してください。

    この問題の回避策として、spark-defaults 分類の spark.sql.sources.fastS3PartitionDiscovery.enabled 設定を false にセットします。

  • Amazon SageMaker AI Studio から Amazon EMR クラスターへの接続は、403 Forbidden レスポンスコードで断続的に失敗することがあります。このエラーは、クラスターでの IAM ロールの設定に 60 秒以上かかる場合に発生します。回避策として、Amazon EMR パッチをインストールして再試行を有効にし、タイムアウトを最低 300 秒に増やすことができます。以下の手順を使用して、クラスターの起動時にブートストラップアクションを適用します。

    1. 次の Amazon S3 URI から、ブートストラップスクリプトと RPM ファイルをダウンロードします。

      s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/replace-rpms.sh s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/emr-secret-agent-1.18.0-SNAPSHOT20221121212949.noarch.rpm
    2. 前のステップのファイルを、所有する Amazon S3 バケットにアップロードします。バケットは、クラスターを起動する予定の AWS リージョン と同じ にある必要があります。

    3. EMR クラスターを起動するときに、次のブートストラップアクションを含めます。bootstrap_URIRPM_URI を Amazon S3 の対応する URI に置き換えます。

      --bootstrap-actions "Path=bootstrap_URI,Args=[RPM_URI]"
  • Amazon EMR リリース 5.36.0、および 6.6.0 から 6.9.0 では、Log4j2 プロパティのファイル名パターン設定が正しくないため、SecretAgent および RecordServer サービスコンポーネントでログデータが失われる可能性があります。設定が正しくないと、コンポーネントは 1 日に 1 つのログファイルしか生成しません。ローテーション戦略が実行されると、期待どおりに新しいログファイルが生成されず、既存のファイルが上書きされます。回避策として、ブートストラップアクションを使用して 1 時間ごとにログファイルを生成し、ファイル名に自動増分整数を追加してローテーションを処理します。

    Amazon EMR 6.6.0 から 6.9.0 のリリースでは、クラスターを起動するときに次のブートストラップアクションを使用します。

    ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"

    Amazon EMR 5.36.0 では、クラスターを起動するときに次のブートストラップアクションを使用します。

    ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  • Apache Flink にはネイティブ S3 FileSystem コネクタと Hadoop FileSystem コネクタが用意されており、アプリケーションが FileSink を作成して Amazon S3 にデータを書き込むことができます。この FileSink は、次の 2 つの例外のいずれかにより失敗します。

    java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS
    Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryPolicies.retryOtherThanRemoteAndSaslException(Lorg/apache/hadoop/io/retry/RetryPolicy;Ljava/util/Map;)Lorg/apache/hadoop/io/retry/RetryPolicy; at org.apache.hadoop.yarn.client.RMProxy.createRetryPolicy(RMProxy.java:302) ~[hadoop-yarn-common-3.3.3-amzn-0.jar:?]

    回避策として、Flink の上記の問題を修正する Amazon EMR パッチをインストールできます。クラスターを起動するときにブートストラップアクションを適用するには、以下の手順を実行します。

    1. flink-rpm を Amazon S3 バケットにダウンロードします。RPM パスは s3://DOC-EXAMPLE-BUCKET/rpms/flink/ です。

    2. 次の URI を使用して Amazon S3 からブートストラップスクリプトと RPM ファイルをダウンロードします。を、クラスターを起動する AWS リージョン 予定の regionNameに置き換えます。

      s3://emr-data-access-control-regionName/customer-bootstrap-actions/gcsc/replace-rpms.sh
    3. Hadoop 3.3.3 では YARN (YARN-9608) に変更が加えられ、アプリケーションが完了するまでコンテナが実行されていたノードは廃止状態のままになります。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。Amazon EMR 6.8.0 および 6.9.0 の場合、この方法では、マネージドスケーリングが有効になっているかどうかにかかわらず、クラスターのリソースが十分に活用されない可能性もあります。

      Amazon EMR 6.10.0 では、yarn-site.xmlyarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications の値を false に設定することでこの問題を回避できます。Amazon EMR リリース 6.11.0 以降および 6.8.1、6.9.1、6.10.1 では、この問題を解決するために設定がデフォルトで false にセットされています。

変更、拡張、解決した問題
  • Amazon EMR リリース 6.9.0 以降では、Amazon EMR によってインストールされ、Log4j ライブラリを使用するすべてのコンポーネントは Log4j バージョン 2.17.1 以降を使用します。

  • Spark on Amazon EMR バージョン 6.6.0、6.7.0、6.8.0 で DynamoDB コネクタを使用すると、テーブルから何を読み込んでも空の結果が返されます。この状況は、入力分割が空でないデータを参照している場合でも変わりません。Amazon EMR リリース 6.9.0 では、この問題が修正されています。

  • Amazon EMR 6.9.0 では、Spark SQL を使用してデータを読み取る際の Apache Hudi による Lake Formation ベースのアクセスコントロールに対する限定的なサポートが追加されています。Spark SQL を使用する SELECT クエリがサポートされます。サポートは、列レベルのアクセス制御に限定されます。詳細については、「Hudi と Lake Formation」を参照してください。

  • Amazon EMR 6.9.0 を使用して、ノードラベルを有効にした Hadoop クラスターを作成すると、YARN メトリクス API はデフォルトのパーティションではなく、すべてのパーティションの集計情報を返します。詳細については、「YARN-11414」を参照してください。

  • Amazon EMR リリース 6.9.0 では、Trino を、Java 17 を使用するバージョン 398 にアップデートしました。Amazon EMR 6.8.0 で以前サポートされていた Trino のバージョンは Java 11 で動作する Trino 388 でした。この変更の詳細については、Trino のブログの「Trino updates to Java 17」を参照してください。

  • このリリースでは、EC2 クラスターの起動シーケンスでの Apache BigTop と Amazon EMR 間のタイミングシーケンスの不一致の問題が修正されています。このタイミングシーケンスの不一致は、システムが 2 つ以上の操作を適切なシーケンスで実行するのではなく、同時に実行しようとした場合に発生します。その結果、特定のクラスター構成でインスタンスの起動がタイムアウトし、クラスターの起動時間が遅くなりました。

  • Amazon EMR 5.36 以降、6.6 以降、7.0 以降の最新のパッチリリースを使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「Amazon EMR にデフォルトの Amazon Linux AMI を使用する」を参照してください。

    注記

    このリリースは、さらに 1 つのパッチリリースが続いているため、AMI の自動更新は行われなくなりました。パッチリリースは 2 番目の小数点の後の数字 (6.8.1) で示されます。最新のパッチリリースを使用しているかどうかを確認するには、「リリースガイド」で利用可能なリリースを確認するか、コンソールでクラスターを作成するとき、または ListReleaseLabels API あるいは list-release-labels CLI アクションを使用するときに Amazon EMR リリースドロップダウンを確認してください。新しいリリースに関する最新情報を入手するには、「最新情報」ページの RSS フィードにサブスクライブしてください。

    OsReleaseLabel (Amazon Linux バージョン) Amazon Linux カーネルバージョン 利用可能日 サポート対象の リージョン
    2.0.20250123.4 4.14.355 2025 年 1 月 27 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏)
    2.0.20250116.0 4.14.355 2025年1月23日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏)
    2.0.20241217.0 4.14.355 2025 年 1 月 8 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港)、 アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 中東 (アラブ首長国連邦)、 アジアパシフィック (メルボルン)、 イスラエル (テルアビブ)、 欧州 (チューリッヒ)
    2.0.20241001.0 4.14.352 2024 年 10 月 4 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏)
    2.0.20240816.0 4.14.350 2024 年 8 月 21 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏)
    2.0.20240809.0 4.14.349 2024 年 8 月 20 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏)
    2.0.20240719.0 4.14.348 2024 年 7 月 25 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏)
    2.0.20240709.1 4.14.348 2024 年 7 月 23 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏)、アジアパシフィック (ハイデラバード)、中東 (UAE)、欧州 (スペイン)、欧州 (チューリッヒ)、アジアパシフィック (メルボルン)、イスラエル (テルアビブ)、カナダ西部 (カルガリー)
    2.0.20230808.0 4.14.320 2023 年 8 月 24 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、イスラエル (テルアビブ)
    2.0.20230727.0 4.14.320 2023 年 8 月 14 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (スペイン)、欧州 (フランクフルト)、欧州 (チューリッヒ)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ハイデラバード)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、中東 (アラブ首長国連邦)、カナダ (中部)、イスラエル (テルアビブ)
    2.0.20230719.0 4.14.320 2023 年 8 月 2 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (スペイン)、欧州 (フランクフルト)、欧州 (チューリッヒ)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ハイデラバード)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、中東 (アラブ首長国連邦)、カナダ (中部)、イスラエル (テルアビブ)
    2.0.20230628.0 4.14.318 2023 年 7 月 12 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20230612.0 4.14.314 2023 年 6 月 23 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20230504.1 4.14.313 2023 年 5 月 16 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20230418.0 4.14.311 2023 年 5 月 3 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20230404.1 4.14.311 2023 年 4 月 18 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20230404.0 4.14.311 2023 年 4 月 10 日 米国東部 (バージニア北部)、欧州 (パリ)
    2.0.20230320.0 4.14.309 2023 年 3 月 30 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20230307.0 4.14.305 2023 年 3 月 15 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20230207.0 4.14.304 2023 年 2 月 22 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20221210.1 4.14.301 2023 年 1 月 12 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20221103.3 4.14.296 2022 年 12 月 5 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)

6.9.0 コンポーネントバージョン

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、emr または aws で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 の myapp-component というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは 2.2-amzn-2 として表示されます。

コンポーネント バージョン 説明
aws-sagemaker-spark-sdk1.4.2Amazon SageMaker Spark SDK
delta2.1.0Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。
emr-ddb4.16.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies3.3.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.6.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-notebook-env1.7.0Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env
emr-s3-dist-cp2.23.0Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select2.2.0EMR S3Select コネクター
emrfs2.54.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.15.2Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
flink-jobmanager-config1.15.2Apache Flink JobManager 用の EMR ノード上のリソースの管理。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client3.3.3-amzn-1'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode3.3.3-amzn-1ブロックを保存する HDFS ノードレベルのサービス。
hadoop-hdfs-library3.3.3-amzn-1HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode3.3.3-amzn-1ファイル名を追跡し、場所をブロックする HDFS サービス。
hadoop-hdfs-journalnode3.3.3-amzn-1HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。
hadoop-httpfs-server3.3.3-amzn-1HDFS オペレーションの HTTP エンドポイント。
hadoop-kms-server3.3.3-amzn-1Hadoop の KeyProvider API に基づく暗号キー管理サーバー。
hadoop-mapred3.3.3-amzn-1MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。
hadoop-yarn-nodemanager3.3.3-amzn-1個別のノードでコンテナを管理する YARN サービス。
hadoop-yarn-resourcemanager3.3.3-amzn-1クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。
hadoop-yarn-timeline-server3.3.3-amzn-1YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。
hbase-hmaster2.4.13-amzn-0リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。
hbase-region-server2.4.13-amzn-01 つ以上の HBase リージョンに対応するサービス。
hbase-client2.4.13-amzn-0HBase コマンドラインクライアント。
hbase-rest-server2.4.13-amzn-0HBase の RESTful HTTP エンドポイントを提供するサービス。
hbase-thrift-server2.4.13-amzn-0HBase に Thrift エンドポイントを提供するサービス。
hbase-operator-tools2.4.13-amzn-0Apache HBase クラスター用の修復ツール。
hcatalog-client3.1.3-amzn-2hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server3.1.3-amzn-2分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。
hcatalog-webhcat-server3.1.3-amzn-2HCatalog に REST インターフェイスを提供する HTTP エンドポイント。
hive-client3.1.3-amzn-2Hive コマンドラインクライアント。
hive-hbase3.1.3-amzn-2Hive-hbase クライアント。
hive-metastore-server3.1.3-amzn-2Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。
hive-server23.1.3-amzn-2Hive クエリをウェブリクエストとして受け入れるサービス。
hudi0.12.1-amzn-0データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-presto0.12.1-amzn-0Presto を Hudi で実行するためのバンドルライブラリ。
hudi-trino0.12.1-amzn-0Trino を Hudi で実行するためのバンドルライブラリ。
hudi-spark0.12.1-amzn-0Spark を Hudi で実行するためのバンドルライブラリ。
hue-server4.10.0Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
iceberg0.14.1-amzn-0Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。
jupyterhub1.4.1Jupyter Notebook のマルチユーザーサーバー
livy-server0.7.1-incubatingApache Spark を操作するための REST インターフェイス
nginx1.12.1nginx [engine x] は HTTP およびリバースプロキシサーバー
mxnet1.9.1フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。
mariadb-server5.5.68+MariaDB データベースサーバー。
nvidia-cuda11.7.0Nvidia ドライバーと Cuda ツールキット
oozie-client5.2.1Oozie コマンドラインクライアント。
oozie-server5.2.1Oozie ワークフローリクエストを受け入れるサービス。
opencv4.5.0オープンソースのコンピュータビジョンライブラリ。
phoenix-library5.1.2サーバーとクライアントの Phoenix ライブラリ
phoenix-connectors6.0.0-SNAPSHOTSpark-3 用 Apache Phoenix-Connectors
phoenix-query-server6.0.0JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー
presto-coordinator0.276-amzn-0presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.276-amzn-0いくつかのクエリを実行するサービス。
presto-client0.276-amzn-0Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
trino-coordinator398-amzn-0trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
trino-worker398-amzn-0いくつかのクエリを実行するサービス。
trino-client398-amzn-0Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。
pig-client0.17.0Pig コマンドラインクライアント。
r4.0.2統計的コンピューティング用 R プロジェクト
ranger-kms-server2.0.0Apache Ranger Key Management System
spark-client3.3.0-amzn-1Spark コマンドラインクライアント。
spark-history-server3.3.0-amzn-1完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn3.3.0-amzn-1YARN のメモリ内実行エンジン。
spark-yarn-slave3.3.0-amzn-1YARN スレーブで必要な Apache Spark ライブラリ。
spark-rapids22.08.0-amzn-0GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。
sqoop-client1.4.7Apache Sqoop コマンドラインクライアント。
tensorflow2.10.0TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。
tez-on-yarn0.10.2-amzn-0tez YARN アプリケーションおよびライブラリ。
webserver2.4.41+Apache HTTP サーバー。
zeppelin-server0.10.1インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.5.10設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.5.10ZooKeeper コマンドラインクライアント。

6.9.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

emr-6.9.0 の分類
分類 説明 再設定アクション

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

Restarts the ResourceManager service.

container-executor

Hadoop YARN の container-executor.cfg ファイルの値を変更します。

Not available.

container-log4j

Hadoop YARN の container-log4j.properties ファイルの値を変更します。

Not available.

core-site

Hadoop の core-site.xml ファイルの値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

docker-conf

Docker 関連の設定を変更します。

Not available.

emrfs-site

EMRFS の設定を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

flink-conf

flink-conf.yaml の設定を変更します。

Restarts Flink history server.

flink-log4j

Flink log4j.properties の設定を変更します。

Restarts Flink history server.

flink-log4j-session

Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。

Restarts Flink history server.

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

Restarts Flink history server.

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer.

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

Not available.

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

Not available.

hbase

Apache HBase 用の Amazon EMR-curated 設定。

Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts.

hbase-env

HBase の環境の値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-log4j

HBase の hbase-log4j.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-metrics

HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-policy

HBase の hbase-policy.xml ファイルの値を変更します。

Not available.

hbase-site

HBase の hbase-site.xml ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer.

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

This classification should not be reconfigured.

hdfs-env

HDFS 環境の値を変更します。

Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC.

hdfs-site

HDFS の hdfs-site.xml の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.

hcatalog-env

HCatalog 環境の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-jndi

HCatalog の jndi.properties の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-proto-hive-site

HCatalog の proto-hive-site.xml の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-webhcat-env

HCatalog WebHCat 環境の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-log4j2

HCatalog WebHCat の log4j2.properties の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-site

HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。

Restarts Hive WebHCat server.

hive

Apache Hive 用の Amazon EMR-curated 設定。

Sets configurations to launch Hive LLAP service.

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

Not available.

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

Not available.

hive-env

Hive 環境の値を変更します。

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore.

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

Not available.

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

Not available.

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

Not available.

hive-site

Hive の hive-site.xml ファイルの値を変更します

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin.

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

Not available.

hue-ini

Hue の ini ファイルの値を変更します

Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations.

httpfs-env

HTTPFS 環境の値を変更します。

Restarts Hadoop Httpfs service.

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

Restarts Hadoop Httpfs service.

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

Not available.

hadoop-kms-env

Hadoop KMS 環境の値を変更します。

Restarts Hadoop-KMS service.

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

Not available.

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

Restarts Hadoop-KMS and Ranger-KMS service.

hudi-env

Hudi 環境の値を変更します。

Not available.

hudi-defaults

Hudi の hudi-defaults.conf ファイルの値を変更します。

Not available.

iceberg-defaults

Iceberg の iceberg-defaults.conf ファイルの値を変更します。

Not available.

delta-defaults

Delta の delta-defaults.conf ファイルの値を変更します。

Not available.

jupyter-notebook-conf

Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。

Not available.

jupyter-hub-conf

JupyterHubs の jupyterhub_config.py ファイルの値を変更します。

Not available.

jupyter-s3-conf

Jupyter Notebook の S3 の永続性を設定します。

Not available.

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

Not available.

livy-conf

Livy の livy.conf ファイルの値を変更します。

Restarts Livy Server.

livy-env

Livy 環境の値を変更します。

Restarts Livy Server.

livy-log4j2

Livy の log4j2.properties の設定を変更します。

Restarts Livy Server.

mapred-env

MapReduce アプリケーションの環境の値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

oozie-env

Oozie の環境の値を変更します。

Restarts Oozie.

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

Restarts Oozie.

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

Restarts Oozie.

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

Not available.

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

Not available.

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

Restarts Phoenix-QueryServer.

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

Not available.

pig-env

Pig 環境の値を変更します。

Not available.

pig-properties

Pig の pig.properties ファイルの値を変更します。

Restarts Oozie.

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

Not available.

presto-log

Presto の log.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-config

Presto の config.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

Not available.

presto-env

Presto の presto-env.sh ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-node

Presto の node.properties ファイルの値を変更します。

Not available.

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

Not available.

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

Not available.

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

Not available.

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

Not available.

presto-connector-lakeformation

Presto の lakeformation.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

Not available.

presto-connector-memory

Presto の memory.properties ファイルの値を変更します。

Not available.

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

Not available.

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

Not available.

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

Not available.

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

Not available.

presto-connector-redshift

Presto の redshift.properties ファイルの値を変更します。

Not available.

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

Not available.

presto-connector-tpcds

Presto の tpcds.properties ファイルの値を変更します。

Not available.

trino-log

Trino の log.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-config

Trino の config.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-password-authenticator

Trino の password-authenticator.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-env

Trino の trino-env.sh ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-node

Trino の node.properties ファイルの値を変更します。

Not available.

trino-connector-blackhole

Trino の blackhole.properties ファイルの値を変更します。

Not available.

trino-connector-cassandra

Trino の cassandra.properties ファイルの値を変更します。

Not available.

trino-connector-delta

Trino の delta.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-hive

Trino の hive.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-exchange-manager

Trino の exchange-manager.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-iceberg

Trino の iceberg.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-jmx

Trino の jmx.properties ファイルの値を変更します。

Not available.

trino-connector-kafka

Trino の kafka.properties ファイルの値を変更します。

Not available.

trino-connector-localfile

Trino の localfile.properties ファイルの値を変更します。

Not available.

trino-connector-memory

Trino の memory.properties ファイルの値を変更します。

Not available.

trino-connector-mongodb

Trino の mongodb.properties ファイルの値を変更します。

Not available.

trino-connector-mysql

Trino の mysql.properties ファイルの値を変更します。

Not available.

trino-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

trino-connector-raptor

Trino の raptor.properties ファイルの値を変更します。

Not available.

trino-connector-redis

Trino の redis.properties ファイルの値を変更します。

Not available.

trino-connector-redshift

Trino の redshift.properties ファイルの値を変更します。

Not available.

trino-connector-tpch

Trino の tpch.properties ファイルの値を変更します。

Not available.

trino-connector-tpcds

Trino の tpcds.properties ファイルの値を変更します。

Not available.

ranger-kms-dbks-site

Ranger KMS の dbks-site.xml ファイルの値を変更します。

Restarts Ranger KMS Server.

ranger-kms-site

Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。

Restarts Ranger KMS Server.

ranger-kms-env

Ranger KMS 環境の値を変更します。

Restarts Ranger KMS Server.

ranger-kms-log4j

Ranger KMS の kms-log4j.properties ファイルの値を変更します。

Not available.

ranger-kms-db-ca

Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。

Not available.

spark

Apache Spark 用の Amazon EMR-curated 設定。

This property modifies spark-defaults. See actions there.

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-env

Spark 環境の値を変更します。

Restarts Spark history server and Spark thrift server.

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

Not available.

spark-log4j2

Spark の log4j2.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

sqoop-env

Sqoop の環境の値を変更します。

Not available.

sqoop-oraoop-site

Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。

Not available.

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

Not available.

tez-site

Tez の tez-site.xml ファイルの値を変更します。

Restart Oozie and HiveServer2.

yarn-env

YARN 環境の値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

yarn-site

YARN の yarn-site.xml ファイルの値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.

zeppelin-env

Zeppelin 環境の値を変更します。

Restarts Zeppelin.

zeppelin-site

zeppelin-site.xml の構成設定を変更します。

Restarts Zeppelin.

zookeeper-config

ZooKeeper の zoo.cfg ファイルの値を変更します。

Restarts Zookeeper server.

zookeeper-log4j

ZooKeeper の log4j.properties ファイルの値を変更します。

Restarts Zookeeper server.

6.9.0 変更ログ

6.9.0 リリースおよびリリースノートの変更ログ
日付 イベント 説明
2023-08-30 リリースノートの更新 タイミングシーケンスの不一致の問題の修正が追加されました。
2023-08-21 リリースノートの更新 Hadoop 3.3.3 に関する既知の問題が追加されました。
2023-07-26 更新 新しい OS リリースラベル 2.0.20230612.02.0.20230628.0
2022-12-13 リリースノートが更新されました SageMaker AI でランタイムの機能を追加し、既知の問題を追加
2022-11-29 リリースノートとドキュメントが更新されました Apache Spark 用の Amazon Redshift の統合の機能が追加されました
2022-11-23 リリースノートが更新されました Log4j エントリが削除されました
2022-11-18 デプロイ完了 Amazon EMR 6.9 がすべてのサポートされているリージョンに完全にデプロイされました
2022-11-18 ドキュメント公開 Amazon EMR 6.9 リリースノートの初版が公開されました
2022-11-14 初回リリース Amazon EMR 6.9 が限定商用リージョンにデプロイされました
プライバシーサイト規約Cookie の設定
© 2025, Amazon Web Services, Inc. or its affiliates.All rights reserved.