Amazon EMRリリース 6.8.1 - Amazon EMR
6.8.1 アプリケーションバージョン6.8.1 リリースノート6.8.1 コンポーネントバージョン6.8.1 設定分類6.8.1 変更ログ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMRリリース 6.8.1

6.8.1 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています: Flink、Ganglia、HBase、HCatalog、Hadoop、Hive、Hudi、Hue、Iceberg、JupyterEnterpriseGateway、JupyterHub、Livy、MXNet、Oozie、Phoenix、Pig、Presto、Spark、Sqoop、TensorFlow、Tez、Trino、Zeppelin、ZooKeeper。

次の表に、この Amazon リリースで利用可能なアプリケーションバージョンEMRと、前の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示します。

Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-6.8.1 emr-6.8.0 emr-6.7.0 emr-6.6.0
AWS SDK for Java 1.12.1701.12.1701.12.1701.12.170
Python 2.7、3.72.7、3.72.7、3.72.7、3.7
Scala 2.12.152.12.152.12.152.12.10
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink1.15.11.15.11.14.21.14.2
Ganglia3.7.23.7.23.7.23.7.2
HBase2.4.122.4.122.4.42.4.4
HCatalog3.1.33.1.33.1.33.1.2
Hadoop3.2.13.2.13.2.13.2.1
Hive3.1.33.1.33.1.33.1.2
Hudi0.11.1-amzn-00.11.1-amzn-00.11.0-amzn-00.10.1-amzn-0
Hue4.10.04.10.04.10.04.10.0
Iceberg0.14.0-amzn-00.14.0-amzn-00.13.1-amzn-00.13.1
JupyterEnterpriseGateway2.1.02.1.02.1.02.1.0
JupyterHub1.4.11.4.11.4.11.4.1
Livy0.7.10.7.10.7.10.7.1
MXNet1.9.11.9.11.8.01.8.0
Mahout - - - -
Oozie5.2.15.2.15.2.15.2.1
Phoenix5.1.25.1.25.1.25.1.2
Pig0.17.00.17.00.17.00.17.0
Presto0.2730.2730.2720.267
Spark3.3.03.3.03.2.13.2.0
Sqoop1.4.71.4.71.4.71.4.7
TensorFlow2.9.12.9.12.4.12.4.1
Tez0.9.20.9.20.9.20.9.2
Trino (PrestoSQL)388388378367
Zeppelin0.10.10.10.10.10.00.10.0
ZooKeeper3.5.103.5.103.5.73.5.7

6.8.1 リリースノート

次のリリースノートには、Amazon EMRリリース 6.8.1 に関する情報が含まれています。6.8.0 からの変更が含まれています。リリースタイムラインの詳細については、「6.8.1 変更ログ」を参照してください。

変更点、機能強化、解決した問題

  • Hadoop 3.3.3 ではYARN、 (YARN-9608) の変更が導入されました。これにより、アプリケーションが完了するまでコンテナが廃止されたノードが維持されます。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。このアプローチでは、マネージドスケーリングが有効になっているかどうかにかかわらず、クラスターのリソースが十分に活用されない可能性もあります。

    Amazon EMRリリース 6.11.0 以降および 6.8.1、6.9.1、および 6.10.1 yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applicationsでは、この問題を解決yarn-site.xmlするために の値が falseで に設定されています。

    この修正は YARN-9608 によって発生した問題に対処していますが、マネージドスケーリングが有効になっているクラスターでシャッフルデータが失われるため、Hive ジョブが失敗する可能性があります。このリリースでは、Hive ワークロードにも yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data を設定することで、このリスクを軽減しました。この設定は、Amazon EMRリリース 6.11.0 以降でのみ使用できます。

  • インスタンスグループが設定されているクラスター内のプライマリノードのフェイルオーバー後、メトリクスコレクターはコントロールプレーンにメトリクスを送信しません。

  • このリリースでは、メトリクスコレクターエンドポイントへの失敗したHTTPリクエストの再試行がなくなります。

  • このリリースには、高可用性クラスターが再起動後に障害状態から回復できるようにする変更が含まれています。

  • このリリースでは、ユーザーが作成した大規模な によってオーバーフロー例外UIDsが発生する問題が修正されています。

  • このリリースでは、Amazon EMR再設定プロセスのタイムアウトの問題が修正されています。

  • このリリースでは、再構成に失敗したために他の無関係なプロセスが中断される可能性があるという問題が防止されます。

  • このリリースにはセキュリティ修正が含まれています。

  • このリリースでは、Amazon で Spark でワークロードを実行しているクラスターが、contains、、startsWithendsWithおよび で誤った結果をサイレントに受信EMRする場合がある問題が修正されていますlike。この問題は、Amazon EMR Hive3 メタストアサーバー () にメタデータがあるパーティション化されたフィールドで式を使用する場合に発生しますHMS。

  • Amazon 6EMR.6.0 から 6.9.x では、動的パーティションと ORDER BY または SORT BY 句を持つINSERTクエリには常に 2 つのリデューサーがあります。この問題は、動的なソートパーティションの最適化をコストベースの決定下に置くOSS変更 HIVE-20703 が原因で発生します。ワークロードで動的パーティションのソートが不要な場合は、hive.optimize.sort.dynamic.partition.threshold プロパティを -1 に設定して新機能を無効にし、リデューサーの数を正しく計算することをお勧めします。この問題は HIVE-22269 の一部として OSS Hive で修正され、Amazon 6.10.0 EMR で修正されています。

  • をスクラッチディレクトリHDFSとして使用し、小さなファイルのマージを有効にし、テーブルに静的パーティションパスが含まれていると、Hive でデータが失われる可能性があります。

  • このリリースでは、ETLジョブの終了時にマージスモールファイル (デフォルトでは無効) が有効になっている場合の Hive のパフォーマンスの問題が修正されています。

  • このリリースでは、ユーザー定義関数 () がない場合の Glue 側のスロットリングの問題が修正されていますUDF。

  • このリリースでは、ログプッシャーがYARN廃止された場合にコンテナログを S3 にプッシュする前に、ノードログ集約サービスによってコンテナログが削除される問題が修正されています。

  • このリリースでは、 の永続的なストアファイル追跡による圧縮/アーカイブされたファイルの処理が修正されていますHBase。

  • このリリースでは、spark-defaults.conf の spark.yarn.heterogeneousExecutors.enabled 設定にデフォルトの true 値を設定したときに Spark のパフォーマンスに影響する問題が修正されています。

  • このリリースでは、低減タスクがシャッフルデータの読み取りに失敗する問題が修正されています。この問題により、メモリ破損エラーで Hive のクエリが失敗していました。

  • このリリースでは、ノード交換中に HDFS NameNode (NN) サービスがセーフモードで停止した場合にノードプロビジョナーが失敗する問題が修正されています。

  • このリリースでは、Presto または Trino を実行するクラスターのEMRクラスタースケーリングワークフローに新しい再試行メカニズムが追加されました。この改善により、サイズ変更操作が 1 回失敗したためにクラスターのサイズ変更が無期限に停止するリスクが軽減されます。また、クラスターのスケールアップとスケールダウンが速くなるため、クラスターの使用率も向上します。

  • このリリースでは、クラスターのスケールダウンロジックが改善され、クラスターがコアノードのスケールダウンをクラスターのHDFSレプリケーション係数設定未満で試行しないようにしました。これはデータの冗長性要件に合致し、スケーリング操作が停止する可能性が低くなります。

  • ログ管理デーモンがアップグレードされ、ローカルインスタンスストレージ上のオープンファイルハンドルでアクティブに使用されているすべてのログと、関連するプロセスが識別されるようになりました。このアップグレードにより、Amazon はログが Amazon S3 にアーカイブされた後にファイルEMRを適切に削除し、ストレージ領域を再利用できます。

  • このリリースには、ローカルクラスターファイルシステム内の空で未使用のステップディレクトリを削除するログ管理デーモンの機能強化が含まれています。空のディレクトリが多すぎると、Amazon EMR デーモンのパフォーマンスが低下し、ディスクが過剰に使用される可能性があります。

  • このリリースでは、複数のプライマリノードがあるクラスターからプライマリノードの 1 つを複製してエッジノードを作成する際に発生する可能性のある問題が修正されています。複製されたエッジノードは、スケールダウン操作で遅延を引き起こしたり、プライマリノードのメモリ使用率が高くなったりする可能性があります。EMR クラスターと通信するエッジノードを作成する方法の詳細については、 のaws-samplesリポジトリの「エッジノードの作成」を参照してください GitHub。

  • このリリースでは、再起動後に Amazon EBSボリュームをインスタンスに再マウントするために Amazon がEMR使用する自動化プロセスが改善されました。

  • このリリースでは、Amazon が Amazon に発行する Hadoop EMR メトリクスに断続的なギャップが生じる問題が修正されています CloudWatch。

  • このリリースでは、EMRクラスターのノードの除外リストを含むYARN設定ファイルの更新が、ディスクの過剰使用により中断される問題が修正されています。更新が不完全だと、今後のクラスターのスケールダウン操作が妨げられます。このリリースでは、クラスターが正常に動作し、スケーリング操作が期待どおりに機能することが保証されます。

  • このリリースでは、クラスター上のログ管理デーモンが改善され、EMRクラスター内の追加のログフォルダをモニタリングできるようになりました。この改善により、ディスクの過剰使用シナリオが最小限に抑えられます。

  • このリリースでは、クラスター上のログ管理デーモンが停止すると、自動的に再起動されます。この改善により、ディスクの過剰使用が原因でノードが異常に見えるリスクが軽減されます。

  • このリリースでは、クラスターのスケールダウン中に Amazon S3 にログをアーカイブするためのサポートが追加されています。以前は、Amazon S3 にログファイルをアーカイブできるのはクラスター終了時のみでした。この新機能により、クラスターで生成されたログファイルは、ノードが終了した後も Amazon S3 に残ります。詳細については、「クラスターのログ記録とデバッグを設定する」を参照してください。

  • このリリースでは、ブートストラップアクションURIの Amazon S3 がポート番号で終了したときに発生する問題を修正しました。例: a.b.c.d:4345。Amazon EMRはこれらの を誤って解析していたためURIs、関連するブートストラップアクションは失敗します。

  • このリリースでは、Apache BigTop と Amazon EMR on EC2クラスターの起動シーケンス間のタイミングシーケンスの不一致の問題が修正されています。このタイミングシーケンスの不一致は、システムが 2 つ以上の操作を適切なシーケンスで実行するのではなく、同時に実行しようとした場合に発生します。その結果、特定のクラスター構成でインスタンスの起動がタイムアウトし、クラスターの起動時間が遅くなりました。

  • Amazon 5.36 以上、6EMR.6 以上、または 7.0 以上の最新のパッチリリースでクラスターを起動すると、Amazon EMRはデフォルトの Amazon に対して最新の Amazon Linux 2023 または Amazon Linux 2 EMR リリースを使用しますAMI。詳細については、「デフォルトの Amazon Linux for Amazon の使用AMIEMR」を参照してください。

    OsReleaseLabel (Amazon Linux バージョン） Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン
    2.0.20240709.1 4.14.348 2024 年 7 月 23 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 中東 (バーレーン）、 カナダ (中部）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）、 アジアパシフィック (ハイデラバード） 中東 (UAE）、 欧州 (スペイン）、 欧州 (チューリッヒ）、 アジアパシフィック (メルボルン）、 イスラエル (テルアビブ）、
    2.0.20240223.0 4.14.336 2024 年 3 月 8 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20240131.0 4.14.336 2024 年 2 月 14 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20240124.0 4.14.336 2024 年 2 月 7 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20240109.0 4.14.334 2024 年 1 月 24 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20231218.0 4.14.330 2024 年 1 月 2 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20231206.0 4.14.330 2023 年 12 月 22 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20231116.0 4.14.328 2023 年 12 月 11 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20231101.0 4.14.327 2023 年 11 月 16 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20231020.1 4.14.326 2023 年 11 月 7 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20231012.1 4.14.326 2023 年 10 月 26 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20230926.0 4.14.322 2023 年 10 月 19 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2.0.20230906.0 4.14.322 2023 年 10 月 4 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、カナダ (中部)
    2.0.20230822.0 4.14.322 2023 年 8 月 30 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、カナダ (中部)
    2.0.20230808.0 4.14.320 2023 年 8 月 24 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、カナダ (中部)
    2.0.20230727.0 4.14.320 2023 年 8 月 14 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)

6.8.1 コンポーネントバージョン

このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有のものでEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは、通常、 コミュニティにある最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できます。

Amazon の一部のコンポーネントEMRは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 myapp-componentの という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2。

コンポーネント Version 説明
aws-sagemaker-spark-sdk1.4.2Amazon SageMaker Spark SDK
emr-ddb4.16.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies3.2.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.5.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-notebook-env1.7.0Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env
emr-s3-dist-cp2.22.0Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select2.1.0EMR S3Select コネクタ
emrfs2.53.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.15.1Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
flink-jobmanager-config1.15.1Apache Flink のEMRノード上のリソースの管理 JobManager。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client3.2.1-amzn-8.1'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode3.2.1-amzn-8.1HDFS ブロックを保存するためのノードレベルのサービス。
hadoop-hdfs-library3.2.1-amzn-8.1HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode3.2.1-amzn-8.1HDFS ファイル名とブロックの場所を追跡するための サービス。
hadoop-hdfs-journalnode3.2.1-amzn-8.1HDFS HA クラスターで Hadoop ファイルシステムジャーナルを管理するための サービス。
hadoop-httpfs-server3.2.1-amzn-8.1HTTP HDFSオペレーションの エンドポイント。
hadoop-kms-server3.2.1-amzn-8.1Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。
hadoop-mapred3.2.1-amzn-8.1MapReduce MapReduce アプリケーションを実行するための 実行エンジンライブラリ。
hadoop-yarn-nodemanager3.2.1-amzn-8.1YARN 個々のノードのコンテナを管理するための サービス。
hadoop-yarn-resourcemanager3.2.1-amzn-8.1YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。
hadoop-yarn-timeline-server3.2.1-amzn-8.1YARN アプリケーションの現在および履歴情報を取得するためのサービス。
hbase-hmaster2.4.12-amzn-0.1リージョンの調整と管理コマンドの実行を担当する HBaseクラスターのサービス。
hbase-region-server2.4.12-amzn-0.11 つ以上のHBaseリージョンに対応するサービス。
hbase-client2.4.12-amzn-0.1HBase コマンドラインクライアント。
hbase-rest-server2.4.12-amzn-0.1のRESTfulHTTPエンドポイントを提供するサービスHBase。
hbase-thrift-server2.4.12-amzn-0.1Thrift エンドポイントを に提供するサービスHBase。
hbase-operator-tools2.4.12-amzn-0.1Apache HBaseクラスターの修復ツール。
hcatalog-client3.1.3-amzn-1.1hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server3.1.3-amzn-1.1分散アプリケーション用のテーブルおよびストレージ管理レイヤーHCatalogである を提供するサービス。
hcatalog-webhcat-server3.1.3-amzn-1.1HTTP へのRESTインターフェイスを提供する エンドポイントHCatalog。
hive-client3.1.3-amzn-1.1Hive コマンドラインクライアント。
hive-hbase3.1.3-amzn-1.1Hive-hbase クライアント。
hive-metastore-server3.1.3-amzn-1.1Hadoop オペレーションSQLで のメタデータを保存するセマンティックリポジトリである Hive メタストアにアクセスするためのサービス。
hive-server23.1.3-amzn-1.1Hive クエリをウェブリクエストとして受け入れるサービス。
hudi0.11.1-amzn-0データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-presto0.11.1-amzn-0Presto を Hudi で実行するためのバンドルライブラリ。
hudi-trino0.11.1-amzn-0Trino を Hudi で実行するためのバンドルライブラリ。
hudi-spark0.11.1-amzn-0Spark を Hudi で実行するためのバンドルライブラリ。
hue-server4.10.0Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
iceberg0.14.0-amzn-0Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。
jupyterhub1.4.1Jupyter Notebook のマルチユーザーサーバー
livy-server0.7.1-incubatingREST Apache Spark とやり取りするための インターフェイス
nginx1.12.1nginx [エンジン x] は HTTPおよびリバースプロキシサーバーです
mxnet1.9.1フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。
mariadb-server5.5.68+MariaDB データベースサーバー。
nvidia-cuda11.7.0Nvidia ドライバーと Cuda ツールキット
oozie-client5.2.1Oozie コマンドラインクライアント。
oozie-server5.2.1Oozie ワークフローリクエストを受け入れるサービス。
opencv4.5.0オープンソースのコンピュータビジョンライブラリ。
phoenix-library5.1.2サーバーとクライアントの Phoenix ライブラリ
phoenix-connectors5.1.2Spark-3 用 Apache Phoenix-Connectors
phoenix-query-server5.1.2Avatica JDBCへのアクセスとプロトコルバッファ、JSONフォーマットアクセスを提供する軽量サーバー API
presto-coordinator0.273.3-amzn-0presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.273.3-amzn-0いくつかのクエリを実行するサービス。
presto-client0.273.3-amzn-0Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
trino-coordinator388-amzn-0trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
trino-worker388-amzn-0いくつかのクエリを実行するサービス。
trino-client388-amzn-0Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。
pig-client0.17.0Pig コマンドラインクライアント。
r4.0.2統計的コンピューティング用 R プロジェクト
ranger-kms-server2.0.0Apache Ranger Key Management System
spark-client3.3.0-amzn-0.1Spark コマンドラインクライアント。
spark-history-server3.3.0-amzn-0.1完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn3.3.0-amzn-0.1のインメモリ実行エンジンYARN。
spark-yarn-slave3.3.0-amzn-0.1YARN スレーブに必要な Apache Spark ライブラリ。
spark-rapids22.06.0-amzn-0で Apache Spark を高速化する Nvidia Spark RAPIDSプラグインGPUs。
sqoop-client1.4.7Apache Sqoop コマンドラインクライアント。
tensorflow2.9.1TensorFlow 高性能な数値計算のための オープンソースソフトウェアライブラリ。
tez-on-yarn0.9.2Tez YARNアプリケーションとライブラリ。
webserver2.4.41+Apache HTTPサーバー。
zeppelin-server0.10.1インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.5.10設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.5.10ZooKeeper コマンドラインクライアント。

6.8.1 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon は、変更した分類に対してEMRのみ再設定アクションを開始します。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

emr-6.8.1 の分類
分類 説明 再設定アクション

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

Restarts the ResourceManager service.

container-executor

Hadoop YARNの container-executor.cfg ファイルの値を変更します。

Not available.

container-log4j

Hadoop YARNの container-log4j.properties ファイルの値を変更します。

Not available.

core-site

Hadoop の core-site.xml ファイルの値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

docker-conf

Docker 関連の設定を変更します。

Not available.

emrfs-site

EMRFS 設定を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

flink-conf

flink-conf.yaml の設定を変更します。

Restarts Flink history server.

flink-log4j

Flink log4j.properties の設定を変更します。

Restarts Flink history server.

flink-log4j-session

Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。

Restarts Flink history server.

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

Restarts Flink history server.

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer.

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

Not available.

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

Not available.

hbase

Amazon EMRが厳選した Apache の設定HBase。

Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts.

hbase-env

HBaseの環境の値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-log4j

HBaseの hbase-log4j.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-metrics

HBaseの hadoop-metrics2-hbase.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-policy

HBaseの hbase-policy.xml ファイルの値を変更します。

Not available.

hbase-site

HBaseの hbase-site.xml ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer.

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

This classification should not be reconfigured.

hdfs-env

HDFS 環境の値を変更します。

Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC.

hdfs-site

HDFSの hdfs-site.xml の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.

hcatalog-env

HCatalogの環境の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-jndi

HCatalogの jndi.properties の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-proto-hive-site

HCatalogの proto-hive-site.xml の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-webhcat-env

HCatalog W のebHCat環境の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-log4j2

HCatalog W ebHCatの log4j2.properties の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-site

HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。

Restarts Hive WebHCat server.

hive

Apache Hive の Amazon EMRが厳選した設定。

Sets configurations to launch Hive LLAP service.

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

Not available.

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

Not available.

hive-env

Hive 環境の値を変更します。

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore.

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

Not available.

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

Not available.

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

Not available.

hive-site

Hive の hive-site.xml ファイルの値を変更します

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin.

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

Not available.

hue-ini

Hue の ini ファイルの値を変更します

Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations.

httpfs-env

HTTPFS 環境の値を変更します。

Restarts Hadoop Httpfs service.

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

Restarts Hadoop Httpfs service.

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

Not available.

hadoop-kms-env

Hadoop KMS環境の値を変更します。

Restarts Hadoop-KMS service.

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

Not available.

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

Restarts Hadoop-KMS and Ranger-KMS service.

hudi-env

Hudi 環境の値を変更します。

Not available.

hudi-defaults

Hudi の hudi-defaults.conf ファイルの値を変更します。

Not available.

iceberg-defaults

Iceberg の iceberg-defaults.conf ファイルの値を変更します。

Not available.

jupyter-notebook-conf

Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。

Not available.

jupyter-hub-conf

JupyterHubsの jupyterhub_config.py ファイルの値を変更します。

Not available.

jupyter-s3-conf

Jupyter Notebook の S3 の永続性を設定します。

Not available.

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

Not available.

livy-conf

Livy の livy.conf ファイルの値を変更します。

Restarts Livy Server.

livy-env

Livy 環境の値を変更します。

Restarts Livy Server.

livy-log4j

Livy の log4j.properties の設定を変更します。

Restarts Livy Server.

mapred-env

MapReduce アプリケーションの環境の値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

oozie-env

Oozie の環境の値を変更します。

Restarts Oozie.

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

Restarts Oozie.

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

Restarts Oozie.

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

Not available.

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

Not available.

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

Restarts Phoenix-QueryServer.

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

Not available.

pig-env

Pig 環境の値を変更します。

Not available.

pig-properties

Pig の pig.properties ファイルの値を変更します。

Restarts Oozie.

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

Not available.

presto-log

Presto の log.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-config

Presto の config.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

Not available.

presto-env

Presto の presto-env.sh ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-node

Presto の node.properties ファイルの値を変更します。

Not available.

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

Not available.

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

Not available.

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

Not available.

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

Not available.

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

Not available.

presto-connector-memory

Presto の memory.properties ファイルの値を変更します。

Not available.

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

Not available.

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

Not available.

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

Not available.

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

Not available.

presto-connector-redshift

Presto の redshift.properties ファイルの値を変更します。

Not available.

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

Not available.

presto-connector-tpcds

Presto の tpcds.properties ファイルの値を変更します。

Not available.

trino-log

Trino の log.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-config

Trino の config.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-password-authenticator

Trino の password-authenticator.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-env

Trino の trino-env.sh ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-node

Trino の node.properties ファイルの値を変更します。

Not available.

trino-connector-blackhole

Trino の blackhole.properties ファイルの値を変更します。

Not available.

trino-connector-cassandra

Trino の cassandra.properties ファイルの値を変更します。

Not available.

trino-connector-hive

Trino の hive.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-iceberg

Trino の iceberg.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-jmx

Trino の jmx.properties ファイルの値を変更します。

Not available.

trino-connector-kafka

Trino の kafka.properties ファイルの値を変更します。

Not available.

trino-connector-localfile

Trino の localfile.properties ファイルの値を変更します。

Not available.

trino-connector-memory

Trino の memory.properties ファイルの値を変更します。

Not available.

trino-connector-mongodb

Trino の mongodb.properties ファイルの値を変更します。

Not available.

trino-connector-mysql

Trino の mysql.properties ファイルの値を変更します。

Not available.

trino-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

trino-connector-raptor

Trino の raptor.properties ファイルの値を変更します。

Not available.

trino-connector-redis

Trino の redis.properties ファイルの値を変更します。

Not available.

trino-connector-redshift

Trino の redshift.properties ファイルの値を変更します。

Not available.

trino-connector-tpch

Trino の tpch.properties ファイルの値を変更します。

Not available.

trino-connector-tpcds

Trino の tpcds.properties ファイルの値を変更します。

Not available.

ranger-kms-dbks-site

Ranger の dbks-site.xml ファイルの値を変更しますKMS。

Restarts Ranger KMS Server.

ranger-kms-site

Ranger の ranger-kms-site.xml ファイルの値を変更しますKMS。

Restarts Ranger KMS Server.

ranger-kms-env

Ranger KMS環境の値を変更します。

Restarts Ranger KMS Server.

ranger-kms-log4j

Ranger の kms-log4j.properties ファイルの値を変更しますKMS。

Not available.

ranger-kms-db-ca

Ranger とSSLの接続で S3 SQLの CA ファイルの値を変更しますKMS。

Not available.

spark

Apache EMRSpark の Amazon が厳選した設定。

This property modifies spark-defaults. See actions there.

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-env

Spark 環境の値を変更します。

Restarts Spark history server and Spark thrift server.

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

Not available.

spark-log4j2

Spark の log4j2.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

sqoop-env

Sqoop の環境の値を変更します。

Not available.

sqoop-oraoop-site

Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。

Not available.

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

Not available.

tez-site

Tez の tez-site.xml ファイルの値を変更します。

Restart Oozie and HiveServer2.

yarn-env

YARN 環境の値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

yarn-site

YARNの yarn-site.xml ファイルの値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.

zeppelin-env

Zeppelin 環境の値を変更します。

Restarts Zeppelin.

zeppelin-site

zeppelin-site.xml の構成設定を変更します。

Restarts Zeppelin.

zookeeper-config

ZooKeeperの zoo.cfg ファイルの値を変更します。

Restarts Zookeeper server.

zookeeper-log4j

ZooKeeperの log4j.properties ファイルの値を変更します。

Restarts Zookeeper server.

6.8.1 変更ログ

6.8.1 リリースおよびリリースノートの変更ログ
日付 イベント 説明
2023-08-30 リリースノートの更新 リリースノートにコントロールプレーン関連の修正をいくつか追加しました
2023-08-21 ドキュメント公開 Amazon EMR 6.8.1 リリースノートが初めて公開されました
2023-08-16 デプロイ完了 Amazon EMR 6.8.1 がサポートされているすべてのリージョンに完全にデプロイされました
2023-08-04 初回リリース Amazon EMR 6.8.1 が限定商用リージョンに初めてデプロイされました