Amazon EMRリリース 7.3.0 - Amazon EMR
7.3.0 でサポートされているライフサイクル7.3.0 リリースコンポーネント7.3.0 アプリケーションバージョン7.3.0 リリースノート7.3.0 のデフォルト Java バージョン7.3.0 コンポーネントバージョン7.3.0 設定分類7.3.0 変更ログ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMRリリース 7.3.0

7.3.0 でサポートされているライフサイクル

次の表は、Amazon EMRリリース 7.3.0 でサポートされているライフサイクルの日付を示しています。

サポートフェーズ 日付
初回リリース日 2024 年 10 月 16 日
までの標準サポート 2026 年 10 月 15 日
サポートの終了 2026 年 10 月 16 日
サポート終了 2027 年 10 月 16 日

推奨されるソフトウェアと設定でEMRクラスターに影響を与えない重大で一般的な脆弱性と露出 (CVEs) のリストについては、 コアエンジンの 7.3.0 の既知の一般的な脆弱性と露出を参照してください。

7.3.0 リリースコンポーネント

Amazon EMR 7.3.0 では、次のアプリケーションがサポートされています。

コアエンジン：

AmazonCloudWatchAgent、デルタ。Flink、Hadoop、HBase、HCatalog、Hive、Hudi、Livy、Iceberg、 JupyterEnterpriseGateway、Phoenix、Spark、Tez、Trino、Zookeeper

追加：

Hue、 JupyterHub、MXNet、Oozie、Pig、Presto、Sqoop、 TensorFlow、Zeppelin

サポートされているパッケージの詳細については、「Amazon 7.x EMR リリース」の「アプリケーションバージョン」を参照してください。コアエンジンと追加の詳細については、「Amazon EMR Standard Support」を参照してください。

7.3.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています。 AmazonCloudWatchAgent, Delta, Flink, HBase, HCatalog, Hadoop, Hive, Hudi, Hue, Iceberg, JupyterEnterpriseGateway, JupyterHub, Livy, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, Trino, Zeppelin、および ZooKeeper.

次の表は、このリリースの Amazon で利用可能なアプリケーションバージョンEMRと、前述の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示しています。

Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-7.3.0 emr-7.2.0 emr-7.1.0 emr-7.0.0
AWS SDK Java 用 2.27.12、1.12.7472.23.18、1.12.7052.23.18、1.12.6562.20.160-amzn-0、1.12.569
Python 3.93.93.93.9
Scala 2.12.182.12.172.12.172.12.17
AmazonCloudWatchAgent1.300032.21.300032.21.300032.21.300031.1
差分3.2.0-amzn-03.1.03.0.03.0.0
Flink1.18.11.18.11.18.11.18.0
Ganglia - - - -
HBase2.4.172.4.172.4.172.4.17
HCatalog3.1.33.1.33.1.33.1.3
Hadoop3.3.63.3.63.3.63.3.6
[Hive]3.1.33.1.33.1.33.1.3
Hudi0.15.0-amzn-00.14.1-amzn-10.14.1-amzn-00.14.0-amzn-1
Hue4.11.04.11.04.11.04.11.0
Iceberg1.5.2-amzn-01.5.0-amzn-01.4.3-amzn-01.4.2-amzn-0
JupyterEnterpriseGateway2.6.02.6.02.6.02.6.0
JupyterHub1.5.01.5.01.5.01.5.0
Livy0.8.00.8.00.8.00.7.1
MXNet - 1.9.11.9.11.9.1
Mahout - - - -
Oozie5.2.15.2.15.2.15.2.1
フェニックス5.1.35.1.35.1.35.1.3
Pig0.17.00.17.00.17.00.17.0
Presto0.2850.2850.2840.283
Spark3.5.13.5.13.5.03.5.0
Sqoop1.4.71.4.71.4.71.4.7
TensorFlow2.16.12.11.02.11.02.11.0
Tez0.10.20.10.20.10.20.10.2
Trino (Presto SQL）442436435426
Zeppelin0.11.10.10.10.10.10.10.1
ZooKeeper3.9.13.9.13.9.13.5.10

7.3.0 リリースノート

次のリリースノートには、Amazon EMR リリース 7.3.0 に関する情報が含まれています。変更は 7.3.0 に関連しています。

新機能

  • アプリケーションのアップグレード – Amazon EMR 7.3.0 application upgrades include Delta 3.2.0-amzn-0, Hudi 0.15.0-amzn-0, TensorFlow 2.16.1, Trino 442, and Zeppelin 11.1.

  • このリリースでは、ネットワークを介した転送中の暗号化をサポートする 22 のオープンソースエンドポイントが追加されました。この改善には、Hadoop、Hive、Tez、Phoenix、Flink などのオープンソースフレームワークが含まれます。転送中の暗号化を有効にし、これらのエンドポイントに接続する場合は、TLS通信をサポートするためにコードを変更する必要がある場合があります。必要に応じて、これらのエンドポイントの TLSを無効にできます。サポートされているエンドポイントの完全なリストについては、「転送中の暗号化サポートマトリックスについて」を参照してください。

  • Amazon EMR7.3.0 では、Apache Hive with Iceberg が AWS Glue Data Catalog をメタストアとしてサポートするようになりました。これにより、メタデータを保存するための一元化されたリポジトリ、データソースの自動クロールとメタデータの抽出、シームレスなワークフローのための他のサービスとの統合などの利点が得られます。

既知の問題

  • Python 3.11 は EMR Studio ではサポートされていません。

  • 転送中の暗号化と Kerberos 認証を使用する場合、Hive メタストアに依存する Spark アプリケーションは使用できません。この問題は HIVE-16340 で修正され、オープンソースの Spark が Hive 3 にアップグレードできるときに SPARK-44114 で完全に解決されます。その間、 hive.metastore.use.SSLを に設定することで、この問題を一時的に回避できますfalse。詳細については、「アプリケーションの設定」を参照してください。

    • Kerberos 認証を使用しない場合は、 を使用するように Spark を設定する必要がありますSSL。これを行うには、クラスターをプロビジョニングするときに次の設定を行います。

      [{
    "Classification": "spark-defaults",
    "Properties": {
        "spark.hadoop.hive.metastore.truststore.path": "/usr/share/aws/emr/security/conf/keystore-thrift.jks",
        "spark.hadoop.hive.metastore.use.SSL": "true"
    }
}]
変更点、機能強化、解決した問題

  • のTLSホスト名検証をサポートするためにYARN、このリリースでは、yarn.resourcemanager.hostname設定をプライマリインスタンスの IP アドレスからプライマリインスタンスのプライベートDNS名に変更します。

  • Amazon EMR5.36 以降、6.6 以降、または 7.0 以降の最新のパッチリリースでクラスターを起動すると、Amazon はデフォルトの Amazon EMR に最新の Amazon Linux 2023 または Amazon Linux 2 リリースEMRを使用しますAMI。詳細については、「デフォルトの Amazon Linux AMI for Amazon の使用EMR」を参照してください。

    OsReleaseLabel (Amazon Linux バージョン） Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン
    2023.5.20240916 6.1.109-118.189.amzn2023 2024 年 9 月 6 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (フランクフルト）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港） アジアパシフィック (ムンバイ）、 アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 中東 (バーレーン）、 カナダ (中部）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）、 アジアパシフィック (ハイデラバード）、 中東 (UAE）、 欧州 (スペイン）、 欧州 (チューリッヒ）、 アジアパシフィック (メルボルン）、 イスラエル (テルアビブ） カナダ西部 (カルガリー）

7.3.0 のデフォルト Java バージョン

Amazon EMRリリース 7.3 以降は、Apache Livy を除く Corretto 17 ( 17JDK) をサポートするアプリケーション向けに、Amazon Corretto 17 (JDKOpen 上に構築) がデフォルトで付属しています。

次の表は、Amazon 7.3.0 のアプリケーションのデフォルトの Java EMR バージョンを示しています。クラスターJVMのデフォルトを変更する場合は、クラスターで実行される特定の Java 仮想マシンを使用するようにアプリケーションを設定各アプリケーションの の手順に従います。1 つのクラスターに使用できる Java ランタイムバージョンは 1 つだけです。Amazon EMRは、同じクラスターで異なるランタイムバージョンで異なるノードやアプリケーションを実行することはサポートしていません。

アプリケーション Java/Amazon Corretto バージョン (デフォルトは太字)
差分 17、11、8
Flink 17、11、8
HBase 17、11、8
HCatalog 17、11、8
Hadoop 17、11、8
[Hive] 17、11、8
Hudi 17、11、8
Iceberg 17、11、8
Livy 17、11、8
Oozie 17、11、8
フェニックス 17、11、8
PrestoDB 8
Spark 17、11、8
Spark RAPIDS 17、11、8
Sqoop 8
Tez 17、11、8
Trino 21、17
Zeppelin 8
Pig 8
Zookeeper 8

7.3.0 コンポーネントバージョン

このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有でEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは、通常、コミュニティにある最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できるようにします。

Amazon の一部のコンポーネントは、コミュニティバージョンEMRとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 myapp-componentで という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2。

コンポーネント Version 説明
adot-java-agent1.31.0アプリケーションデーモンからメトリクスを収集する Java エージェント。
delta3.2.0-amzn-0Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。
emr-amazon-cloudwatch-agent1.300032.2-amzn-0Amazon EC2インスタンスから内部システムレベルのメトリクスとカスタムアプリケーションメトリクスを収集するアプリケーション。
emr-ddb5.5.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies3.12.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.16.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-notebook-env1.16.0Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env
emr-s3-dist-cp2.33.0Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select2.12.0EMR S3Select コネクタ
emr-wal-cli1.3.0emrwal のリスト/削除に使用される CLI。
emrfs2.64.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.18.1-amzn-2Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
flink-jobmanager-config1.18.1-amzn-2Apache Flink のEMRノード上のリソースの管理 JobManager。
hadoop-client3.3.6-amzn-5'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode3.3.6-amzn-5HDFS ブロックを保存するためのノードレベルのサービス。
hadoop-hdfs-library3.3.6-amzn-5HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode3.3.6-amzn-5HDFS ファイル名とブロックの場所を追跡するための サービス。
hadoop-hdfs-journalnode3.3.6-amzn-5HDFS HA クラスターの Hadoop ファイルシステムジャーナルを管理するための サービス。
hadoop-httpfs-server3.3.6-amzn-5HTTP HDFSオペレーションの エンドポイント。
hadoop-kms-server3.3.6-amzn-5Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。
hadoop-mapred3.3.6-amzn-5MapReduce MapReduce アプリケーションを実行するための実行エンジンライブラリ。
hadoop-yarn-nodemanager3.3.6-amzn-5YARN 個々のノードのコンテナを管理するための サービス。
hadoop-yarn-resourcemanager3.3.6-amzn-5YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。
hadoop-yarn-timeline-server3.3.6-amzn-5YARN アプリケーションの現在および履歴情報を取得するためのサービス。
hbase-hmaster2.4.17-amzn-7リージョンの調整と管理コマンドの実行を担当するHBaseクラスターのサービス。
hbase-region-server2.4.17-amzn-71 つ以上のHBaseリージョンに対応するサービス。
hbase-client2.4.17-amzn-7HBase コマンドラインクライアント。
hbase-rest-server2.4.17-amzn-7のRESTfulHTTPエンドポイントを提供するサービスHBase。
hbase-thrift-server2.4.17-amzn-7Thrift エンドポイントを に提供するサービスHBase。
hbase-operator-tools2.4.17-amzn-7Apache HBaseクラスターの修復ツール。
hcatalog-client3.1.3-amzn-12hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server3.1.3-amzn-12分散アプリケーション用のテーブルとストレージ管理レイヤーHCatalogである を提供するサービス。
hcatalog-webhcat-server3.1.3-amzn-12HTTP にRESTインターフェイスを提供する エンドポイントHCatalog。
hive-client3.1.3-amzn-12Hive コマンドラインクライアント。
hive-hbase3.1.3-amzn-12Hive-hbase クライアント。
hive-metastore-server3.1.3-amzn-12Hadoop オペレーション上の のメタデータを保存するセマンティックリポジトリである Hive SQL メタストアにアクセスするためのサービス。
hive-server23.1.3-amzn-12Hive クエリをウェブリクエストとして受け入れるサービス。
hudi0.15.0-amzn-0データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-presto0.15.0-amzn-0Presto を Hudi で実行するためのバンドルライブラリ。
hudi-trino0.15.0-amzn-0Trino を Hudi で実行するためのバンドルライブラリ。
hudi-spark0.15.0-amzn-0Spark を Hudi で実行するためのバンドルライブラリ。
hue-server4.11.0Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
iceberg1.5.2-amzn-0Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。
jupyterhub1.5.0Jupyter Notebook のマルチユーザーサーバー
livy-server0.8.0 インキュベーションREST Apache Spark を操作するためのインターフェイス
nginx1.12.1nginx [エンジン x] は HTTPおよびリバースプロキシサーバーです
mariadb-server5.5.68+MariaDB データベースサーバー。
nvidia-cuda12.3.0Nvidia ドライバーと Cuda ツールキット
oozie-client5.2.1Oozie コマンドラインクライアント。
oozie-server5.2.1Oozie ワークフローリクエストを受け入れるサービス。
opencv4.7.0オープンソースのコンピュータビジョンライブラリ。
phoenix-library5.1.3サーバーとクライアントの Phoenix ライブラリ
phoenix-connectors6.0.0Spark-3 用 Apache Phoenix-Connectors
phoenix-query-server6.0.0Avatica JDBC へのアクセスと Protocol Buffers およびJSONフォーマットアクセスを提供する軽量サーバー API
presto-coordinator0.285-amzn-1presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.285-amzn-1いくつかのクエリを実行するサービス。
presto-client0.285-amzn-1Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
trino-coordinator442-amzn-0trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
trino-worker442-amzn-0いくつかのクエリを実行するサービス。
trino-client442-amzn-0Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。
pig-client0.17.0Pig コマンドラインクライアント。
r4.3.2統計的コンピューティング用 R プロジェクト
ranger-kms-server2.0.0Apache Ranger Key Management System
spark-client3.5.1-amzn-1Spark コマンドラインクライアント。
spark-history-server3.5.1-amzn-1完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn3.5.1-amzn-1のメモリ内実行エンジンYARN。
spark-yarn-slave3.5.1-amzn-1YARN スレーブに必要な Apache Spark ライブラリ。
spark-rapids24.06.1-amzn-0で Apache Spark を加速する Nvidia Spark RAPIDSプラグインGPUs。
sqoop-client1.4.7Apache Sqoop コマンドラインクライアント。
tensorflow2.16.1TensorFlow 高性能数値計算用のオープンソースソフトウェアライブラリ。
tez-on-yarn0.10.2-amzn-10Tez YARNアプリケーションとライブラリ。
tez-on-worker0.10.2-amzn-10ワーカーノードの Tez YARNアプリケーションとライブラリ。
zeppelin-server0.11.1インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.9.1-amzn-1設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.9.1-amzn-1ZooKeeper コマンドラインクライアント。

7.3.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon は、変更した分類に対してEMRのみ再設定アクションを開始します。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

emr-7.3.0 分類
分類 説明 再設定アクション

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

Restarts the ResourceManager service.

container-executor

Hadoop YARNの container-executor.cfg ファイルの値を変更します。

Not available.

container-log4j

Hadoop YARNの container-log4j.properties ファイルの値を変更します。

Not available.

core-site

Hadoop の core-site.xml ファイルの値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

docker-conf

Docker 関連の設定を変更します。

Not available.

emrfs-site

EMRFS 設定を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

flink-conf

flink-conf.yaml の設定を変更します。

Restarts Flink history server.

flink-log4j

Flink log4j.properties の設定を変更します。

Restarts Flink history server.

flink-log4j-session

Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。

Restarts Flink history server.

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

Restarts Flink history server.

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer.

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

Not available.

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

Not available.

hbase

Apache の Amazon EMRキュレート設定HBase。

Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts.

hbase-env

HBaseの環境の値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-log4j

HBaseの hbase-log4j.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-metrics

HBaseの hadoop-metrics2-hbase.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-policy

HBaseの hbase-policy.xml ファイルの値を変更します。

Not available.

hbase-site

HBaseの hbase-site.xml ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer.

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

This classification should not be reconfigured.

hdfs-env

HDFS 環境の値を変更します。

Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC.

hdfs-site

HDFSの hdfs-site.xml の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.

hcatalog-env

HCatalogの環境の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-jndi

HCatalogの jndi.properties の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-proto-hive-site

HCatalogの proto-hive-site.xml の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-webhcat-env

HCatalog W ebHCatの環境の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-log4j2

HCatalog W ebHCatの log4j2.properties の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-site

HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。

Restarts Hive WebHCat server.

hive

Apache Hive の Amazon EMRが厳選した設定。

Sets configurations to launch Hive LLAP service.

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

Not available.

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

Not available.

hive-env

Hive 環境の値を変更します。

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore.

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

Not available.

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

Not available.

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

Not available.

hive-site

Hive の hive-site.xml ファイルの値を変更します

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin.

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

Not available.

hue-ini

Hue の ini ファイルの値を変更します

Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations.

httpfs-env

HTTPFS 環境の値を変更します。

Restarts Hadoop Httpfs service.

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

Restarts Hadoop Httpfs service.

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

Not available.

hadoop-kms-env

Hadoop KMS環境の値を変更します。

Restarts Hadoop-KMS service.

hadoop-kms-java-home

Hadoop の Java KMS ホームを変更する

Not available.

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

Not available.

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

Restarts Hadoop-KMS and Ranger-KMS service.

hudi-env

Hudi 環境の値を変更します。

Not available.

hudi-defaults

Hudi の hudi-defaults.conf ファイルの値を変更します。

Not available.

iceberg-defaults

Iceberg の iceberg-defaults.conf ファイルの値を変更します。

Not available.

delta-defaults

Delta の delta-defaults.conf ファイルの値を変更します。

Not available.

jupyter-notebook-conf

Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。

Not available.

jupyter-hub-conf

JupyterHubsの jupyterhub_config.py ファイルの値を変更します。

Not available.

jupyter-s3-conf

Jupyter Notebook の S3 の永続性を設定します。

Not available.

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

Not available.

livy-conf

Livy の livy.conf ファイルの値を変更します。

Restarts Livy Server.

livy-env

Livy 環境の値を変更します。

Restarts Livy Server.

livy-log4j2

Livy の log4j2.properties の設定を変更します。

Restarts Livy Server.

mapred-env

MapReduce アプリケーションの環境の値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

oozie-env

Oozie の環境の値を変更します。

Restarts Oozie.

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

Restarts Oozie.

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

Restarts Oozie.

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

Not available.

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

Not available.

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

Restarts Phoenix-QueryServer.

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

Not available.

pig-env

Pig 環境の値を変更します。

Not available.

pig-properties

Pig の pig.properties ファイルの値を変更します。

Restarts Oozie.

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

Not available.

presto-log

Presto の log.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-config

Presto の config.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

Not available.

presto-env

Presto の presto-env.sh ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-node

Presto の node.properties ファイルの値を変更します。

Not available.

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

Not available.

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

Not available.

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

Not available.

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

Not available.

presto-connector-lakeformation

Presto の lakeformation.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

Not available.

presto-connector-memory

Presto の memory.properties ファイルの値を変更します。

Not available.

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

Not available.

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

Not available.

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

Not available.

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

Not available.

presto-connector-redshift

Presto の redshift.properties ファイルの値を変更します。

Not available.

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

Not available.

presto-connector-tpcds

Presto の tpcds.properties ファイルの値を変更します。

Not available.

trino-log

Trino の log.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-config

Trino の config.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-password-authenticator

Trino の password-authenticator.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-env

Trino の trino-env.sh ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-node

Trino の node.properties ファイルの値を変更します。

Not available.

trino-connector-blackhole

Trino の blackhole.properties ファイルの値を変更します。

Not available.

trino-connector-cassandra

Trino の cassandra.properties ファイルの値を変更します。

Not available.

trino-connector-delta

Trino の delta.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-hive

Trino の hive.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-exchange-manager

Trino の exchange-manager.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-iceberg

Trino の iceberg.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-hudi

Trino の hudi.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-jmx

Trino の jmx.properties ファイルの値を変更します。

Not available.

trino-connector-kafka

Trino の kafka.properties ファイルの値を変更します。

Not available.

trino-connector-localfile

Trino の localfile.properties ファイルの値を変更します。

Not available.

trino-connector-memory

Trino の memory.properties ファイルの値を変更します。

Not available.

trino-connector-mongodb

Trino の mongodb.properties ファイルの値を変更します。

Not available.

trino-connector-mysql

Trino の mysql.properties ファイルの値を変更します。

Not available.

trino-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

trino-connector-raptor

Trino の raptor.properties ファイルの値を変更します。

Not available.

trino-connector-redis

Trino の redis.properties ファイルの値を変更します。

Not available.

trino-connector-redshift

Trino の redshift.properties ファイルの値を変更します。

Not available.

trino-connector-tpch

Trino の tpch.properties ファイルの値を変更します。

Not available.

trino-connector-tpcds

Trino の tpcds.properties ファイルの値を変更します。

Not available.

ranger-kms-dbks-site

Ranger の dbks-site.xml ファイルの値を変更しますKMS。

Restarts Ranger KMS Server.

ranger-kms-site

Ranger の ranger-kms-site.xml ファイルの値を変更しますKMS。

Restarts Ranger KMS Server.

ranger-kms-env

Ranger KMS環境の値を変更します。

Restarts Ranger KMS Server.

ranger-kms-logback

Ranger の kms-logback.xml ファイルの値を変更しますKMS。

Not available.

ranger-kms-db-ca

Ranger との S3 for MySQL SSL接続の CA ファイルの値を変更しますKMS。

Not available.

spark

Apache Spark の Amazon EMRが厳選した設定。

This property modifies spark-defaults. See actions there.

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-env

Spark 環境の値を変更します。

Restarts Spark history server and Spark thrift server.

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

Not available.

spark-log4j2

Spark の log4j2.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

sqoop-env

Sqoop の環境の値を変更します。

Not available.

sqoop-oraoop-site

Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。

Not available.

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

Not available.

tez-site

Tez の tez-site.xml ファイルの値を変更します。

Restart Oozie and HiveServer2.

yarn-env

YARN 環境の値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

yarn-site

YARNの yarn-site.xml ファイルの値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.

zeppelin-env

Zeppelin 環境の値を変更します。

Restarts Zeppelin.

zeppelin-site

zeppelin-site.xml の構成設定を変更します。

Restarts Zeppelin.

zookeeper-config

ZooKeeperの zoo.cfg ファイルの値を変更します。

Restarts Zookeeper server.

zookeeper-logback

ZooKeeperの logback.xml ファイルの値を変更します。

Restarts Zookeeper server.

emr-metrics

このノードの emr メトリクス設定を変更します。

Restarts the CloudWatchAgent service.

7.3.0 変更ログ

7.3.0 リリースおよびリリースノートの変更ログ
日付 イベント 説明
2024-10-17 ドキュメント公開 Amazon EMR 7.3.0 リリースノートが最初に公開されました

2024-10-16

 デプロイ完了 Amazon EMR 7.3.0 がサポートされているすべてのリージョンに完全にデプロイされている
2024-10-14 初回リリース Amazon EMR 7.3.0 が最初の商用リージョンに最初にデプロイされた