6.3.0 アプリケーションバージョン 6.3.0 リリースノート 6.3.0 コンポーネントバージョン 6.3.0 設定分類

Amazon EMRリリース 6.3.0

6.3.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています。 Flink, Ganglia, HBase, HCatalog, Hadoop, Hive, Hudi, Hue, JupyterEnterpriseGateway, JupyterHub, Livy, MXNet, Oozie, Phoenix, Pig, Presto, PrestoSQL, Spark, Sqoop, TensorFlow, Tez, Zeppelin、および ZooKeeper.

次の表は、Amazon のこのリリースで使用できるアプリケーションバージョンEMRと、前述の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示しています。

Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、次のトピックを参照してください。

アプリケーションバージョン情報
	emr-6.3.0	emr-6.2.1	emr-6.2.0	emr-6.1.1
AWS SDK Java 用	1.11.977	1.11.880	1.11.880	1.11.828
Python	2.7、3.7	2.7、3.7	2.7、3.7	2.7、3.7
Scala	2.12.10	2.12.10	2.12.10	2.12.10
AmazonCloudWatchAgent	-	-	-	-
差分	-	-	-	-
Flink	1.12.1	1.11.2	1.11.2	1.11.0
Ganglia	3.7.2	3.7.2	3.7.2	3.7.2
HBase	2.2.6	2.2.6-amzn-0	2.2.6-amzn-0	2.2.5
HCatalog	3.1.2	3.1.2	3.1.2	3.1.2
Hadoop	3.2.1	3.2.1	3.2.1	3.2.1
[Hive]	3.1.2	3.1.2	3.1.2	3.1.2
Hudi	0.7.0-amzn-0	0.6.0-amzn-1	0.6.0-amzn-1	0.5.2-incubating-amzn-2
Hue	4.9.0	4.8.0	4.8.0	4.7.1
Iceberg	-	-	-	-
JupyterEnterpriseGateway	2.1.0	2.1.0	2.1.0	-
JupyterHub	1.2.2	1.1.0	1.1.0	1.1.0
Livy	0.7.0	0.7.0	0.7.0	0.7.0
MXNet	1.7.0	1.7.0	1.7.0	1.6.0
Mahout	-	-	-	-
Oozie	5.2.1	5.2.0	5.2.0	5.2.0
フェニックス	5.0.0	5.0.0	5.0.0	5.0.0
Pig	0.17.0	0.17.0	0.17.0	0.17.0
Presto	0.245.1	0.238.3	0.238.3	0.232
Spark	3.1.1	3.0.1	3.0.1	3.0.0
Sqoop	1.4.7	1.4.7	1.4.7	1.4.7
TensorFlow	2.4.1	2.3.1	2.3.1	2.1.0
Tez	0.9.2	0.9.2	0.9.2	0.9.2
Trino (Presto SQL）	350	343	343	338
Zeppelin	0.9.0	0.9.0	0.9.0	0.9.0
ZooKeeper	3.4.14	3.4.14	3.4.14	3.4.14

6.3.0 リリースノート

次のリリースノートには、Amazon EMRリリース 6.3.0 に関する情報が含まれています。6.2.0 からの変更が含まれています。

初回リリース日: 2021 年 5 月 12 日

最終更新日: 2021 年 8 月 9 日

サポートされているアプリケーション

AWS SDK for Java バージョン 1.11.977
CloudWatch シンクバージョン 2.1.0
DynamoDB Connector バージョン 4.16.0
EMRFS バージョン 2.46.0
Amazon EMR Goodies バージョン 3.2.0
Amazon EMR Kinesis Connector バージョン 3.5.0
Amazon EMR Record Server バージョン 2.0.0
Amazon EMR Scripts バージョン 2.5.0
Flink バージョン 1.12.1
Ganglia バージョン 3.7.2
AWS Glue Hive Metastore クライアントバージョン 3.2.0
Hadoop バージョン 3.2.1-amzn-3
HBase バージョン 2.2.6-amzn-1
HBase-operator-tools 1.0.0
HCatalog バージョン 3.1.2-amzn-0
Hive バージョン 3.1.2-amzn-4
Hudi バージョン 0.7.0-amzn-0
Hue バージョン 4.9.0
Java JDKバージョン Corretto-8.282.08.1 (ビルド 1.8.0_282-b08)
JupyterHub バージョン 1.2.0
Livy バージョン 0.7.0-incubating
MXNet バージョン 1.7.0
Oozie バージョン 5.2.1
Phoenix バージョン 5.0.0
Pig バージョン 0.17.0
Presto バージョン 0.245.1-amzn-0
PrestoSQL バージョン 350
Apache Ranger KMS (マルチマスター透過暗号化) バージョン 2.0.0
ranger-plugins 2.0.1-amzn-0
ranger-s3-plugin 1.1.0
SageMaker Spark SDKバージョン 1.4.1
Scala バージョン 2.12.10 (OpenJDK 64-Bitサーバー VM、Java 1.8.0_282)
Spark バージョン 3.1.1-amzn-0
spark-rapids 0.4.1
Sqoop バージョン 1.4.7
TensorFlow バージョン 2.4.1
tez バージョン 0.9.2
Zeppelin バージョン 0.9.0
Zookeeper バージョン 3.4.14
コネクタおよびドライバー: DynamoDB Connector 4.16.0

新機能

Amazon は Amazon S3 アクセスポイントEMRをサポートしています。これは、共有データレイクへのアクセスを簡単に管理できる Amazon S3 の機能です。Amazon S3 アクセスポイントエイリアスを使用すると、Amazon での大規模なデータアクセスを簡素化できますEMR。Amazon S3 アクセスポイントは、Amazon のすべてのバージョンで、Amazon EMR が利用可能なすべての AWS リージョンで追加料金EMRなしで使用できます。Amazon S3 Access Points と Access Points のエイリアスの詳細については、「Amazon S3 ユーザーガイド」の「アクセスポイントにバケット形式のエイリアスの使用」を参照してください。
新しいパラメータDescribeReleaseLabelと ListReleaseLabelAPIパラメータは、Amazon EMRリリースラベルの詳細を提供します。API リクエストが実行されているリージョンで利用可能なリリースをプログラムで一覧表示し、特定の Amazon EMRリリースラベルで使用可能なアプリケーションを一覧表示できます。リリースラベルパラメータには、Spark などの指定されたアプリケーションをサポートする Amazon EMRリリースも一覧表示されます。この情報は、Amazon EMRクラスターをプログラムで起動するために使用できます。たとえば、ListReleaseLabel の結果から最新のリリースバージョンを使用してクラスターを起動できます。詳細については、「Amazon リファレンスListReleaseLabels」のDescribeReleaseLabel「と」を参照してください。 EMR API
Amazon EMR6.3.0 では、Apache Ranger とネイティブに統合するクラスターを起動できます。Apache Ranger は、Hadoop プラットフォーム全体で包括的なデータセキュリティを有効化、監視、管理するためのオープンソースフレームワークです。詳細については、「Apache Ranger」を参照してください。ネイティブ統合を使用すると、独自の Apache Ranger を導入して、Amazon にきめ細かなデータアクセスコントロールを適用できますEMR。Amazon EMR管理ガイドの「Amazon EMRと Apache Ranger の統合」を参照してください。
スコープドマネージドポリシー: AWS ベストプラクティスに合わせて、Amazon EMRは廃止されるポリシーの代替として v2 EMRスコープドのデフォルトマネージドポリシーを導入しました。「Amazon EMRマネージドポリシー」を参照してください。
インスタンスメタデータサービス (IMDS) V2 サポートステータス: Amazon 6.2 以降では、Amazon EMR EMRコンポーネントはすべてのIMDS呼び出しIMDSv2にを使用します。アプリケーションコードのIMDS呼び出しでは、 IMDSv1との両方を使用するかIMDSv2、セキュリティを強化するIMDSv2ためだけに使用するIMDSようにを設定できます。以前の Amazon 6.x EMR リリースIMDSv1でを無効にすると、クラスターの起動が失敗します。

変更点、機能強化、解決した問題

これは、クラスターのスケールアップ/スケールダウンに失敗した場合、またはアプリケーション障害が発生した場合の Amazon EMR Scaling の問題を修正するためのリリースです。
Amazon クラスターEMR上のデーモンがYARNノードの状態やノードの状態の収集などのヘルスチェックアクティビティを実行している場合、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しましたHDFS。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部 Amazon EMRコンポーネントに通信できなかったために発生しました。
クラスターEMR上のデーモンが改善され、IP アドレスが再利用されたときにノードの状態を正しく追跡して、スケーリングオペレーションの信頼性が向上しました。
SPARK-29683。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。
YARN-9011。クラスターがスケールアップまたはスケールダウンしようとしたときに、YARN廃止時のレース条件が原因でジョブの失敗が発生する問題を修正しました。
Amazon クラスターEMR上のデーモンと YARN/ の間でノードの状態が常に一貫していることを確認して、クラスタースケーリング中のステップまたはジョブの失敗の問題を修正しましたHDFS。
Kerberos 認証で有効になっている Amazon クラスターのスケールダウンやステップ送信などのEMRクラスターオペレーションが失敗する問題を修正しました。これは、Amazon クラスターEMR上のデーモンが Kerberos チケットを更新しなかったためです。これは、プライマリノードと安全に通信HDFS/YARN実行するために必要です。
新しい Amazon EMRリリースでは、Amazon の古いの「最大オープンファイル」制限が小さくなって問題が修正AL2されましたEMR。Amazon EMRリリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降では、「Max オープンファイル」設定が高い永続的修正が追加されました。
Spark SQL UI の説明モードのデフォルトextendedが Spark 3.1 formattedでからに変更されました。Amazon はこれを EMR に戻しextended、Spark SQLUI に論理プラン情報を含めました。spark.sql.ui.explainMode を formatted に設定すると、これを元に戻すことができます。
以下のコミットは Spark マスターブランチからバックポートされました。

- 〔SPARK-34752]〔BUILD] Jetty を 9.4.37 にバンプして CVE-2020-27223 に対処します。

- 〔SPARK-34534] ブロックの取得 FetchShuffleBlocks に使用する blockIds 順序を修正しました。

- 〔SPARK-34681] [SQL] 非等条件で左側を構築する場合のフル外部シャッフルハッシュ結合のバグを修正しました。

- 〔SPARK-34497] [SQL] セキュリティJVMコンテキストの変更を復元するために、組み込みJDBCの接続プロバイダーを修正しました。
Nvidia Spark RAPIDsプラグインとの相互運用性を向上させるには、RAPIDs適応クエリ実行が無効になっている Nvidia Spark の使用時に動的パーティションプルーニングがトリガーされないようにする問題に対処するための回避策を追加しました。RAPIDS「問題 #1378」とRAPIDS「問題 ##1386」を参照してください。新しい設定の詳細についてはspark.sql.optimizer.dynamicPartitionPruning.enforceBroadcastReuse、RAPIDS「問題 ##1386」を参照してください。
ファイル出力コミッターのデフォルトアルゴリズムは、オープンソースの Spark 3.1 の v2 アルゴリズムから v1 アルゴリズムに変更されました。詳細については、「この Amazon EMR 最適化 Spark パフォーマンス - 動的パーティションプルーニング」を参照してください。
Amazon は、パフォーマンスの回帰を防ぐために、以前の Amazon 6.x EMR リリースで使用されるデフォルトである v2 アルゴリズムEMRに戻されました。オープンソースの Spark 3.1 の動作を復元するには、spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version を 1 に設定します。オープンソースの Spark では、ファイル出力コミッターのアルゴリズム v2 のタスクコミットがアトミックではなく、場合によっては出力データの正確性の問題を引き起こす可能性があるため、この変更が行われました。ただし、アルゴリズム v1 のタスクコミットもアトミックではありません。場合によっては、タスクコミットに名前変更の前に実行された削除が含まれます。これにより、サイレントデータの正確性の問題が発生する可能性があります。
以前の Amazon EMRリリースで発生した Managed Scaling の問題を修正し、アプリケーション障害率を大幅に削減できるように改善しました。
新しいクラスターごとに AWS Java SDKバンドルをインストールしました。これは、個々のコンポーネントジャーではなく、すべてのサービスSDKsとその依存関係を含む単一のジャーです。詳細については、「Java SDKバンドルの依存関係」を参照してください。

既知の問題

Amazon 6.3.0 EMR および 6.2.0 プライベートサブネットクラスターでは、Ganglia ウェブ UI にアクセスできません。「アクセス拒否 (403)」というエラーが表示されます。SparkUIs、Hue、Zeppelin JupyterHub、Livy、Tez などの他のウェブは正常に動作しています。パブリックサブネットクラスターでの Ganglia ウェブ UI アクセスも正常に動作します。この問題を解決するには、sudo systemctl restart httpd を使用してプライマリノードで httpd サービスを再起動します。この問題は Amazon 6.4.0 EMR で修正されています。
AWS Glue Data Catalog が有効になっている場合、Spark を使用して null 文字列の場所を持つ AWS Glue DB にアクセスすると、失敗URIする可能性があります。これは以前の Amazon EMRリリースで発生しますが、SPARK-31709 (https://issues.apache.org/jira/browse/SPARK-31709) ではより多くのケースに適用されます。例えば、場所が null 文字列であるデフォルトの AWS Glue DB 内にテーブルを作成する場合、 URIはメッセージでspark.sql("CREATE TABLE mytest (key string) location '/table_path';")失敗します。「空の文字列からパスを作成することはできません。」これを回避するには、 AWS Glue データベースURIの場所を手動で設定し、Spark を使用してこれらのデータベース内にテーブルを作成します。
Amazon EMR6.3.0 では、PrestoSQL がバージョン 343 からバージョン 350 にアップグレードされました。このバージョン変更に関連して、オープンソースからのセキュリティ関連の変更が 2 つあります。ファイルベースのカタログアクセス制御は、テーブル、スキーマ、またはセッションのプロパティのルールが定義されていない場合、deny から allow に変更されています。また、ファイルベースのシステムアクセス制御は、カタログルールが定義されていないファイルをサポートするように変更されています。この場合、カタログへのすべてのアクセスが許可されます。

詳細については、「Release 344 (9 Oct 2020)」を参照してください。
Hadoop ユーザーディレクトリ (/home/hadoop) is readable by everyone. It has Unix 755 (drwxr-xr-x) directory permissions to allow read access by frameworks like Hive. You can put files in /home/hadoop とそのサブディレクトリ。ただし、機密情報を保護するためのこれらのディレクトリに対するアクセス許可には注意してください。
古い AL2 [新しいリリースで修正済み] の「最大オープンファイル」制限を低くします。Amazon EMRリリース: emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0、emr-6.2.0 は、古いバージョンの ofAmazon Linux 2 (AL2) に基づいています。これは、Amazon EMRクラスターがデフォルトので作成されたときに、「Max オープンファイル」の ulimit 設定が低くなりますAMI。Amazon EMRリリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「Max オープンファイル」設定が高い永続的修正が含まれています。オープンファイルの上限が低いリリースでは、Spark ジョブを送信するときに「Too many open files」というエラーが発生します。影響を受けるリリースAMIでは、Amazon のEMRデフォルトは、「Max オープンファイル」のデフォルトの ulimit 設定が 4096 で、 latestAmazon Linux 2 の 65536 ファイル制限よりも低くなっていますAMI。「最大オープンファイル」の ulimit 設定が低い場合、Spark ドライバーとエグゼキュータが 4096 を超えるファイルを開こうとすると、Spark ジョブが失敗します。この問題を解決するために、Amazon EMR にはクラスターの作成時に ulimit 設定を調整するブートストラップアクション (BA) スクリプトがあります。

この問題の永続的な修正がない古い Amazon EMRバージョンを使用している場合、次の回避策により、インスタンスコントローラーの ulimit を最大 65536 個のファイルに明示的に設定できます。
コマンドラインから ulimit を明示的に設定する
1. /etc/systemd/system/instance-controller.service を編集して、Service セクションに次のパラメータを追加します。
  
  LimitNOFILE=65536
  
  LimitNPROC=65536
2. 再起動 InstanceController
  
  $ sudo systemctl daemon-reload
  
  $ sudo systemctl restart instance-controller
ブートストラップアクション (BA) を使用して ulimit を設定する

ブートストラップアクション (BA) スクリプトを使用して、クラスター作成時にインスタンスコントローラーの ulimit を 65536 ファイルに設定することもできます。
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
重要
EMR Amazon Linux または Amazon Linux 2 Amazon マシンイメージ (AMIs) を実行するクラスターはデフォルトの Amazon Linux 動作を使用し、再起動を必要とする重要かつ重要なカーネル更新を自動的にダウンロードおよびインストールしません。これは、デフォルトの Amazon Linux を実行する他の Amazon EC2インスタンスと同じ動作ですAMI。Amazon EMRリリースが利用可能になった後に、再起動を必要とする新しい Amazon Linux ソフトウェア更新 (カーネル、NVIDIA、CUDA更新など) が利用可能になった場合、デフォルトを実行するEMRクラスターインスタンスは、それらの更新を自動的にダウンロードおよびインストールAMIしません。カーネルの更新を取得するには、最新の Amazon Linux を使用するEMRように Amazon をカスタマイズできますAMI。 AMI
Apache Oozie で Spark アクションを使用するには、以下の設定を Oozie workflow.xml ファイルに追加する必要があります。そうしないと、Hadoop やなどのいくつかの重要なライブラリが、Oozie が起動する Spark エグゼキューターのクラスパスから欠落EMRFSします。
```
<spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
```
Hive パーティションロケーションフォーマットで Spark を使用して Amazon S3 でデータを読み取るときに、Amazon EMRリリース 5.30.0～5.36.0、および 6.2.0～6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取ることができない問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
- 同じテーブルから 2 つ以上のパーティションがスキャンされます。
- 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、s3://bucket/table/p=a は s3://bucket/table/p=a b のプレフィックスです。
- 他のパーティションディレクトリのプレフィックスに続く最初の文字は、/文字 (U+002F) よりも小さい UTF-8 値を持ちます。例えば、s3://bucket/table/p=a b の a と b の間にあるスペース文字 (U+0020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: !"#$%&‘()*+,-。詳細については、UTF「-8 エンコーディングテーブル」と「Unicode 文字」を参照してください。
この問題の回避策として、spark-defaults 分類の spark.sql.sources.fastS3PartitionDiscovery.enabled 設定を false にセットします。

6.3.0 コンポーネントバージョン

このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有でEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは、通常、コミュニティにある最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できるようにします。

Amazon の一部のコンポーネントは、コミュニティバージョンEMRとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 myapp-componentでという名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンはとしてリストされます2.2-amzn-2。

コンポーネント	Version	説明
aws-sagemaker-spark-sdk	1.4.1	Amazon SageMaker Spark SDK
emr-ddb	4.16.0	Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies	3.2.0	Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis	3.5.0	Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-notebook-env	1.2.0	Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env
emr-s3-dist-cp	2.18.0	Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select	2.1.0	EMR S3Select コネクタ
emrfs	2.46.0	Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client	1.12.1	Apache Flink のコマンドラインクライアントスクリプトとアプリケーション。
flink-jobmanager-config	1.12.1	Apache Flink のEMRノード上のリソースの管理 JobManager。
ganglia-monitor	3.7.2	Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector	3.7.2	Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web	3.7.1	Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client	3.2.1-amzn-3	'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode	3.2.1-amzn-3	HDFS ブロックを保存するためのノードレベルのサービス。
hadoop-hdfs-library	3.2.1-amzn-3	HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode	3.2.1-amzn-3	HDFS ファイル名とブロックの場所を追跡するためのサービス。
hadoop-hdfs-journalnode	3.2.1-amzn-3	HDFS HA クラスターの Hadoop ファイルシステムジャーナルを管理するためのサービス。
hadoop-httpfs-server	3.2.1-amzn-3	HTTP HDFSオペレーションのエンドポイント。
hadoop-kms-server	3.2.1-amzn-3	Hadoop のに基づく暗号化キー管理サーバー KeyProvider API。
hadoop-mapred	3.2.1-amzn-3	MapReduce MapReduce アプリケーションを実行するための実行エンジンライブラリ。
hadoop-yarn-nodemanager	3.2.1-amzn-3	YARN 個々のノードのコンテナを管理するためのサービス。
hadoop-yarn-resourcemanager	3.2.1-amzn-3	YARN クラスターリソースと分散アプリケーションの割り当てと管理のためのサービス。
hadoop-yarn-timeline-server	3.2.1-amzn-3	YARN アプリケーションの現在および履歴情報を取得するためのサービス。
hbase-hmaster	2.2.6-amzn-1	リージョンの調整と管理コマンドの実行を担当するHBaseクラスターのサービス。
hbase-region-server	2.2.6-amzn-1	1 つ以上のHBaseリージョンに対応するサービス。
hbase-client	2.2.6-amzn-1	HBase コマンドラインクライアント。
hbase-rest-server	2.2.6-amzn-1	のRESTfulHTTPエンドポイントを提供するサービスHBase。
hbase-thrift-server	2.2.6-amzn-1	Thrift エンドポイントをに提供するサービスHBase。
hcatalog-client	3.1.2-amzn-4	hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server	3.1.2-amzn-4	分散アプリケーション用のテーブルとストレージ管理レイヤーHCatalogであるを提供するサービス。
hcatalog-webhcat-server	3.1.2-amzn-4	HTTP にRESTインターフェイスを提供するエンドポイントHCatalog。
hive-client	3.1.2-amzn-4	Hive コマンドラインクライアント。
hive-hbase	3.1.2-amzn-4	Hive-hbase クライアント。
hive-metastore-server	3.1.2-amzn-4	Hadoop オペレーション上ののメタデータを保存するセマンティックリポジトリである Hive SQL メタストアにアクセスするためのサービス。
hive-server2	3.1.2-amzn-4	Hive クエリをウェブリクエストとして受け入れるサービス。
hudi	0.7.0-amzn-0	データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-presto	0.7.0-amzn-0	Presto を Hudi で実行するためのバンドルライブラリ。
hudi-prestosql	0.7.0-amzn-0	Hudi で PrestoSQL を実行するためのバンドルライブラリ。
hudi-spark	0.7.0-amzn-0	Spark を Hudi で実行するためのバンドルライブラリ。
hue-server	4.9.0	Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
jupyterhub	1.2.2	Jupyter Notebook のマルチユーザーサーバー
livy-server	0.7.0-incubating	REST Apache Spark を操作するためのインターフェイス
nginx	1.12.1	nginx [エンジン x] は HTTPおよびリバースプロキシサーバーです
mxnet	1.7.0	フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。
mariadb-server	5.5.68+	MariaDB データベースサーバー。
nvidia-cuda	10.1.243	Nvidia ドライバーと Cuda ツールキット
oozie-client	5.2.1	Oozie コマンドラインクライアント。
oozie-server	5.2.1	Oozie ワークフローリクエストを受け入れるサービス。
opencv	4.5.0	オープンソースのコンピュータビジョンライブラリ。
phoenix-library	5.0.0-HBase-2.0	サーバーとクライアントの Phoenix ライブラリ
phoenix-query-server	5.0.0-HBase-2.0	Avatica JDBC へのアクセスと Protocol Buffers およびJSONフォーマットアクセスを提供する軽量サーバー API
presto-coordinator	0.245.1-amzn-0	presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker	0.245.1-amzn-0	いくつかのクエリを実行するサービス。
presto-client	0.245.1-amzn-0	Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
prestosql-coordinator	350	prestosql-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
prestosql-worker	350	いくつかのクエリを実行するサービス。
prestosql-client	350	Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
pig-client	0.17.0	Pig コマンドラインクライアント。
r	4.0.2	統計的コンピューティング用 R プロジェクト
ranger-kms-server	2.0.0	Apache Ranger Key Management System
spark-client	3.1.1-amzn-0	Spark コマンドラインクライアント。
spark-history-server	3.1.1-amzn-0	完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn	3.1.1-amzn-0	のメモリ内実行エンジンYARN。
spark-yarn-slave	3.1.1-amzn-0	YARN スレーブに必要な Apache Spark ライブラリ。
spark-rapids	0.4.1	で Apache Spark を加速する Nvidia Spark RAPIDSプラグインGPUs。
sqoop-client	1.4.7	Apache Sqoop コマンドラインクライアント。
tensorflow	2.4.1	TensorFlow 高性能数値計算用のオープンソースソフトウェアライブラリ。
tez-on-yarn	0.9.2	Tez YARNアプリケーションとライブラリ。
webserver	2.4.41+	Apache HTTPサーバー。
zeppelin-server	0.9.0	インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server	3.4.14	設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client	3.4.14	ZooKeeper コマンドラインクライアント。

6.3.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon は、変更した分類に対してEMRのみ再設定アクションを開始します。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

emr-6.3.0 の分類
分類	説明	再設定アクション
capacity-scheduler	Hadoop の capacity-scheduler.xml ファイルの値を変更します。	Restarts the ResourceManager service.
container-executor	Hadoop YARNの container-executor.cfg ファイルの値を変更します。	Not available.
container-log4j	Hadoop YARNの container-log4j.properties ファイルの値を変更します。	Not available.
core-site	Hadoop の core-site.xml ファイルの値を変更します。	Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.
docker-conf	Docker 関連の設定を変更します。	Not available.
emrfs-site	EMRFS 設定を変更します。	Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.
flink-conf	flink-conf.yaml の設定を変更します。	Restarts Flink history server.
flink-log4j	Flink log4j.properties の設定を変更します。	Restarts Flink history server.
flink-log4j-session	Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。	Restarts Flink history server.
flink-log4j-cli	Flink log4j-cli.properties の設定を変更します。	Restarts Flink history server.
hadoop-env	Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。	Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer.
hadoop-log4j	Hadoop の log4j.properties ファイルの値を変更します。	Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.
hadoop-ssl-server	Hadoop ssl のサーバー設定を変更します。	Not available.
hadoop-ssl-client	Hadoop ssl のクライアント設定を変更します。	Not available.
hbase	Apache の Amazon EMRキュレートされた設定HBase。	Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts.
hbase-env	HBaseの環境の値を変更します。	Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.
hbase-log4j	HBaseの hbase-log4j.properties ファイルの値を変更します。	Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.
hbase-metrics	HBaseの hadoop-metrics2-hbase.properties ファイルの値を変更します。	Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.
hbase-policy	HBaseの hbase-policy.xml ファイルの値を変更します。	Not available.
hbase-site	HBaseの hbase-site.xml ファイルの値を変更します。	Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer.
hdfs-encryption-zones	HDFS 暗号化ゾーンを設定します。	This classification should not be reconfigured.
hdfs-env	HDFS 環境の値を変更します。	Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC.
hdfs-site	HDFSの hdfs-site.xml の値を変更します。	Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.
hcatalog-env	HCatalogの環境の値を変更します。	Restarts Hive HCatalog Server.
hcatalog-server-jndi	HCatalogの jndi.properties の値を変更します。	Restarts Hive HCatalog Server.
hcatalog-server-proto-hive-site	HCatalogの proto-hive-site.xml の値を変更します。	Restarts Hive HCatalog Server.
hcatalog-webhcat-env	HCatalog W ebHCatの環境の値を変更します。	Restarts Hive WebHCat server.
hcatalog-webhcat-log4j2	HCatalog W ebHCatの log4j2.properties の値を変更します。	Restarts Hive WebHCat server.
hcatalog-webhcat-site	HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。	Restarts Hive WebHCat server.
hive	Apache Hive の Amazon EMRが厳選した設定。	Sets configurations to launch Hive LLAP service.
hive-beeline-log4j2	Hive の beeline-log4j2.properties ファイルの値を変更します。	Not available.
hive-parquet-logging	Hive の parquet-logging.properties ファイルの値を変更します。	Not available.
hive-env	Hive 環境の値を変更します。	Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore.
hive-exec-log4j2	Hive の hive-exec-log4j2.properties ファイルの値を変更します。	Not available.
hive-llap-daemon-log4j2	Hive の llap-daemon-log4j2.properties ファイルの値を変更します。	Not available.
hive-log4j2	Hive の hive-log4j2.properties ファイルの値を変更します。	Not available.
hive-site	Hive の hive-site.xml ファイルの値を変更します	Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin.
hiveserver2-site	Hive Server2 の hiveserver2-site.xml ファイルの値を変更します	Not available.
hue-ini	Hue の ini ファイルの値を変更します	Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations.
httpfs-env	HTTPFS 環境の値を変更します。	Restarts Hadoop Httpfs service.
httpfs-site	Hadoop の httpfs-site.xml ファイルの値を変更します。	Restarts Hadoop Httpfs service.
hadoop-kms-acls	Hadoop の kms-acls.xml ファイルの値を変更します。	Not available.
hadoop-kms-env	Hadoop KMS環境の値を変更します。	Restarts Hadoop-KMS service.
hadoop-kms-log4j	Hadoop の kms-log4j.properties ファイルの値を変更します。	Not available.
hadoop-kms-site	Hadoop の kms-site.xml ファイルの値を変更します。	Restarts Hadoop-KMS and Ranger-KMS service.
hudi-env	Hudi 環境の値を変更します。	Not available.
jupyter-notebook-conf	Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。	Not available.
jupyter-hub-conf	JupyterHubsの jupyterhub_config.py ファイルの値を変更します。	Not available.
jupyter-s3-conf	Jupyter Notebook の S3 の永続性を設定します。	Not available.
jupyter-sparkmagic-conf	Sparkmagic の config.json ファイルの値を変更します。	Not available.
livy-conf	Livy の livy.conf ファイルの値を変更します。	Restarts Livy Server.
livy-env	Livy 環境の値を変更します。	Restarts Livy Server.
livy-log4j	Livy の log4j.properties の設定を変更します。	Restarts Livy Server.
mapred-env	MapReduce アプリケーションの環境の値を変更します。	Restarts Hadoop MapReduce-HistoryServer.
mapred-site	MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。	Restarts Hadoop MapReduce-HistoryServer.
oozie-env	Oozie の環境の値を変更します。	Restarts Oozie.
oozie-log4j	Oozie の oozie-log4j.properties ファイルの値を変更します。	Restarts Oozie.
oozie-site	Oozie の oozie-site.xml ファイルの値を変更します。	Restarts Oozie.
phoenix-hbase-metrics	Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。	Not available.
phoenix-hbase-site	Phoenix の hbase-site.xml ファイルの値を変更します。	Not available.
phoenix-log4j	Phoenix の log4j.properties ファイルの値を変更します。	Restarts Phoenix-QueryServer.
phoenix-metrics	Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。	Not available.
pig-env	Pig 環境の値を変更します。	Not available.
pig-properties	Pig の pig.properties ファイルの値を変更します。	Restarts Oozie.
pig-log4j	Pig の log4j.properties ファイルの値を変更します。	Not available.
presto-log	Presto の log.properties ファイルの値を変更します。	Restarts Presto-Server (for PrestoDB)
presto-config	Presto の config.properties ファイルの値を変更します。	Restarts Presto-Server (for PrestoDB)
presto-password-authenticator	Presto の password-authenticator.properties ファイルの値を変更します。	Not available.
presto-env	Presto の presto-env.sh ファイルの値を変更します。	Restarts Presto-Server (for PrestoDB)
presto-node	Presto の node.properties ファイルの値を変更します。	Not available.
presto-connector-blackhole	Presto の blackhole.properties ファイルの値を変更します。	Not available.
presto-connector-cassandra	Presto の cassandra.properties ファイルの値を変更します。	Not available.
presto-connector-hive	Presto の hive.properties ファイルの値を変更します。	Restarts Presto-Server (for PrestoDB)
presto-connector-jmx	Presto の jmx.properties ファイルの値を変更します。	Not available.
presto-connector-kafka	Presto の kafka.properties ファイルの値を変更します。	Not available.
presto-connector-localfile	Presto の localfile.properties ファイルの値を変更します。	Not available.
presto-connector-memory	Presto の memory.properties ファイルの値を変更します。	Not available.
presto-connector-mongodb	Presto の mongodb.properties ファイルの値を変更します。	Not available.
presto-connector-mysql	Presto の musql.properties ファイルの値を変更します。	Not available.
presto-connector-postgresql	Presto の postgresql.properties ファイルの値を変更します。	Not available.
presto-connector-raptor	Presto の raptor.properties ファイルの値を変更します。	Not available.
presto-connector-redis	Presto の redis.properties ファイルの値を変更します。	Not available.
presto-connector-redshift	Presto の redshift.properties ファイルの値を変更します。	Not available.
presto-connector-tpch	Presto の tpcj.properties ファイルの値を変更します。	Not available.
presto-connector-tpcds	Presto の tpcds.properties ファイルの値を変更します。	Not available.
prestosql-log	Presto の log.properties ファイルの値を変更します。	Restarts Presto-Server (for PrestoSQL)
prestosql-config	Presto の config.properties ファイルの値を変更します。	Restarts Presto-Server (for PrestoSQL)
prestosql-password-authenticator	Presto の password-authenticator.properties ファイルの値を変更します。	Restarts Presto-Server (for PrestoSQL)
prestosql-env	Presto の presto-env.sh ファイルの値を変更します。	Restarts Presto-Server (for PrestoSQL)
prestosql-node	Presto SQLの node.properties ファイルの値を変更します。	Not available.
prestosql-connector-blackhole	Presto SQLの blackhole.properties ファイルの値を変更します。	Not available.
prestosql-connector-cassandra	Presto SQLの cassandra.properties ファイルの値を変更します。	Not available.
prestosql-connector-hive	Presto SQLの hive.properties ファイルの値を変更します。	Restarts Presto-Server (for PrestoSQL)
prestosql-connector-jmx	Presto SQLの jmx.properties ファイルの値を変更します。	Not available.
prestosql-connector-kafka	Presto SQLの kafka.properties ファイルの値を変更します。	Not available.
prestosql-connector-localfile	Presto SQLの localfile.properties ファイルの値を変更します。	Not available.
prestosql-connector-memory	Presto SQLの memory.properties ファイルの値を変更します。	Not available.
prestosql-connector-mongodb	Presto SQLの mongodb.properties ファイルの値を変更します。	Not available.
prestosql-connector-mysql	Presto SQLの mysql.properties ファイルの値を変更します。	Not available.
prestosql-connector-postgresql	Presto SQLの postgresql.properties ファイルの値を変更します。	Not available.
prestosql-connector-raptor	Presto SQLの raptor.properties ファイルの値を変更します。	Not available.
prestosql-connector-redis	Presto SQLの redis.properties ファイルの値を変更します。	Not available.
prestosql-connector-redshift	Presto SQLの redshift.properties ファイルの値を変更します。	Not available.
prestosql-connector-tpch	Presto SQLの tpch.properties ファイルの値を変更します。	Not available.
prestosql-connector-tpcds	Presto SQLの tpcds.properties ファイルの値を変更します。	Not available.
ranger-kms-dbks-site	Ranger の dbks-site.xml ファイルの値を変更しますKMS。	Restarts Ranger KMS Server.
ranger-kms-site	Ranger の ranger-kms-site.xml ファイルの値を変更しますKMS。	Restarts Ranger KMS Server.
ranger-kms-env	Ranger KMS環境の値を変更します。	Restarts Ranger KMS Server.
ranger-kms-log4j	Ranger の kms-log4j.properties ファイルの値を変更しますKMS。	Not available.
ranger-kms-db-ca	Ranger との S3 for MySQL SSL接続の CA ファイルの値を変更しますKMS。	Not available.
spark	Apache Spark の Amazon EMRが厳選した設定。	This property modifies spark-defaults. See actions there.
spark-defaults	Spark の spark-defaults.conf ファイルの値を変更します。	Restarts Spark history server and Spark thrift server.
spark-env	Spark 環境の値を変更します。	Restarts Spark history server and Spark thrift server.
spark-hive-site	Spark の hive-site.xml ファイルの値を変更します	Not available.
spark-log4j	Spark の log4j.properties ファイルの値を変更します。	Restarts Spark history server and Spark thrift server.
spark-metrics	Spark の metrics.properties ファイルの値を変更します。	Restarts Spark history server and Spark thrift server.
sqoop-env	Sqoop の環境の値を変更します。	Not available.
sqoop-oraoop-site	Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。	Not available.
sqoop-site	Sqoop の sqoop-site.xml ファイルの値を変更します。	Not available.
tez-site	Tez の tez-site.xml ファイルの値を変更します。	Restart Oozie and HiveServer2.
yarn-env	YARN 環境の値を変更します。	Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.
yarn-site	YARNの yarn-site.xml ファイルの値を変更します。	Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.
zeppelin-env	Zeppelin 環境の値を変更します。	Restarts Zeppelin.
zeppelin-site	zeppelin-site.xml の構成設定を変更します。	Restarts Zeppelin.
zookeeper-config	ZooKeeperの zoo.cfg ファイルの値を変更します。	Restarts Zookeeper server.
zookeeper-log4j	ZooKeeperの log4j.properties ファイルの値を変更します。	Restarts Zookeeper server.

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

emr-6.3.1

emr-6.2.1