Amazon EMR リリース 6.2.0 - Amazon EMR
6.2.0 アプリケーションバージョン6.2.0 リリースノート6.2.0 コンポーネントバージョン6.2.0 設定分類

Amazon EMR リリース 6.2.0

6.2.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています: Flink、Ganglia、HBase、HCatalog、Hadoop、Hive、Hudi、Hue、JupyterEnterpriseGateway、JupyterHub、Livy、MXNet、Oozie、Phoenix、Pig、Presto、PrestoSQL、Spark、Sqoop、TensorFlow、Tez、Zeppelin、ZooKeeper。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-6.2.0 emr-6.1.1 emr-6.1.0 emr-6.0.1
AWS SDK for Java 1.11.8801.11.8281.11.8281.11.711
Python 2.7、3.72.7、3.72.7、3.72.7、3.7
Scala 2.12.102.12.102.12.102.12.10
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink1.11.21.11.01.11.0 -
Ganglia3.7.23.7.23.7.23.7.2
HBase2.2.6-amzn-02.2.52.2.52.2.3
HCatalog3.1.23.1.23.1.23.1.2
Hadoop3.2.13.2.13.2.13.2.1
Hive3.1.23.1.23.1.23.1.2
Hudi0.6.0-amzn-10.5.2-incubating-amzn-20.5.2-incubating-amzn-20.5.0-incubating-amzn-1
Hue4.8.04.7.14.7.14.4.0
Iceberg - - - -
JupyterEnterpriseGateway2.1.0 - - -
JupyterHub1.1.01.1.01.1.01.0.0
Livy0.7.00.7.00.7.00.6.0
MXNet1.7.01.6.01.6.01.5.1
Mahout - - - -
Oozie5.2.05.2.05.2.05.1.0
Phoenix5.0.05.0.05.0.05.0.0
Pig0.17.00.17.00.17.0 -
Presto0.238.30.2320.2320.230
Spark3.0.13.0.03.0.02.4.4
Sqoop1.4.71.4.71.4.7 -
TensorFlow2.3.12.1.02.1.01.14.0
Tez0.9.20.9.20.9.20.9.2
Trino (PrestoSQL)343338338 -
Zeppelin0.9.00.9.00.9.00.9.0
ZooKeeper3.4.143.4.143.4.143.4.14

6.2.0 リリースノート

次のリリースノートには、Amazon EMR リリース 6.2.0 に関する情報が含まれています。6.1.0 からの変更が含まれています。

初回リリース日: 2020 年 12 月 9 日

最終更新日: 2021 年 10 月 4 日

サポートされているアプリケーション

  • AWS SDK for Java バージョン 1.11.828

  • emr-record-server バージョン 1.7.0

  • Flink バージョン 1.11.2

  • Ganglia バージョン 3.7.2

  • Hadoop バージョン 3.2.1-amzn-1

  • HBase バージョン 2.2.6-amzn-0

  • HBase-operator-tools 1.0.0

  • HCatalog バージョン 3.1.2-amzn-0

  • Hive バージョン 3.1.2-amzn-3

  • Hudi バージョン 0.6.0-amzn-1

  • Hue バージョン 4.8.0

  • JupyterHub バージョン 1.1.0

  • Livy バージョン 0.7.0

  • MXNet バージョン 1.7.0

  • Oozie バージョン 5.2.0

  • Phoenix バージョン 5.0.0

  • Pig バージョン 0.17.0

  • Presto バージョン 0.238.3-amzn-1

  • PrestoSQL バージョン 343

  • Spark バージョン 3.0.1-amzn-0

  • spark-rapids 0.2.0

  • TensorFlow バージョン 2.3.1

  • Zeppelin バージョン 0.9.0-preview1

  • Zookeeper バージョン 3.4.14

  • コネクタおよびドライバー: DynamoDB Connector 4.16.0

新機能

  • HBase: コミットフェーズでの名前変更を削除し、永続的 HFile トラッキングを追加しました。「Amazon EMR リリース ガイド」の「永続的 HFile トラッキング」を参照してください。

  • HBase:「Create a config that forces to cache blocks on compaction」をバックポートしました。

  • PrestoDB: ダイナミックパーティションプルーニングの改善。ルールベースの結合順序は、パーティション分割されていないデータに対して機能します。

  • スコープ管理ポリシー: AWS のベストプラクティスに合わせて、Amazon EMR では、非推奨となるポリシーの置き換えとして v2 EMR スコープのデフォルト管理ポリシーが導入されています。「Amazon EMR 管理ポリシー」を参照してください。

  • インスタンスメタデータサービス (IMDS) V2 サポートステータス: Amazon EMR 6.2 以降では、Amazon EMR コンポーネントはすべての IMDS 呼び出しに IMDSv2 を使用します。アプリケーションコードでの IMDS 呼び出しでは、IMDSv1 と IMDSv2 の両方を使用するか、または、セキュリティを強化するために IMDSv2 のみを使用するように IMDS を設定できます。以前の Amazon EMR 6.x リリースで IMDSv1 を無効にすると、クラスターの起動が失敗します。

変更点、機能強化、解決した問題

  • これは、Amazon EMR Scaling がクラスターを正常にスケールアップ/スケールダウンできない場合や、アプリケーション障害を引き起こした場合の問題点を修正するためのリリースです。

  • Amazon EMR のクラスター上のデーモンが YARN ノード状態や HDFS ノード状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部の Amazon EMR コンポーネントに伝達できなかったために発生していました。

  • EMR のクラスター上のデーモンが改善され、IP アドレスが再利用されるときにノードの状態を正しく追跡できるようになり、スケーリング操作中の信頼性が向上しました。

  • SPARK-29683。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。

  • YARN-9011。クラスターがスケールアップまたはスケールダウンを試みたときに YARN 廃止の競合状態が原因でジョブ障害が発生する問題を修正しました。

  • Amazon EMR のクラスター上のデーモンと YARN/HDFS の間でノードの状態が常に一致するようにすることで、クラスターのスケーリング中のステップまたはジョブの障害に関する問題を修正しました。

  • Kerberos 認証で有効になっている Amazon EMR クラスターで、スケールダウンやステップ送信などのクラスター操作が失敗する問題を修正しました。これは、Amazon EMR のクラスター上のデーモンが、プライマリノードで実行されている HDFS/YARN と安全に通信するために必要な Kerberos チケットを更新しなかったためです。

  • Amazon EMR の新しいリリースでは、Amazon EMR の古い AL2 で「最大オープンファイル」の上限が低い問題が修正されています。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれるようになりました。

  • Spark: Spark ランタイムのパフォーマンスが向上しました。

既知の問題

  • Amazon EMR 6.2 で、EMR 6.2.0 の /etc/cron.d/libinstance-controller-java ファイルに対して正しくないアクセス許可が設定されています。ファイルに対するアクセス許可は、644 (-rw-r—r—) であるべきときに 645 (-rw-r--r-x) になります。その結果、Amazon EMR バージョン 6.2 ではインスタンス状態ログが記録されず、/emr/instance-logs ディレクトリは空になります。この問題は、Amazon EMR 6.3.0 以降で修正されています。

    この問題を回避するには、クラスター起動時に以下のスクリプトをブートストラップアクションとして実行します。

    #!/bin/bash
sudo chmod 644 /etc/cron.d/libinstance-controller-java

  • Amazon EMR 6.2.0 および 6.3.0 のプライベートサブネットクラスターで、Ganglia ウェブ UI にアクセスできません。「アクセス拒否 (403)」というエラーが表示されます。Spark、Hue、JupyterHub、Zeppelin、Livy、Tez などの他のウェブ UI は正常に動作します。パブリックサブネットクラスターでの Ganglia ウェブ UI アクセスも正常に動作します。この問題を解決するには、sudo systemctl restart httpd を使用してプライマリノードで httpd サービスを再起動します。この問題は、Amazon EMR 6.4.0 で修正されています。

  • Amazon EMR 6.2.0 で、httpd が連続して失敗し、Ganglia が利用できないという問題があります。「サーバーに接続できません」というエラーが表示されます。この問題が発生している、既に実行されているクラスターを修正するには、クラスターのプライマリノードに SSH 接続して、/etc/httpd/conf/httpd.conf にあるファイル httpd.conf に行 Listen 80 を追加します。この問題は、Amazon EMR 6.3.0 で修正されています。

  • セキュリティ設定を使用している場合、EMR 6.2.0 クラスターで HTTPD が失敗します。これにより、Ganglia ウェブアプリケーションのユーザーインターフェイスが使用できなくなります。Ganglia ウェブアプリケーションのユーザーインターフェイスにアクセスするには、クラスターのプライマリノード上の /etc/httpd/conf/httpd.conf ファイルに Listen 80 を追加します。クラスターへの接続の詳細については、「SSH を使用してプライマリノードに接続する」を参照してください。

    EMR Notebooks では、セキュリティ構成を使用する場合、EMR 6.2.0 クラスターとの接続の確立にも失敗します。ノートブックは、カーネルのリストと Spark ジョブの送信に失敗します。代わりに、別のバージョンの Amazon EMR で EMR Notebooks を使用することをお勧めします。

  • 古い AL2 で「最大オープンファイル」の上限が低い [新しいリリースで修正済み]。Amazon EMR リリース emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0、および emr-6.2.0 は、古いバージョンの Amazon Linux 2 (AL2) に基づいており、デフォルトの AMI を使用して Amazon EMR クラスターを作成する場合に「最大オープンファイル」の ulimit 設定が低くなります。Amazon EMR リリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高くなった永続的な修正が含まれています。オープンファイルの上限が低いリリースでは、Spark ジョブを送信するときに「Too many open files」というエラーが発生します。影響を受けるリリースでは、Amazon EMR のデフォルト AMI の「最大オープンファイル」はデフォルトの ulimit 設定 4096 になっており、最新の Amazon Linux 2 AMI の上限 65536 ファイルよりも低くなっています。「最大オープンファイル」の ulimit 設定が低い場合、Spark ドライバーとエグゼキュータが 4096 を超えるファイルを開こうとすると、Spark ジョブが失敗します。この問題を解決するために、Amazon EMR には、クラスターの作成時に ulimit 設定を調整するブートストラップアクション (BA) スクリプトが用意されています。

    この問題の永続的な修正がない古い Amazon EMR バージョンを使用している場合は、以下の回避策を使用すると、instance-controller ulimit を最大の 65536 ファイルに明示的に設定できます。

    コマンドラインから ulimit を明示的に設定する

    1. /etc/systemd/system/instance-controller.service を編集して、Service セクションに次のパラメータを追加します。

      LimitNOFILE=65536

      LimitNPROC=65536

    2. InstanceController を再起動します。

      $ sudo systemctl daemon-reload

      $ sudo systemctl restart instance-controller

    ブートストラップアクション (BA) を使用して ulimit を設定する

    ブートストラップアクション (BA) スクリプトを使用して、クラスター作成時にインスタンスコントローラーの ulimit を 65536 ファイルに設定することもできます。

    #!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
  • 重要

    Amazon EMR 6.1.0 および 6.2.0 には、Hudi の挿入、アップサート、および削除操作すべてに大きな影響を及ぼす可能性があるパフォーマンスの問題が含まれています。Amazon EMR 6.1.0 または 6.2.0 で Hudi を使用する予定の場合は、AWS サポートに連絡して、パッチが適用された Hudi RPM を入手してください。

  • 重要

    Amazon Linux または Amazon Linux 2 Amazon マシンイメージ (AMI) を実行する EMR クラスターは、デフォルトの Amazon Linux 動作を使用します。再起動が必要な重要かつクリティカルなカーネル更新が自動的にダウンロードされてインストールされることはありません。これは、デフォルトの Amazon Linux AMI を実行している他の Amazon EC2 インスタンスと同じ動作です。Amazon EMR リリースが利用可能になった後に、再起動が必要な新しい Amazon Linux ソフトウェアアップデート (カーネル、NVIDIA、CUDA のアップデートなど) が使用可能になった場合、デフォルトの AMI を実行する EMR クラスターインスタンスで、それらの更新が自動的にダウンロードされてインストールされることはありません。カーネルの更新を取得するには、Amazon EMR AMI をカスタマイズして、最新の Amazon Linux AMI を使用できるようにします。

  • Amazon EMR 6.2.0 の Maven アーティファクトは公開されません。これらは Amazon EMR の将来のリリースで公開される予定です。

  • HBase ストアファイルシステムテーブルを使用した永続的な HFile トラッキングは、HBase リージョンのレプリケーション機能をサポートしていません。HBase リージョンレプリケーションの詳細については、「Timeline-consistent High Available Reads」を参照してください。

  • Amazon EMR 6.x と EMR 5.x の Hive バケット化バージョンの違い

    EMR 5.x では OOS Apache Hive 2 を使用していますが、EMR 6.x では OOS Apache Hive 3を使用しています。オープンソースの Hive2 ではバケット化バージョン 1 を使用していますが、オープンソースの Hive3 ではバケット化バージョン 2 を使用しています。Hive 2 (EMR 5.x) と Hive 3 (EMR 6.x) のこのバケット化バージョンの違いは、Hive のバケット化ハッシュ関数が異なることを意味します。以下の例を参照してください。

    次の表は、それぞれ EMR 6.x および EMR 5.x で作成した例です。

    -- Using following LOCATION in EMR 6.x
CREATE TABLE test_bucketing (id INT, desc STRING)
PARTITIONED BY (day STRING)
CLUSTERED BY(id) INTO 128 BUCKETS
LOCATION 's3://your-own-s3-bucket/emr-6-bucketing/';

-- Using following LOCATION in EMR 5.x 
LOCATION 's3://your-own-s3-bucket/emr-5-bucketing/';

    EMR 6.x と EMR 5.x の両方に同じデータを挿入しています。

    INSERT INTO test_bucketing PARTITION (day='01') VALUES(66, 'some_data');
INSERT INTO test_bucketing PARTITION (day='01') VALUES(200, 'some_data');

    S3 の場所を確認すると、バケット化ファイル名が異なることが示されています。これは、ハッシュ関数が EMR 6.x (Hive 3) と EMR 5.x (Hive 2) で異なるためです。

    [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-6-bucketing/day=01/
2020-10-21 20:35:16         13 000025_0
2020-10-21 20:35:22         14 000121_0
[hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-5-bucketing/day=01/
2020-10-21 20:32:07         13 000066_0
2020-10-21 20:32:51         14 000072_0

    EMR 6.x で、Hive CLI で次のコマンドを実行し、バージョンの違いを確認することもできます。バケット化バージョン 2 が返されることに注意してください。

    hive> DESCRIBE FORMATTED test_bucketing;
...
Table Parameters:
    bucketing_version       2
...

  • 複数のプライマリノードと Kerberos 認証を使用するクラスターの既知の問題

    Amazon EMR リリース 5.20.0 以降で複数のプライマリノードと Kerberos 認証を使用してクラスターを実行すると、クラスターをしばらく実行した後で、スケールダウンやステップの送信などのクラスターオペレーションに問題が発生する可能性があります。期間は、定義した Kerberos チケットの有効期間によって異なります。スケールダウンの問題は、自動スケールダウンリクエストと送信した明示的なスケールダウンリクエストの両方に影響します。その他のクラスターオペレーションも影響を受ける可能性があります。

    回避方法:

    • 複数のプライマリノードを持つ EMR クラスターのリードプライマリノードに hadoop ユーザーとして SSH 接続します。

    • 次のコマンドを実行して hadoop ユーザーの Kerberos チケットを更新します。

      kinit -kt <keytab_file> <principal>

      通常、キータブファイルは /etc/hadoop.keytab にあります。プリンシパルの形式は hadoop/<hostname>@<REALM> です。

    注記

    この回避策は、Kerberos チケットが有効になっている期間、効果があります。この期間はデフォルトで 10 時間ですが、Kerberos の設定で構成できます。Kerberos チケットの有効期限が切れたら、上記のコマンドを再実行する必要があります。

  • Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。

    • 同じテーブルから 2 つ以上のパーティションがスキャンされます。

    • 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、s3://bucket/table/p=a は s3://bucket/table/p=a b のプレフィックスです。

    • 他のパーティションディレクトリのプレフィックスに続く最初の文字が、/ 文字 (U+002F) より小さい UTF-8 値を持ちます。例えば、s3://bucket/table/p=a b の a と b の間にあるスペース文字 (U+0020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: !"#$%&‘()*+,-。詳細については、「UTF-8 encoding table and Unicode characters」を参照してください。

    この問題の回避策として、spark-defaults 分類の spark.sql.sources.fastS3PartitionDiscovery.enabled 設定を false にセットします。

6.2.0 コンポーネントバージョン

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、emr または aws で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 の myapp-component というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは 2.2-amzn-2 として表示されます。

コンポーネント Version 説明
aws-sagemaker-spark-sdk1.4.1Amazon SageMaker Spark SDK
emr-ddb4.16.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies3.1.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.5.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-notebook-env1.0.0Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env
emr-s3-dist-cp2.16.0Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select2.0.0EMR S3Select コネクター
emrfs2.44.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.11.2Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
flink-jobmanager-config1.11.2Apache Flink JobManager 用の EMR ノード上のリソースの管理。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client3.2.1-amzn-2'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode3.2.1-amzn-2ブロックを保存する HDFS ノードレベルのサービス。
hadoop-hdfs-library3.2.1-amzn-2HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode3.2.1-amzn-2ファイル名を追跡し、場所をブロックする HDFS サービス。
hadoop-hdfs-journalnode3.2.1-amzn-2HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。
hadoop-httpfs-server3.2.1-amzn-2HDFS オペレーションの HTTP エンドポイント。
hadoop-kms-server3.2.1-amzn-2Hadoop の KeyProvider API に基づく暗号キー管理サーバー。
hadoop-mapred3.2.1-amzn-2MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。
hadoop-yarn-nodemanager3.2.1-amzn-2個別のノードでコンテナを管理する YARN サービス。
hadoop-yarn-resourcemanager3.2.1-amzn-2クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。
hadoop-yarn-timeline-server3.2.1-amzn-2YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。
hbase-hmaster2.2.6-amzn-0リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。
hbase-region-server2.2.6-amzn-01 つ以上の HBase リージョンに対応するサービス。
hbase-client2.2.6-amzn-0HBase コマンドラインクライアント。
hbase-rest-server2.2.6-amzn-0HBase の RESTful HTTP エンドポイントを提供するサービス。
hbase-thrift-server2.2.6-amzn-0HBase に Thrift エンドポイントを提供するサービス。
hcatalog-client3.1.2-amzn-3hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server3.1.2-amzn-3分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。
hcatalog-webhcat-server3.1.2-amzn-3HCatalog に REST インターフェイスを提供する HTTP エンドポイント。
hive-client3.1.2-amzn-3Hive コマンドラインクライアント。
hive-hbase3.1.2-amzn-3Hive-hbase クライアント。
hive-metastore-server3.1.2-amzn-3Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。
hive-server23.1.2-amzn-3Hive クエリをウェブリクエストとして受け入れるサービス。
hudi0.6.0-amzn-1データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-presto0.6.0-amzn-1Presto を Hudi で実行するためのバンドルライブラリ。
hudi-prestosql0.6.0-amzn-1PrestoSQL を Hudi で実行するためのバンドルライブラリ。
hudi-spark0.6.0-amzn-1Spark を Hudi で実行するためのバンドルライブラリ。
hue-server4.8.0Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
jupyterhub1.1.0Jupyter Notebook のマルチユーザーサーバー
livy-server0.7.0-incubatingApache Spark を操作するための REST インターフェイス
nginx1.12.1nginx [engine x] は HTTP およびリバースプロキシサーバー
mxnet1.7.0フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。
mariadb-server5.5.64+MariaDB データベースサーバー。
nvidia-cuda10.1.243Nvidia ドライバーと Cuda ツールキット
oozie-client5.2.0Oozie コマンドラインクライアント。
oozie-server5.2.0Oozie ワークフローリクエストを受け入れるサービス。
opencv4.4.0オープンソースのコンピュータビジョンライブラリ。
phoenix-library5.0.0-HBase-2.0サーバーとクライアントの Phoenix ライブラリ
phoenix-query-server5.0.0-HBase-2.0JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー
presto-coordinator0.238.3-amzn-1presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.238.3-amzn-1いくつかのクエリを実行するサービス。
presto-client0.238.3-amzn-1Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
prestosql-coordinator343prestosql-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
prestosql-worker343いくつかのクエリを実行するサービス。
prestosql-client343Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
pig-client0.17.0Pig コマンドラインクライアント。
r3.4.3統計的コンピューティング用 R プロジェクト
ranger-kms-server2.0.0Apache Ranger Key Management System
spark-client3.0.1-amzn-0Spark コマンドラインクライアント。
spark-history-server3.0.1-amzn-0完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn3.0.1-amzn-0YARN のメモリ内実行エンジン。
spark-yarn-slave3.0.1-amzn-0YARN スレーブで必要な Apache Spark ライブラリ。
spark-rapids0.2.0GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。
sqoop-client1.4.7Apache Sqoop コマンドラインクライアント。
tensorflow2.3.1TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。
tez-on-yarn0.9.2tez YARN アプリケーションおよびライブラリ。
webserver2.4.41+Apache HTTP サーバー。
zeppelin-server0.9.0-preview1インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.4.14設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.4.14ZooKeeper コマンドラインクライアント。

6.2.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

emr-6.2.0 の分類
分類 説明 再設定アクション

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

Restarts the ResourceManager service.

container-executor

Hadoop YARN の container-executor.cfg ファイルの値を変更します。

Not available.

container-log4j

Hadoop YARN の container-log4j.properties ファイルの値を変更します。

Not available.

core-site

Hadoop の core-site.xml ファイルの値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

docker-conf

Docker 関連の設定を変更します。

Not available.

emrfs-site

EMRFS の設定を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

flink-conf

flink-conf.yaml の設定を変更します。

Not available.

flink-log4j

Flink log4j.properties の設定を変更します。

Not available.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties の設定を変更します。

Not available.

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

Not available.

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer.

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

Not available.

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

Not available.

hbase

Apache HBase 用の Amazon EMR-curated 設定。

Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts.

hbase-env

HBase の環境の値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-log4j

HBase の hbase-log4j.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-metrics

HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-policy

HBase の hbase-policy.xml ファイルの値を変更します。

Not available.

hbase-site

HBase の hbase-site.xml ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer.

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

This classification should not be reconfigured.

hdfs-env

HDFS 環境の値を変更します。

Restarts Hadoop HDFS ZKFC.

hdfs-site

HDFS の hdfs-site.xml の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.

hcatalog-env

HCatalog 環境の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-jndi

HCatalog の jndi.properties の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-proto-hive-site

HCatalog の proto-hive-site.xml の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-webhcat-env

HCatalog WebHCat 環境の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-log4j2

HCatalog WebHCat の log4j2.properties の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-site

HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。

Restarts Hive WebHCat server.

hive

Apache Hive 用の Amazon EMR-curated 設定。

Sets configurations to launch Hive LLAP service.

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

Not available.

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

Not available.

hive-env

Hive 環境の値を変更します。

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore.

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

Not available.

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

Not available.

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

Not available.

hive-site

Hive の hive-site.xml ファイルの値を変更します

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin.

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

Not available.

hue-ini

Hue の ini ファイルの値を変更します

Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations.

httpfs-env

HTTPFS 環境の値を変更します。

Restarts Hadoop Httpfs service.

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

Restarts Hadoop Httpfs service.

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

Not available.

hadoop-kms-env

Hadoop KMS 環境の値を変更します。

Restarts Hadoop-KMS service.

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

Not available.

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

Restarts Hadoop-KMS and Ranger-KMS service.

hudi-env

Hudi 環境の値を変更します。

Not available.

jupyter-notebook-conf

Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。

Not available.

jupyter-hub-conf

JupyterHubs の jupyterhub_config.py ファイルの値を変更します。

Not available.

jupyter-s3-conf

Jupyter Notebook の S3 の永続性を設定します。

Not available.

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

Not available.

livy-conf

Livy の livy.conf ファイルの値を変更します。

Restarts Livy Server.

livy-env

Livy 環境の値を変更します。

Restarts Livy Server.

livy-log4j

Livy の log4j.properties の設定を変更します。

Restarts Livy Server.

mapred-env

MapReduce アプリケーションの環境の値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

oozie-env

Oozie の環境の値を変更します。

Restarts Oozie.

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

Restarts Oozie.

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

Restarts Oozie.

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

Not available.

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

Not available.

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

Restarts Phoenix-QueryServer.

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

Not available.

pig-env

Pig 環境の値を変更します。

Not available.

pig-properties

Pig の pig.properties ファイルの値を変更します。

Restarts Oozie.

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

Not available.

presto-log

Presto の log.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-config

Presto の config.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

Not available.

presto-env

Presto の presto-env.sh ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-node

Presto の node.properties ファイルの値を変更します。

Not available.

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

Not available.

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

Not available.

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

Not available.

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

Not available.

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

Not available.

presto-connector-memory

Presto の memory.properties ファイルの値を変更します。

Not available.

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

Not available.

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

Not available.

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

Not available.

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

Not available.

presto-connector-redshift

Presto の redshift.properties ファイルの値を変更します。

Not available.

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

Not available.

presto-connector-tpcds

Presto の tpcds.properties ファイルの値を変更します。

Not available.

prestosql-log

Presto の log.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoSQL)

prestosql-config

Presto の config.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoSQL)

prestosql-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoSQL)

prestosql-env

Presto の presto-env.sh ファイルの値を変更します。

Restarts Presto-Server (for PrestoSQL)

prestosql-node

PrestoSQL の node.properties ファイルの値を変更します。

Not available.

prestosql-connector-blackhole

PrestoSQL の blackhole.properties ファイルの値を変更します。

Not available.

prestosql-connector-cassandra

PrestoSQL の cassandra.properties ファイルの値を変更します。

Not available.

prestosql-connector-hive

PrestoSQL の hive.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoSQL)

prestosql-connector-jmx

PrestoSQL の jmx.properties ファイルの値を変更します。

Not available.

prestosql-connector-kafka

PrestoSQL の kafka.properties ファイルの値を変更します。

Not available.

prestosql-connector-localfile

PrestoSQL の localfile.properties ファイルの値を変更します。

Not available.

prestosql-connector-memory

PrestoSQL の memory.properties ファイルの値を変更します。

Not available.

prestosql-connector-mongodb

PrestoSQL の mongodb.properties ファイルの値を変更します。

Not available.

prestosql-connector-mysql

PrestoSQL の musql.properties ファイルの値を変更します。

Not available.

prestosql-connector-postgresql

PrestoSQL の postgresql.properties ファイルの値を変更します。

Not available.

prestosql-connector-raptor

PrestoSQL の raptor.properties ファイルの値を変更します。

Not available.

prestosql-connector-redis

PrestoSQL の redis.properties ファイルの値を変更します。

Not available.

prestosql-connector-redshift

PrestoSQL の redshift.properties ファイルの値を変更します。

Not available.

prestosql-connector-tpch

PrestoSQL の tpcj.properties ファイルの値を変更します。

Not available.

prestosql-connector-tpcds

PrestoSQL の tpcds.properties ファイルの値を変更します。

Not available.

ranger-kms-dbks-site

Ranger KMS の dbks-site.xml ファイルの値を変更します。

Restarts Ranger KMS Server.

ranger-kms-site

Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。

Restarts Ranger KMS Server.

ranger-kms-env

Ranger KMS 環境の値を変更します。

Restarts Ranger KMS Server.

ranger-kms-log4j

Ranger KMS の kms-log4j.properties ファイルの値を変更します。

Not available.

ranger-kms-db-ca

Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。

Not available.

spark

Apache Spark 用の Amazon EMR-curated 設定。

This property modifies spark-defaults. See actions there.

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-env

Spark 環境の値を変更します。

Restarts Spark history server and Spark thrift server.

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

Not available.

spark-log4j

Spark の log4j.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

sqoop-env

Sqoop の環境の値を変更します。

Not available.

sqoop-oraoop-site

Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。

Not available.

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

Not available.

tez-site

Tez の tez-site.xml ファイルの値を変更します。

Restart Oozie.

yarn-env

YARN 環境の値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

yarn-site

YARN の yarn-site.xml ファイルの値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.

zeppelin-env

Zeppelin 環境の値を変更します。

Restarts Zeppelin.

zookeeper-config

ZooKeeper の zoo.cfg ファイルの値を変更します。

Restarts Zookeeper server.

zookeeper-log4j

ZooKeeper の log4j.properties ファイルの値を変更します。

Restarts Zookeeper server.