Amazon EMRリリース 5.32.0 - Amazon EMR
5.32.0 アプリケーションバージョン5.32.0 リリースノート5.32.0 コンポーネントバージョン5.32.0 設定分類

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMRリリース 5.32.0

5.32.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています。 Flink, Ganglia, HBase, HCatalog, Hadoop, Hive, Hudi, Hue, JupyterEnterpriseGateway, JupyterHub, Livy, MXNet, Mahout, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, Zeppelin、および ZooKeeper.

次の表に、Amazon のこのリリースで利用可能なアプリケーションバージョンEMRと、前の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示します。

Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-5.32.0 emr-5.31.1 emr-5.31.0 emr-5.30.2
AWS SDK for Java 1.11.8901.11.8521.11.8521.11.759
Python 2.7、3.72.7、3.72.7、3.72.7、3.7
Scala 2.11.122.11.122.11.122.11.12
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink1.11.21.11.01.11.01.10.0
Ganglia3.7.23.7.23.7.23.7.2
HBase1.4.131.4.131.4.131.4.13
HCatalog2.3.72.3.72.3.72.3.6
Hadoop2.10.12.10.02.10.02.8.5
[Hive]2.3.72.3.72.3.72.3.6
Hudi0.6.0-amzn-00.6.0-amzn-00.6.0-amzn-00.5.2-incubating
Hue4.8.04.7.14.7.14.6.0
Iceberg - - - -
JupyterEnterpriseGateway2.1.0 - - -
JupyterHub1.1.01.1.01.1.01.1.0
Livy0.7.00.7.00.7.00.7.0
MXNet1.7.01.6.01.6.01.5.1
Mahout0.13.00.13.00.13.00.13.0
Oozie5.2.05.2.05.2.05.2.0
フェニックス4.14.34.14.34.14.34.14.3
Pig0.17.00.17.00.17.00.17.0
Presto0.240.10.238.30.238.30.232
Spark2.4.72.4.62.4.62.4.5
Sqoop1.4.71.4.71.4.71.4.7
TensorFlow2.3.12.1.02.1.01.14.0
Tez0.9.20.9.20.9.20.9.2
Trino (PrestoSQL） - - - -
Zeppelin0.8.20.8.20.8.20.8.2
ZooKeeper3.4.143.4.143.4.143.4.14

5.32.0 リリースノート

次のリリースノートには、Amazon EMRリリース 5.32.0 に関する情報が含まれています。5.31.0 からの変更が含まれています。

初回リリース日: 2021 年 1 月 8 日

アップグレード

  • Amazon Glue コネクタをバージョン 1.14.0 にアップグレードしました

  • Amazon Spark SageMaker SDKをバージョン 1.4.1 にアップグレードしました

  • AWS SDK for Java バージョン 1.11.890 にアップグレードしました

  • DynamoDB Connector EMR バージョン 4.16.0 をアップグレードしました

  • EMRFS バージョン 2.45.0 にアップグレードしました

  • EMR ログ分析メトリクスをバージョン 1.18.0 にアップグレードしました

  • EMR MetricsAndEventsApiGateway クライアントをバージョン 1.5.0 にアップグレードしました

  • EMR Record Server をバージョン 1.8.0 にアップグレードしました

  • EMR S3 Dist CP をバージョン 2.17.0 にアップグレードしました

  • Secret EMR Agent をバージョン 1.7.0 にアップグレードしました

  • Flink をバージョン 1.11.2 にアップグレードしました

  • Hadoop をバージョン 2.10.1-amzn-0 にアップグレードしました

  • Hive をバージョン 2.3.7-amzn-3 にアップグレードしました

  • Hue をバージョン 4.8.0 にアップグレードしました

  • MXNet をバージョン 1.7.0 にアップグレードしました

  • OpenCV をバージョン 4.4.0 にアップグレードしました

  • Presto をバージョン 0.240.1-amzn-0 にアップグレードしました

  • Spark をバージョン 2.4.7-amzn-0 にアップグレードしました

  • バージョン 2.3.1 TensorFlow にアップグレードしました

変更点、機能強化、解決した問題

  • これは、クラスターのスケールアップ/スケールダウンに失敗した場合、またはアプリケーション障害が発生した場合の Amazon EMR Scaling の問題を修正するためのリリースです。

  • Amazon クラスターEMR上のデーモンがYARNノードの状態やノードの状態の収集などのヘルスチェックアクティビティを実行しているときに、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しましたHDFS。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部 Amazon EMRコンポーネントに伝達できなかったために発生しました。

  • クラスターEMR上のデーモンが改善され、IP アドレスが再利用されたときにノードの状態が正しく追跡され、スケーリングオペレーション中の信頼性が向上しました。

  • SPARK-29683。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。

  • YARN-9011。クラスターがスケールアップまたはスケールダウンしようとしたときにYARN、廃止時の競合状態が原因でジョブが失敗する問題を修正しました。

  • Amazon クラスターEMR上のデーモンと YARN/ の間でノードの状態が常に一貫しているようにすることで、クラスターのスケーリング中にステップまたはジョブが失敗する問題を修正しましたHDFS。

  • Kerberos 認証が有効になっている Amazon クラスターで、スケールダウンやステップ送信などのEMRクラスターオペレーションが失敗する問題を修正しました。これは、Amazon クラスターEMR上のデーモンが Kerberos チケットを更新しなかったためです。これは、プライマリノードで実行されている HDFSとYARN安全に通信するために必要です。

  • 新しい Amazon EMRリリースでは、Amazon の古い の「最大オープンファイル」制限が低くなる問題が修正AL2されていますEMR。Amazon EMRリリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降では、「最大オープンファイル」設定が高い永続的な修正が追加されました。

  • コンポーネントのバージョンをアップグレードしました。

  • コンポーネントバージョンのリストについては、このガイドの「Amazon EMRリリースについて」を参照してください。

新機能

  • Amazon 5EMR.32.0 および 6.5.0 以降、Apache Spark の動的エグゼキュターサイズ設定はデフォルトで有効になっています。この機能をオンまたはオフにするには、spark.yarn.heterogeneousExecutors.enabled 設定パラメータを使用できます。

  • インスタンスメタデータサービス (IMDS) V2 のサポートステータス: Amazon EMR 5.23.1、5.27.1、および 5.32 以降のコンポーネントは、すべてのIMDS呼び出しIMDSv2に を使用します。アプリケーションコードのIMDS呼び出しでは、 IMDSv1と の両方を使用するかIMDSv2、セキュリティを強化するIMDSv2ためだけに使用するIMDSように を設定できます。他の 5.x EMRリリースでは、 を無効にするIMDSv1とクラスターの起動が失敗します。

  • Amazon EMR 5.32.0 以降では、Apache Ranger とネイティブに統合されるクラスターを起動できます。Apache Ranger は、Hadoop プラットフォーム全体で包括的なデータセキュリティを有効化、監視、管理するためのオープンソースフレームワークです。詳細については、「Apache Ranger」を参照してください。ネイティブ統合を使用すると、独自の Apache Ranger を使用して、Amazon にきめ細かなデータアクセスコントロールを適用できますEMR。「Amazon リリースガイド」の「Amazon EMRと Apache Ranger の統合」を参照してください。 EMR

  • Amazon EMR リリース 5.32.0 は、 EMRで Amazon をサポートしていますEKS。EMR での の使用開始の詳細についてはEKS、「 での Amazon とはEMREKS」を参照してください。

  • Amazon EMR リリース 5.32.0 は Amazon EMR Studio (プレビュー) をサポートしています。EMR Studio の開始方法の詳細については、「Amazon EMR Studio (プレビュー）」を参照してください。

  • スコープ管理ポリシー: AWS ベストプラクティスに合わせて、Amazon EMRでは v2 EMRスコープのデフォルト管理ポリシーを廃止されるポリシーの置き換えとして導入しました。「Amazon EMR 管理ポリシー」を参照してください。

既知の問題

  • Amazon 6EMR.3.0 および 6.2.0 プライベートサブネットクラスターの場合、Ganglia ウェブ UI にアクセスすることはできません。「アクセス拒否 (403)」というエラーが表示されます。SparkUIs、Hue、Zeppelin JupyterHub、Livy、Tez などの他のウェブ は正常に動作しています。パブリックサブネットクラスターでの Ganglia ウェブ UI アクセスも正常に動作します。この問題を解決するには、sudo systemctl restart httpd を使用してプライマリノードで httpd サービスを再起動します。この問題は Amazon 6.4.0 EMR で修正されています。

  • 古い AL2 [新しいリリースで修正済み] の「最大オープンファイル」制限を引き下げました。Amazon EMRリリース: emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0、および emr-6.2.0 は、古いバージョンの ofAmazon Linux 2 (AL2) に基づいています。このバージョンでは、Amazon EMRクラスターがデフォルトの で作成されたときに「最大オープンファイル」の ulimit 設定が低くなりますAMI。Amazon EMRリリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「最大オープンファイル」設定が高い永続的な修正が含まれています。オープンファイルの上限が低いリリースでは、Spark ジョブを送信するときに「Too many open files」というエラーが発生します。影響を受けるリリースAMIでは、Amazon のEMRデフォルト ulimit 設定は「最大オープンファイル」で 4096 で、 latestAmazon Linux 2 の 65536 ファイル制限よりも低くなっていますAMI。「最大オープンファイル」の ulimit 設定が低い場合、Spark ドライバーとエグゼキュータが 4096 を超えるファイルを開こうとすると、Spark ジョブが失敗します。この問題を解決するために、Amazon EMRにはクラスターの作成時に ulimit 設定を調整するブートストラップアクション (BA) スクリプトがあります。

    この問題の永続的な修正がない古い Amazon EMRバージョンを使用している場合は、次の回避策により、インスタンスコントローラーの ulimit を最大 65536 個のファイルに明示的に設定できます。

    コマンドラインから ulimit を明示的に設定する

    1. /etc/systemd/system/instance-controller.service を編集して、Service セクションに次のパラメータを追加します。

      LimitNOFILE=65536

      LimitNPROC=65536

    2. 再起動 InstanceController

      $ sudo systemctl daemon-reload

      $ sudo systemctl restart instance-controller

    ブートストラップアクション (BA) を使用して ulimit を設定する

    ブートストラップアクション (BA) スクリプトを使用して、クラスター作成時にインスタンスコントローラーの ulimit を 65536 ファイルに設定することもできます。

    #!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
  • 重要

    EMR Amazon Linux または Amazon Linux 2 Amazon マシンイメージ (AMIs) を実行する クラスターは、デフォルトの Amazon Linux 動作を使用し、再起動を必要とする重要かつ重要なカーネル更新を自動的にダウンロードしてインストールしません。これは、デフォルトの Amazon Linux を実行する他の Amazon EC2インスタンスと同じ動作ですAMI。Amazon EMRリリースが利用可能になった後に、再起動を必要とする新しい Amazon Linux ソフトウェア更新 (カーネル、NVIDIA、CUDA更新など) が利用可能になった場合、デフォルトを実行するEMRクラスターインスタンスは、それらの更新を自動的にダウンロードしてインストールAMIしません。カーネルの更新を取得するには、最新の Amazon Linux を使用するEMRように Amazon をカスタマイズできますAMI。 AMI

  • AWS Ranger 統合オプションを指定するセキュリティ設定を作成するためのコンソールサポートは、現在 GovCloud リージョンではサポートされていません。セキュリティ設定は、 を使用して行うことができますCLI。「Amazon EMR 管理ガイド」のEMR「セキュリティ設定の作成」を参照してください。

  • Amazon 5.31EMR.0 または 5.32.0 を使用するクラスターで AtRestEncryption または HDFS暗号化が有効になっている場合、Hive クエリでは次のランタイム例外が発生します。

    TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found

  • Hive パーティションの場所の書式設定で Spark を使用して Amazon S3 でデータを読み取るときに、Amazon EMRリリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れない問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。

    • 同じテーブルから 2 つ以上のパーティションがスキャンされます。

    • 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、s3://bucket/table/p=a は s3://bucket/table/p=a b のプレフィックスです。

    • 他のパーティションディレクトリのプレフィックスに続く最初の文字は、 / 文字 (U+002F) より小さい UTF-8 値を持ちます。例えば、s3://bucket/table/p=a b の a と b の間にあるスペース文字 (U+0020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: !"#$%&‘()*+,-。詳細については、UTF「-8 エンコーディングテーブル」と「Unicode 文字」を参照してください。

    この問題の回避策として、spark-defaults 分類の spark.sql.sources.fastS3PartitionDiscovery.enabled 設定を false にセットします。

5.32.0 コンポーネントバージョン

このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有のものでEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは通常、コミュニティにある最新バージョンです。コミュニティリリースEMRは、できるだけ早く Amazon で利用可能になります。

Amazon の一部のコンポーネントEMRは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 myapp-componentの という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2。

コンポーネント Version 説明
aws-sagemaker-spark-sdk1.4.1Amazon SageMaker Spark SDK
emr-ddb4.16.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies2.13.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.5.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-notebook-env1.1.0Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env
emr-s3-dist-cp2.17.0Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select1.6.0EMR S3Select コネクタ
emrfs2.45.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.11.2Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
flink-jobmanager-config1.11.2Apache Flink のEMRノード上のリソースの管理 JobManager。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client2.10.1-amzn-0'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode2.10.1-amzn-0HDFS ブロックを保存するための ノードレベルのサービス。
hadoop-hdfs-library2.10.1-amzn-0HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode2.10.1-amzn-0HDFS ファイル名とブロックの場所を追跡するための サービス。
hadoop-hdfs-journalnode2.10.1-amzn-0HDFS HA クラスターで Hadoop ファイルシステムジャーナルを管理するための サービス。
hadoop-httpfs-server2.10.1-amzn-0HTTP HDFSオペレーションの エンドポイント。
hadoop-kms-server2.10.1-amzn-0Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。
hadoop-mapred2.10.1-amzn-0MapReduce MapReduce アプリケーションを実行するための 実行エンジンライブラリ。
hadoop-yarn-nodemanager2.10.1-amzn-0YARN 個々のノードのコンテナを管理するための サービス。
hadoop-yarn-resourcemanager2.10.1-amzn-0YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。
hadoop-yarn-timeline-server2.10.1-amzn-0YARN アプリケーションの現在および履歴情報を取得するためのサービス。
hbase-hmaster1.4.13リージョンの調整と管理コマンドの実行を担当する HBaseクラスターのサービス。
hbase-region-server1.4.131 つ以上のHBaseリージョンに対応するサービス。
hbase-client1.4.13HBase コマンドラインクライアント。
hbase-rest-server1.4.13のRESTfulHTTPエンドポイントを提供するサービスHBase。
hbase-thrift-server1.4.13Thrift エンドポイントを に提供するサービスHBase。
hcatalog-client2.3.7-amzn-3hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server2.3.7-amzn-3分散アプリケーション用のテーブルおよびストレージ管理レイヤーHCatalogである を提供するサービス。
hcatalog-webhcat-server2.3.7-amzn-3HTTP にRESTインターフェイスを提供する エンドポイントHCatalog。
hive-client2.3.7-amzn-3Hive コマンドラインクライアント。
hive-hbase2.3.7-amzn-3Hive-hbase クライアント。
hive-metastore-server2.3.7-amzn-3Hadoop オペレーションで のメタデータを保存するセマンティックリポジトリである Hive SQL メタストアにアクセスするためのサービス。
hive-server22.3.7-amzn-3Hive クエリをウェブリクエストとして受け入れるサービス。
hudi0.6.0-amzn-0データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-spark0.6.0-amzn-0Spark を Hudi で実行するためのバンドルライブラリ。
hudi-presto0.6.0-amzn-0Presto を Hudi で実行するためのバンドルライブラリ。
hue-server4.8.0Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
jupyterhub1.1.0Jupyter Notebook のマルチユーザーサーバー
livy-server0.7.0-incubatingREST Apache Spark とやり取りするための インターフェイス
nginx1.12.1nginx [エンジン x] は HTTPおよびリバースプロキシサーバーです
mahout-client0.13.0機械学習用のライブラリ。
mxnet1.7.0フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。
mariadb-server5.5.68データベースSQLサーバー。
nvidia-cuda10.1.243Nvidia ドライバーと Cuda ツールキット
oozie-client5.2.0Oozie コマンドラインクライアント。
oozie-server5.2.0Oozie ワークフローリクエストを受け入れるサービス。
opencv4.4.0オープンソースのコンピュータビジョンライブラリ。
phoenix-library4.14.3-HBase-1.4サーバーとクライアントの Phoenix ライブラリ
phoenix-query-server4.14.3-HBase-1.4Avatica JDBCへのアクセスとプロトコルバッファ、JSONフォーマットアクセスを提供する軽量サーバー API
presto-coordinator0.240.1-amzn-0presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.240.1-amzn-0いくつかのクエリを実行するサービス。
presto-client0.240.1-amzn-0Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
pig-client0.17.0Pig コマンドラインクライアント。
r3.4.3統計的コンピューティング用 R プロジェクト
ranger-kms-server1.2.0Apache Ranger Key Management System
spark-client2.4.7-amzn-0Spark コマンドラインクライアント。
spark-history-server2.4.7-amzn-0完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn2.4.7-amzn-0のインメモリ実行エンジンYARN。
spark-yarn-slave2.4.7-amzn-0YARN スレーブに必要な Apache Spark ライブラリ。
sqoop-client1.4.7Apache Sqoop コマンドラインクライアント。
tensorflow2.3.1TensorFlow 高性能な数値計算用の オープンソースソフトウェアライブラリ。
tez-on-yarn0.9.2Tez YARNアプリケーションとライブラリ。
webserver2.4.25+Apache HTTPサーバー。
zeppelin-server0.8.2インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.4.14設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.4.14ZooKeeper コマンドラインクライアント。

5.32.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon は、変更した分類に対してEMRのみ再設定アクションを開始します。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

emr-5.32.0 の分類
分類 説明 再設定アクション

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

Restarts the ResourceManager service.

container-executor

Hadoop YARNの container-executor.cfg ファイルの値を変更します。

Not available.

container-log4j

Hadoop YARNの container-log4j.properties ファイルの値を変更します。

Not available.

core-site

Hadoop の core-site.xml ファイルの値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

docker-conf

Docker 関連の設定を変更します。

Not available.

emrfs-site

EMRFS 設定を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

flink-conf

flink-conf.yaml の設定を変更します。

Restarts Flink history server.

flink-log4j

Flink log4j.properties の設定を変更します。

Restarts Flink history server.

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 設定を変更します。

Not available.

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

Restarts Flink history server.

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer.

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

Not available.

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

Not available.

hbase

Apache の Amazon EMRが厳選した設定HBase。

Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts.

hbase-env

HBaseの環境の値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-log4j

HBaseの hbase-log4j.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-metrics

HBaseの hadoop-metrics2-hbase.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-policy

HBaseの hbase-policy.xml ファイルの値を変更します。

Not available.

hbase-site

HBaseの hbase-site.xml ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer.

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

Should not be reconfigured.

hdfs-site

HDFSの hdfs-site.xml の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.

hcatalog-env

HCatalogの環境の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-jndi

HCatalogの jndi.properties の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-proto-hive-site

HCatalog's proto-hive-site.xml の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-webhcat-env

HCatalog W ebHCatの環境の値を変更します。

Restarts Hive WebHCat Server.

hcatalog-webhcat-log4j2

HCatalog W ebHCatの log4j2.properties の値を変更します。

Restarts Hive WebHCat Server.

hcatalog-webhcat-site

HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。

Restarts Hive WebHCat Server.

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

Not available.

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

Not available.

hive-env

Hive 環境の値を変更します。

Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore.

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

Restarts HiveServer2 and HiveMetastore.

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

Not available.

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

Not available.

hive-site

Hive の hive-site.xml ファイルの値を変更します

Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin.

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

Not available.

hue-ini

Hue の ini ファイルの値を変更します

Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations.

httpfs-env

HTTPFS 環境の値を変更します。

Restarts Hadoop Httpfs service.

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

Restarts Hadoop Httpfs service.

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

Not available.

hadoop-kms-env

Hadoop KMS環境の値を変更します。

Restarts Hadoop-KMS service.

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

Not available.

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

Restarts Hadoop-KMS and Ranger-KMS service.

hudi-env

Hudi 環境の値を変更します。

Not available.

jupyter-notebook-conf

Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。

Not available.

jupyter-hub-conf

JupyterHubsの jupyterhub_config.py ファイルの値を変更します。

Not available.

jupyter-s3-conf

Jupyter Notebook の S3 の永続性を設定します。

Not available.

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

Not available.

livy-conf

Livy の livy.conf ファイルの値を変更します。

Restarts Livy Server.

livy-env

Livy 環境の値を変更します。

Restarts Livy Server.

livy-log4j

Livy の log4j.properties の設定を変更します。

Restarts Livy Server.

mapred-env

MapReduce アプリケーションの環境の値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

oozie-env

Oozie の環境の値を変更します。

Restarts Oozie.

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

Restarts Oozie.

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

Restarts Oozie.

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

Not available.

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

Not available.

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

Restarts Phoenix-QueryServer.

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

Not available.

pig-env

Pig 環境の値を変更します。

Not available.

pig-properties

Pig の pig.properties ファイルの値を変更します。

Restarts Oozie.

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

Not available.

presto-log

Presto の log.properties ファイルの値を変更します。

Restarts Presto-Server.

presto-config

Presto の config.properties ファイルの値を変更します。

Restarts Presto-Server.

presto-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

Not available.

presto-env

Presto の presto-env.sh ファイルの値を変更します。

Restarts Presto-Server.

presto-node

Presto の node.properties ファイルの値を変更します。

Not available.

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

Not available.

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

Not available.

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

Restarts Presto-Server.

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

Not available.

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

Not available.

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

Not available.

presto-connector-memory

Presto の memory.properties ファイルの値を変更します。

Not available.

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

Not available.

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

Not available.

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

Not available.

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

Not available.

presto-connector-redshift

Presto の redshift.properties ファイルの値を変更します。

Not available.

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

Not available.

presto-connector-tpcds

Presto の tpcds.properties ファイルの値を変更します。

Not available.

ranger-kms-dbks-site

Ranger の dbks-site.xml ファイルの値を変更しますKMS。

Restarts Ranger KMS Server.

ranger-kms-site

Ranger の ranger-kms-site.xml ファイルの値を変更しますKMS。

Restarts Ranger KMS Server.

ranger-kms-env

Ranger KMS環境の値を変更します。

Restarts Ranger KMS Server.

ranger-kms-log4j

Ranger の kms-log4j.properties ファイルの値を変更しますKMS。

Not available.

ranger-kms-db-ca

Ranger との SQLSSL接続の S3 の CA ファイルの値を変更しますKMS。

Not available.

recordserver-env

EMR RecordServer 環境の値を変更します。

Restarts EMR record server.

recordserver-conf

EMR RecordServerの erver.properties ファイルの値を変更します。

Restarts EMR record server.

recordserver-log4j

EMR RecordServerの log4j.properties ファイルの値を変更します。

Restarts EMR record server.

spark

Apache EMRSpark の Amazon が厳選した設定。

This property modifies spark-defaults. See actions there.

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-env

Spark 環境の値を変更します。

Restarts Spark history server and Spark thrift server.

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

Not available.

spark-log4j

Spark の log4j.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

sqoop-env

Sqoop の環境の値を変更します。

Not available.

sqoop-oraoop-site

Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。

Not available.

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

Not available.

tez-site

Tez の tez-site.xml ファイルの値を変更します。

Restarts Oozie.

yarn-env

YARN 環境の値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

yarn-site

YARNの yarn-site.xml ファイルの値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.

zeppelin-env

Zeppelin 環境の値を変更します。

Restarts Zeppelin.

zookeeper-config

ZooKeeperの zoo.cfg ファイルの値を変更します。

Restarts Zookeeper server.

zookeeper-log4j

log ZooKeeper4j.properties ファイルの値を変更します。

Restarts Zookeeper server.