Amazon EMR リリース 6.7.0
6.7.0 アプリケーションバージョン
このリリースでは、次のアプリケーションがサポートされています: Flink
以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。
Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。
emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | |
---|---|---|---|---|
AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.31 | 1.12.31 |
Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 |
Scala | 2.12.15 | 2.12.10 | 2.12.10 | 2.12.10 |
AmazonCloudWatchAgent | - | - | - | - |
Delta | - | - | - | - |
Flink | 1.14.2 | 1.14.2 | 1.14.0 | 1.13.1 |
Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
HBase | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 |
HCatalog | 3.1.3 | 3.1.2 | 3.1.2 | 3.1.2 |
Hadoop | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 |
Hive | 3.1.3 | 3.1.2 | 3.1.2 | 3.1.2 |
Hudi | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 |
Hue | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 |
Iceberg | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 | - |
JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 |
Livy | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 |
Mahout | - | - | - | - |
Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 |
Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
Presto | 0.272 | 0.267 | 0.261 | 0.254.1 |
Spark | 3.2.1 | 3.2.0 | 3.1.2 | 3.1.2 |
Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
Trino (PrestoSQL) | 378 | 367 | 360 | 359 |
Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 |
ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 | 3.5.7 |
6.7.0 リリースノート
次のリリースノートには、Amazon EMR リリース 6.7.0 に関する情報が含まれています。6.6.0 からの変更が含まれています。
初回リリース日: 2022 年 7 月 15 日
新機能
Amazon EMR は Apache Spark 3.2.1、Apache Hive 3.1.3、HUDI 0.11、PrestoDB 0.272、Trino 0.378 をサポートするようになりました。
EC2 クラスター上の Amazon EMR 用の EMR ステップ (Spark、Hive) による IAM ロールおよび Lake Formation ベースのアクセスコントロールをサポートします。
Apache Ranger 対応クラスターでの Apache Spark データ定義ステートメントをサポートします。これには、Apache Ranger 対応クラスターで Apache Hive メタデータを読み書きする Trino アプリケーションのサポートが含まれるようになりました。詳細については、「Enable federated governance using Trino and Apache Ranger on Amazon EMR
」を参照してください。 Amazon EMR 5.36 以降、6.6 以降、7.0 以降の最新のパッチリリースを使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「Amazon EMR にデフォルトの Amazon Linux AMI を使用する」を参照してください。
OsReleaseLabel (Amazon Linux バージョン) Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン 2.0.20241001.0 4.14.352 2024 年 10 月 4 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20240816.0 4.14.350 2024 年 8 月 21 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20240809.0 4.14.349 2024 年 8 月 20 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20240719.0 4.14.348 2024 年 7 月 25 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20240709.1 4.14.348 2024 年 7 月 23 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏)、アジアパシフィック (ハイデラバード)、中東 (UAE)、欧州 (スペイン)、欧州 (チューリッヒ) 2.0.20240223.0 4.14.336 2024 年 3 月 8 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20240131.0 4.14.336 2024 年 2 月 14 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20240124.0 4.14.336 2024 年 2 月 7 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20240109.0 4.14.334 2024 年 1 月 24 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20231218.0 4.14.330 2024 年 1 月 2 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20231206.0 4.14.330 2023 年 12 月 22 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20231116.0 4.14.328 2023 年 12 月 11 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20231101.0 4.14.327 2023 年 11 月 16 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20231020.1 4.14.326 2023 年 11 月 7 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20231012.1 4.14.326 2023 年 10 月 26 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20230926.0 4.14.322 2023 年 10 月 19 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、AWS GovCloud (米国西部)、AWS GovCloud (米国東部)、中国 (北京)、中国 (寧夏) 2.0.20230906.0 4.14.322 2023 年 10 月 4 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部) 2.0.20230822.0 4.14.322 2023 年 8 月 30 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部) 2.0.20230808.0 4.14.320 2023 年 8 月 24 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部) 2.0.20230727.0 4.14.320 2023 年 8 月 14 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部) 2.0.20230719.0 4.14.320 2023 年 8 月 2 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (スペイン)、欧州 (フランクフルト)、欧州 (チューリッヒ)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ハイデラバード)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、中東 (アラブ首長国連邦)、カナダ (中部) 2.0.20230628.0 4.14.318 2023 年 7 月 12 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230612.0 4.14.314 2023 年 6 月 23 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230504.1 4.14.313 2023 年 5 月 16 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230418.0 4.14.311 2023 年 5 月 3 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230404.1 4.14.311 2023 年 4 月 18 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230404.0 4.14.311 2023 年 4 月 10 日 米国東部 (バージニア北部)、欧州 (パリ) 2.0.20230320.0 4.14.309 2023 年 3 月 30 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230307.0 4.14.305 2023 年 3 月 15 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230207.0 4.14.304 2023 年 2 月 22 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230119.1 4.14.301 2023 年 2 月 3 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20221210.1 4.14.301 2023 年 12 月 22 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20221103.3 4.14.296 2022 年 12 月 5 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20221004.0 4.14.294 2022 年 11 月 2 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20220912.1 4.14.291 2022 年 10 月 7 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20220719.0 4.14.287 2022 年 8 月 10 日 us‑west‑1
,eu‑west‑3
,eu‑north‑1
,ap‑south‑1
,me‑south‑1
2.0.20220606.1 4.14.281 2022 年 7 月 15 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
既知の問題
Amazon EMR リリース 6.5.0、6.6.0、または 6.7.0 が Apache Spark シェルを介して Apache Phoenix テーブルを読み取ると、Amazon EMR が誤った
Hbase.compat.version
を使用しているため、NoSuchMethodError
が発生します。Amazon EMR リリース 6.8.0 では、この問題が修正されています。-
Spark on Amazon EMR バージョン 6.6.0、6.7.0、6.8.0 で DynamoDB コネクタを使用すると、テーブルから何を読み込んでも空の結果が返されます。この状況は、入力分割が空でないデータを参照している場合でも変わりません。これは、Spark 3.2.0 が
spark.hadoopRDD.ignoreEmptySplits
をデフォルトでtrue
に設定しているためです。回避策として、明示的にspark.hadoopRDD.ignoreEmptySplits
をfalse
に設定します。Amazon EMR リリース 6.9.0 では、この問題が修正されています。 Hive パーティション場所の形式設定で Spark を使用して Amazon S3 のデータを読み取り、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れなくなる問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
-
同じテーブルから 2 つ以上のパーティションがスキャンされます。
-
少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、
s3://bucket/table/p=a
はs3://bucket/table/p=a b
のプレフィックスです。 -
他のパーティションディレクトリのプレフィックスに続く最初の文字が、
/
文字 (U+002F) より小さい UTF-8 値を持ちます。例えば、s3://bucket/table/p=a b
の a と b の間にあるスペース文字 (U+0020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください:!"#$%&‘()*+,-
。詳細については、「UTF-8 encoding table and Unicode characters」を参照してください。
この問題の回避策として、
spark-defaults
分類のspark.sql.sources.fastS3PartitionDiscovery.enabled
設定をfalse
にセットします。-
Amazon EMR リリース 5.36.0、および 6.6.0 から 6.9.0 では、Log4j2 プロパティのファイル名パターン設定が正しくないため、
SecretAgent
およびRecordServer
サービスコンポーネントでログデータが失われる可能性があります。設定が正しくないと、コンポーネントは 1 日に 1 つのログファイルしか生成しません。ローテーション戦略が実行されると、期待どおりに新しいログファイルが生成されず、既存のファイルが上書きされます。回避策として、ブートストラップアクションを使用して 1 時間ごとにログファイルを生成し、ファイル名に自動増分整数を追加してローテーションを処理します。Amazon EMR 6.6.0 から 6.9.0 のリリースでは、クラスターを起動するときに次のブートストラップアクションを使用します。
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
Amazon EMR 5.36.0 では、クラスターを起動するときに次のブートストラップアクションを使用します。
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
GetClusterSessionCredentials
API は、Amazon EMR 6.7 以前で実行されるクラスターではサポートされていません。
6.7.0 コンポーネントバージョン
このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、emr
または aws
で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。
Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、
の形式のバージョンラベルがあります。CommunityVersion
-amzn-EmrVersion
は 0 から始まります。例えば、バージョン 2.2 の EmrVersion
myapp-component
というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは 2.2-amzn-2
として表示されます。
コンポーネント | Version | 説明 |
---|---|---|
aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 |
emr-goodies | 3.2.0 | Hadoop エコシステムに役立つ追加のライブラリ。 |
emr-kinesis | 3.5.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 |
emr-notebook-env | 1.6.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env |
emr-s3-dist-cp | 2.22.0 | Amazon S3 に最適化された分散コピーアプリケーション。 |
emr-s3-select | 2.1.0 | EMR S3Select コネクター |
emrfs | 2.52.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 |
flink-client | 1.14.2 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 |
flink-jobmanager-config | 1.14.2 | Apache Flink JobManager 用の EMR ノード上のリソースの管理。 |
ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 |
ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 |
ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 |
hadoop-client | 3.2.1-amzn-7 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 |
hadoop-hdfs-datanode | 3.2.1-amzn-7 | ブロックを保存する HDFS ノードレベルのサービス。 |
hadoop-hdfs-library | 3.2.1-amzn-7 | HDFS コマンドラインクライアントとライブラリ |
hadoop-hdfs-namenode | 3.2.1-amzn-7 | ファイル名を追跡し、場所をブロックする HDFS サービス。 |
hadoop-hdfs-journalnode | 3.2.1-amzn-7 | HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。 |
hadoop-httpfs-server | 3.2.1-amzn-7 | HDFS オペレーションの HTTP エンドポイント。 |
hadoop-kms-server | 3.2.1-amzn-7 | Hadoop の KeyProvider API に基づく暗号キー管理サーバー。 |
hadoop-mapred | 3.2.1-amzn-7 | MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。 |
hadoop-yarn-nodemanager | 3.2.1-amzn-7 | 個別のノードでコンテナを管理する YARN サービス。 |
hadoop-yarn-resourcemanager | 3.2.1-amzn-7 | クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。 |
hadoop-yarn-timeline-server | 3.2.1-amzn-7 | YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。 |
hbase-hmaster | 2.4.4-amzn-3 | リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。 |
hbase-region-server | 2.4.4-amzn-3 | 1 つ以上の HBase リージョンに対応するサービス。 |
hbase-client | 2.4.4-amzn-3 | HBase コマンドラインクライアント。 |
hbase-rest-server | 2.4.4-amzn-3 | HBase の RESTful HTTP エンドポイントを提供するサービス。 |
hbase-thrift-server | 2.4.4-amzn-3 | HBase に Thrift エンドポイントを提供するサービス。 |
hbase-operator-tools | 2.4.4-amzn-3 | Apache HBase クラスター用の修復ツール。 |
hcatalog-client | 3.1.3-amzn-0 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 |
hcatalog-server | 3.1.3-amzn-0 | 分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。 |
hcatalog-webhcat-server | 3.1.3-amzn-0 | HCatalog に REST インターフェイスを提供する HTTP エンドポイント。 |
hive-client | 3.1.3-amzn-0 | Hive コマンドラインクライアント。 |
hive-hbase | 3.1.3-amzn-0 | Hive-hbase クライアント。 |
hive-metastore-server | 3.1.3-amzn-0 | Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。 |
hive-server2 | 3.1.3-amzn-0 | Hive クエリをウェブリクエストとして受け入れるサービス。 |
hudi | 0.11.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 |
hudi-presto | 0.11.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 |
hudi-trino | 0.11.0-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 |
hudi-spark | 0.11.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 |
hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション |
iceberg | 0.13.1-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 |
jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー |
livy-server | 0.7.1-incubating | Apache Spark を操作するための REST インターフェイス |
nginx | 1.12.1 | nginx [engine x] は HTTP およびリバースプロキシサーバー |
mxnet | 1.8.0 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 |
mariadb-server | 5.5.68+ | MariaDB データベースサーバー。 |
nvidia-cuda | 11.0.194 | Nvidia ドライバーと Cuda ツールキット |
oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 |
oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 |
opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 |
phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ |
phoenix-connectors | 5.1.2 | Spark-3 用 Apache Phoenix-Connectors |
phoenix-query-server | 5.1.2 | JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー |
presto-coordinator | 0.272-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 |
presto-worker | 0.272-amzn-0 | いくつかのクエリを実行するサービス。 |
presto-client | 0.272-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 |
trino-coordinator | 378-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 |
trino-worker | 378-amzn-0 | いくつかのクエリを実行するサービス。 |
trino-client | 378-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 |
pig-client | 0.17.0 | Pig コマンドラインクライアント。 |
r | 4.0.2 | 統計的コンピューティング用 R プロジェクト |
ranger-kms-server | 2.0.0 | Apache Ranger Key Management System |
spark-client | 3.2.1-amzn-0 | Spark コマンドラインクライアント。 |
spark-history-server | 3.2.1-amzn-0 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 |
spark-on-yarn | 3.2.1-amzn-0 | YARN のメモリ内実行エンジン。 |
spark-yarn-slave | 3.2.1-amzn-0 | YARN スレーブで必要な Apache Spark ライブラリ。 |
spark-rapids | 22.02.0-amzn-1 | GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。 |
sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 |
tensorflow | 2.4.1 | TensorFlow は、高性能数値計算用のオープンソースのソフトウェアライブラリです。 |
tez-on-yarn | 0.9.2 | tez YARN アプリケーションおよびライブラリ。 |
webserver | 2.4.41+ | Apache HTTP サーバー。 |
zeppelin-server | 0.10.0 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 |
zookeeper-server | 3.5.7 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 |
zookeeper-client | 3.5.7 | ZooKeeper コマンドラインクライアント。 |
6.7.0 設定分類
設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、hive-site.xml
などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。
再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。
分類 | 説明 | 再設定アクション |
---|---|---|
capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. |
container-executor | Hadoop YARN の container-executor.cfg ファイルの値を変更します。 | Not available. |
container-log4j | Hadoop YARN の container-log4j.properties ファイルの値を変更します。 | Not available. |
core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
docker-conf | Docker 関連の設定を変更します。 | Not available. |
emrfs-site | EMRFS の設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. |
flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. |
flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. |
flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. |
hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. |
hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. |
hbase | Apache HBase 用の Amazon EMR-curated 設定。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
hbase-env | HBase の環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-log4j | HBase の hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-metrics | HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-policy | HBase の hbase-policy.xml ファイルの値を変更します。 | Not available. |
hbase-site | HBase の hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. |
hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. |
hdfs-site | HDFS の hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
hcatalog-env | HCatalog 環境の値を変更します。 | Restarts Hive HCatalog Server. |
hcatalog-server-jndi | HCatalog の jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. |
hcatalog-server-proto-hive-site | HCatalog の proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. |
hcatalog-webhcat-env | HCatalog WebHCat 環境の値を変更します。 | Restarts Hive WebHCat server. |
hcatalog-webhcat-log4j2 | HCatalog WebHCat の log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. |
hcatalog-webhcat-site | HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. |
hive | Apache Hive 用の Amazon EMR-curated 設定。 | Sets configurations to launch Hive LLAP service. |
hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. |
hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. |
hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. |
hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. |
httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. |
hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. |
hadoop-kms-env | Hadoop KMS 環境の値を変更します。 | Restarts Hadoop-KMS service. |
hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. |
hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. |
hudi-env | Hudi 環境の値を変更します。 | Not available. |
hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. |
iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. |
jupyter-notebook-conf | Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。 | Not available. |
jupyter-hub-conf | JupyterHubs の jupyterhub_config.py ファイルの値を変更します。 | Not available. |
jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. |
jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. |
livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. |
livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. |
livy-log4j | Livy の log4j.properties の設定を変更します。 | Restarts Livy Server. |
mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. |
mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. |
oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. |
oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. |
oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. |
phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. |
phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. |
phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. |
phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. |
pig-env | Pig 環境の値を変更します。 | Not available. |
pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. |
pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. |
presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. |
presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. |
presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. |
presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. |
presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. |
presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. |
presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. |
presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. |
presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. |
presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. |
presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. |
presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. |
presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. |
presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. |
presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. |
presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. |
trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. |
trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. |
trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. |
trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. |
trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. |
trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. |
trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. |
trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. |
trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. |
trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. |
trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. |
trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. |
trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. |
trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. |
trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. |
ranger-kms-dbks-site | Ranger KMS の dbks-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. |
ranger-kms-site | Ranger KMS の ranger-kms-site.xml ファイルの値を変更します。 | Restarts Ranger KMS Server. |
ranger-kms-env | Ranger KMS 環境の値を変更します。 | Restarts Ranger KMS Server. |
ranger-kms-log4j | Ranger KMS の kms-log4j.properties ファイルの値を変更します。 | Not available. |
ranger-kms-db-ca | Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。 | Not available. |
spark | Apache Spark 用の Amazon EMR-curated 設定。 | This property modifies spark-defaults. See actions there. |
spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. |
spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. |
spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
sqoop-env | Sqoop の環境の値を変更します。 | Not available. |
sqoop-oraoop-site | Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。 | Not available. |
sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. |
tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. |
yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
yarn-site | YARN の yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. |
zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. |
zookeeper-config | ZooKeeper の zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. |
zookeeper-log4j | ZooKeeper の log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. |