翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon EMRリリース 6.9.0
6.9.0 アプリケーションバージョン
このリリースでは、次のアプリケーションがサポートされています。 Delta
次の表は、Amazon のこのリリースで使用できるアプリケーションバージョンEMRと、前述の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示しています。
Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、次のトピックを参照してください。
emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | |
---|---|---|---|---|
AWS SDK Java 用 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 |
Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 |
Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 |
AmazonCloudWatchAgent | - | - | - | - |
差分 | 2.1.0 | - | - | - |
Flink | 1.15.2 | 1.15.1 | 1.15.1 | 1.14.2 |
Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
HBase | 2.4.13 | 2.4.12 | 2.4.12 | 2.4.4 |
HCatalog | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
Hadoop | 3.3.3 | 3.2.1 | 3.2.1 | 3.2.1 |
[Hive] | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
Hudi | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 |
Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 |
Iceberg | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 |
JupyterEnterpriseGateway | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 |
JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 |
Livy | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.8.0 |
Mahout | - | - | - | - |
Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
フェニックス | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 |
Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
Presto | 0.276 | 0.273 | 0.273 | 0.272 |
Spark | 3.3.0 | 3.3.0 | 3.3.0 | 3.2.1 |
Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
TensorFlow | 2.10.0 | 2.9.1 | 2.9.1 | 2.4.1 |
Tez | 0.10.2 | 0.9.2 | 0.9.2 | 0.9.2 |
Trino (Presto SQL) | 398 | 388 | 388 | 378 |
Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.0 |
ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.7 |
6.9.0 リリースノート
次のリリースノートには、Amazon EMRリリース 6.9.0 に関する情報が含まれています。変更は Amazon EMRリリース 6.8.0 に関連しています。リリースタイムラインの詳細については、「変更ログ」を参照してください。
新機能
Amazon EMRリリース 6.9.0 は、Apache Spark RAPIDS22.08.0、Apache Hudi 0.12.1、Apache Iceberg 0.14.1、Trino 398、および Tez 0.10.2 をサポートしています。
Amazon EMRリリース 6.9.0 には、新しいオープンソースアプリケーション 2.1.0 Delta Lake が含まれています。
Apache Spark の Amazon Redshift 統合は、Amazon EMRリリース 6.9.0 以降に含まれています。以前はオープンソースツールであったこのネイティブインテグレーションは Spark コネクタと呼ばれるもので、これを使用して Apache Spark アプリケーションを構築することで、Amazon Redshift と Amazon Redshift Serverless 内のデータを読み書きできます。詳細については、「Amazon Redshift と Apache Spark の統合の使用 EMR 」を参照してください。
Amazon EMRリリース 6.9.0 では、クラスターのスケールダウン中にログを Amazon S3 にアーカイブするサポートが追加されました。以前は、Amazon S3 にログファイルをアーカイブできるのはクラスター終了時のみでした。この新機能により、クラスターで生成されたログファイルは、ノードが終了した後も Amazon S3 に残ります。詳細については、「クラスターのログ記録とデバッグを設定する」を参照してください。
長時間実行されるクエリをサポートするため、Trino には耐障害性実行メカニズムが組み込まれました。耐障害性実行では、失敗したクエリやそのコンポーネントタスクを再試行することで、クエリの失敗を軽減します。詳細については、「Trino での耐障害性実行」を参照してください。
Amazon の Apache Flink を使用してEMR、Apache Hive テーブルまたは Iceberg、Kinesis、Kafka などの Flink テーブルソースのメタデータの統合
BATCH
とSTREAM
処理を行うことができます。 AWS Management Console、 AWS CLI、または Amazon を使用して、 AWS Glue Data Catalog を Flink のメタストアとして指定できますEMRAPI。詳細については、「Amazon での Flink の設定 EMR」を参照してください。Amazon SageMaker Studio のEC2クラスターで Amazon の Apache Spark、Apache Hive、Presto クエリEMRに AWS Identity and Access Management (IAM) ランタイムロールと AWS Lake Formationベースのアクセスコントロールを指定できるようになりました。詳細については、「Amazon EMR ステップ のランタイムロールを設定する」を参照してください。
既知の問題
Amazon EMRリリース 6.9.0 では、Trino は Apache Ranger で有効なクラスターでは動作しません。Ranger で Trino を使用する必要がある場合は、AWS Support
にお問い合わせください。 Amazon Redshift integration for Apache Spark を使用している場合に、time、timetz、timestamp、timestamptz のいずれかにマイクロ秒の精度を Parquet 形式で設定していると、コネクタがその時間値を最も近いミリ秒値に四捨五入します。回避策として、テキストアンロード形式
unload_s3_format
パラメータを使用してください。Hive パーティションロケーションフォーマットで Spark を使用して Amazon S3 でデータを読み取るときに、Amazon EMRリリース 5.30.0~5.36.0、および 6.2.0~6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取ることができない問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。
-
同じテーブルから 2 つ以上のパーティションがスキャンされます。
-
少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、
s3://bucket/table/p=a
はs3://bucket/table/p=a b
のプレフィックスです。 -
他のパーティションディレクトリのプレフィックスに続く最初の文字は、
/
文字 (U+002F) よりも小さい UTF-8 値を持ちます。例えば、s3://bucket/table/p=a b
の a と b の間にあるスペース文字 (U+0020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください:!"#$%&‘()*+,-
。詳細については、UTF「-8 エンコーディングテーブル」と「Unicode 文字」を参照してください。
この問題の回避策として、
spark-defaults
分類のspark.sql.sources.fastS3PartitionDiscovery.enabled
設定をfalse
にセットします。-
Amazon SageMaker Studio からの Amazon EMRクラスターへの接続は、403 禁止レスポンスコードで断続的に失敗することがあります。このエラーは、クラスターでのIAMロールのセットアップに 60 秒を超える時間がかかった場合に発生します。回避策として、Amazon EMR パッチをインストールして再試行を有効にし、タイムアウトを最低 300 秒に増やすことができます。以下の手順を使用して、クラスターの起動時にブートストラップアクションを適用します。
次の Amazon S3 からブートストラップスクリプトとRPMファイルをダウンロードしますURIs。
s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/replace-rpms.sh s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/emr-secret-agent-1.18.0-SNAPSHOT20221121212949.noarch.rpm
前のステップのファイルを、所有する Amazon S3 バケットにアップロードします。バケットは、クラスターを起動する予定 AWS リージョン と同じ にある必要があります。
EMR クラスターを起動するときに、次のブートストラップアクションを含めます。置換
bootstrap_URI
また、RPM_URI
Amazon S3 URIsから対応する を使用します。--bootstrap-actions "Path=
bootstrap_URI
,Args=[RPM_URI
]"
Amazon EMRリリース 5.36.0 および 6.6.0 から 6.9.0 では、Log4j2 プロパティのファイル名パターン設定が正しくないため、
SecretAgent
RecordServer
サービスコンポーネントでログデータが失われる可能性があります。設定が正しくないと、コンポーネントは 1 日に 1 つのログファイルしか生成しません。ローテーション戦略が実行されると、期待どおりに新しいログファイルが生成されず、既存のファイルが上書きされます。回避策として、ブートストラップアクションを使用して 1 時間ごとにログファイルを生成し、ファイル名に自動増分整数を追加してローテーションを処理します。Amazon 6.6.0 EMR から 6.9.0 のリリースでは、クラスターを起動するときに次のブートストラップアクションを使用します。
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
Amazon 5.36.0 EMR では、クラスターを起動するときに次のブートストラップアクションを使用します。
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
-
Apache Flink は、ネイティブ S3 FileSystem および Hadoop FileSystem コネクタを提供します。これにより、アプリケーションは を作成し、データを Amazon S3 に FileSink 書き込むことができます。これは、次の 2 つの例外のいずれかで FileSink 失敗します。
java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS
Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryPolicies.retryOtherThanRemoteAndSaslException(Lorg/apache/hadoop/io/retry/RetryPolicy;Ljava/util/Map;)Lorg/apache/hadoop/io/retry/RetryPolicy; at org.apache.hadoop.yarn.client.RMProxy.createRetryPolicy(RMProxy.java:302) ~[hadoop-yarn-common-3.3.3-amzn-0.jar:?]
回避策として、Flink で上記の問題を修正する Amazon EMR パッチをインストールできます。クラスターを起動するときにブートストラップアクションを適用するには、以下の手順を実行します。
-
flink-rpm を Amazon S3 バケットにダウンロードします。RPM パスは です
s3://
。DOC-EXAMPLE-BUCKET
/rpms/flink/ -
次の を使用してAmazon S3からブートストラップスクリプトとRPMファイルをダウンロードしますURI。を、クラスターを起動する AWS リージョン 予定の
に置き換えます。regionName
s3://emr-data-access-control-
regionName
/customer-bootstrap-actions/gcsc/replace-rpms.sh Hadoop 3.3.3 ではYARN、 (YARN-9608
) に変更が導入されました。これにより、コンテナが実行されたノードは、アプリケーションが完了するまで廃止状態になります。この変更により、シャッフルデータなどのローカルデータが失われることはなく、ジョブを再実行する必要もなくなります。Amazon 6.8.0 EMR および 6.9.0 では、このアプローチにより、マネージドスケーリングが有効になっているクラスターまたはが有効になっていないクラスターのリソースが十分に活用されない可能性もあります。 Amazon EMR6.10.0 では、この問題の回避策として、
false
の値をyarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications
に設定しますyarn-site.xml
。Amazon EMRリリース 6.11.0 以降、および 6.8.1、6.9.1、および 6.10.1 では、この問題を解決するために 設定がfalse
デフォルトで に設定されています。
-
変更、拡張、解決した問題
Amazon EMRリリース 6.9.0 以降では、Log4j ライブラリを使用する Amazon によってインストールEMRされたすべてのコンポーネントはLog4j バージョン 2.17.1 以降を使用します。
-
Amazon EMRバージョン 6.6.0、6.7.0、および 6.8.0 で Spark で DynamoDB コネクタを使用すると、入力分割が空でないデータを参照している場合でも、テーブルからのすべての読み取りは空の結果を返します。Amazon EMRリリース 6.9.0 では、この問題が修正されています。
Amazon EMR 6.9.0 では、Spark を使用してデータを読み取るときに、Apache Hudi による Lake Formation ベースのアクセスコントロールに対する限定的なサポートが追加されましたSQL。サポートは Spark を使用するSELECTクエリ用SQLであり、列レベルのアクセスコントロールに限定されます。詳細については、「Hudi と Lake Formation」を参照してください。
Amazon EMR6.9.0 を使用してノードラベル
を有効にした Hadoop クラスターを作成すると、YARNメトリクスAPI はデフォルトのパーティションではなく、すべてのパーティションに集約された情報を返します。詳細については、YARN「-11414 」を参照してください。 Amazon EMRリリース 6.9.0 では、Trino を Java 17 を使用するバージョン 398 に更新しました。Amazon 6.8.0 でサポートされていた Trino EMR の以前のバージョンは、Java 11 で実行されていた Trino 388 でした。この変更の詳細については、Trino のブログの「Trino updates to Java 17
」を参照してください。 このリリースでは、Apache BigTop と Amazon EMR on EC2クラスターのスタートアップシーケンス間のタイミングシーケンスの不一致の問題を修正しました。このタイミングシーケンスの不一致は、システムが 2 つ以上の操作を適切なシーケンスで実行するのではなく、同時に実行しようとした場合に発生します。その結果、特定のクラスター構成でインスタンスの起動がタイムアウトし、クラスターの起動時間が遅くなりました。
Amazon EMR5.36 以降、6.6 以降、または 7.0 以降の最新のパッチリリースでクラスターを起動すると、Amazon はデフォルトの Amazon EMR に最新の Amazon Linux 2023 または Amazon Linux 2 リリースEMRを使用しますAMI。詳細については、「デフォルトの Amazon Linux AMI for Amazon の使用EMR」を参照してください。
注記
このリリースは、さらに 1 つのパッチリリースで成功したため、自動AMI更新は行われなくなりました。パッチリリースは 2 番目の小数点の後の数字 (
6.8.
) で示されます。最新のパッチリリースを使用しているかどうかを確認するには、リリースガイド で利用可能なリリースを確認するか、コンソールでクラスターを作成するときに Amazon EMRリリースドロップダウンを確認するか、1
ListReleaseLabels
API またはlist-release-labels
CLIアクションを使用します。新しいリリースに関する最新情報を取得するには、「最新情報」ページのRSSフィードにサブスクライブします。OsReleaseLabel (Amazon Linux バージョン) Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン 2.0.20241001.0 4.14.352 2024 年 10 月 4 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240816.0 4.14.350 2024 年 8 月 21 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240809.0 4.14.349 2024 年 8 月 20 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240719.0 4.14.348 2024 年 7 月 25 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240709.1 4.14.348 2024 年 7 月 23 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 アジアパシフィック (ハイデラバード)、 中東 (UAE)、 欧州 (スペイン)、 欧州 (チューリッヒ)、 アジアパシフィック (メルボルン)、 イスラエル (テルアビブ) カナダ西部 (カルガリー) 2.0.20230808.0 4.14.320 2023 年 8 月 24 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)、イスラエル (テルアビブ) 2.0.20230727.0 4.14.320 2023 年 8 月 14 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) 2.0.20230719.0 4.14.320 2023 年 8 月 2 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) 2.0.20230628.0 4.14.318 2023 年 7 月 12 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230612.0 4.14.314 2023 年 6 月 23 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230504.1 4.14.313 2023 年 5 月 16 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230418.0 4.14.311 2023 年 5 月 3 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230404.1 4.14.311 2023 年 4 月 18 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230404.0 4.14.311 2023 年 4 月 10 日 米国東部 (バージニア北部)、欧州 (パリ) 2.0.20230320.0 2030 年 4 月 14 日 2023 年 3 月 30 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230307.0 4.14.305 2023 年 3 月 15 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20230207.0 4.14.304 2023 年 2 月 22 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20221210.1 4.14.301 2023 年 1 月 12 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン) 2.0.20221103.3 4.14.296 2022 年 12 月 5 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
6.9.0 コンポーネントバージョン
このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有でEMR、システムプロセスと機能用にインストールされます。これらは通常、emr
または aws
で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは通常、コミュニティで見つかった最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できるようにします。
Amazon の一部のコンポーネントは、コミュニティバージョンEMRとは異なります。これらのコンポーネントには、
の形式のバージョンラベルがあります。CommunityVersion
-amzn-EmrVersion
は 0 から始まります。例えば、バージョン 2.2 EmrVersion
myapp-component
の という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2
。
コンポーネント | Version | 説明 |
---|---|---|
aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK |
delta | 2.1.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 |
emr-ddb | 4.16.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 |
emr-goodies | 3.3.0 | Hadoop エコシステムに役立つ追加のライブラリ。 |
emr-kinesis | 3.6.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 |
emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env |
emr-s3-dist-cp | 2.23.0 | Amazon S3 に最適化された分散コピーアプリケーション。 |
emr-s3-select | 2.2.0 | EMR S3Select コネクタ |
emrfs | 2.54.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 |
flink-client | 1.15.2 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 |
flink-jobmanager-config | 1.15.2 | Apache Flink のEMRノード上のリソースの管理 JobManager。 |
ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 |
ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 |
ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 |
hadoop-client | 3.3.3-amzn-1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 |
hadoop-hdfs-datanode | 3.3.3-amzn-1 | HDFS ブロックを保存するためのノードレベルのサービス。 |
hadoop-hdfs-library | 3.3.3-amzn-1 | HDFS コマンドラインクライアントとライブラリ |
hadoop-hdfs-namenode | 3.3.3-amzn-1 | HDFS ファイル名とブロックの場所を追跡するための サービス。 |
hadoop-hdfs-journalnode | 3.3.3-amzn-1 | HDFS HA クラスターの Hadoop ファイルシステムジャーナルを管理するための サービス。 |
hadoop-httpfs-server | 3.3.3-amzn-1 | HTTP HDFSオペレーションの エンドポイント。 |
hadoop-kms-server | 3.3.3-amzn-1 | Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。 |
hadoop-mapred | 3.3.3-amzn-1 | MapReduce MapReduce アプリケーションを実行するための実行エンジンライブラリ。 |
hadoop-yarn-nodemanager | 3.3.3-amzn-1 | YARN 個々のノードのコンテナを管理するための サービス。 |
hadoop-yarn-resourcemanager | 3.3.3-amzn-1 | YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。 |
hadoop-yarn-timeline-server | 3.3.3-amzn-1 | YARN アプリケーションの現在および履歴情報を取得するためのサービス。 |
hbase-hmaster | 2.4.13-amzn-0 | リージョンの調整と管理コマンドの実行を担当するHBaseクラスターのサービス。 |
hbase-region-server | 2.4.13-amzn-0 | 1 つ以上のHBaseリージョンにサービスを提供するサービス。 |
hbase-client | 2.4.13-amzn-0 | HBase コマンドラインクライアント。 |
hbase-rest-server | 2.4.13-amzn-0 | のRESTfulHTTPエンドポイントを提供するサービスHBase。 |
hbase-thrift-server | 2.4.13-amzn-0 | Thrift エンドポイントを に提供するサービスHBase。 |
hbase-operator-tools | 2.4.13-amzn-0 | Apache HBaseクラスターの修復ツール。 |
hcatalog-client | 3.1.3-amzn-2 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 |
hcatalog-server | 3.1.3-amzn-2 | 分散アプリケーション用のテーブルとストレージ管理レイヤーHCatalogである を提供するサービス。 |
hcatalog-webhcat-server | 3.1.3-amzn-2 | HTTP にRESTインターフェイスを提供するエンドポイントHCatalog。 |
hive-client | 3.1.3-amzn-2 | Hive コマンドラインクライアント。 |
hive-hbase | 3.1.3-amzn-2 | Hive-hbase クライアント。 |
hive-metastore-server | 3.1.3-amzn-2 | Hadoop オペレーション上の のメタデータを保存するセマンティックリポジトリである Hive SQL メタストアにアクセスするためのサービス。 |
hive-server2 | 3.1.3-amzn-2 | Hive クエリをウェブリクエストとして受け入れるサービス。 |
hudi | 0.12.1-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 |
hudi-presto | 0.12.1-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 |
hudi-trino | 0.12.1-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 |
hudi-spark | 0.12.1-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 |
hue-server | 4.10.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション |
iceberg | 0.14.1-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 |
jupyterhub | 1.4.1 | Jupyter Notebook のマルチユーザーサーバー |
livy-server | 0.7.1-incubating | REST Apache Spark とやり取りするためのインターフェイス |
nginx | 1.12.1 | nginx [エンジン x] は HTTPおよびリバースプロキシサーバーです |
mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 |
mariadb-server | 5.5.68+ | MariaDB データベースサーバー。 |
nvidia-cuda | 11.7.0 | Nvidia ドライバーと Cuda ツールキット |
oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 |
oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 |
opencv | 4.5.0 | オープンソースのコンピュータビジョンライブラリ。 |
phoenix-library | 5.1.2 | サーバーとクライアントの Phoenix ライブラリ |
phoenix-connectors | 6.0.0-SNAPSHOT | Spark-3 用 Apache Phoenix-Connectors |
phoenix-query-server | 6.0.0 | Avatica JDBC へのアクセスと Protocol Buffers およびJSONフォーマットアクセスを提供する軽量サーバー API |
presto-coordinator | 0.276-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 |
presto-worker | 0.276-amzn-0 | いくつかのクエリを実行するサービス。 |
presto-client | 0.276-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 |
trino-coordinator | 398-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 |
trino-worker | 398-amzn-0 | いくつかのクエリを実行するサービス。 |
trino-client | 398-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 |
pig-client | 0.17.0 | Pig コマンドラインクライアント。 |
r | 4.0.2 | 統計的コンピューティング用 R プロジェクト |
ranger-kms-server | 2.0.0 | Apache Ranger Key Management System |
spark-client | 3.3.0-amzn-1 | Spark コマンドラインクライアント。 |
spark-history-server | 3.3.0-amzn-1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 |
spark-on-yarn | 3.3.0-amzn-1 | のメモリ内実行エンジンYARN。 |
spark-yarn-slave | 3.3.0-amzn-1 | YARN スレーブに必要な Apache Spark ライブラリ。 |
spark-rapids | 22.08.0-amzn-0 | で Apache Spark を加速する Nvidia Spark RAPIDSプラグインGPUs。 |
sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 |
tensorflow | 2.10.0 | TensorFlow 高性能数値計算用のオープンソースソフトウェアライブラリ。 |
tez-on-yarn | 0.10.2-amzn-0 | Tez YARNアプリケーションとライブラリ。 |
webserver | 2.4.41+ | Apache HTTPサーバー。 |
zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 |
zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 |
zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 |
6.9.0 設定分類
設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml
。詳細については、「アプリケーションの設定」を参照してください。
再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon は、変更した分類に対してEMRのみ再設定アクションを開始します。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。
分類 | 説明 | 再設定アクション |
---|---|---|
capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. |
container-executor | Hadoop YARNの container-executor.cfg ファイルの値を変更します。 | Not available. |
container-log4j | Hadoop YARNの container-log4j.properties ファイルの値を変更します。 | Not available. |
core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
docker-conf | Docker 関連の設定を変更します。 | Not available. |
emrfs-site | EMRFS 設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. |
flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. |
flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. |
flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. |
hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. |
hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. |
hbase | Apache の Amazon EMRキュレートされた設定HBase。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
hbase-env | HBaseの環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-log4j | HBaseの hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-metrics | HBaseの hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-policy | HBaseの hbase-policy.xml ファイルの値を変更します。 | Not available. |
hbase-site | HBaseの hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. |
hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. |
hdfs-site | HDFSの hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
hcatalog-env | HCatalogの環境の値を変更します。 | Restarts Hive HCatalog Server. |
hcatalog-server-jndi | HCatalogの jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. |
hcatalog-server-proto-hive-site | HCatalogの proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. |
hcatalog-webhcat-env | HCatalog W ebHCatの環境の値を変更します。 | Restarts Hive WebHCat server. |
hcatalog-webhcat-log4j2 | HCatalog W ebHCatの log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. |
hcatalog-webhcat-site | HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. |
hive | Apache Hive の Amazon EMRが厳選した設定。 | Sets configurations to launch Hive LLAP service. |
hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. |
hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. |
hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. |
hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. |
httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. |
hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. |
hadoop-kms-env | Hadoop KMS環境の値を変更します。 | Restarts Hadoop-KMS service. |
hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. |
hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. |
hudi-env | Hudi 環境の値を変更します。 | Not available. |
hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. |
iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. |
delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. |
jupyter-notebook-conf | Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。 | Not available. |
jupyter-hub-conf | JupyterHubsの jupyterhub_config.py ファイルの値を変更します。 | Not available. |
jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. |
jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. |
livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. |
livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. |
livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. |
mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. |
mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. |
oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. |
oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. |
oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. |
phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. |
phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. |
phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. |
phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. |
pig-env | Pig 環境の値を変更します。 | Not available. |
pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. |
pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. |
presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. |
presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. |
presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. |
presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. |
presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. |
presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. |
presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. |
presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. |
presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. |
presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. |
presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. |
presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. |
presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. |
presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. |
presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. |
presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. |
trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. |
trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. |
trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. |
trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. |
trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. |
trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. |
trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. |
trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. |
trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. |
trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. |
trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. |
trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. |
trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. |
trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. |
trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. |
ranger-kms-dbks-site | Ranger の dbks-site.xml ファイルの値を変更しますKMS。 | Restarts Ranger KMS Server. |
ranger-kms-site | Ranger の ranger-kms-site.xml ファイルの値を変更しますKMS。 | Restarts Ranger KMS Server. |
ranger-kms-env | Ranger KMS環境の値を変更します。 | Restarts Ranger KMS Server. |
ranger-kms-log4j | Ranger の kms-log4j.properties ファイルの値を変更しますKMS。 | Not available. |
ranger-kms-db-ca | Ranger との S3 for MySQL SSL接続の CA ファイルの値を変更しますKMS。 | Not available. |
spark | Apache Spark の Amazon EMRが厳選した設定。 | This property modifies spark-defaults. See actions there. |
spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. |
spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. |
spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
sqoop-env | Sqoop の環境の値を変更します。 | Not available. |
sqoop-oraoop-site | Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。 | Not available. |
sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. |
tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. |
yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
yarn-site | YARNの yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. |
zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. |
zookeeper-config | ZooKeeperの zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. |
zookeeper-log4j | ZooKeeperの log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. |
6.9.0 変更ログ
日付 | イベント | 説明 |
---|---|---|
2023-08-30 | リリースノートの更新 | タイミングシーケンスの不一致の問題の修正が追加されました。 |
2023-08-21 | リリースノートの更新 | Hadoop 3.3.3 に関する既知の問題が追加されました。 |
2023-07-26 | 更新 | 新しい OS リリースラベル 2.0.20230612.0 と 2.0.20230628.0 。 |
2022-12-13 | リリースノートが更新されました | でランタイムに機能と既知の問題を追加 SageMaker |
2022-11-29 | リリースノートとドキュメントが更新されました | Apache Spark 用の Amazon Redshift の統合の機能が追加されました |
2022-11-23 | リリースノートが更新されました | Log4j エントリが削除されました |
2022-11-18 | デプロイ完了 | Amazon EMR 6.9 がサポートされているすべてのリージョンに完全にデプロイされている |
2022-11-18 | ドキュメント公開 | Amazon EMR 6.9 リリースノートが最初に公開されました |
2022-11-14 | 初回リリース | Amazon EMR 6.9 を限定された商用リージョンにデプロイ |