翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
最新情報
このページでは、Amazon EMR 7.x、6.x、5.x の最新リリースで利用可能な変更と機能について説明します。
これらのリリースノートは、Amazon EMR 7.3.0、Amazon EMR 6.15.0、および Amazon 5.36.2 EMR ページ、および各リリースのアプリケーションバージョン、コンポーネントバージョン、および使用可能な設定分類でも利用できます。
-
これ以前のリリースのリリースノートについては、「リリースノートの Amazon EMRアーカイブ」を参照してください。
-
新しい Amazon EMRリリースが利用可能になったときに更新を取得するには、RSSAmazon EMRリリースノートのフィード をサブスクライブします。
注記
Amazon の後続リリースEMRでは、 AWS 署名バージョン 4 (SigV4) はAmazon S3へのリクエストを認証します。をサポートする Amazon EMRリリースを使用することをお勧めします。SigV4 新しい S3 バケットにアクセスし、ワークロードの中断を回避できます。がサポートする Amazon EMRリリースの詳細とリスト SigV4「Amazon EMRおよび AWS 署名バージョン 4」を参照してください。
Amazon EMR 7.3.0 (7.x シリーズの最新リリース)
新しい Amazon EMRリリースは、最初のリリース日に最初のリージョンから始まる数日間にわたって、さまざまなリージョンで利用可能になります。この期間中、お客様のリージョンで最新のリリースバージョンが利用できない場合があります。
次のリリースノートには、Amazon EMRリリース 7.3.0 に関する情報が含まれています。変更は 7.3.0 に関連しています。
新機能
-
アプリケーションのアップグレード – Amazon EMR 7.3.0 application upgrades include Delta 3.2.0-amzn-0, Hudi 0.15.0-amzn-0, TensorFlow 2.16.1, Trino 442, and Zeppelin 11.1.
-
このリリースでは、ネットワークを介した転送中の暗号化をサポートする 22 のオープンソースエンドポイントが追加されました。この改善には、Hadoop、Hive、Tez、Phoenix、Flink などのオープンソースフレームワークが含まれます。転送中の暗号化を有効にし、これらのエンドポイントに接続する場合は、TLS通信をサポートするためにコードを変更する必要がある場合があります。必要に応じて、これらのエンドポイントの TLSを無効にできます。サポートされているエンドポイントの完全なリストについては、「転送中の暗号化サポートマトリックスについて」を参照してください。
-
Amazon EMR7.3.0 では、Apache Hive with Iceberg が AWS Glue Data Catalog をメタストアとしてサポートするようになりました。これにより、メタデータを保存するための一元化されたリポジトリ、データソースの自動クロールとメタデータの抽出、シームレスなワークフローのための他のサービスとの統合などの利点が得られます。
既知の問題
-
Python 3.11 は EMR Studio ではサポートされていません。
-
転送中の暗号化と Kerberos 認証を使用する場合、Hive メタストアに依存する Spark アプリケーションは使用できません。この問題は HIVE-16340
で修正され、オープンソースの Spark が Hive 3 にアップグレードできる場合は SPARK-44114 で完全に解決されます。その間、 hive.metastore.use.SSL
を に設定することで、この問題を一時的に回避できますfalse
。詳細については、「アプリケーションの設定」を参照してください。-
Kerberos 認証を使用しない場合は、 を使用するように Spark を設定する必要がありますSSL。これを行うには、クラスターをプロビジョニングするときに次の設定を行います。
[{ "Classification": "spark-defaults", "Properties": { "spark.hadoop.hive.metastore.truststore.path": "/usr/share/aws/emr/security/conf/keystore-thrift.jks", "spark.hadoop.hive.metastore.use.SSL": "true" } }]
-
変更点、機能強化、解決した問題
-
のTLSホスト名検証をサポートするためにYARN、このリリースでは、
yarn.resourcemanager.hostname
設定をプライマリインスタンスの IP アドレスからプライマリインスタンスのプライベートDNS名に変更します。
Amazon EMR5.36 以降、6.6 以降、または 7.0 以降の最新のパッチリリースでクラスターを起動すると、Amazon はデフォルトの Amazon EMR に最新の Amazon Linux 2023 または Amazon Linux 2 リリースEMRを使用しますAMI。詳細については、「デフォルトの Amazon Linux AMI for Amazon の使用EMR」を参照してください。
OsReleaseLabel (Amazon Linux バージョン) Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン 2023.5.20240916 6.1.109-118.189.amzn2023 2024 年 9 月 6 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 アジアパシフィック (ハイデラバード)、 中東 (UAE)、 欧州 (スペイン)、 欧州 (チューリッヒ)、 アジアパシフィック (メルボルン)、 イスラエル (テルアビブ)、 カナダ西部 (カルガリー)
Amazon EMR 6.15.0 (6.x シリーズの最新リリース)
新しい Amazon EMRリリースは、最初のリリース日に最初のリージョンから始まる数日間にわたって、さまざまなリージョンで利用可能になります。この期間中、お客様のリージョンで最新のリリースバージョンが利用できない場合があります。
次のリリースノートには、Amazon EMRリリース 6.15.0 に関する情報が含まれています。6.14.0 からの変更が含まれています。リリースタイムラインの詳細については、「6.15.0 変更ログ」を参照してください。
新機能
-
アプリケーションのアップグレード – Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
-
で実行されるEMRクラスターの起動が高速化 EC2
– EC2クラスターEMRで Amazon を起動する速度が最大 35% 向上しました。この改善により、お客様の大多数はクラスターを 5 分以内に起動できます。 -
CodeWhisperer for EMR Studio – Amazon CodeWhisperer EMR Studio で Amazon を使用して、 でコードを記述する際にリアルタイムのレコメンデーションを取得できるようになりました JupyterLab。 CodeWhisperer は、コメントを完了し、1 行のコードを終了し、レコメンデーションを行い line-by-line、フルフォーム関数を生成できます。
-
Flink によるジョブの再起動時間の短縮 – Amazon EMR6.15.0 以降では、タスクの復旧またはスケーリングオペレーション中のジョブの再起動時間を改善するために、Apache Flink にいくつかの新しいメカニズムが用意されています。これにより、実行グラフの回復と再開の速度を最適化してジョブの安定性を高めることができます。
-
オープンテーブル形式のテーブルレベルおよびきめ細かなアクセスコントロール – Amazon EMR6.15.0 以降では、 AWS Glue Data Catalog のデータにアクセスするEC2クラスターEMRで Amazon で Spark ジョブを実行すると、 AWS Lake Formation を使用して Hudi、Iceberg、または Delta Lake ベースのテーブルにテーブル、行、列、およびセルレベルのアクセス許可を適用できます。
-
Hadoop のアップグレード – Amazon EMR 6.15.0 には、Apache Hadoop をバージョン 3.3.6 にアップグレードする機能が含まれています。Hadoop 3.3.6 は、2023 年 EMR 6 月に Apache によってリリースされた Amazon 6.15 デプロイ時の最新バージョンでした。Amazon の以前のリリース EMR (6.9.0~6.14.x) では、Hadoop 3.3.3 が使用されていました。
このアップグレードには、数百の改善と修正、および再設定可能なデータノードパラメータ、すべてのライブデータノードで一括再設定オペレーションを開始する
DFSAdmin
オプション、シークハイリーダーAPIが読み取りする複数の範囲を指定できるようにするベクトル化機能が含まれています。Hadoop 3.3.6 では、 HDFSAPIsと セマンティクスの書き込み先行ログ (WAL) のサポートも追加されているため、 は他のストレージシステムの実装で実行HBaseできます。詳細については、「Apache Hadoop ドキュメント」のバージョン 3.3.4、3.3.5 、3.3.6 の変更ログを参照してください。 -
for Java、バージョン 2 のサポート AWS SDK - アプリケーションが v2 をサポートしている場合、Amazon EMR 6.15.0 アプリケーションは Java バージョン 1.12.569
または 2.20.160 に使用できます AWS SDK。for AWS SDKJava 2.x は、バージョン 1.x コードベースの大規模な書き換えです。今回のバージョンは Java 8 以降をベースに構築されており、これまで要望の声が高かった機能が複数追加されています。これには、ノンブロッキング I/O のサポートや、実行時に別のHTTP実装をプラグインする機能が含まれます。SDK for Java v1 から v2 への移行ガイドなどの詳細については、AWS SDK「 for Java バージョン 2 ガイド」を参照してください。
変更点、機能強化、解決した問題
高可用性EMRクラスターを改善するために、このリリースでは、 を使用するローカルホスト上の Amazon EMR デーモンへの接続を有効にします。IPv6 エンドポイント。
このリリースでは、高可用性クラスターのすべてのプライマリノードで ZooKeeper プロビジョニングされた との通信に TLS 1.2 を有効にします。
このリリースでは、プライマリノードで保持されるトランザクションログファイルの管理 ZooKeeper が改善され、ログファイルが範囲外に増加し、クラスターオペレーションが中断されるシナリオを最小限に抑えます。
このリリースでは、ノード内通信の可用性の高いEMRクラスターに対する回復性が向上します。この改善により、ブートストラップアクションが失敗したり、クラスターの起動に失敗したりする可能性が低くなります。
-
Amazon 6.15.0 EMR の Tez では、Tez グループ分割で入力分割を非同期的に開くように指定できる設定が導入されています。これにより、1 つの Tez グループ分割で多数の入力分割がある場合に、読み取りクエリのパフォーマンスが向上します。詳細については、「Tez 非同期スプリットオープン」を参照してください。
Amazon EMR5.36 以降、6.6 以降、または 7.0 以降の最新のパッチリリースでクラスターを起動すると、Amazon はデフォルトの Amazon EMR に最新の Amazon Linux 2023 または Amazon Linux 2 リリースEMRを使用しますAMI。詳細については、「デフォルトの Amazon Linux AMI for Amazon の使用EMR」を参照してください。
OsReleaseLabel (Amazon Linux バージョン) Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン 2.0.20241001.0 4.14.352 2024 年 10 月 4 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240816.0 4.14.350 2024 年 8 月 21 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240809.0 4.14.349 2024 年 8 月 20 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240719.0 4.14.348 2024 年 7 月 25 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240709.1 4.14.348 2024 年 7 月 23 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 アジアパシフィック (ハイデラバード)、 中東 (UAE)、 欧州 (スペイン)、 欧州 (チューリッヒ)、 アジアパシフィック (メルボルン)、 イスラエル (テルアビブ)、 カナダ西部 (カルガリー) 2.0.20240223.0 4.14.336 2024 年 3 月 8 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 カナダ西部 (カルガリー) 2.0.20240131.0 4.14.336 2024 年 2 月 14 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 カナダ西部 (カルガリー) 2.0.20240124.0 4.14.336 2024 年 2 月 7 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 カナダ西部 (カルガリー) 2.0.20240109.0 4.14.334 2024 年 1 月 24 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 カナダ西部 (カルガリー) 2.0.20231218.0 4.14.330 2024 年 1 月 2 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20231206.0 4.14.330 2023 年 12 月 22 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2023 年 2 月 0 日1116.0 4.14.328 2023 年 12 月 11 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20231101.0 4.14.327 2023 年 11 月 13 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)
Amazon EMR 5.36.2 (5.x シリーズの最新リリース)
新しい Amazon EMRリリースは、最初のリリース日に最初のリージョンから始まる数日間にわたって、さまざまなリージョンで利用可能になります。この期間中、お客様のリージョンで最新のリリースバージョンが利用できない場合があります。
次のリリースノートには、Amazon EMRリリース 5.36.2 に関する情報が含まれています。変更は 5.36.1 に関連しています。リリースタイムラインの詳細については、「変更ログ」を参照してください。
変更点、機能強化、解決した問題
-
このリリースでは、クラスターのスケールダウンロジックが改善され、Amazon EMRがコアノードをクラスターのHDFSレプリケーション係数設定より低くスケールダウンしないようにします。この改善により、データの冗長性要件が満たされ、スケーリングオペレーションが停止する可能性が軽減されます。
-
このリリースでは、Presto または Trino を実行する のクラスタースケーリングワークフローに新しい再試行メカニズムが追加されました。この改善により、サイズ変更オペレーションが 1 回失敗するため、クラスターのサイズ変更が無期限に実行されるリスクが軽減されます。また、クラスターのスケールアップとスケールダウンが速くなるため、クラスターの使用率も向上します。
-
Amazon がコアノードをEMR正常に廃止し、完全に廃止される前に異常になる間に、クラスターのスケールダウンオペレーションが停止する問題を修正しました。
-
Amazon が 1 つのノードEMRを再起動すると、複数のプライマリノードを持つ高可用性クラスター内のノードの安定性が向上します。
-
Amazon でEMR実行されている Amazon でログ管理を最適化しますEC2。その結果、クラスターログのストレージコストがわずかに削減される可能性があります。
-
プライマリノードで保持される ZooKeeper トランザクションログファイルの管理を改善し、ログファイルが範囲外に増加してクラスターオペレーションが中断されるシナリオを最小限に抑えます。
-
Yarn と通信できないために、複数のプライマリノードを持つ高可用性クラスターが失敗する可能性のあるまれなバグを修正しました ResourceManager。
Amazon EMR5.36 以降、6.6 以降、または 7.0 以降の最新のパッチリリースでクラスターを起動すると、Amazon はデフォルトの Amazon EMR に最新の Amazon Linux 2023 または Amazon Linux 2 リリースEMRを使用しますAMI。詳細については、「デフォルトの Amazon Linux AMI for Amazon の使用EMR」を参照してください。
OsReleaseLabel (Amazon Linux バージョン) Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン 2.0.20241001.0 4.14.352 2024 年 10 月 4 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240816.0 4.14.350 2024 年 8 月 21 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240809.0 4.14.349 2024 年 8 月 20 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240719.0 4.14.348 2024 年 7 月 25 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240709.1 4.14.348 2024 年 7 月 23 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 アジアパシフィック (ハイデラバード)、 中東 (UAE)、 欧州 (スペイン)、 欧州 (チューリッヒ)、 アジアパシフィック (メルボルン)、 イスラエル (テルアビブ)、 カナダ西部 (カルガリー) 2.0.20240503.0 4.14.343 2024 年 xxxxxx 月 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)
Amazon EMRおよび AWS 署名バージョン 4
Amazon EMRリリースでは、 AWS 署名バージョン 4 (SigV4) Amazon S3 へのリクエストを認証します。2020 年 6 月 24 日以降に Amazon S3 で作成されたバケットは、Signature Version 2 (SigV2) によって署名されたリクエストをサポートしていません。2020 年 6 月 24 日以前に作成されたバケットは、引き続き SigV2 をサポートします。をサポートする Amazon EMRリリースに移行することをお勧めします。SigV4 新しい S3 バケットにアクセスし、ワークロードの中断を回避できます。
Apache Spark、Apache Hive、Presto EMRなどの Amazon に含まれているアプリケーションを使用する場合は、使用するアプリケーションコードを変更する必要はありません。SigV4 。 Amazon に含まれていないカスタムアプリケーションを使用する場合はEMR、使用するコードを更新する必要がある場合があります。SigV4。 詳細については、Amazon S3 ユーザーガイドの「署名バージョン 2 から署名バージョン 4 への移行」を参照してください。
次の Amazon EMRリリースのサポート SigV4: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher。 すべての 6.x および 7.x リリースで がサポートされています。SigV4.