Amazon EMRリリース 6.1.1 - Amazon EMR
6.1.1 アプリケーションバージョン6.1.1 リリースノート6.1.1 コンポーネントバージョン6.1.1 設定分類

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMRリリース 6.1.1

6.1.1 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています: Flink、Ganglia、HBase、HCatalog、Hadoop、Hive、Hudi、Hue、JupyterHub、Livy、MXNet、Oozie、Phoenix、Pig、Presto、PrestoSQL、Spark、Sqoop、TensorFlow、Tez、Zeppelin、ZooKeeper。

次の表に、Amazon のこのリリースで利用可能なアプリケーションバージョンEMRと、前述の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示します。

Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-6.1.1 emr-6.1.0 emr-6.0.1 emr-6.0.0
AWS SDK for Java 1.11.8281.11.8281.11.7111.11.711
Python 2.7、3.72.7、3.72.7、3.72.7、3.7
Scala 2.12.102.12.102.12.102.11.12
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink1.11.01.11.0 - -
Ganglia3.7.23.7.23.7.23.7.2
HBase2.2.52.2.52.2.32.2.3
HCatalog3.1.23.1.23.1.23.1.2
Hadoop3.2.13.2.13.2.13.2.1
Hive3.1.23.1.23.1.23.1.2
Hudi0.5.2-incubating-amzn-20.5.2-incubating-amzn-20.5.0-incubating-amzn-10.5.0-incubating-amzn-1
Hue4.7.14.7.14.4.04.4.0
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub1.1.01.1.01.0.01.0.0
Livy0.7.00.7.00.6.00.6.0
MXNet1.6.01.6.01.5.11.5.1
Mahout - - - -
Oozie5.2.05.2.05.1.05.1.0
Phoenix5.0.05.0.05.0.05.0.0
Pig0.17.00.17.0 - -
Presto0.2320.2320.2300.230
Spark3.0.03.0.02.4.42.4.4
Sqoop1.4.71.4.7 - -
TensorFlow2.1.02.1.01.14.01.14.0
Tez0.9.20.9.20.9.20.9.2
Trino (PrestoSQL)338338 - -
Zeppelin0.9.00.9.00.9.00.9.0
ZooKeeper3.4.143.4.143.4.143.4.14

6.1.1 リリースノート

これは、クラスターのスケールアップ/スケールダウンに失敗した場合、またはアプリケーション障害を引き起こした場合の Amazon EMR Scaling の問題を修正するためのリリースです。

変更、拡張、解決した問題

  • Amazon クラスターEMR上のデーモンがYARNノードの状態やノードHDFSの状態の収集などのヘルスチェックアクティビティを実行している場合に、大規模で使用率の高いクラスターでスケーリングリクエストが失敗する問題を修正しました。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部 Amazon EMRコンポーネントに通信できなかったために発生しました。

  • クラスターEMR上のデーモンが改善され、IP アドレスが再利用されたときにノードの状態が正しく追跡され、スケーリングオペレーション中の信頼性が向上しました。

  • SPARK-29683。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。

  • YARN-9011。クラスターのスケールアップまたはスケールダウンを試みたときに、YARN廃止時の競合状態が原因でジョブが失敗する問題を修正しました。

  • Amazon クラスターEMR上のデーモンと YARN/ の間でノードの状態が常に一貫しているようにすることで、クラスターのスケーリング中にステップまたはジョブが失敗する問題を修正しましたHDFS。

  • Kerberos 認証で有効になっている Amazon クラスターでスケールダウンやステップ送信などのEMRクラスターオペレーションが失敗する問題を修正しました。これは、Amazon クラスターEMR上のデーモンが Kerberos チケットを更新しなかったためです。これは、プライマリノードで HDFS/YARN と安全に通信するために必要です。

  • 新しい Amazon EMRリリースでは、Amazon の古い の「最大オープンファイル」制限を低く設定することで問題が修正AL2されていますEMR。Amazon EMRリリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降では、「最大オープンファイル」設定が高い永続的な修正が追加されました。

  • HTTPS Amazon Linux リポジトリで がデフォルトで有効になりました。Amazon S3 VPCEポリシーを使用して特定のバケットへのアクセスを制限する場合は、新しい Amazon Linux バケットARNarn:aws:s3:::amazonlinux-2-repos-$region/*をポリシーに追加する必要があります ( をエンドポイントがあるリージョン$regionに置き換えます）。詳細については、 AWS ディスカッションフォーラムのこのトピックを参照してください。発表: Amazon Linux 2 では、パッケージリポジトリ に接続HTTPSする際に を使用する機能がサポートされるようになりました。

6.1.1 コンポーネントバージョン

このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有のものでEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは、通常、 コミュニティにある最新バージョンです。コミュニティリリースEMRは、できるだけ早く Amazon で利用可能になります。

Amazon の一部のコンポーネントEMRは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 myapp-componentの という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2。

コンポーネント Version 説明
aws-sagemaker-spark-sdk1.3.0Amazon SageMaker Spark SDK
emr-ddb4.14.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies3.1.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.5.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-s3-dist-cp2.14.0Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select2.0.0EMR S3Select コネクタ
emrfs2.42.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.11.0Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client3.2.1-amzn-1.1'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode3.2.1-amzn-1.1HDFS ブロックを保存するためのノードレベルのサービス。
hadoop-hdfs-library3.2.1-amzn-1.1HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode3.2.1-amzn-1.1HDFS ファイル名とブロックの場所を追跡するための サービス。
hadoop-hdfs-journalnode3.2.1-amzn-1.1HDFS HA クラスターで Hadoop ファイルシステムジャーナルを管理するための サービス。
hadoop-httpfs-server3.2.1-amzn-1.1HTTP HDFSオペレーションの エンドポイント。
hadoop-kms-server3.2.1-amzn-1.1Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。
hadoop-mapred3.2.1-amzn-1.1MapReduce MapReduce アプリケーションを実行するための 実行エンジンライブラリ。
hadoop-yarn-nodemanager3.2.1-amzn-1.1YARN 個々のノードのコンテナを管理するための サービス。
hadoop-yarn-resourcemanager3.2.1-amzn-1.1YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。
hadoop-yarn-timeline-server3.2.1-amzn-1.1YARN アプリケーションの現在および履歴情報を取得するためのサービス。
hbase-hmaster2.2.5リージョンの調整と管理コマンドの実行を担当する HBaseクラスターのサービス。
hbase-region-server2.2.51 つ以上のHBaseリージョンに対応するサービス。
hbase-client2.2.5HBase コマンドラインクライアント。
hbase-rest-server2.2.5のRESTfulHTTPエンドポイントを提供するサービスHBase。
hbase-thrift-server2.2.5Thrift エンドポイントを に提供するサービスHBase。
hcatalog-client3.1.2-amzn-2hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server3.1.2-amzn-2分散アプリケーション用のテーブルおよびストレージ管理レイヤーHCatalogである を提供するサービス。
hcatalog-webhcat-server3.1.2-amzn-2HTTP へのRESTインターフェイスを提供する エンドポイントHCatalog。
hive-client3.1.2-amzn-2Hive コマンドラインクライアント。
hive-hbase3.1.2-amzn-2Hive-hbase クライアント。
hive-metastore-server3.1.2-amzn-2Hadoop オペレーションSQLで のメタデータを保存するセマンティックリポジトリである Hive メタストアにアクセスするためのサービス。
hive-server23.1.2-amzn-2Hive クエリをウェブリクエストとして受け入れるサービス。
hudi0.5.2-incubating-amzn-2データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-presto0.5.2-incubating-amzn-2Presto を Hudi で実行するためのバンドルライブラリ。
hudi-prestosql0.5.2-incubating-amzn-2Hudi で PrestoSQL を実行するためのバンドルライブラリ。
hudi-spark0.5.2-incubating-amzn-2Spark を Hudi で実行するためのバンドルライブラリ。
hue-server4.7.1Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
jupyterhub1.1.0Jupyter Notebook のマルチユーザーサーバー
livy-server0.7.0-incubatingREST Apache Spark とやり取りするための インターフェイス
nginx1.12.1nginx [エンジン x] は HTTPおよびリバースプロキシサーバーです
mxnet1.6.0フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。
mariadb-server5.5.64+MariaDB データベースサーバー。
nvidia-cuda9.2.88Nvidia ドライバーと Cuda ツールキット
oozie-client5.2.0Oozie コマンドラインクライアント。
oozie-server5.2.0Oozie ワークフローリクエストを受け入れるサービス。
opencv4.3.0オープンソースのコンピュータビジョンライブラリ。
phoenix-library5.0.0-HBase-2.0サーバーとクライアントの Phoenix ライブラリ
phoenix-query-server5.0.0-HBase-2.0Avatica JDBCへのアクセスとプロトコルバッファ、JSONフォーマットアクセスを提供する軽量サーバー API
presto-coordinator0.232presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.232いくつかのクエリを実行するサービス。
presto-client0.232Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
prestosql-coordinator338prestosql-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
prestosql-worker338いくつかのクエリを実行するサービス。
prestosql-client338Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
pig-client0.17.0Pig コマンドラインクライアント。
r3.4.3統計的コンピューティング用 R プロジェクト
ranger-kms-server2.0.0Apache Ranger Key Management System
spark-client3.0.0-amzn-0.1Spark コマンドラインクライアント。
spark-history-server3.0.0-amzn-0.1完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn3.0.0-amzn-0.1のインメモリ実行エンジンYARN。
spark-yarn-slave3.0.0-amzn-0.1YARN スレーブに必要な Apache Spark ライブラリ。
sqoop-client1.4.7Apache Sqoop コマンドラインクライアント。
tensorflow2.1.0TensorFlow 高性能な数値計算用の オープンソースソフトウェアライブラリ。
tez-on-yarn0.9.2Tez YARNアプリケーションとライブラリ。
webserver2.4.41+Apache HTTPサーバー。
zeppelin-server0.9.0-preview1インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.4.14設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.4.14ZooKeeper コマンドラインクライアント。

6.1.1 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

emr-6.1.1 の分類
分類 説明

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

container-executor

Hadoop YARNの container-executor.cfg ファイルの値を変更します。

container-log4j

Hadoop YARNの container-log4j.properties ファイルの値を変更します。

core-site

Hadoop の core-site.xml ファイルの値を変更します。

emrfs-site

EMRFS 設定を変更します。

flink-conf

flink-conf.yaml の設定を変更します。

flink-log4j

Flink log4j.properties の設定を変更します。

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 設定を変更します。

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

hbase

Amazon EMRが厳選した Apache の設定HBase。

hbase-env

HBaseの環境の値を変更します。

hbase-log4j

HBaseの hbase-log4j.properties ファイルの値を変更します。

hbase-metrics

HBaseの hadoop-metrics2-hbase.properties ファイルの値を変更します。

hbase-policy

HBaseの hbase-policy.xml ファイルの値を変更します。

hbase-site

HBaseの hbase-site.xml ファイルの値を変更します。

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

hdfs-env

HDFS 環境の値を変更します。

hdfs-site

HDFSの hdfs-site.xml の値を変更します。

hcatalog-env

HCatalogの環境の値を変更します。

hcatalog-server-jndi

HCatalogの jndi.properties の値を変更します。

hcatalog-server-proto-hive-site

HCatalogの proto-hive-site.xml の値を変更します。

hcatalog-webhcat-env

HCatalog W ebHCatの環境の値を変更します。

hcatalog-webhcat-log4j2

HCatalog W ebHCatの log4j2.properties の値を変更します。

hcatalog-webhcat-site

HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。

hive

Apache Hive の Amazon EMRが厳選した設定。

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

hive-env

Hive 環境の値を変更します。

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

hive-site

Hive の hive-site.xml ファイルの値を変更します

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

hue-ini

Hue の ini ファイルの値を変更します

httpfs-env

HTTPFS 環境の値を変更します。

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

hadoop-kms-env

Hadoop KMS環境の値を変更します。

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

hudi-env

Hudi 環境の値を変更します。

jupyter-notebook-conf

Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。

jupyter-hub-conf

JupyterHubsの jupyterhub_config.py ファイルの値を変更します。

jupyter-s3-conf

Jupyter Notebook の S3 の永続性を設定します。

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

livy-conf

Livy の livy.conf ファイルの値を変更します。

livy-env

Livy 環境の値を変更します。

livy-log4j

Livy の log4j.properties の設定を変更します。

mapred-env

MapReduce アプリケーションの環境の値を変更します。

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

oozie-env

Oozie の環境の値を変更します。

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

pig-env

Pig 環境の値を変更します。

pig-properties

Pig の pig.properties ファイルの値を変更します。

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

presto-log

Presto の log.properties ファイルの値を変更します。

presto-config

Presto の config.properties ファイルの値を変更します。

presto-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

presto-env

Presto の presto-env.sh ファイルの値を変更します。

presto-node

Presto の node.properties ファイルの値を変更します。

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

presto-connector-memory

Presto の memory.properties ファイルの値を変更します。

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

presto-connector-redshift

Presto の redshift.properties ファイルの値を変更します。

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

presto-connector-tpcds

Presto の tpcds.properties ファイルの値を変更します。

prestosql-log

Presto の log.properties ファイルの値を変更します。

prestosql-config

Presto の config.properties ファイルの値を変更します。

prestosql-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

prestosql-env

Presto の presto-env.sh ファイルの値を変更します。

prestosql-node

Presto SQLの node.properties ファイルの値を変更します。

prestosql-connector-blackhole

Presto SQLの blackhole.properties ファイルの値を変更します。

prestosql-connector-cassandra

Presto の SQLcassandra.properties ファイルの値を変更します。

prestosql-connector-hive

Presto の hiveSQL.properties ファイルの値を変更します。

prestosql-connector-jmx

Presto SQLの jmx.properties ファイルの値を変更します。

prestosql-connector-kafka

Presto SQLの kafka.properties ファイルの値を変更します。

prestosql-connector-localfile

Presto SQLの localfile.properties ファイルの値を変更します。

prestosql-connector-memory

Presto SQLの memory.properties ファイルの値を変更します。

prestosql-connector-mongodb

Presto SQLの mongodb.properties ファイルの値を変更します。

prestosql-connector-mysql

Presto SQLの mysql.properties ファイルの値を変更します。

prestosql-connector-postgresql

Presto SQLの postgresql.properties ファイルの値を変更します。

prestosql-connector-raptor

Presto SQLの raptor.properties ファイルの値を変更します。

prestosql-connector-redis

Presto SQLの redis.properties ファイルの値を変更します。

prestosql-connector-redshift

Presto SQLの redshift.properties ファイルの値を変更します。

prestosql-connector-tpch

Presto の SQLtpch.properties ファイルの値を変更します。

prestosql-connector-tpcds

Presto の SQLtpcds.properties ファイルの値を変更します。

ranger-kms-dbks-site

Ranger の dbks-site.xml ファイルの値を変更しますKMS。

ranger-kms-site

Ranger の ranger-kms-site.xml ファイルの値を変更しますKMS。

ranger-kms-env

Ranger KMS環境の値を変更します。

ranger-kms-log4j

Ranger の kms-log4j.properties ファイルの値を変更しますKMS。

ranger-kms-db-ca

Ranger とSSLの接続SQLで S3 の CA ファイルの値を変更しますKMS。

spark

Apache EMRSpark の Amazon が厳選した設定。

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

spark-env

Spark 環境の値を変更します。

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

spark-log4j

Spark の log4j.properties ファイルの値を変更します。

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

sqoop-env

Sqoop の環境の値を変更します。

sqoop-oraoop-site

Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

tez-site

Tez の tez-site.xml ファイルの値を変更します。

yarn-env

YARN 環境の値を変更します。

yarn-site

YARNの yarn-site.xml ファイルの値を変更します。

zeppelin-env

Zeppelin 環境の値を変更します。

zookeeper-config

ZooKeeperの zoo.cfg ファイルの値を変更します。

zookeeper-log4j

ZooKeeperの log4j.properties ファイルの値を変更します。