Amazon EMR リリース 5.0.0 - Amazon EMR
5.0.0 アプリケーションバージョン5.0.0 リリースノート5.0.0 コンポーネントバージョン5.0.0 設定分類

Amazon EMR リリース 5.0.0

5.0.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています: Ganglia、HBase、HCatalog、Hadoop、Hive、Hue、Mahout、Oozie、Phoenix、Pig、Presto、Spark、Sqoop、Tez、Zeppelin、ZooKeeper。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-5.0.3 emr-5.0.2 emr-5.0.1 emr-5.0.0
AWS SDK for Java 1.10.751.10.751.10.751.10.75
Python 追跡されていません追跡されていません追跡されていません追跡されていません
Scala 2.11.82.11.82.11.82.11.8
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink - - - -
Ganglia3.7.23.7.23.7.23.7.2
HBase1.2.21.2.21.2.21.2.2
HCatalog2.1.02.1.02.1.02.1.0
Hadoop2.7.32.7.22.7.22.7.2
Hive2.1.02.1.02.1.02.1.0
Hudi - - - -
Hue3.10.03.10.03.10.03.10.0
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub - - - -
Livy - - - -
MXNet - - - -
Mahout0.12.20.12.20.12.20.12.2
Oozie4.2.04.2.04.2.04.2.0
Phoenix4.7.04.7.04.7.04.7.0
Pig0.16.00.16.00.16.00.16.0
Presto0.152.30.1500.1500.150
Spark2.0.12.0.02.0.02.0.0
Sqoop1.4.61.4.61.4.61.4.6
TensorFlow - - - -
Tez0.8.40.8.40.8.40.8.4
Trino (PrestoSQL) - - - -
Zeppelin0.6.10.6.10.6.10.6.1
ZooKeeper3.4.83.4.83.4.83.4.8

5.0.0 リリースノート

リリース日: 2016 年 7 月 27 日

アップグレード

  • Hive 2.1 にアップグレードしました

  • Presto 0.150 にアップグレードしました

  • Spark 2.0 にアップグレードしました

  • Hue 3.10.0 にアップグレードしました

  • Pig 0.16.0 にアップグレードしました

  • Tez 0.8.4 にアップグレードしました

  • Zeppelin 0.6.1 にアップグレードしました

変更と機能強化

  • Amazon EMR は Hive (バージョン 2.1)、Pig (バージョン 0.16.0) の最新のオープンソースバージョンをサポートします。以前に Amazon EMR で Hive または Pig を使用している場合、このことはいくつかのユースケースに影響を与える可能性があります。詳細については、「Hive」および「Pig」を参照してください。

  • 現在の Hive および Pig のデフォルト実行エンジンは Tez です。これを変更するには、hive-site および pig-properties のそれぞれの設定分類の適切な値を編集します。

  • サービスが原因を識別できる場合にステップ障害の根本原因を表示できるようにするステップ、デバッグ機能が追加されました。詳細については、「Amazon EMR 管理ガイド」の「デバッグの詳細ステップ」を参照してください。

  • アプリケーションは以前「-Sandbox」で終了しましたが、そのサフィックスはもうありません。たとえば、これらのアプリケーションを使ってクラスターを起動するスクリプトを使用している場合、これによってオートメーションが中断する可能性があります。次の表は、Amazon EMR 4.7.2 と Amazon EMR 5.0.0 のアプリケーション名を示しています。

    アプリケーション名変更
    Amazon EMR 4.7.2 Amazon EMR 5.0.0
    Oozie-Sandbox Oozie
    Presto-Sandbox Presto
    Sqoop-Sandbox Sqoop
    Zeppelin-Sandbox Zeppelin
    ZooKeeper-Sandbox ZooKeeper

  • Spark は現在 Scala 2.11 向けにコンパイルされています。

  • 現在のデフォルト JVM は Java 8 です。すべてのアプリケーションは Java 8 ランタイムを使用して動作します。アプリケーションのバイトコードターゲットには変更はありません。ほとんどのアプリケーションは、引き続き Java 7 を対象としています。

  • Zeppelin には、認証機能が組み込まれています。詳細については、「Zeppelin」を参照してください。

  • セキュリティ設定のサポートを追加しました。これにより、暗号化オプションをより簡単に作成、適用できます。詳細については、「Data Encryption」を参照してください。

5.0.0 コンポーネントバージョン

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、emr または aws で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 の myapp-component というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは 2.2-amzn-2 として表示されます。

コンポーネント Version 説明
emr-ddb4.0.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies2.1.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.2.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクタ。
emr-s3-dist-cp2.4.0Amazon S3 に最適化された分散コピーアプリケーション。
emrfs2.9.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client2.7.2-amzn-3'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode2.7.2-amzn-3ブロックを保存する HDFS ノードレベルのサービス。
hadoop-hdfs-library2.7.2-amzn-3HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode2.7.2-amzn-3ファイル名を追跡し、場所をブロックする HDFS サービス。
hadoop-httpfs-server2.7.2-amzn-3HDFS オペレーションの HTTP エンドポイント。
hadoop-kms-server2.7.2-amzn-3Hadoop の KeyProvider API に基づく暗号キー管理サーバー。
hadoop-mapred2.7.2-amzn-3MapReduce アプリケーションを実行する MapReduce 実行エンジンライブラリ。
hadoop-yarn-nodemanager2.7.2-amzn-3個別のノードでコンテナを管理する YARN サービス。
hadoop-yarn-resourcemanager2.7.2-amzn-3クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。
hadoop-yarn-timeline-server2.7.2-amzn-3YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。
hbase-hmaster1.2.2リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。
hbase-region-server1.2.21 つ以上の HBase リージョンに対応するサービス。
hbase-client1.2.2HBase コマンドラインクライアント。
hbase-rest-server1.2.2HBase の RESTful HTTP エンドポイントを提供するサービス。
hbase-thrift-server1.2.2HBase に Thrift エンドポイントを提供するサービス。
hcatalog-client2.1.0-amzn-0hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server2.1.0-amzn-0分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。
hcatalog-webhcat-server2.1.0-amzn-0HCatalog に REST インターフェイスを提供する HTTP エンドポイント。
hive-client2.1.0-amzn-0Hive コマンドラインクライアント。
hive-metastore-server2.1.0-amzn-0Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。
hive-server2.1.0-amzn-0Hive クエリをウェブリクエストとして受け入れるサービス。
hue-server3.10.0-amzn-0Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
mahout-client0.12.2機械学習用のライブラリ。
mysql-server5.5.46MySQL データベースサーバー。
oozie-client4.2.0Oozie コマンドラインクライアント。
oozie-server4.2.0Oozie ワークフローリクエストを受け入れるサービス。
phoenix-library4.7.0-HBase-1.2サーバーとクライアントの Phoenix ライブラリ
phoenix-query-server4.7.0-HBase-1.2JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー
presto-coordinator0.150presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.150いくつかのクエリを実行するサービス。
pig-client0.16.0-amzn-0Pig コマンドラインクライアント。
spark-client2.0.0Spark コマンドラインクライアント。
spark-history-server2.0.0完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn2.0.0YARN のメモリ内実行エンジン。
spark-yarn-slave2.0.0YARN スレーブで必要な Apache Spark ライブラリ。
sqoop-client1.4.6Apache Sqoop コマンドラインクライアント。
tez-on-yarn0.8.4tez YARN アプリケーションおよびライブラリ。
webserver2.4.23Apache HTTP サーバー。
zeppelin-server0.6.1-SNAPSHOTインタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.4.8設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.4.8ZooKeeper コマンドラインクライアント。

5.0.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

emr-5.0.0 の分類
分類 説明

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

core-site

Hadoop の core-site.xml ファイルの値を変更します。

emrfs-site

EMRFS の設定を変更します。

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

hbase-env

HBase の環境の値を変更します。

hbase-log4j

HBase の hbase-log4j.properties ファイルの値を変更します。

hbase-metrics

HBase の hadoop-metrics2-hbaase.properties ファイルの値を変更します。

hbase-policy

HBase の hbase-policy.xml ファイルの値を変更します。

hbase-site

HBase の hbase-site.xml ファイルの値を変更します。

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

hdfs-site

HDFS の hdfs-site.xml の値を変更します。

hcatalog-env

HCatalog 環境の値を変更します。

hcatalog-server-jndi

HCatalog の jndi.properties の値を変更します。

hcatalog-server-proto-hive-site

HCatalog の proto-hive-site.xml の値を変更します。

hcatalog-webhcat-env

HCatalog WebHCat 環境の値を変更します。

hcatalog-webhcat-log4j2

HCatalog WebHCat の log4j2.properties の値を変更します。

hcatalog-webhcat-site

HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

hive-env

Hive 環境の値を変更します。

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

hive-site

Hive の hive-site.xml ファイルの値を変更します

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

hue-ini

Hue の ini ファイルの値を変更します

httpfs-env

HTTPFS 環境の値を変更します。

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

hadoop-kms-env

Hadoop KMS 環境の値を変更します。

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

mapred-env

MapReduce アプリケーションの環境の値を変更します。

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

oozie-env

Oozie の環境の値を変更します。

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

pig-properties

Pig の pig.properties ファイルの値を変更します。

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

presto-log

Presto の log.properties ファイルの値を変更します。

presto-config

Presto の config.properties ファイルの値を変更します。

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

spark

Apache Spark 用の Amazon EMR-curated 設定。

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

spark-env

Spark 環境の値を変更します。

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

spark-log4j

Spark の log4j.properties ファイルの値を変更します。

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

sqoop-env

Sqoop の環境の値を変更します。

sqoop-oraoop-site

Sqoop OraOop の oraoop-site.xml ファイルの値を変更します。

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

tez-site

Tez の tez-site.xml ファイルの値を変更します。

yarn-env

YARN 環境の値を変更します。

yarn-site

YARN の yarn-site.xml ファイルの値を変更します。

zeppelin-env

Zeppelin 環境の値を変更します。

zookeeper-config

ZooKeeper の zoo.cfg ファイルの値を変更します。

zookeeper-log4j

ZooKeeper の log4j.properties ファイルの値を変更します。