Hive コマンドを実行するように Hive テーブルをセットアップする

Apache Hive は、SQL のような言語を使用して、Amazon EMR クラスターに含まれるデータに対してクエリを実行する際に使用できるデータウェアハウスアプリケーションです。Hive の詳細については、http://hive.apache.org/ を参照してください。

次の手順は、既にクラスターを作成し、Amazon EC2 キーペアを指定したことを前提にしています。クラスターの作成を開始する方法については、「Amazon EMR 管理ガイド」の「Amazon EMR の開始方法」を参照してください。

MapReduce を使用するように Hive を設定する

Amazon EMR で Hive を使用して DynamoDB テーブルに対してクエリを実行する場合、デフォルトの実行エンジンである Tez を Hive が使用していると、エラーが発生する可能性があります。このため、このセクションで説明しているように、DynamoDB と統合される Hive でクラスターを作成するときには、MapReduce を使用するように Hive を設定する設定分類を使用することをお勧めします。詳細については、「アプリケーションの設定」を参照してください。

次のスニペットは、Hive の実行エンジンとして MapReduce を設定するために使用する分類設定とプロパティを示しています。

[
                {
                    "Classification": "hive-site",
                    "Properties": {
                        "hive.execution.engine": "mr"
                    }
                }
             ]

次に、hivetable1 で Hive 操作の実行を開始できます。hivetable1 に対して実行されるクエリは、DynamoDB アカウントの DynamoDB テーブル dynamodbtable1 に対して内部的に実行され、実行するたびに読み取り単位または書き込み単位が消費されます。

DynamoDB テーブルに対して Hive クエリを実行する際には、十分な量の読み込み容量単位をプロビジョニングしておく必要があります。

たとえば、DynamoDB テーブルに対して 100 ユニットの読み込みキャパシティーをプロビジョニングしているとします。この場合、1 秒間に 100 の読み込み（409,600 バイト）を実行できます。そのテーブルに 20 GB（21,474,836,480 バイト）のデータが含まれており、Hive クエリがフルテーブルスキャンを実行する場合、クエリの実行にかかる時間は次のように見積もられます。

21,474,836,480 / 409,600 = 52,429 秒 = 14.56 時間

必要な時間を短縮するには、ソース DynamoDB テーブルで読み込みキャパシティーユニットを調整する以外に方法はありません。Amazon EMR ノードを追加しても、役に立ちません。

Hive 出力では、1 つ以上のマッパープロセスが終了すると、完了のパーセンテージが更新されます。プロビジョニングされた読み込みキャパシティーが小さく設定された大きな DynamoDB テーブルでは、完了のパーセンテージ出力が長時間更新されない場合があります。上記のような場合、ジョブは数時間にわたって 0% 完了として表示されます。ジョブの進行状況の詳細なステータスについては、Amazon EMR コンソールに移動してください。ここで、個別のマッパータスクのステータスおよびデータ読み込みの統計を表示できます。また、マスターノードの Hadoop インターフェイスにログオンし、Hadoop 統計を表示することもできます。ここには、個別のマップタスクのステータスおよびいくつかのデータ読み込み統計が表示されます。詳細については、以下の各トピックを参照してください。

DynamoDB からのデータのエクスポートやインポート、テーブルの結合などのタスクを実行するその他の HiveQL ステートメントの例については、「DynamoDB 内データのエクスポート、インポート、クエリを行う Hive コマンドの使用例」を参照してください。

Hive と DynamoDB のデータ型

次の表は、使用可能な Hive データ型、対応するデフォルトの DynamoDB 型、およびそれらもマッピングできる代替 DynamoDB 型を示しています。

Hive データを対応する代替 DynamoDB 型として書き込む場合、または DynamoDB データに代替 DynamoDB 型の属性値が含まれる場合、dynamodb.type.mapping パラメータを使用して列と DynamoDB 型を指定できます。次の例は、代替型マッピングを指定する構文を示しています。

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.type.mapping" = "hive_column1_name:dynamodb_attribute1_datatype"); 

型マッピングパラメータはオプションで、代替型を使用する列に対してのみ指定する必要があります。

たとえば、次の Hive コマンドでは、DynamoDB テーブル dynamodbtable2 を参照する hivetable2 というテーブルが作成されます。これは、col3 列を文字列セット (SS) 型にマッピングする点を除いて、hivetable1 に似ています。

CREATE EXTERNAL TABLE hivetable2 (col1 string, col2 bigint, col3 array<string>)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodbtable2",
"dynamodb.column.mapping" = "col1:name,col2:year,col3:holidays",
"dynamodb.type.mapping" = "col3:SS"); 

Hive では、hivetable1 と hivetable2 は同一です。ただし、これらのテーブルからのデータが対応する DynamoDB テーブルに書き込まれる際、dynamodbtable2 には文字列セットが含まれますが dynamodbtable1 にはリストが含まれます。

Hive null 値を DynamoDB null 型の属性として書き込む場合は、dynamodb.null.serialization パラメータを使用して実行できます。次の例は、null シリアル化を指定する構文を示しています。

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.null.serialization" = "true"); 

null シリアル化パラメータはオプションであり、指定しない場合は false に設定されます。パラメータ設定に関係なく、DynamoDB null 属性は Hive で null 値として読み取られることに注意してください。null 値を持つ Hive コレクションは、null シリアル化パラメータが true として指定されている場合にのみ DynamoDB に書き込むことができます。指定されない場合、Hive エラーが発生します。

精度の点で、Hive の bigint 型は Java の long 型と同じであり、Hive の double 型は Java の double 型と同じです。つまり、エクスポート、インポート、または参照する Hive を使用して、Hive のデータ型で使用できる精度よりも高い精度の数値データが DynamoDB に格納される場合、DynamoDB データの精度が低下したり、Hive クエリが失敗したりする可能性があります。

DynamoDB から Amazon Simple Storage Service (Amazon S3) または HDFS にバイナリ型をエクスポートすると、Base64 のエンコード文字列として格納されます。Amazon S3 または HDFS のデータを DynamoDB のバイナリ型にインポートする場合、Base64 文字列としてエンコードされます。

Hive のオプション

次の Hive オプションを設定して、Amazon DynamoDB のデータの転送を管理できます。これらのオプションは、現在の Hive セッションの間のみ、有効です。Hive コマンドプロンプトを終了した後で、クラスターでこのプロンプトを再び開いた場合、この設定はデフォルト値に戻ります。

これらのオプションは、次の例に示すように、SET コマンドを使用して設定されます。

SET dynamodb.throughput.read.percent=1.0; 

INSERT OVERWRITE TABLE s3_export SELECT * 
FROM hiveTableName;