本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

設定 Hive 資料表以執行 Hive 命令

Apache Hive 是一種資料倉儲應用程式，您可以使用SQL類似 的語言來查詢 Amazon EMR叢集中包含的資料。如需關於 Hive 的詳細資訊，請參閱 http://hive.apache.org/。

下列程序假設您已建立叢集並指定 Amazon EC2金鑰對。若要了解如何開始建立叢集，請參閱 Amazon 管理指南 EMR 中的 Amazon EMR 入門。

設定 Hive 以使用 MapReduce

當您在 Amazon 上使用 Hive EMR查詢 DynamoDB 資料表時，如果 Hive 使用預設執行引擎 Tez，則可能會發生錯誤。因此，當您使用 Hive 建立與 DynamoDB 整合的叢集時，建議您使用將 Hive 設定為使用 的組態分類 MapReduce。如需詳細資訊，請參閱設定應用程式。

下列程式碼片段顯示要用來 MapReduce 設定為 Hive 執行引擎的組態分類和屬性：

[
                {
                    "Classification": "hive-site",
                    "Properties": {
                        "hive.execution.engine": "mr"
                    }
                }
             ]

接著，您就能開始在 hivetable1 上執行 Hive 操作。針對 hivetable1 執行的查詢會於內部根據您 DynamoDB 帳戶的 DynamoDB 資料表 dynamodbtable1 執行，每次執行都會耗用讀取或寫入的單位。

在針對 DynamoDB 資料表執行 Hive 查詢時，需要確保已先佈建好充足的讀取容量單位。

例如，假設您已為 DynamoDB 資料表佈建 100 單位的讀取容量。這會讓您每秒執行 100 次讀取或是 409,600 位元組。若資料表含有 20 GB 的資料 (21,474,836,480 位元組)，而您的 Hive 查詢要執行一次完整的資料表掃描，就可以估算查詢所需的執行時間：

「21,474,836,480 / 409,600 = 52,429 秒 = 14.56 小時」

減少所需時間的唯一方法，便是調整來源 DynamoDB 資料表的讀取容量單位。新增更多 Amazon EMR節點不會有幫助。

在 Hive 輸出中，當一或多個映射器程序結束後，即會更新完成的百分比。若為大型 DynamoDB 資料表，而採用低佈建讀取容量設定，則輸出完成的百分比可能在相當長一段時間內不會更新；在上述情況下，任務會有好幾個小時皆顯示為 0% 完成。如需任務進度的詳細資訊，請前往 Amazon EMR主控台；您將能夠檢視個別映射器任務狀態，以及資料讀取的統計資料。您也可在主節點上登入 Hadoop 界面並查看 Hadoop 的統計數據。其會顯示個別的映射任務狀態，以及一切資料讀取的統計數據。如需詳細資訊，請參閱下列主題：

如需有關 HiveQL 陳述式範例的詳細資訊，以了解從 DynamoDB 匯出或匯入資料和聯結資料表等任務的執行方法，請參閱 在 DynamoDB 中匯出、匯入和查詢資料的 Hive 命令範例。

Hive 與 DynamoDB 的資料類型

下表顯示可用的 Hive 資料類型、其對應至的預設 DynamoDB 類型，以及它們也可以映射至的替代 DynamoDB 類型。

如果您希望將 Hive 資料寫入為對應的替代 DynamoDB 類型，或如果您的 DynamoDB 資料包含替代 DynamoDB 類型的屬性值，則您可以使用 dynamodb.type.mapping 參數指定資料欄和 DynamoDB 類型。下列範例顯示指定替代類型映射的語法。

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.type.mapping" = "hive_column1_name:dynamodb_attribute1_datatype"); 

類型映射參數是選用的，而且只需要針對使用替代類型的資料欄指定。

例如，下列 Hive 命令會建立名為 hivetable2 的資料表，其會參考 DynamoDB 資料表 dynamodbtable2。它類似 hivetable1，只是它會將 col3 資料欄映射至字串集 (SS) 類型。

CREATE EXTERNAL TABLE hivetable2 (col1 string, col2 bigint, col3 array<string>)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodbtable2",
"dynamodb.column.mapping" = "col1:name,col2:year,col3:holidays",
"dynamodb.type.mapping" = "col3:SS"); 

在 Hive 中，hivetable1 和 hivetable2 是相同的。不過，當這些資料表中的資料寫入至其對應的 DynamoDB 資料表時，dynamodbtable1 將包含清單，而 dynamodbtable2 將包含字串集。

如果您想要將 Hive null 值寫入為 DynamoDB null 類型的屬性，則可以使用 dynamodb.null.serialization 參數來執行此操作。下列範例顯示指定 null 序列化的語法。

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.null.serialization" = "true"); 

null 序列化參數是選用的，若未指定，則會設為 false。請注意，無論參數設定為何，Hive 中的 DynamoDB null 屬性都會讀取為 null 值。只有在 null 序列化參數指定為 true 時，具有 null 值的 Hive 集合才能寫入 DynamoDB 中。否則，會發生 Hive 錯誤。

Hive 中的 bigint 類型與 Java long 類型相同，且 Hive double 類型在精準度上也等同於 Java double 類型。換言之，如果您在 DynamoDB 中儲存的數值資料精確度高於 Hive 所提供的資料類型，則使用 Hive 匯出、匯入或參考 DynamoDB 資料皆會導致精確度下降，或 Hive 查詢失敗。

從 DynamoDB 匯出二進位類型至 Amazon Simple Storage Service （Amazon S3），或HDFS儲存為 Base64-encoded字串。如果您要從 Amazon S3 或 匯入資料HDFS至 DynamoDB 二進位類型，則應將其編碼為 Base64 字串。

Hive 選項

您可以設定以下 Hive 選項，以管理 Amazon DynamoDB 向外的資料傳輸。這些選僅持續用於目前的 Hive 工作階段。如果將 Hive 命令提示關閉，稍後再於叢集重新開啟，這些設定均會還原為預設值。

以下範例中顯示了如何使用 SET 命令設定這類選項。

SET dynamodb.throughput.read.percent=1.0; 

INSERT OVERWRITE TABLE s3_export SELECT * 
FROM hiveTableName;