Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Impostazione di una tabella Hive per l'esecuzione dei comandi Hive

Apache Hive è un'applicazione di data warehouse che puoi usare per interrogare i dati contenuti nei EMR cluster Amazon utilizzando un SQL linguaggio simile a -like. Per ulteriori informazioni su Hive, visita la pagina Web all'indirizzo http://hive.apache.org/.

La procedura seguente presuppone che tu abbia già creato un cluster e specificato una coppia di EC2 chiavi Amazon. Per informazioni su come iniziare a creare cluster, consulta la sezione Guida introduttiva ad Amazon EMR nella Amazon EMR Management Guide.

Configura Hive per l'uso MapReduce

Quando usi Hive su Amazon EMR per interrogare le tabelle DynamoDB, possono verificarsi degli errori se Hive utilizza il motore di esecuzione predefinito, Tez. Per questo motivo, quando crei un cluster con Hive che si integra con DynamoDB come descritto in questa sezione, ti consigliamo di utilizzare una classificazione di configurazione che imposti Hive da utilizzare. MapReduce Per ulteriori informazioni, consulta Configurazione delle applicazioni.

Il seguente frammento mostra la classificazione della configurazione e la proprietà da utilizzare per impostare MapReduce come motore di esecuzione per Hive:

[
                {
                    "Classification": "hive-site",
                    "Properties": {
                        "hive.execution.engine": "mr"
                    }
                }
             ]

A questo punto puoi iniziare a eseguire operazioni Hive su hivetable1. Le query eseguite per hivetable1 vengono eseguite internamente nella tabella DynamoDB dynamodbtable1 dell'account DynamoDB, consumando unità di lettura o scrittura a ogni esecuzione.

Quando esegui query Hive su una tabella DynamoDB, devi accertarti di aver assegnato una quantità sufficiente di unità di capacità di lettura.

Ad esempio, supponiamo che tu disponga di 100 unità di capacità di lettura assegnate per la tabella DynamoDB. Questo ti consentirà di eseguire 100 operazioni di lettura, o 409.600 byte, al secondo. Se la tabella contiene 20 GB di dati (21.474.836.480 byte) e la tua query Hive esegue una scansione completa della tabella, puoi stimare la durata dell'esecuzione della query:

21.474.836.480 / 409.600 = 52.429 secondi = 14,56 ore

Il solo modo per ridurre il tempo necessario sarebbe modificare le unità di capacità di lettura nella tabella DynamoDB di origine. L'aggiunta di altri EMR nodi Amazon non sarà di aiuto.

Nell'output Hive, la percentuale di completamento viene aggiornata quando terminano uno o più processi del mappatore. Per una tabella DynamoDB di grandi dimensioni con una bassa capacità di lettura assegnata, l'output della percentuale di completamento potrebbe non essere aggiornato per molto tempo; in questo caso, il processo sembrerà essere completo allo 0% per diverse ore. Per uno stato più dettagliato sull'avanzamento del tuo lavoro, vai alla EMR console Amazon; potrai visualizzare lo stato delle singole attività del mapper e le statistiche per la lettura dei dati. Puoi anche accedere all'interfaccia Hadoop sul nodo master e vedere le statistiche di Hadoop. Ti sarà mostrato lo stato della singola attività del mappatore e alcune statistiche di lettura dei dati. Per ulteriori informazioni, consulta i seguenti argomenti:

Per ulteriori informazioni sulle istruzioni HiveQL di esempio per eseguire attività quali l'esportazione o l'importazione di dati da DynamoDB e unione di tabelle, consulta Esempi di comandi Hive per l'esportazione, l'importazione e l'esecuzione di query sui dati in DynamoDB.

Tipi di dati per Hive e DynamoDB

La seguente tabella mostra i tipi di dati Hive disponibili, il tipo di DynamoDB predefinito a cui fanno riferimento e i tipi di DynamoDB alternativi a cui possono essere associati.

Se desideri scrivere i dati Hive come un tipo corrispondente di DynamoDB alternativo o se i dati di DynamoDB contengono valori di attributi di un tipo di DynamoDB alternativo, puoi specificare la colonna e il tipo di DynamoDB con il parametro dynamodb.type.mapping. L'esempio seguente mostra la sintassi per specificare una mappatura di tipi alternativi.

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.type.mapping" = "hive_column1_name:dynamodb_attribute1_datatype"); 

Il parametro della mappatura dei tipi è facoltativo e deve essere specificato solo per le colonne che utilizzano tipi alternativi.

Ad esempio, il seguente comando Hive crea una tabella denominata hivetable2 che fa riferimento alla tabella dynamodbtable2 di DynamoDB. È simile a hivetable1, tranne per il fatto che associa la colonna col3 al tipo string set (SS).

CREATE EXTERNAL TABLE hivetable2 (col1 string, col2 bigint, col3 array<string>)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodbtable2",
"dynamodb.column.mapping" = "col1:name,col2:year,col3:holidays",
"dynamodb.type.mapping" = "col3:SS"); 

In Hive, hivetable1 e hivetable2 sono identici. Tuttavia, quando i dati di tali tabelle vengono scritti nelle tabelle DynamoDB corrispondenti, dynamodbtable1 contiene elenchi, mentre dynamodbtable2 contiene set di stringhe.

Se desideri scrivere valori null di Hive come attributi del tipo null di DynamoDB, puoi farlo con il parametro dynamodb.null.serialization. L'esempio seguente mostra la sintassi per specificare la serializzazione null.

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.null.serialization" = "true"); 

Il parametro di serializzazione null è facoltativo e, se non specificato, è impostato su false. Nota che gli attributi null di DynamoDB sono letti come valori null in Hive indipendentemente dalle impostazioni del parametro. Le raccolte Hive con valori null possono essere scritte in DynamoDB solo se il parametro di serializzazione null è specificato come true. In caso contrario, si verifica un errore Hive.

Il tipo bigint in Hive è uguale al tipo long in Java, mentre il tipo double di Hive è uguale al tipo double in Java, in termini di precisione. Questo significa che, se disponi di dati numerici memorizzati in DynamoDB con una precisione superiore a quella disponibile nei tipi di dati Hive, l'utilizzo di Hive per esportare, importare o fare riferimento ai dati DynamoDB può portare a una perdita di precisione o a un errore nella query Hive.

Le esportazioni di tipo binario da DynamoDB ad Amazon Simple Storage Service HDFS (Amazon S3) o vengono archiviate come stringa con codifica Base64. Se stai importando dati da Amazon S3 HDFS o nel tipo binario DynamoDB, questi devono essere codificati come stringa Base64.

Opzioni Hive

Puoi impostare le seguenti opzioni di Hive per gestire il trasferimento di dati da Amazon DynamoDB. Queste opzioni persistono nella sessione di Hive corrente. Se chiudi il prompt dei comandi Hive e lo riapri in un secondo momento nel cluster, le impostazioni ritorneranno ai valori predefiniti.

Queste opzioni vengono impostate utilizzando il comando SET come mostrato nel seguente esempio.

SET dynamodb.throughput.read.percent=1.0; 

INSERT OVERWRITE TABLE s3_export SELECT * 
FROM hiveTableName;