Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration d'une table Hive pour exécuter des commandes Hive

Apache Hive est une application d'entrepôt de données que vous pouvez utiliser pour interroger les données contenues dans les EMR clusters Amazon à l'aide d'un langage SQL similaire. Pour plus d'informations sur Hive, consultez le site http://hive.apache.org/.

La procédure suivante suppose que vous avez déjà créé un cluster et que vous avez spécifié une paire de EC2 clés Amazon. Pour savoir comment commencer à créer des clusters, consultez Getting started with Amazon EMR dans le Amazon EMR Management Guide.

Configurer Hive pour utiliser MapReduce

Lorsque vous utilisez Hive sur Amazon EMR pour interroger des tables DynamoDB, des erreurs peuvent se produire si Hive utilise le moteur d'exécution par défaut, Tez. C'est pourquoi, lorsque vous créez un cluster avec Hive qui s'intègre à DynamoDB comme décrit dans cette section, nous vous recommandons d'utiliser une classification de configuration qui définit Hive à utiliser. MapReduce Pour de plus amples informations, veuillez consulter Configuration des applications.

L'extrait suivant montre la classification de configuration et les propriétés à utiliser pour définir MapReduce comme moteur d'exécution pour Hive :

[
                {
                    "Classification": "hive-site",
                    "Properties": {
                        "hive.execution.engine": "mr"
                    }
                }
             ]

Ensuite, vous pouvez commencer à exécuter les opérations Hive sur hivetable1. Les requêtes exécutées sur hivetable1 sont exécutées en interne sur la table DynamoDB dynamodbtable1 de votre compte DynamoDB et consomment des unités de lecture ou d'écriture à chaque exécution.

Lorsque vous exécutez les requêtes Hive sur une table DynamoDB, vous devez vous assurer que vous avez alloué une quantité suffisante d'unités de capacité de lecture.

Par exemple, supposons que vous ayez provisionné 100 unités de capacité en lecture pour votre table DynamoDB. Vous pourrez ainsi effectuer 100 lectures, ou 409 600 octets, par seconde. Si cette table contient 20 Go de données (21 474 836 480 octets) et que votre requête Hive exécute une analyse complète de la table, vous pouvez estimer la durée d'exécution de la requête :

21 474 836 480 / 409 600 = 52 429 secondes = 14,56 heures

Le seul moyen de diminuer le temps nécessaire consiste à ajuster les unités de capacité de lecture sur la table DynamoDB source. L'ajout de EMR nœuds Amazon supplémentaires n'aidera pas.

Dans la sortie Hive, le pourcentage d'achèvement est mis à jour lorsqu'un ou plusieurs processus de mappeurs sont terminés. Pour une table DynamoDB volumineuse avec un paramètre de faible capacité allouée en lecture, la sortie du pourcentage d'achèvement peut ne pas être mise à jour pendant longtemps. Dans le cas décrit ci-dessus, la tâche apparaît complète à 0 % pendant plusieurs heures. Pour un état plus détaillé de l'avancement de votre tâche, rendez-vous sur la EMR console Amazon ; vous pourrez consulter le statut de chaque tâche du mappeur et les statistiques relatives aux lectures de données. Vous pouvez également vous connecter à l'interface Hadoop sur le nœud maître et voir les statistiques Hadoop. Vous visualisez ainsi l'état des tâches de chaque carte et certaines statistiques de lecture des données. Pour plus d’informations, consultez les rubriques suivantes :

Pour plus d'informations sur les exemples d'instructions HiveQL permettant d'exécuter des tâches telles que l'exportation ou l'importation de données depuis DynamoDB et la jointure de tables, consultez Exemples de commandes Hive pour l'exportation, l'importation et l'interrogation de données dans DynamoDB.

Types de données pour Hive et DynamoDB

Le tableau suivant indique les types de données Hive disponibles, le type DynamoDB par défaut auquel ils correspondent et les autres types DynamoDB auxquels ils peuvent également mapper.

Si vous voulez écrire vos données Hive sous la forme d'un autre type DynamoDB correspondant, ou si vos données DynamoDB contiennent des valeurs d'attribut d'un autre type DynamoDB, vous pouvez spécifier la colonne et le type DynamoDB avec le paramètre dynamodb.type.mapping. L'exemple suivant montre la syntaxe permettant de spécifier un mappage d’un autre type.

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.type.mapping" = "hive_column1_name:dynamodb_attribute1_datatype"); 

Le paramètre de mappage de type est facultatif et ne doit être spécifié que pour les colonnes qui utilisent d'autres types.

Par exemple, la commande Hive suivante crée une table nommée hivetable2 qui fait référence à la table DynamoDB dynamodbtable2. Elle est équivalent à hivetable1, sauf qu'elle mappe la colonne col3 au type string set (SS).

CREATE EXTERNAL TABLE hivetable2 (col1 string, col2 bigint, col3 array<string>)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodbtable2",
"dynamodb.column.mapping" = "col1:name,col2:year,col3:holidays",
"dynamodb.type.mapping" = "col3:SS"); 

Dans Hive, hivetable1 et hivetable2 sont identiques. Toutefois, lorsque les données de ces tables sont écrites dans leurs tables DynamoDB correspondantes, dynamodbtable1 contient des listes, tandis que dynamodbtable2 contient des ensembles de chaînes.

Si vous souhaitez écrire des valeurs null Hive en tant qu'attributs de type DynamoDB pour null, vous pouvez le faire avec le paramètre dynamodb.null.serialization. L'exemple suivant montre la syntaxe permettant de spécifier la sérialisation null.

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.null.serialization" = "true"); 

Le paramètre de sérialisation null est facultatif ; il est défini sur false s'il n'est pas spécifié. Notez que les attributs null DynamoDB sont lus en tant que valeurs null dans Hive, quel que soit le paramètre. Les collections Hive avec des valeurs null peuvent être écrites dans DynamoDB uniquement si le paramètre de sérialisation null est spécifié comme true. Sinon, une erreur Hive se produit.

Le type bigint de Hive est identique au type long de Java, et le type double de Hive est le même que le type double de Java en termes de précision. Cela signifie que si vous avez des données numériques stockées dans DynamoDB qui ont une précision supérieure à celle des types de données Hive, l'utilisation de Hive pour exporter, importer ou référencer les données DynamoDB peut entraîner une perte de précision ou un échec de la requête Hive.

Les exportations de type binaire de DynamoDB vers Amazon Simple Storage Service (Amazon HDFS S3) sont également stockées sous forme de chaîne codée en Base64. Si vous importez des données depuis Amazon S3 ou HDFS dans le type binaire DynamoDB, elles doivent être codées sous forme de chaîne Base64.

Options Hive

Vous pouvez définir les options Hive suivantes pour gérer le transfert de données hors d'Amazon DynamoDB. Ces options sont conservées uniquement pour la session Hive en cours. Si vous fermez l'invite de commande Hive et la rouvrez ultérieurement sur le cluster, ces paramètres sont rétablis à leurs valeurs par défaut.

Ces options sont définies à l'aide de la commande SET, comme illustré dans l'exemple suivant.

SET dynamodb.throughput.read.percent=1.0; 

INSERT OVERWRITE TABLE s3_export SELECT * 
FROM hiveTableName;