Verwenden der Datenkomprimierung

Wenn Sie Hive verwenden, um Daten zwischen verschiedenen Datenquellen zu kopieren, können Sie eine Datenkomprimierung anfordern on-the-fly. Hive bietet mehrere Kompressions-Codecs. Sie können einen Codec während der Hive-Sitzung auswählen. Die Daten werden dann in dem angegebenen Format komprimiert.

Im folgenden Beispiel werden Daten mithilfe des Lempel-Ziv-Oberhumer (LZO) -Algorithmus komprimiert.

SET hive.exec.compress.output=true;
SET io.seqfile.compression.type=BLOCK;
SET mapred.output.compression.codec = com.hadoop.compression.lzo.LzopCodec;

CREATE EXTERNAL TABLE lzo_compression_table (line STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'
LOCATION 's3://bucketname/path/subpath/';

INSERT OVERWRITE TABLE lzo_compression_table SELECT *
FROM hiveTableName;

Die entsprechende Datei in Amazon S3 erhält einen vom System generierten Namen mit der Erweiterung .lzo am Ende (z.B. 8d436957-57ba-4af7-840c-96c2fc7bb6f5-000000.lzo).

Die verfügbaren Kompressions-Codecs sind: