Menggunakan kompresi data

Jika menggunakan Hive untuk menyalin data di antara berbagai sumber data, Anda dapat meminta kompresi data saat dalam proses. Hive menyediakan beberapa codec kompresi. Anda dapat memilih salah satu selama sesi Hive Anda. Jika Anda melakukannya, data dikompres dalam format yang ditentukan.

Contoh berikut memampatkan data menggunakan algoritma Lempel-Ziv-Oberhumer (LZO).

SET hive.exec.compress.output=true;
SET io.seqfile.compression.type=BLOCK;
SET mapred.output.compression.codec = com.hadoop.compression.lzo.LzopCodec;

CREATE EXTERNAL TABLE lzo_compression_table (line STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'
LOCATION 's3://bucketname/path/subpath/';

INSERT OVERWRITE TABLE lzo_compression_table SELECT *
FROM hiveTableName;

File yang dihasilkan di Amazon S3 akan memiliki nama yang dihasilkan sistem dengan .lzo di bagian akhirnya (misalnya, 8d436957-57ba-4af7-840c-96c2fc7bb6f5-000000.lzo).

Codec kompresi yang tersedia adalah: