Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengatur tabel Hive untuk menjalankan perintah Hive

Apache Hive adalah aplikasi gudang data yang dapat Anda gunakan untuk menanyakan data yang terdapat dalam EMR kluster Amazon menggunakan bahasa -like. SQL Untuk informasi selengkapnya tentang Hive, lihat http://hive.apache.org/.

Prosedur berikut mengasumsikan Anda telah membuat cluster dan menentukan Amazon EC2 key pair. Untuk mempelajari cara mulai membuat cluster, lihat Memulai Amazon EMR di Panduan EMR Manajemen Amazon.

Konfigurasikan Hive untuk digunakan MapReduce

Saat Anda menggunakan Hive di Amazon EMR untuk menanyakan tabel DynamoDB, kesalahan dapat terjadi jika Hive menggunakan mesin eksekusi default, misalnya. Untuk alasan ini, saat Anda membuat klaster dengan Hive yang terintegrasi dengan DynamoDB seperti yang dijelaskan di bagian ini, sebaiknya gunakan klasifikasi konfigurasi yang menetapkan Hive untuk digunakan. MapReduce Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.

Cuplikan berikut menunjukkan klasifikasi konfigurasi dan properti yang akan digunakan untuk disetel MapReduce sebagai mesin eksekusi untuk Hive:

[
                {
                    "Classification": "hive-site",
                    "Properties": {
                        "hive.execution.engine": "mr"
                    }
                }
             ]

Kemudian Anda dapat mulai menjalankan operasi Hive pada hivetable1. Kueri berjalan terhadap hivetable1 secara internal dijalankan terhadap tabel DynamoDB dynamodbtable1 akun DynamoDB Anda, menghabiskan unit baca atau tulis dengan setiap eksekusi.

Ketika Anda menjalankan kueri Hive terhadap tabel DynamoDB, Anda perlu memastikan bahwa Anda telah menetapkan unit kapasitas baca dengan jumlah yang cukup.

Misalnya, anggaplah bahwa Anda telah menetapkan 100 unit kapasitas baca untuk tabel DynamoDB Anda. Ini akan memungkinkan Anda melakukan 100 baca, atau 409,600 byte, per detik. Jika tabel yang berisi 20GB data (21.474.836.480 byte), dan kueri Hive Anda melakukan pindai tabel penuh, Anda dapat memperkirakan berapa lama kueri dijalankan:

21.474.836.480 / 409.600 = 52.429 detik = 14,56 jam

Satu-satunya cara untuk mengurangi waktu yang diperlukan adalah menyesuaikan unit kapasitas baca pada tabel DynamoDB sumber. Menambahkan lebih banyak EMR node Amazon tidak akan membantu.

Dalam output Hive, persentase penyelesaian diperbarui ketika satu proses pemeta atau lebih telah selesai. Untuk tabel DynamoDB besar dengan pengaturan kapasitas baca ditetapkan yang rendah, output persentase penyelesaian mungkin tidak diperbarui dalam waktu yang lama; dalam kasus di atas, tugas akan muncul menjadi selesai 0% dalam beberapa jam. Untuk status lebih rinci tentang kemajuan pekerjaan Anda, buka EMR konsol Amazon; Anda akan dapat melihat status tugas mapper individual, dan statistik untuk pembacaan data. Anda juga dapat masuk ke antarmuka Hadoop pada simpul utama dan melihat statistik Hadoop. Ini akan menunjukkan status tugas peta masing-masing dan beberapa statistik baca data. Untuk informasi selengkapnya, lihat topik berikut:

Untuk informasi lebih lanjut tentang pernyataan HiveQL contoh untuk melakukan tugas-tugas seperti mengekspor atau mengimpor data dari DynamoDB dan menggabungkan tabel, lihat Contoh perintah Hive untuk mengekspor, mengimpor, dan membuat kueri data di DynamoDB.

Jenis data untuk Hive dan DynamoDB

Tabel berikut menunjukkan tipe data Hive yang tersedia, tipe DynamoDB default yang sesuai dengannya, dan tipe DynamoDB alternatif yang juga dapat dipetakan kepadanya.

Jika Anda ingin menulis data Hive Anda sebagai tipe DynamoDB alternatif yang sesuai, atau jika data DynamoDB Anda berisi nilai atribut dari tipe DynamoDB alternatif, maka Anda dapat menentukan kolom dan tipe DynamoDB dengan parameter dynamodb.type.mapping. Contoh berikut menunjukkan sintaks untuk menentukan pemetaan tipe alternatif.

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.type.mapping" = "hive_column1_name:dynamodb_attribute1_datatype"); 

Tipe pemetaan parameter bersifat opsional, dan hanya harus ditentukan untuk kolom yang menggunakan tipe alternatif.

Misalnya, perintah Hive berikut membuat tabel bernama hivetable2 yang membuat referensi pada tabel DynamoDB dynamodbtable2. Hal ini mirip dengan hivetable1, kecuali bahwa ia memetakan kolom col3 ke tipe set string (SS).

CREATE EXTERNAL TABLE hivetable2 (col1 string, col2 bigint, col3 array<string>)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodbtable2",
"dynamodb.column.mapping" = "col1:name,col2:year,col3:holidays",
"dynamodb.type.mapping" = "col3:SS"); 

Di Hive, hivetable1 dan hivetable2 bersifat identik. Namun, ketika data dari tabel tersebut ditulis ke tabel DynamoDB yang sesuai, dynamodbtable1 akan berisi daftar, sementara dynamodbtable2 akan berisi set string.

Jika Anda ingin menulis nilai null Hive sebagai atribut tipe null DynamoDB, maka Anda dapat melakukannya dengan parameter dynamodb.null.serialization. Contoh berikut menunjukkan sintaks untuk menentukan serialisasi null.

CREATE EXTERNAL TABLE hive_tablename (hive_column1_name column1_datatype, hive_column2_name column2_datatype...)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "dynamodb_tablename",
"dynamodb.column.mapping" = "hive_column1_name:dynamodb_attribute1_name,hive_column2_name:dynamodb_attribute2_name...",
"dynamodb.null.serialization" = "true"); 

Parameter serialisasi nol bersifal opsional, dan diatur menjadi false jika tidak ditentukan. Perhatikan bahwa atribut null DynamoDB dibaca sebagai nilai null dalam Hive terlepas dari pengaturan parameternya. Koleksi Hive dengan nilai null dapat ditulis ke DynamoDB hanya jika parameter serialisasi nol ditentukan sebagai true. Jika tidak, muncul kesalahan Hive.

Tipe bigint di Hive adalah sama dengan tipe panjang Java, dan tipe ganda Hive adalah sama dengan tipe ganda Java dalam hal presisi. Ini berarti bahwa jika Anda memiliki data numerik yang disimpan dalam DynamoDB yang memiliki presisi lebih tinggi daripada yang tersedia dalam tipe data Hive, dengan menggunakan Hive untuk mengekspor, impor, atau referensi data DynamoDB dapat menyebabkan kehilangan presisi atau kegagalan kueri Hive.

Ekspor tipe biner dari DynamoDB ke Amazon Simple Storage Service (Amazon S3) Simple Storage Service S3) atau disimpan sebagai string yang HDFS dienkode Base64. Jika Anda mengimpor data dari Amazon S3 HDFS atau ke tipe biner DynamoDB, itu harus dikodekan sebagai string Base64.

Pilihan Hive

Anda dapat mengatur pilihan Hive berikut untuk mengelola transfer data dari Amazon DynamoDB. Pilihan ini hanya bertahan untuk sesi Hive saat ini. Jika Anda menutup prompt perintah Hive dan membukanya kembali nanti pada klaster, pengaturan ini akan kembali ke nilai default.

Pilihan ini diatur menggunakan perintah SET seperti yang ditunjukkan dalam contoh berikut.

SET dynamodb.throughput.read.percent=1.0; 

INSERT OVERWRITE TABLE s3_export SELECT * 
FROM hiveTableName;