Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

HBasespesifikasi aplikasi untuk AMI versi Amazon sebelumnya EMR

Versi HBase yang didukung

HBaseprasyarat cluster

Cluster yang dibuat menggunakan Amazon EMR AMI versi 2.x dan 3.x harus memenuhi persyaratan berikut untuk. HBase

Membuat cluster dengan HBase

Tabel berikut mencantumkan opsi yang tersedia saat menggunakan konsol untuk membuat klaster dengan HBase menggunakan versi EMR AMI rilis Amazon.

Contoh AWS CLI perintah berikut meluncurkan cluster dengan HBase dan aplikasi lainnya:

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
               --applications Name=Hue Name=Hive Name=Pig Name=HBase \
               --use-default-roles --ec2-attributes KeyName=myKey \
               --instance-type c1.xlarge --instance-count 3 --termination-protected

Setelah koneksi antara Hive dan HBase cluster dibuat (seperti yang ditunjukkan pada prosedur sebelumnya), Anda dapat mengakses data yang disimpan di HBase cluster dengan membuat tabel eksternal di Hive.

Contoh berikut, ketika dijalankan dari prompt Hive, membuat tabel eksternal yang mereferensikan data yang disimpan dalam HBase tabel yang disebutinputTable. Anda kemudian dapat referensi inputTable dalam pernyataan Hive untuk query dan memodifikasi data yang disimpan dalam HBase cluster.

add jar lib/emr-metrics-1.0.jar ;
               add jar lib/protobuf-java-2.4.0a.jar ;
               
               set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com ;
               
               create external table inputTable (key string, value string)
                    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                     with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
                     tblproperties ("hbase.table.name" = "t1");
               
               select count(*) from inputTable ;		

Menyesuaikan konfigurasi HBase

Meskipun pengaturan default harus berfungsi untuk sebagian besar aplikasi, Anda memiliki fleksibilitas untuk mengubah pengaturan HBase konfigurasi Anda. Untuk melakukannya, jalankan salah satu dari dua skrip tindakan bootstrap:

Saat Anda menjalankan tindakan configurre-hbase atau configure-hbase-daemonsbootstrap, nilai yang Anda tentukan akan menggantikan nilai default. Setiap nilai yang Anda tidak secara eksplisit mengatur menerima nilai default.

Mengkonfigurasi HBase dengan tindakan bootstrap ini analog dengan menggunakan tindakan bootstrap di Amazon untuk mengonfigurasi pengaturan Hadoop dan properti EMR daemon Hadoop. Perbedaannya adalah bahwa HBase tidak memiliki opsi memori per proses. Sebagai gantinya, opsi memori diatur menggunakan --daemon-opts argumen, di mana daemon diganti dengan nama daemon untuk dikonfigurasi.

Konfigurasikan HBase daemon

Amazon EMR menyediakan tindakan bootstrap,s3://region.elasticmapreduce/bootstrap-actions/configure-hbase-daemons, yang dapat Anda gunakan untuk mengubah konfigurasi HBase daemon, di mana region adalah wilayah tempat Anda meluncurkan HBase cluster Anda.

Untuk mengonfigurasi HBase daemon menggunakan AWS CLI, tambahkan tindakan configure-hbase-daemons bootstrap saat Anda meluncurkan cluster untuk mengonfigurasi satu atau beberapa HBase daemon. Anda dapat mengatur properti berikut.

Untuk informasi selengkapnya tentang opsi ini, lihat hbase-env.sh dalam HBase dokumentasi.

Sebuah tindakan bootstrap untuk mengkonfigurasi nilai-nilai untuk zookeeper-opts dan hbase-master-opts ditunjukkan dalam contoh berikut.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-daemons,\
Args=["--hbase-zookeeper-opts=-Xmx1024m -XX:GCTimeRatio=19","--hbase-master-opts=-Xmx2048m","--hbase-regionserver-opts=-Xmx4096m"]

Konfigurasikan pengaturan HBase situs

Amazon EMR menyediakan tindakan bootstrap,s3://elasticmapreduce/bootstrap-actions/configure-hbase, yang dapat Anda gunakan untuk mengubah konfigurasiHBase. Anda dapat mengatur nilai konfigurasi one-by-one, sebagai argumen dalam tindakan bootstrap, atau Anda dapat menentukan lokasi file XML konfigurasi di Amazon S3. Pengaturan nilai konfigurasi one-by-one berguna jika Anda hanya perlu mengatur beberapa pengaturan konfigurasi. Mengaturnya menggunakan XML file berguna jika Anda memiliki banyak perubahan yang harus dilakukan, atau jika Anda ingin menyimpan pengaturan konfigurasi untuk digunakan kembali.

Tindakan bootstrap ini memodifikasi file /home/hadoop/conf/hbase-site.xml konfigurasi pada HBase cluster. Tindakan bootstrap hanya dapat dijalankan ketika HBase cluster diluncurkan.

Untuk informasi selengkapnya tentang setelan HBase situs yang dapat Anda konfigurasi, lihat Konfigurasi default dalam HBase dokumentasi.

Atur tindakan configure-hbase bootstrap saat Anda meluncurkan HBase cluster dan tentukan nilai hbase-site.xml yang akan diubah.

Dengan set proxy dan SSH koneksi terbuka, Anda dapat melihat HBase UI dengan membuka jendela browser dengan http://master-public-dns-name:60010/master-status, di mana master-public-dns-name adalah DNS alamat publik dari node master di HBase cluster.

Anda dapat melihat HBase log saat ini dengan menggunakan SSH untuk terhubung ke node master, dan menavigasi ke direktori. mnt/var/log/hbase Log ini tidak tersedia setelah klaster dihentikan kecuali Anda mengaktifkan pencatatan ke Amazon S3 ketika klaster diluncurkan.

Cadangkan dan pulihkan HBase

Amazon EMR menyediakan kemampuan untuk mencadangkan HBase data Anda ke Amazon S3, baik secara manual atau pada jadwal otomatis. Anda dapat melakukan backup penuh dan inkremental. Setelah Anda memiliki versi HBase data yang dicadangkan, Anda dapat mengembalikan versi tersebut ke cluster. HBase Anda dapat memulihkan ke HBase klaster yang sedang berjalan, atau meluncurkan klaster baru yang telah diisi sebelumnya dengan data cadangan.

Selama proses pencadangan, HBase terus jalankan perintah tulis. Meskipun ini memastikan bahwa cluster Anda tetap tersedia di seluruh cadangan, ada risiko inkonsistensi antara data yang didukung dan operasi tulis dijalankan secara paralel. Untuk memahami ketidakkonsistenan yang mungkin timbul, Anda harus mempertimbangkan bahwa HBase mendistribusikan operasi tulis di seluruh node di klasternya. Jika operasi menulis terjadi setelah node tertentu disurvei, data yang tidak termasuk dalam arsip cadangan. Anda bahkan mungkin menemukan bahwa penulisan sebelumnya ke HBase cluster (dikirim ke node yang telah disurvei) mungkin tidak ada dalam arsip cadangan, sedangkan penulisan nanti (dikirim ke node sebelum disurvei) disertakan.

Jika cadangan yang konsisten diperlukan, Anda harus menjeda penulisan HBase selama bagian awal proses pencadangan, sinkronisasi di seluruh node. Anda dapat melakukannya dengan menentukan parameter --consistent ketika meminta cadangan. Dengan parameter ini, menulis selama periode ini antri dan dijalankan segera setelah sinkronisasi selesai. Anda juga dapat menjadwalkan pencadangan berulang, yang menyelesaikan inkonsistensi dari waktu ke waktu, karena data yang terlewatkan pada suatu pencadangan akan dicadangkan pada sesi berikutnya.

Saat Anda mencadangkan HBase data, Anda harus menentukan direktori cadangan yang berbeda untuk setiap cluster. Cara mudah untuk melakukannya adalah dengan menggunakan pengidentifikasi cluster sebagai bagian dari jalan yang ditentukan untuk direktori cadangan. Misalnya, s3://amzn-s3-demo-bucket/backups/j-3AEXXXXXX16F2. Ini memastikan bahwa setiap backup incremental future mengacu pada cluster yang benar. HBase

Ketika Anda siap untuk menghapus file cadangan lama yang tidak lagi diperlukan, kami sarankan Anda terlebih dahulu melakukan backup penuh HBase data Anda. Hal ini memastikan bahwa semua data dipertahankan dan menyediakan dasar untuk backup tambahan masa depan. Setelah backup penuh selesai, Anda dapat menavigasi ke lokasi cadangan dan secara manual menghapus file cadangan lama.

Proses HBase pencadangan menggunakan S3 DistCp untuk operasi penyalinan, yang memiliki batasan tertentu mengenai ruang penyimpanan file sementara.

Cadangkan dan pulihkan HBase menggunakan konsol

Konsol menyediakan kemampuan untuk meluncurkan cluster baru dan mengisinya dengan data dari HBase cadangan sebelumnya. Ini juga memberi Anda kemampuan untuk menjadwalkan pencadangan data inkremental secara berkala. HBase Fungsionalitas pencadangan dan pemulihan tambahan, seperti kemampuan untuk memulihkan data ke cluster yang sudah berjalan, melakukan pencadangan manual, dan menjadwalkan pencadangan penuh otomatis, tersedia menggunakan file. CLI

Monitor HBase dengan CloudWatch

Amazon EMR melaporkan tiga metrik CloudWatch yang dapat Anda gunakan untuk memantau HBase cadangan Anda. Metrik ini didorong ke CloudWatch interval lima menit, dan disediakan tanpa biaya.

Konfigurasikan Ganglia untuk HBase

Anda mengkonfigurasi Ganglia untuk HBase menggunakan tindakan configure-hbase-for-gangliabootstrap. Tindakan bootstrap ini dikonfigurasi HBase untuk mempublikasikan metrik ke Ganglia.

Anda harus mengkonfigurasi HBase dan Ganglia ketika Anda meluncurkan cluster; pelaporan Ganglia tidak dapat ditambahkan ke cluster yang sedang berjalan.

Ganglia juga menyimpan file log di server di /mnt/var/log/ganglia/rrds. Jika Anda mengonfigurasi kluster Anda untuk menahan file log ke bucket Amazon S3, log file Ganglia akan tetap berada di sana juga.

Untuk meluncurkan cluster dengan GangliaHBase, gunakan tindakan configure-hbase-for-gangliabootstrap seperti yang ditunjukkan pada contoh berikut.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase Name=Ganglia \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-for-ganglia

Setelah cluster diluncurkan dengan Ganglia dikonfigurasi, Anda dapat mengakses grafik Ganglia dan laporan menggunakan antarmuka grafis yang berjalan pada node master.