Pantau HBase dengan Ganglia - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pantau HBase dengan Ganglia

Ganglia adalah proyek sumber terbuka yang merupakan sistem terdistribusi yang dapat diskalakan, yang dirancang untuk memantau klaster dan grid sekaligus meminimalkan dampak terhadap performanya. Ketika mengaktifkan Ganglia di klaster Anda, Anda dapat menghasilkan laporan dan melihat performa klaster secara keseluruhan, serta memeriksa performa masing-masing instans simpul. Untuk informasi selengkapnya tentang proyek sumber terbuka Ganglia, lihat http://ganglia.info/. Untuk informasi selengkapnya tentang menggunakan Ganglis dengan klaster Amazon EMR, lihat Ganglia.

Setelah cluster diluncurkan dengan Ganglia dikonfigurasi, Anda dapat mengakses grafik dan laporan Ganglia menggunakan antarmuka grafis yang berjalan pada node utama.

Ganglia menyimpan file log pada node utama dalam /mnt/var/lib/ganglia/rrds/ direktori. Versi Amazon EMR rilis sebelumnya dapat menyimpan berkas log di /var/log/ganglia/rrds/ direktori.

Untuk mengkonfigurasi cluster untuk Ganglia dan HBase menggunakan AWS CLI

  • Gunakan create-cluster serupa dengan yang berikut ini:

    aws emr create-cluster --name "Test cluster" --release-label emr-7.1.0 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    catatan

    Jika peran layanan Amazon EMR default dan profil instans Amazon EC2 tidak ada, terjadi kesalahan. Gunakan aws emr create-default-roles perintah untuk membuatnya dan kemudian coba lagi.

    Untuk informasi selengkapnya, lihat Perintah Amazon EMR di AWS CLI.

Untuk melihat metrik HBase dalam antarmuka web Ganglia

  1. Gunakan SSH untuk terowongan ke node utama dan buat koneksi yang aman. Untuk informasi selengkapnya, lihat Opsi 2, bagian 1: Menyiapkan terowongan SSH ke node utama menggunakan penerusan port dinamis di Panduan Manajemen EMR Amazon.

  2. Instal browser web dengan alat proxy, seperti FoxyProxy plug-in untuk Firefox, untuk membuat proxy SOCKS untuk AWS domain. Untuk informasi selengkapnya, lihat Opsi 2, bagian 2: Mengonfigurasi setelan proxy untuk melihat situs web yang dihosting di simpul utama dalam Panduan Manajemen EMR Amazon.

  3. Dengan set proxy dan koneksi SSH terbuka, Anda dapat melihat metrik Ganglia dengan membuka jendela browser dengan http://master-public-dns-name/ganglia/, di mana alamat DNS publik dari server master-public-dns-namemaster di cluster HBase.

Untuk melihat file log Ganglia pada node utama

  • Jika cluster masih berjalan, Anda dapat mengakses file log dengan menggunakan SSH untuk terhubung ke node utama dan menavigasi ke direktori. /mnt/var/lib/ganglia/rrds/ Untuk EMR 3.x, navigasikan ke /var/log/ganglia/rrds direktori. Untuk informasi selengkapnya, lihat Connect ke node utama menggunakan SSH di Amazon EMR Management Guide.

Untuk melihat berkas log Ganglia di Amazon S3

  • Berkas log Ganglia tidak secara otomatis ditulis ke Amazon S3 bahkan jika Anda mengaktifkan pencatatan untuk klaster Anda. Untuk melihat berkas log Ganglia di Amazon S3, Anda harus mendorong log secara manual dari /mnt/var/lib/ganglia/rrds/ ke bucket S3.