View a markdown version of this page

Memantau EMR HBase dengan Amazon CloudWatch - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau EMR HBase dengan Amazon CloudWatch

Mulai dari EMR 7.0, Amazon EMR menyediakan CloudWatch Agen Amazon untuk mengirim metrik ke CloudWatch atau Prometheus, menggantikan sistem pemantauan Ganglia. Anda dapat menemukan detail selengkapnya di Panduan Konfigur CloudWatch asi Agen Amazon.

CloudWatch Agen Amazon EMR 7.0 menyediakan integrasi dasar dan menyiapkannya memerlukan upaya manual, seperti mengunduh komponen dan menggunakan tindakan bootstrap. Namun, dari EMR 7.1 dan seterusnya, prosesnya disederhanakan. Menggunakan Amazon CloudWatch Agent di EMR 7.1 memudahkan untuk memantau metrik tingkat sistem dan spesifik aplikasi, termasuk yang untuk HBase. Dengan menggunakan API konfigurasi EMR, Anda dapat dengan cepat mengatur dan menyesuaikan proses pengumpulan metrik, dan memilih tempat pengiriman data — baik ke Amazon CloudWatch atau Prometheus. Fleksibilitas ini membantu Anda mengawasi cluster HBase dengan cermat, memastikan mereka berjalan dengan lancar dan efisien.

Menggunakan API konfigurasi EMR untuk menangani seluruh penyiapan, membuat prosesnya jauh lebih lancar. CloudWatch Agen di EMR 7.1 mendukung tiga jenis metrik utama:

  • Metrik Sistem — Ini termasuk indikator utama kinerja sistem, seperti: penggunaan CPU, penggunaan disk, penggunaan memori, jaringan I/O, proses, dan penggunaan swap.

  • Metrik Daemon Hadoop — Metrik ini berhubungan dengan berbagai komponen Hadoop, termasuk: DataNode metrik, metrik, met NameNode rik YARN, dan met NodeManager rik YARN. ResourceManager

  • Metrik HBase — Metrik ini memberikan wawasan tentang kinerja HBase: metrik Master HBase, metrik Server Wilayah HBase, metrik Server REST HBase, dan metrik HBase Thrift Server.

Using the AWS CLI

Semua metrik untuk Hadoop dan HBase adalah JMX-based, yang berarti mereka menggunakan Java Management Extensions untuk memberikan wawasan terperinci. Berikut cara mengatur Amazon CloudWatch Agent untuk memantau HBase:

  • Lihat Pr asyarat sebelum membuat cluster dengan Amazon CloudWatch Agent. Gunakan create-cluster perintah yang mirip dengan sampel yang muncul setelah daftar ini.

  • Lihat Konfigurasi yang didukung untuk cluster HBase.

  • Lihat contoh berikut misalnya konfigurasi untuk mengatur pemantauan HBase. Lihat contoh konfigurasi untuk --configuration input.

aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \  
--instance-count 3 --use-default-roles

Untuk informasi selengkapnya tentang konfigurasi sampel JSON untuk metrik, lihat Men yiapkan metrik.

Using the console

Untuk membuat cluster dengan CloudWatch agen Amazon dari konsol, lakukan langkah-langkah berikut:

Buat cluster dengan CloudWatch agen dari konsol

  1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

  2. Pilih Buat klaster.

  3. Di bawah Nama dan aplikasi, pilih rilis Amazon EMR 7.0.0 atau lebih tinggi.

  4. Di bawah Paket aplikasi, pilih HBase dan aplikasi tambahan yang ingin Anda instal ke cluster Anda, dan sertakan CloudWatch agen dengan pilihan Anda.

  5. Perluas Pengaturan perangkat lunak. Anda kemudian dapat memasukkan konfigurasi secara langsung dengan menggunakan JSON atau sintaks singkat yang ditunjukkan dalam teks bayangan di konsol tersebut. Jika tidak, Anda dapat memberikan URI Amazon S3 untuk file dengan objek Configurations JSON. Untuk informasi selengkapnya tentang konfigurasi sampel JSON untuk metrik, lihat Men yiapkan metrik.

  6. Lanjutkan untuk membuat cluster untuk melayani kebutuhan kasus penggunaan Anda.