View a markdown version of this page

Pertimbangan-pertimbangan - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pertimbangan-pertimbangan

Pertimbangkan batasan berikut saat Anda menggunakan Hue di Amazon EMR.

Kinerja dengan tabel metadata Hue besar

Jika database metadata Hue terlalu besar, kinerja mungkin menurun. Untuk memeriksa ukuran tabel, pertama-tama hubungkan ke node utama Amazon EMR di cluster Amazon EC2 dengan SSH dan jalankan perintah sudo mysql -u root untuk memulai MySQL CLI. Untuk mendapatkan ukuran tabel Anda, jalankan kueriSELECT COUNT(*) FROM hue.<table_name>. Lihat yang berikut ini untuk apa yang <table_name> bisa terjadi:

  • desktop_dokumen

  • dokument_desktop2

  • oozie_job

  • beeswax_savedquery

  • sesi lilin lebah

  • beeswax_queryhistory

Jika menjalankan kueri itu mengembalikan hitungan lebih dari 100000, Anda harus menjalankan perintah pembersihan berikut untuk menghapus catatan lama.

cd /opt/cloudera/parcels/CDH/lib/hue # Hue home directory ./build/env/bin/hue desktop_document_cleanup

Untuk informasi selengkapnya tentang membersihkan database Anda, lihat halaman referensi dalam dokumentasi Hue.

Hue tidak secara otomatis membersihkan tabel, tetapi Amazon EMR rilis 5.12.0 dan yang lebih tinggi menyediakan metode untuk menghapus dokumen lama dalam tabel. Buat skrip shell berikut dan jalankan sebagai langkah dalam cluster Amazon EMR dengan parameter integer yang mewakili jumlah hari maksimum berapa lama untuk menyimpan dokumen dalam database metadata.

#!/bin/bash if grep isMaster /mnt/var/lib/info/instance.json | grep false; then echo "This is not the primary node; do nothing, exiting" exit 0 fi while [ ! -f /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py ] do sleep 1 done sudo systemctl stop hue.service sudo sed -i 's+ LOG.warn+ # LOG.warn+g' /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py sudo /usr/lib/hue/build/env/bin/hue desktop_document_cleanup --keep-days $1 sudo systemctl start hue.service

Ketidakcocokan antara versi Hue

Jika Anda menggunakan database metadata Hue yang sama di beberapa Hue-enabled cluster, sebaiknya cluster ini menjalankan versi Hue yang sama. Versi Hue yang berbeda dapat memiliki skema yang berbeda untuk database metadata Hue. Menggunakan database yang sama untuk versi yang berbeda dapat menyebabkan instalasi Hue gagal. Misalnya, mencoba menggunakan database yang sama untuk dua cluster dengan 4.10.0 dan 4.11.0 diinstal dapat menyebabkan kesalahan login bagi pengguna yang mencoba masuk ke cluster 4.10.0.

Untuk daftar label rilis Amazon EMR dan versi Hue yang diinstal terkait, lihat riwayat rilis Hue.