Menggunakan Hive Live Long and Process (LLAP)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon EMR 6.0.0 mendukung fungsi Live Long dan Proses (LLAP) untuk Hive. LLAP menggunakan daemon persisten dengan cache dalam memori untuk meningkatkan performa kueri dibandingkan dengan default mode eksekusi kontainer Tez sebelumnya.

Daemon Hive LLAP dikelola dan dijalankan Layanan YARN. Karena layanan YARN dapat dianggap sebagai aplikasi YARN yang berjalan lama, beberapa sumber daya klaster Anda didedikasikan untuk Hive LLAP dan tidak dapat digunakan untuk beban kerja lainnya. Untuk informasi selengkapnya, lihat LLAP dan API Layanan YARN.

Aktifkan Hive LLAP di Amazon EMR

Untuk mengaktifkan Hive LLAP di Amazon EMR, menyediakan konfigurasi berikut ketika Anda meluncurkan klaster.

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true"
    }
  }
]

Untuk informasi lebih lanjut, lihat Mengonfigurasi aplikasi.

Secara default, Amazon EMR mengalokasikan sekitar 60 persen dari sumber daya klaster YARN untuk daemon Hive LLAP. Anda dapat mengonfigurasi sumber daya YARN klaster yang dialokasikan untuk Hive LLAP dan jumlah tugas serta simpul inti yang harus dipertimbangkan untuk alokasi LLAP Hive.

Misalnya, konfigurasi berikut memulai Hive LLAP dengan tiga daemon pada tiga tugas atau simpul inti dan mengalokasikan 40 persen dari tiga inti atau sumber daya YARN simpul tugas untuk daemon Hive LLAP.

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true",
      "hive.llap.percent-allocation": "0.4",
      "hive.llap.num-instances": "3"
    }
  }
]

Anda dapat menggunakan hive-site konfigurasi berikut dalam API klasifikasi untuk mengganti pengaturan sumber daya LLAP default.

Mulai Hive LLAP di cluster Anda secara manual

Semua dependensi dan konfigurasi yang digunakan oleh LLAP dikemas ke dalam LLAP tar arsip sebagai bagian dari perusahaan rintisa klaster. Jika LLAP diaktifkan menggunakan "hive.llap.enabled": "true", kami sarankan Anda menggunakan konfigurasi ulang Amazon EMR untuk membuat perubahan konfigurasi untuk LLAP.

Jika tidak, untuk setiap perubahan manual hive-site.xml, Anda harus membangun kembali LLAP tar arsip dengan menggunakan hive --service llap perintah, seperti dalam contoh berikut.

# Define how many resources you want to allocate to Hive LLAP

LLAP_INSTANCES=<how many llap daemons to run on cluster>
LLAP_SIZE=<total container size per llap daemon>
LLAP_EXECUTORS=<number of executors per daemon>
LLAP_XMX=<Memory used by executors>
LLAP_CACHE=<Max cache size for IO allocator>

yarn app -enableFastLaunch

hive --service llap \
--instances $LLAP_INSTANCES \
--size ${LLAP_SIZE}m \
--executors $LLAP_EXECUTORS \
--xmx ${LLAP_XMX}m \
--cache ${LLAP_CACHE}m \
--name llap0 \
--auxhbase=false \
--startImmediately

Periksa status Hive LLAP

Gunakan perintah berikut untuk memeriksa status Hive LLAP melalui Hive.

hive --service llapstatus

Gunakan perintah berikut untuk memeriksa status Hive LLAP menggunakan YARN.

yarn app -status (name-of-llap-service)

# example: 
yarn app -status llap0 | jq

Memulai atau menghentikan Hive LLAP

Karena Hive LLAP berjalan sebagai layanan YARN persisten, Anda menghentikan atau memulai ulang layanan YARN untuk menghentikan atau memulai ulang Hive LLAP. Perintah berikut menunjukkan hal ini.

yarn app -stop llap0
yarn app -start llap0

Ubah ukuran jumlah daemon Hive LLAP

Gunakan perintah berikut untuk mengurangi jumlah instans LLAP.

yarn app -flex llap0 -component llap -1

Untuk informasi selengkapnya, lihat Flex komponen layanan.