Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan Hive Live Long dan Process () LLAP

Amazon EMR 6.0.0 mendukung fungsionalitas Live Long and Process (LLAP) untuk Hive. LLAPmenggunakan daemon persisten dengan caching dalam memori cerdas untuk meningkatkan kinerja kueri dibandingkan dengan mode eksekusi kontainer Tez default sebelumnya.

LLAPDaemon Hive dikelola dan dijalankan sebagai Layanan. YARN Karena YARN layanan dapat dianggap sebagai YARN aplikasi yang berjalan lama, beberapa sumber daya klaster Anda didedikasikan untuk Hive LLAP dan tidak dapat digunakan untuk beban kerja lainnya. Untuk informasi selengkapnya, lihat LLAPdan YARNLayanan API.

Aktifkan Hive LLAP di Amazon EMR

Untuk mengaktifkan Hive LLAP di AmazonEMR, berikan konfigurasi berikut saat Anda meluncurkan klaster.

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true"
    }
  }
]

Untuk informasi lebih lanjut, lihat Mengonfigurasi aplikasi.

Secara default, Amazon EMR mengalokasikan sekitar 60 persen YARN sumber daya cluster ke daemon LLAP Hive. Anda dapat mengonfigurasi persentase YARN sumber daya cluster yang dialokasikan ke Hive LLAP dan jumlah tugas dan node inti yang akan dipertimbangkan untuk alokasi LLAP Hive.

Misalnya, konfigurasi berikut memulai Hive LLAP dengan tiga daemon pada tiga node tugas atau inti dan mengalokasikan 40 persen dari sumber daya tiga inti atau node tugas ke YARN daemon Hive. LLAP

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true",
      "hive.llap.percent-allocation": "0.4",
      "hive.llap.num-instances": "3"
    }
  }
]

Anda dapat menggunakan hive-site konfigurasi berikut dalam klasifikasi API untuk mengganti pengaturan LLAP sumber daya default.

Mulai Hive LLAP di cluster Anda secara manual

Semua dependensi dan konfigurasi yang digunakan oleh LLAP dikemas ke dalam arsip LLAP tar sebagai bagian dari startup cluster. Jika LLAP diaktifkan menggunakan"hive.llap.enabled": "true", kami sarankan Anda menggunakan EMR konfigurasi ulang Amazon untuk membuat perubahan konfigurasi. LLAP

Jika tidak, untuk setiap perubahan manualhive-site.xml, Anda harus membangun kembali arsip LLAP tar dengan menggunakan hive --service llap perintah, seperti contoh berikut menunjukkan.

# Define how many resources you want to allocate to Hive LLAP

LLAP_INSTANCES=<how many llap daemons to run on cluster>
LLAP_SIZE=<total container size per llap daemon>
LLAP_EXECUTORS=<number of executors per daemon>
LLAP_XMX=<Memory used by executors>
LLAP_CACHE=<Max cache size for IO allocator>

yarn app -enableFastLaunch

hive --service llap \
--instances $LLAP_INSTANCES \
--size ${LLAP_SIZE}m \
--executors $LLAP_EXECUTORS \
--xmx ${LLAP_XMX}m \
--cache ${LLAP_CACHE}m \
--name llap0 \
--auxhbase=false \
--startImmediately

Periksa status Hive LLAP

Gunakan perintah berikut untuk memeriksa status Hive LLAP melalui Hive.

hive --service llapstatus

Gunakan perintah berikut untuk memeriksa status Hive LLAP menggunakanYARN.

yarn app -status (name-of-llap-service)

# example: 
yarn app -status llap0 | jq

Mulai atau hentikan Hive LLAP

Karena Hive LLAP berjalan sebagai YARN layanan persisten, Anda menghentikan atau memulai ulang YARN layanan untuk menghentikan atau memulai ulang LLAP Hive. Perintah berikut menunjukkan hal ini.

yarn app -stop llap0
yarn app -start llap0

Ubah ukuran jumlah daemon Hive LLAP

Gunakan perintah berikut untuk mengurangi jumlah LLAP instance.

yarn app -flex llap0 -component llap -1

Untuk informasi selengkapnya, lihat Flex komponen layanan.