Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memahami jenis node di Amazon EMR: node primer, inti, dan tugas

Gunakan bagian ini untuk memahami bagaimana Amazon EMR menggunakan setiap jenis simpul ini dan sebagai dasar untuk perencanaan kapasitas klaster.

Node utama

Node utama mengelola cluster dan biasanya menjalankan komponen utama dari aplikasi terdistribusi. Misalnya, node utama menjalankan ResourceManager layanan YARN untuk mengelola sumber daya untuk aplikasi. Ini juga menjalankan NameNode layanan HDFS, melacak status pekerjaan yang dikirimkan ke cluster, dan memantau kesehatan grup instance.

Untuk memantau kemajuan cluster dan berinteraksi langsung dengan aplikasi, Anda dapat terhubung ke node utama melalui SSH sebagai pengguna Hadoop. Untuk informasi selengkapnya, lihat Connect ke node primer Amazon EMR cluster menggunakan SSH. Menghubungkan ke node utama memungkinkan Anda untuk mengakses direktori dan file, seperti file log Hadoop, secara langsung. Untuk informasi selengkapnya, lihat Lihat file log EMR Amazon. Anda juga dapat melihat antarmuka pengguna yang dipublikasikan aplikasi sebagai situs web yang berjalan di node utama. Untuk informasi selengkapnya, lihat Melihat antarmuka web yang di-host pada klaster Amazon EMR.

Simpul inti

Node inti dikelola oleh node utama. Simpul inti menjalankan daemon Simpul Data untuk mengoordinasikan penyimpanan data sebagai bagian dari Sistem File Terdistribusi Hadoop (HDFS). Mereka juga menjalankan daemon Task Tracker dan melakukan tugas komputasi paralel lainnya pada data yang diperlukan oleh aplikasi yang diinstal. Misalnya, node inti menjalankan NodeManager daemon YARN, MapReduce tugas Hadoop, dan eksekutor Spark.

Hanya ada satu grup instans inti atau armada instans per cluster, tetapi mungkin ada beberapa node yang berjalan di beberapa instans Amazon EC2 dalam grup instans atau armada instans. Dengan grup instans, Anda dapat menambahkan dan menghapus instans Amazon EC2 saat cluster berjalan. Anda juga dapat menyiapkan penskalaan otomatis untuk menambahkan instans berdasarkan nilai metrik. Untuk informasi selengkapnya tentang menambahkan dan menghapus instans Amazon EC2 dengan konfigurasi grup instans, lihatGunakan penskalaan klaster EMR Amazon untuk menyesuaikan perubahan beban kerja.

Dengan armada instans, Anda dapat menambahkan dan menghapus instans secara efektif dengan memodifikasi kapasitas target armada instans untuk On-Demand dan Spot yang sesuai. Untuk informasi selengkapnya tentang kapasitas target, lihat Opsi armada instans.

Simpul tugas

Anda dapat menggunakan node tugas untuk menambahkan daya untuk melakukan tugas komputasi paralel pada data, seperti tugas Hadoop MapReduce dan eksekutor Spark. Simpul tugas tidak menjalankan daemon Simpul Dat, juga tidak menyimpan data dalam HDFS. Seperti halnya node inti, Anda dapat menambahkan node tugas ke cluster dengan menambahkan instans Amazon EC2 ke grup instans seragam yang ada atau dengan memodifikasi kapasitas target untuk armada instans tugas.

Dengan konfigurasi grup instans seragam, Anda dapat memiliki hingga total 48 grup instans tugas. Kemampuan untuk menambahkan grup instans dengan cara ini memungkinkan Anda untuk mencampur jenis instans Amazon EC2 dan opsi harga, seperti On-Demand Instans dan Instans Spot. Ini memberi Anda fleksibilitas untuk menanggapi persyaratan beban kerja dengan cara yang hemat biaya.

Dengan konfigurasi armada instans, kemampuan untuk memadukan jenis instans dan opsi pembelian sudah ada di dalamnya, sehingga hanya ada satu armada instans tugas.

Karena Instans Spot sering digunakan untuk menjalankan simpul tugas, Amazon EMR memiliki fungsionalitas default untuk menjadwalkan tugas YARN sehingga tugas yang sedang berjalan tidak mengalami kegagalan saat simpul tugas yang berjalan pada Instans Spot diakhiri. Amazon EMR melakukan ini dengan mengizinkan proses utama aplikasi berjalan hanya pada simpul inti. Proses utama aplikasi mengontrol tugas yang sedang berjalan dan harus tetap hidup selama masa tugas.

Amazon EMR rilis 5.19.0 dan yang lebih baru menggunakan fitur label node YAR N bawaan untuk mencapai hal ini. (Versi sebelumnya menggunakan patch kode). Properti dalam klasifikasi konfigurasi yarn-site dan capacity-scheduler dikonfigurasi secara default sehingga YARN capacity-scheduler dan fair-scheduler memanfaatkan label simpul. Amazon EMR secara otomatis melabeli simpul inti dengan label CORE, dan menetapkan properti sehingga utama aplikasi dijadwalkan hanya pada simpul dengan label INTI. Mengubah properti terkait secara manual dalam klasifikasi konfigurasi yarn-site dan capacity-scheduler, atau secara langsung dalam file XML terkait, dapat merusak fitur ini atau mengubah fungsionalitas ini.

Dimulai dengan Amazon EMR seri rilis 6.x, fitur label simpul YARN dinonaktifkan secara default. Proses primer aplikasi dapat berjalan pada node inti dan tugas secara default. Anda dapat mengaktifkan fitur label simpul YARN dengan mengkonfigurasi properti berikut:

Dimulai dengan seri rilis Amazon EMR 7.x, Amazon EMR menetapkan label node YARN ke instance berdasarkan jenis pasarnya, seperti atau Spot. On-Demand Anda dapat mengaktifkan label node dan membatasi proses aplikasi ke ON_DEMAND dengan mengonfigurasi properti berikut:

yarn.node-labels.enabled: true
yarn.node-labels.am.default-node-label-expression: 'ON_DEMAND'

Jika Anda menggunakan Amazon EMR 7.0 atau lebih tinggi, Anda dapat membatasi proses aplikasi ke node dengan CORE label menggunakan konfigurasi berikut:

yarn.node-labels.enabled: true
yarn.node-labels.am.default-node-label-expression: 'CORE'

Untuk Amazon EMR rilis 7.2 dan yang lebih tinggi, jika cluster Anda menggunakan penskalaan terkelola dengan label node, Amazon EMR akan mencoba menskalakan cluster berdasarkan proses aplikasi dan permintaan pelaksana secara independen.

Misalnya, jika Anda menggunakan Amazon EMR rilis 7.2 atau lebih tinggi dan membatasi proses aplikasi ke ON_DEMAND node, penskalaan terkelola akan meningkatkan ON_DEMAND node jika permintaan proses aplikasi meningkat. Demikian pula, jika Anda membatasi proses aplikasi ke CORE node, penskalaan terkelola CORE akan meningkatkan node jika permintaan proses aplikasi meningkat.

Untuk informasi tentang properti tertentu, lihat Pengaturan Amazon EMR untuk mencegah kegagalan tugas karena pengakhiran Instans Spot simpul tugas.