Membuat cluster Amazon EMR dengan armada instans atau grup instans seragam

Saat Anda membuat cluster dan menentukan konfigurasi node utama, node inti, dan node tugas, Anda memiliki dua opsi konfigurasi. Anda dapat menggunakan Armada instans atau grup instans seragam. Opsi konfigurasi yang Anda pilih berlaku untuk semua simpul, ini berlaku selama masa pakai klaster, dan armada instans serta grup instans tidak dapat bisa berada dalam satu klaster secara bersamaan. Konfigurasi armada instans tersedia di Amazon EMR versi 4.8.0 dan yang lebih baru, tidak termasuk versi 5.0.x.

Anda dapat menggunakan konsol Amazon EMR AWS CLI, atau Amazon EMR API untuk membuat cluster dengan konfigurasi mana pun. Saat Anda menggunakan perintah create-cluster dari AWS CLI, Anda menggunakan parameter --instance-fleets untuk membuat klaster menggunakan armada instans atau, sebagai alternatif, Anda dapat menggunakan parameter --instance-groups untuk membuatnya dengan menggunakan grup instans seragam.

Hal yang sama berlaku menggunakan Amazon EMR API. Anda menggunakan konfigurasi InstanceGroups untuk menentukan susunan objek InstanceGroupConfig, atau Anda menggunakan konfigurasi InstanceFleets untuk menentukan susunan objek InstanceFleetConfig.

Di konsol Amazon EMR baru, Anda dapat memilih untuk menggunakan grup instans atau armada instans saat membuat cluster, dan Anda memiliki opsi untuk menggunakan Instans Spot dengan masing-masing. Dengan konsol Amazon EMR lama, jika Anda menggunakan pengaturan Opsi C epat default saat membuat cluster, Amazon EMR menerapkan konfigurasi grup instans seragam ke cluster dan menggunakan On-Demand Instans. Untuk menggunakan Instans Spot dengan grup instans seragam, atau untuk mengonfigurasi armada instans dan penyesuaian lainnya, pilih Opsi lanjutan.

Armada instans

Konfigurasi armada instans menawarkan berbagai opsi penyediaan terluas untuk instans Amazon EC2. Setiap jenis simpul memiliki satu armada instans, dan penggunaan armada instans tugas bersifat opsional. Anda dapat menentukan hingga lima jenis instans EC2 per armada, atau 30 jenis instans EC2 per armada saat membuat cluster menggunakan API AWS CLI atau Amazon EMR dan strategi alokasi untuk On-Demand dan Instans Spot. Untuk armada instans inti dan tugas, Anda menetapkan kapasitas target untuk Instans, dan satu lagi untuk On-Demand Instans Spot. Amazon EMR memilih campuran jenis instans tertentu untuk memenuhi kapasitas target, menyediakan keduanya On-Demand dan Instans Spot.

Untuk tipe node utama, Amazon EMR memilih satu jenis instans dari daftar instans Anda, dan Anda menentukan apakah itu disediakan sebagai Instans On-Demand atau Instans Spot. Armada instans juga menyediakan opsi tambahan untuk Instans Spot dan On-Demand pembelian. Opsi Instans Spot mencakup batas waktu yang menentukan tindakan yang harus diambil jika kapasitas Spot tidak dapat disediakan, dan strategi alokasi pilihan (dioptimalkan kapasitas) untuk meluncurkan armada Instans Spot. On-Demand Armada instans juga dapat diluncurkan menggunakan opsi strategi alokasi (harga terendah). Jika Anda menggunakan peran layanan yang bukan merupakan peran layanan default EMR, atau menggunakan kebijakan terkelola EMR dalam peran layanan, Anda harus menambahkan izin tambahan ke peran layanan klaster kustom untuk mengaktifkan opsi strategi alokasi. Untuk informasi selengkapnya, lihat Peran layanan untuk Amazon EMR (peran EMR).

Untuk informasi lebih lanjut tentang konfigurasi armada instans, lihat Merencanakan dan mengonfigurasi armada instans untuk cluster Amazon EMR Anda.

Grup instans seragam

Grup instans seragam menawarkan penyiapan yang lebih sederhana daripada armada instans. Setiap cluster Amazon EMR dapat menyertakan hingga 50 grup instans: satu grup instans utama yang berisi satu instans Amazon EC2, grup instans inti yang berisi satu atau lebih instans EC2, dan hingga 48 grup instance tugas opsional. Setiap grup instans inti dan tugas dapat berisi sejumlah instans Amazon EC2. Anda dapat menskalakan setiap grup instans dengan menambahkan dan menghapus instans Amazon EC2 secara manual, atau Anda dapat mengatur penskalaan otomatis. Untuk informasi tentang menambahkan dan menghapus instans, lihat Gunakan penskalaan klaster EMR Amazon untuk menyesuaikan perubahan beban kerja.

Untuk informasi selengkapnya tentang mengonfigurasi grup instans seragam, lihat Mengonfigurasi grup instans seragam untuk cluster Amazon EMR Anda.

Bekerja dengan armada instans dan grup instans