Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengonfigurasi grup instans seragam untuk cluster Amazon EMR Anda

Dengan konfigurasi grup instance, setiap jenis node (master, inti, atau tugas) terdiri dari jenis instans yang sama dan opsi pembelian yang sama untuk instance: On-Demand atau Spot. Anda menentukan setelan ini saat membuat grup instans. Mereka tidak bisa diubah nanti. Namun, Anda dapat menambahkan instans dengan jenis dan opsi pembelian yang sama ke grup instans inti dan tugas. Anda juga dapat menghapus instans.

Jika On-Demand Instans cluster cocok dengan atribut reservasi kapasitas terbuka (jenis instans, platform, sewa, dan Zona Ketersediaan) yang tersedia di akun Anda, reservasi kapasitas diterapkan secara otomatis. Anda dapat menggunakan reservasi kapasitas terbuka untuk node primer, inti, dan tugas. Namun, Anda tidak dapat menggunakan pencadangan kapasitas yang ditargetkan atau mencegah instans diluncurkan ke pencadangan kapasitas terbuka dengan atribut yang cocok saat Anda menyediakan klaster menggunakan grup instans. Jika Anda ingin menggunakan pencadangan kapasitas yang ditargetkan atau mencegah instans diluncurkan ke pencadangan kapasitas terbuka, gunakan Armada Instans. Untuk informasi selengkapnya, lihat Menggunakan reservasi kapasitas dengan armada instans di Amazon EMR.

Untuk menambahkan tipe instans yang berbeda setelah klaster dibuat, Anda dapat menambahkan grup instans tugas tambahan. Anda dapat memilih tipe instans dan opsi pembelian yang berbeda untuk setiap grup instans. Untuk informasi selengkapnya, lihat Gunakan penskalaan klaster EMR Amazon untuk menyesuaikan perubahan beban kerja.

Saat meluncurkan inst On-Demand ans, preferensi reservasi kapasitas Instans menjadi defaultopen, yang memungkinkannya berjalan di reservasi kapasitas terbuka apa pun yang memiliki atribut yang cocok (jenis instans, platform, Zona Ketersediaan). Untuk informasi selengkapnya tentang On-Demand Reservasi Kapasitas, lihatMenggunakan reservasi kapasitas dengan armada instans di Amazon EMR.

Bagian ini mencakup pembuatan klaster dengan grup instans seragam. Untuk informasi lebih lanjut tentang memodifikasi grup instans yang ada dengan menambahkan atau menghapus instans secara manual atau dengan penskalaan otomatis, lihat Kelola kluster EMR Amazon.

Gunakan konsol untuk mengkonfigurasi grup instans seragam

Console

Untuk membuat cluster dengan grup instance dengan konsol baru

1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Clu ster, dan pilih Buat cluster.

3. Di bawah Konfigurasi klaster, pilih Grup instans.

4. Di bawah grup Node, ada bagian untuk setiap jenis grup node. Untuk grup node utama, pilih kotak centang Gunakan beberapa node primer jika Anda ingin memiliki 3 node utama. Pilih kotak centang Gunakan opsi pembelian Spot jika Anda ingin menggunakan pembelian Spot.

5. Untuk grup node utama dan inti, pilih Tambahkan jenis instans dan pilih hingga 5 jenis instans. Untuk grup tugas, pilih Tambahkan jenis instans dan pilih hingga lima belas jenis instans. Amazon EMR mungkin menyediakan campuran jenis instans ini saat meluncurkan cluster.

6. Di bawah setiap jenis grup node, pilih menu tar ik -turun Tindakan di sebelah setiap instance untuk mengubah pengaturan ini:

   Tambahkan volume EBS

   Tentukan volume EBS untuk dilampirkan ke jenis instans setelah Amazon EMR menyediakannya.

   Edit harga Spot maksimum

   Tentukan harga Spot maksimum untuk setiap jenis instans dalam armada. Anda dapat menetapkan harga ini sebagai persentase dari On-Demand harga, atau sebagai jumlah dolar tertentu. Jika harga Spot saat ini di Zona Ketersediaan di bawah harga Spot maksimum Anda, Amazon EMR menyediakan Instans Spot. Anda tidak selalu membayar harga Spot dengan harga Spot maksimum.

7. Secara opsional, perluas konfigurasi Node untuk memasukkan konfigurasi JSON atau memuat JSON dari Amazon S3.

8. Pilih opsi lain yang berlaku untuk cluster Anda.

9. Untuk meluncurkan cluster Anda, pilih Buat cluster.

Gunakan AWS CLI untuk membuat cluster dengan grup instance yang seragam

Untuk menentukan konfigurasi grup instans klaster dengan menggunakan AWS CLI, gunakan perintah create-cluster bersama dengan parameter --instance-groups. Amazon EMR mengasumsikan opsi On-Demand Instance kecuali Anda menentukan BidPrice argumen untuk grup instance. Untuk contoh create-cluster perintah yang meluncurkan grup instance seragam dengan On-Demand Instans dan berbagai opsi cluster, ketik aws emr create-cluster help di baris perintah, atau lihat create-cluster di Referensi Perintah AWS CLI .

Anda dapat menggunakan AWS CLI untuk membuat grup instance seragam dalam cluster yang menggunakan Instans Spot. Harga Spot yang ditawarkan tergantung pada Availability Zone. Saat Anda menggunakan CLI atau API, Anda dapat menentukan Availability Zone baik dengan AvailabilityZone argumen (jika Anda menggunakan EC2-classic jaringan) atau SubnetID argumen --ec2-attributes parameter. Availability Zone atau subnet yang Anda pilih berlaku untuk klaster, sehingga digunakan untuk semua grup instans. Jika Anda tidak menentukan Availability Zone atau subnet secara jelas, Amazon EMR akan memilih Availability Zone dengan harga Spot terendah saat meluncurkan klaster.

Contoh berikut menunjukkan create-cluster perintah yang membuat primer, inti, dan dua grup instance tugas yang semuanya menggunakan Instans Spot. Ganti myKey dengan nama pasangan kunci Amazon EC2 Anda.

aws emr create-cluster --name "MySpotCluster" \
  --release-label emr-7.13.0 \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups \
    InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1,BidPrice=0.25 \
    InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=2,BidPrice=0.03 \
    InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=4,BidPrice=0.03 \
    InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=2,BidPrice=0.04

Menggunakan CLI, Anda dapat membuat cluster grup instans seragam yang menentukan AMI kustom unik untuk setiap jenis instans dalam grup instans. Ini memungkinkan Anda untuk menggunakan arsitektur instance yang berbeda dalam grup instance yang sama. Setiap jenis instance harus menggunakan AMI kustom dengan arsitektur yang cocok. Misalnya, Anda akan mengonfigurasi jenis instans m5.xlarge dengan AMI kustom arsitektur x86_64, dan tipe instance m6g.xlarge dengan AMI kustom arsitektur (ARM) yang sesuai. AWS AARCH64

Contoh berikut menunjukkan cluster grup instance seragam yang dibuat dengan dua jenis instance, masing-masing dengan AMI kustomnya sendiri. Perhatikan bahwa AMI kustom hanya ditentukan pada tingkat tipe instance, bukan pada tingkat cluster. Ini untuk menghindari konflik antara AMI tipe instance dan AMI di tingkat cluster, yang akan menyebabkan peluncuran cluster gagal.

aws emr create-cluster
  --release-label emr-5.30.0 \
  --service-role EMR_DefaultRole \
  --ec2-attributes SubnetId=subnet-22XXXX01,InstanceProfile=EMR_EC2_DefaultRole \
  --instance-groups \
    InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 \
    InstanceGroupType=CORE,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-234567

Anda dapat menambahkan beberapa AMI kustom ke grup instans yang ditambahkan ke cluster yang sedang berjalan. CustomAmiIdArgumen dapat digunakan dengan add-instance-groups perintah seperti yang ditunjukkan pada contoh berikut.

aws emr add-instance-groups --cluster-id j-123456 \
  --instance-groups \
    InstanceGroupType=Task,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456

Gunakan Java SDK untuk membuat grup instans

Anda memulai objek InstanceGroupConfig yang menentukan konfigurasi grup instans untuk klaster. Untuk menggunakan Instans Spot, atur properti withBidPrice dan withMarket pada objek InstanceGroupConfig. Kode berikut menunjukkan cara mendefinisikan grup instance primer, inti, dan tugas yang menjalankan Instans Spot.

InstanceGroupConfig instanceGroupConfigMaster = new InstanceGroupConfig()
	.withInstanceCount(1)
	.withInstanceRole("MASTER")
	.withInstanceType("m4.large")
	.withMarket("SPOT")
	.withBidPrice("0.25"); 
	
InstanceGroupConfig instanceGroupConfigCore = new InstanceGroupConfig()
	.withInstanceCount(4)
	.withInstanceRole("CORE")
	.withInstanceType("m4.large")
	.withMarket("SPOT")
	.withBidPrice("0.03");
	
InstanceGroupConfig instanceGroupConfigTask = new InstanceGroupConfig()
	.withInstanceCount(2)
	.withInstanceRole("TASK")
	.withInstanceType("m4.large")
	.withMarket("SPOT")
	.withBidPrice("0.10");