Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengonfigurasi grup instans seragam untuk klaster EMR Amazon Anda

Dengan konfigurasi grup instans, setiap jenis simpul (utama, inti, atau tugas) terdiri dari tipe instans yang sama dan opsi pembelian yang sama untuk instans: Sesuai Permintaan atau Spot. Anda menentukan setelan ini saat membuat grup instans. Mereka tidak bisa diubah nanti. Namun, Anda dapat menambahkan instans dengan jenis dan opsi pembelian yang sama ke grup instans inti dan tugas. Anda juga dapat menghapus instans.

Jika Instans Sesuai Permintaan klaster cocok dengan atribut pencadangan kapasitas terbuka (tipe instans, platform, penghunian, dan Availability Zone) yang tersedia di akun Anda, pencadangan kapasitas akan diterapkan secara otomatis. Anda dapat menggunakan reservasi kapasitas terbuka untuk node primer, inti, dan tugas. Namun, Anda tidak dapat menggunakan pencadangan kapasitas yang ditargetkan atau mencegah instans diluncurkan ke pencadangan kapasitas terbuka dengan atribut yang cocok saat Anda menyediakan klaster menggunakan grup instans. Jika Anda ingin menggunakan pencadangan kapasitas yang ditargetkan atau mencegah instans diluncurkan ke pencadangan kapasitas terbuka, gunakan Armada Instans. Untuk informasi selengkapnya, lihat Gunakan reservasi kapasitas dengan armada instans di Amazon EMR.

Untuk menambahkan tipe instans yang berbeda setelah klaster dibuat, Anda dapat menambahkan grup instans tugas tambahan. Anda dapat memilih tipe instans dan opsi pembelian yang berbeda untuk setiap grup instans. Untuk informasi selengkapnya, lihat Gunakan penskalaan klaster EMR Amazon untuk menyesuaikan perubahan beban kerja.

Saat meluncurkan instans, preferensi pencadangan kapasitas Instans Berdasarkan Permintaan akan default ke open, yang memungkinkannya dijalankan di pencadangan kapasitas terbuka yang memiliki atribut yang cocok (tipe instans, platform, Availability Zone). Untuk informasi lebih lanjut tentang Pencadangan Kapasitas Sesuai Permintaan, lihat Gunakan reservasi kapasitas dengan armada instans di Amazon EMR.

Bagian ini mencakup pembuatan klaster dengan grup instans seragam. Untuk informasi lebih lanjut tentang memodifikasi grup instans yang ada dengan menambahkan atau menghapus instans secara manual atau dengan penskalaan otomatis, lihat Kelola kluster EMR Amazon.

Gunakan konsol untuk mengkonfigurasi grup instans seragam

Console

Untuk membuat cluster dengan grup instance dengan konsol baru

1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com /emr.

2. Di bawah EMR EC2 di panel navigasi kiri, pilih Clusters, dan pilih Create cluster.

3. Di bawah Konfigurasi cluster, pilih Grup instans.

4. Di bawah grup Node, ada bagian untuk setiap jenis grup node. Untuk grup simpul primer, pilih kotak centang Gunakan beberapa node primer jika Anda ingin memiliki 3 node primer. Pilih kotak centang opsi Gunakan pembelian Spot jika Anda ingin menggunakan pembelian Spot.

5. Untuk grup node primer dan inti, pilih Add instance type dan pilih hingga 5 tipe instance. Untuk grup tugas, pilih Tambahkan jenis instans dan pilih hingga lima belas jenis instans. Amazon EMR mungkin menyediakan campuran jenis instans ini saat meluncurkan cluster.

6. Di bawah setiap tipe grup node, pilih menu tarik-turun Tindakan di samping setiap instance untuk mengubah pengaturan ini:

   Tambahkan volume EBS

   Tentukan volume EBS yang akan dilampirkan ke jenis instans setelah Amazon EMR menyediakannya.

   Edit harga Spot maksimum

   Tentukan harga Spot maksimum untuk setiap jenis instans dalam armada. Anda dapat menetapkan harga ini sebagai persentase dari harga Sesuai Permintaan, atau sebagai jumlah dolar tertentu. Jika harga Spot saat ini di Availability Zone di bawah harga Spot maksimum Anda, Amazon EMR menyediakan Instans Spot. Anda tidak selalu membayar harga Spot dengan harga Spot maksimum.

7. Secara opsional, perluas konfigurasi Node untuk memasukkan konfigurasi JSON atau memuat JSON dari Amazon S3.

8. Pilih opsi lain yang berlaku untuk cluster Anda.

9. Untuk meluncurkan cluster Anda, pilih Create cluster.

Gunakan AWS CLI untuk membuat cluster dengan grup instance seragam

Untuk menentukan konfigurasi grup instans klaster dengan menggunakan AWS CLI, gunakan perintah create-cluster bersama dengan parameter --instance-groups. Amazon EMR mengasumsikan opsi Instans Sesuai Permintaan kecuali Anda menentukan argumen BidPrice untuk grup instans. Untuk contoh perintah create-cluster yang meluncurkan grup instans seragam dengan Instans Sesuai Permintaan dan berbagai opsi klaster, ketik aws emr create-cluster help di baris perintah, atau lihat buat-klaster di AWS CLI Referensi Perintah.

Anda dapat menggunakan AWS CLI untuk membuat grup instance seragam dalam klaster yang menggunakan Instans Spot. Harga Spot yang ditawarkan tergantung pada Availability Zone. Saat Anda menggunakan CLI atau API, Anda dapat menentukan Availability Zone baik dengan AvailabilityZone argumen (jika Anda menggunakan jaringan EC2 -classic) atau SubnetID argumen parameter. --ec2-attributes Availability Zone atau subnet yang Anda pilih berlaku untuk klaster, sehingga digunakan untuk semua grup instans. Jika Anda tidak menentukan Availability Zone atau subnet secara jelas, Amazon EMR akan memilih Availability Zone dengan harga Spot terendah saat meluncurkan klaster.

Contoh berikut menunjukkan create-cluster perintah yang menciptakan primer, inti, dan dua kelompok instance tugas yang semuanya menggunakan Instans Spot. Ganti myKey dengan nama EC2 key pair Amazon Anda.

aws emr create-cluster --name "MySpotCluster" \
  --release-label emr-7.7.0 \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups \
    InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1,BidPrice=0.25 \
    InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=2,BidPrice=0.03 \
    InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=4,BidPrice=0.03 \
    InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=2,BidPrice=0.04

Dengan menggunakan CLI, Anda dapat membuat cluster grup instance seragam yang menentukan AMI kustom unik untuk setiap jenis instans dalam grup instans. Ini memungkinkan Anda untuk menggunakan arsitektur instance yang berbeda dalam grup instance yang sama. Setiap jenis instans harus menggunakan AMI kustom dengan arsitektur yang cocok. Misalnya, Anda akan mengonfigurasi tipe instans m5.xlarge dengan AMI kustom arsitektur x86_64, dan tipe instans m6g.xlarge dengan AMI kustom arsitektur (ARM) yang sesuai. AWS AARCH64

Contoh berikut menunjukkan cluster grup instance seragam yang dibuat dengan dua tipe instance, masing-masing dengan AMI kustomnya sendiri. Perhatikan bahwa kustom AMIs ditentukan hanya pada tingkat jenis instance, bukan pada tingkat cluster. Ini untuk menghindari konflik antara tipe instance AMIs dan AMI di tingkat cluster, yang akan menyebabkan peluncuran cluster gagal.

aws emr create-cluster
  --release-label emr-5.30.0 \
  --service-role EMR_DefaultRole \
  --ec2-attributes SubnetId=subnet-22XXXX01,InstanceProfile=EMR_EC2_DefaultRole \
  --instance-groups \
    InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 \
    InstanceGroupType=CORE,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-234567

Anda dapat menambahkan beberapa kustom AMIs ke grup instans yang Anda tambahkan ke cluster yang sedang berjalan. CustomAmiIdArgumen dapat digunakan dengan add-instance-groups perintah seperti yang ditunjukkan pada contoh berikut.

aws emr add-instance-groups --cluster-id j-123456 \
  --instance-groups \
    InstanceGroupType=Task,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456

Gunakan Java SDK untuk membuat grup instans

Anda memulai objek InstanceGroupConfig yang menentukan konfigurasi grup instans untuk klaster. Untuk menggunakan Instans Spot, atur properti withBidPrice dan withMarket pada objek InstanceGroupConfig. Kode berikut menunjukkan cara mendefinisikan grup instance primer, inti, dan tugas yang menjalankan Instans Spot.

InstanceGroupConfig instanceGroupConfigMaster = new InstanceGroupConfig()
	.withInstanceCount(1)
	.withInstanceRole("MASTER")
	.withInstanceType("m4.large")
	.withMarket("SPOT")
	.withBidPrice("0.25"); 
	
InstanceGroupConfig instanceGroupConfigCore = new InstanceGroupConfig()
	.withInstanceCount(4)
	.withInstanceRole("CORE")
	.withInstanceType("m4.large")
	.withMarket("SPOT")
	.withBidPrice("0.03");
	
InstanceGroupConfig instanceGroupConfigTask = new InstanceGroupConfig()
	.withInstanceCount(2)
	.withInstanceRole("TASK")
	.withInstanceType("m4.large")
	.withMarket("SPOT")
	.withBidPrice("0.10");