Merencanakan dan mengonfigurasi armada instans untuk klaster EMR Amazon Anda

Konfigurasi armada instans untuk klaster Amazon EMR memungkinkan Anda memilih berbagai macam opsi penyediaan untuk instans Amazon EC2, dan membantu Anda dalam mengembangkan strategi sumber daya yang fleksibel dan elastis untuk setiap jenis simpul di klaster Anda.

Dalam konfigurasi armada instans, Anda menentukan kapasitas target untuk On-DemandInstans dan Instans Spot dalam setiap armada. Saat klaster diluncurkan, Amazon EMR menyediakan instans hingga target terpenuhi. Saat Amazon EC2 merebut kembali Instans Spot di klaster yang sedang berjalan karena kenaikan harga atau kegagalan instans, Amazon EMR mencoba mengganti instance dengan jenis instans apa pun yang Anda tentukan. Hal ini memudahkan untuk mendapatkan kembali kapasitas selama lonjakan harga Spot.

Anda dapat menentukan maksimal lima jenis instans Amazon EC2 per armada untuk Amazon EMR untuk digunakan saat memenuhi target, atau maksimal 30 jenis instans Amazon EC2 per armada saat Anda membuat klaster menggunakan atau AWS CLI Amazon EMR API dan strategi alokasi untuk dan Instans Spot. On-Demand

Anda juga dapat memilih beberapa subnet untuk Availability Zone yang berbeda. Saat Amazon EMR meluncurkan klaster, ia mencari di seluruh subnet tersebut guna menemukan instans dan opsi pembelian yang Anda tentukan. Jika Amazon EMR mendeteksi peristiwa AWS skala besar di satu atau beberapa Availability Zone, Amazon EMR secara otomatis mencoba merutekan lalu lintas dari Availability Zone yang terkena dampak dan mencoba meluncurkan cluster baru yang Anda buat di Availability Zone alternatif sesuai dengan pilihan Anda. Perhatikan bahwa pemilihan Zona Ketersediaan klaster hanya terjadi pada pembuatan klaster. Node cluster yang ada tidak secara otomatis diluncurkan kembali di Availability Zone baru jika terjadi pemadaman Availability Zone.

Pertimbangan untuk bekerja dengan armada instance

Pertimbangkan item berikut saat Anda menggunakan armada instans dengan Amazon EMR.

Opsi armada instans

Gunakan panduan berikut untuk memahami opsi armada instans.

Menetapkan kapasitas target

Tentukan kapasitas target yang Anda inginkan untuk armada inti dan armada tugas. Ketika Anda melakukannya, itu menentukan jumlah On-Demand Instans dan Instans Spot yang disediakan Amazon EMR. Saat Anda menentukan sebuah instans, Anda memutuskan berapa banyak setiap instans diperhitungkan terhadap target. Ketika sebuah On-Demand Instance disediakan, itu dihitung terhadap target. On-Demand Hal yang sama berlaku untuk Instans Spot. Tidak seperti armada inti dan tugas, armada utama selalu satu contoh. Oleh karena itu, target kapasitas armada ini selalu satu.

Saat Anda menggunakan konsol, vCPU jenis instans Amazon EC2 digunakan sebagai hitungan kapasitas target secara default. Anda dapat mengubah ini ke Unit umum, lalu tentukan jumlah untuk setiap jenis instans EC2. Bila Anda menggunakan AWS CLI, Anda secara manual menetapkan unit generik untuk setiap jenis instance.

Untuk setiap armada, Anda menentukan hingga lima jenis instans Amazon EC2. Jika Anda menggunakan Strategi alokasi untuk armada instans dan membuat klaster menggunakan AWS CLI atau Amazon EMR API, Anda dapat menentukan hingga 30 jenis instans EC2 per armada instans. Amazon EMR memilih kombinasi apa pun dari tipe instans EC2 ini untuk memenuhi kapasitas target Anda. Karena Amazon EMR ingin memenuhi kapasitas target sepenuhnya, kelebihan penggunaan dapat terjadi. Misalnya, jika ada dua unit yang tidak terpenuhi, dan Amazon EMR hanya dapat menyediakan instans dengan jumlah lima unit, instans tersebut masih mendapatkan penyediaan, artinya kapasitas target terlampaui tiga unit.

Jika Anda mengurangi kapasitas target untuk mengubah ukuran klaster yang sedang berjalan, Amazon EMR akan mencoba menyelesaikan tugas aplikasi dan mengakhiri instans untuk memenuhi target baru. Untuk informasi selengkapnya, lihat Akhiri pada penyelesaian tugas.

Opsi peluncuran

Untuk Instans Spot, Anda dapat menentukan Harga Spot maksimum untuk setiap tipe instans dalam armada. Anda dapat menetapkan harga ini baik sebagai persentase dari On-Demand harga, atau sebagai jumlah dolar tertentu. Amazon EMR menyediakan Instans Spot jika harga Spot saat ini di Availability Zone berada di bawah harga Spot maksimum Anda. Anda tidak selalu membayar harga Spot dengan harga Spot maksimum.

Tersedia di Amazon EMR 5.12.1 dan yang lebih baru, Anda memiliki opsi untuk meluncurkan armada Spot dan On-Demand Instance dengan alokasi kapasitas yang dioptimalkan. Opsi strategi alokasi ini dapat diatur dalam yang lama Konsol Manajemen AWS atau menggunakan APIRunJobFlow. Perhatikan bahwa Anda tidak dapat menyesuaikan strategi alokasi di konsol baru. Menggunakan opsi strategi alokasi memerlukan izin peran layanan tambahan. Jika Anda menggunakan peran layanan Amazon EMR default dan kebijakan terkelola (EMR_DefaultRoledanAmazonEMRServicePolicy_v2) untuk klaster, izin untuk opsi strategi alokasi sudah disertakan. Jika Anda tidak menggunakan peran layanan Amazon EMR default dan kebijakan terkelola, Anda harus menambahkannya untuk menggunakan opsi ini. Lihat Peran layanan untuk Amazon EMR (peran EMR).

Untuk informasi selengkapnya tentang Instans Spot, lihat Instans Spot di Panduan Pengguna Amazon EC2. Untuk informasi selengkapnya tentang On-Demand Instans, lihat On-DemandInstans di Panduan Pengguna Amazon EC2.

Jika Anda memilih untuk meluncurkan armada On-Demand Instance dengan strategi alokasi harga terendah, Anda memiliki opsi untuk menggunakan reservasi kapasitas. Opsi pencadangan kapasitas dapat diatur menggunakan API Amazon EMR RunJobFlow. Pencadangan kapasitas memerlukan izin peran layanan tambahan yang harus Anda tambahkan untuk menggunakan opsi ini. Lihat Izin strategi alokasi. Perhatikan bahwa Anda tidak dapat menyesuaikan reservasi kapasitas di konsol baru.

Beberapa opsi subnet (Availability Zones)

Saat menggunakan armada instans, Anda dapat menentukan beberapa subnet Amazon EC2 dalam VPC, masing-masing terkait dengan Availability Zone yang berbeda. Jika Anda menggunakanEC2-Classic, Anda menentukan Availability Zones secara eksplisit. Amazon EMR mengidentifikasi Availability Zone terbaik untuk meluncurkan instans sesuai dengan spesifikasi armada Anda. Instans selalu disediakan hanya dalam satu Availability Zone. Anda dapat memilih subnet privat atau subnet publik, tetapi Anda tidak dapat menggabungkan keduanya, dan subnet yang Anda tentukan harus berada dalam VPC yang sama.

Konfigurasi simpul master

Karena armada instance utama hanya satu instance, konfigurasinya sedikit berbeda dari armada instance inti dan tugas. Anda hanya memilih salah satu On-Demand atau Spot untuk armada instance utama karena hanya terdiri dari satu instance. Jika Anda menggunakan konsol untuk membuat armada instans, kapasitas target untuk opsi pembelian yang Anda pilih akan disetel ke 1. Jika Anda menggunakan AWS CLI, selalu atur salah satu TargetSpotCapacity atau TargetOnDemandCapacity ke 1 yang sesuai. Anda masih dapat memilih hingga lima jenis instans untuk armada instans utama (atau maksimal 30 saat Anda menggunakan opsi strategi alokasi untuk On-Demand atau Instans Spot). Namun, tidak seperti armada instance inti dan tugas, di mana Amazon EMR dapat menyediakan beberapa instance dari berbagai jenis, Amazon EMR memilih satu jenis instans untuk disediakan untuk armada instans utama.

Strategi alokasi untuk armada instans

Dengan Amazon EMR versi 5.12.1 dan yang lebih baru, Anda dapat menggunakan opsi strategi alokasi dengan On-Demand dan Instans Spot untuk setiap node cluster. Saat membuat klaster menggunakan AWS CLI, Amazon EMR API, atau konsol EMR Amazon dengan strategi alokasi, Anda dapat menentukan hingga 30 jenis instans Amazon EC2 per armada. Dengan konfigurasi armada instans klaster EMR Amazon default, Anda dapat memiliki hingga 5 jenis instans per armada. Kami merekomendasikan Anda untuk menggunakan opsi strategi alokasi untuk penyediaan klaster yang lebih cepat, alokasi Instans Spot yang lebih akurat, dan gangguan Instans Spot yang lebih sedikit.

Strategi alokasi dengan Instans On-Demand

Strategi alokasi berikut tersedia untuk On-Demand Instans Anda:

Strategi alokasi dengan Instans Spot

Untuk Instans Spot, Anda dapat memilih salah satu strategi alokasi berikut:

Izin strategi alokasi

Opsi strategi alokasi memerlukan beberapa izin IAM yang secara otomatis disertakan dalam peran layanan EMR Amazon default dan kebijakan terkelola Amazon EMR (dan). EMR_DefaultRole AmazonEMRServicePolicy_v2 Jika Anda menggunakan peran layanan kustom atau kebijakan terkelola untuk klaster, Anda harus menambahkan izin ini sebelum membuat klaster. Untuk informasi selengkapnya, lihat Izin strategi alokasi.

Reservasi On-Demand Kapasitas Opsional (ODCR) tersedia saat Anda menggunakan opsi strategi On-Demand alokasi. Opsi pencadangan kapasitas memungkinkan Anda menentukan preferensi dalam menggunakan kapasitas yang dicadangkan terlebih dahulu untuk klaster Amazon EMR. Anda dapat menggunakan ini untuk memastikan bahwa beban kerja kritis Anda menggunakan kapasitas yang telah Anda cadangkan menggunakan ODCR terbuka atau tertarget. Untuk beban kerja yang non-kritis, preferensi pencadangan kapasitas memungkinkan Anda menentukan apakah kapasitas yang dicadangkan harus digunakan.

Pencandangan kapasitas hanya dapat digunakan oleh instans yang cocok dengan atributnya (tipe instans, platform, dan Availability Zone). Secara default, reservasi kapasitas terbuka secara otomatis digunakan oleh Amazon EMR saat On-Demand menyediakan Instans yang cocok dengan atribut instance. Jika Anda tidak memiliki instans berjalan yang cocok dengan atribut pencadangan kapasitas, instans tersebut tetap tidak digunakan hingga Anda meluncurkan instans yang cocok dengan atributnya. Jika Anda tidak ingin menggunakan pencadangan kapasitas apa pun saat meluncurkan klaster, Anda harus menyetel preferensi pencadangan kapasitas ke tidak ada dalam opsi peluncuran.

Namun, Anda juga dapat menargetkan pencadangan kapasitas untuk beban kerja tertentu. Ini memungkinkan Anda untuk secara eksplisit mengontrol instans mana yang diizinkan untuk berjalan dalam kapasitas yang dicadangkan itu. Untuk informasi lebih lanjut tentang reservasi On-Demand kapasitas, lihatGunakan reservasi kapasitas dengan armada instans di Amazon EMR.

Izin IAM yang diperlukan untuk strategi alokasi

Anda Peran layanan untuk Amazon EMR (peran EMR) memerlukan izin tambahan untuk membuat klaster yang menggunakan opsi strategi alokasi untuk On-Demand atau armada Instans Spot.

Kami secara otomatis menyertakan izin ini dalam EMR_DefaultRoleperan layanan EMR Amazon default dan kebijakan terkelola Amazon EMR. AmazonEMRServicePolicy_v2

Jika Anda menggunakan peran layanan kustom atau kebijakan terkelola untuk klaster, Anda harus menambahkan izin berikut:

Izin peran layanan berikut diperlukan untuk membuat klaster yang menggunakan reservasi kapasitas terbuka atau bertarget. Anda harus menyertakan izin ini selain izin yang diperlukan untuk menggunakan opsi strategi alokasi.

Konfigurasikan armada instance untuk klaster Anda

Contoh: Membuat cluster dengan konfigurasi armada instance

Contoh berikut menunjukkan create-cluster perintah dengan berbagai opsi yang dapat Anda gabungkan.

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge}'] \
    InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge}']

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetSpotCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5}'] \
    InstanceFleetType=CORE,TargetSpotCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5}']

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,SubnetIds=['subnet-ab12345c'] \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge}'] \
    InstanceFleetType=CORE,TargetOnDemandCapacity=2,TargetSpotCapacity=6,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,WeightedCapacity=2}']

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,SubnetIds=['subnet-ab12345c','subnet-de67890f'] \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge}'] \
    InstanceFleetType=CORE,TargetSpotCapacity=11,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,WeightedCapacity=3}',\
'{InstanceType=m4.2xlarge,BidPrice=0.9,WeightedCapacity=5}'],\
LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=120,TimeoutAction=SWITCH_TO_ON_DEMAND}'}

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,SubnetIds=['subnet-ab12345c','subnet-de67890f'] \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge}'] \
    InstanceFleetType=CORE,TargetOnDemandCapacity=8,TargetSpotCapacity=6,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,WeightedCapacity=3}',\
'{InstanceType=m4.2xlarge,BidPrice=0.9,WeightedCapacity=5}'],\
LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=120,TimeoutAction=SWITCH_TO_ON_DEMAND}'} \
    InstanceFleetType=TASK,TargetOnDemandCapacity=3,TargetSpotCapacity=3,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,WeightedCapacity=3}']

aws emr create-cluster --release-label Amazon EMR 5.3.1 --service-role EMR_DefaultRole \ 
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetSpotCapacity=1,\
LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=60,TimeoutAction=TERMINATE_CLUSTER}'},\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,\
EbsConfiguration={EbsOptimized=true,EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=gp2,\
SizeIn GB=100}},{VolumeSpecification={VolumeType=io1,SizeInGB=100,Iop s=100},VolumesPerInstance=4}]}}']		

aws emr create-cluster --release-label Amazon EMR 5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-123456},{InstanceType=m6g.xlarge, CustomAmiId=ami-234567}'] \ 
    InstanceFleetType=CORE,TargetOnDemandCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-123456},{InstanceType=m6g.xlarge, CustomAmiId=ami-234567}']

aws emr add-instance-fleet --cluster-id j-123456 --release-label Amazon EMR 5.3.1 \
  --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleet \
    InstanceFleetType=Task,TargetSpotCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-123456}',\
'{InstanceType=m6g.xlarge,CustomAmiId=ami-234567}']

aws emr create-cluster --release-label emr-5.30.0 --service-role EMR_DefaultRole \
--ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
--instance-fleets file://my-fleet-config.json

[
    {
        "Name": "Masterfleet",
        "InstanceFleetType": "MASTER",
        "TargetSpotCapacity": 1,
        "LaunchSpecifications": {
            "SpotSpecification": {
                "TimeoutDurationMinutes": 120,
                "TimeoutAction": "SWITCH_TO_ON_DEMAND"
            }
        },
        "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
                "BidPrice": "0.89"
            }
        ]
    },
    {
        "Name": "Corefleet",
        "InstanceFleetType": "CORE",
        "TargetSpotCapacity": 1,
        "TargetOnDemandCapacity": 1,
        "LaunchSpecifications": {
          "OnDemandSpecification": {
            "AllocationStrategy": "lowest-price",
            "CapacityReservationOptions": 
            {
                "UsageStrategy": "use-capacity-reservations-first",
                "CapacityReservationResourceGroupArn": "String"
            }
        },
            "SpotSpecification": {
                "AllocationStrategy": "capacity-optimized",
                "TimeoutDurationMinutes": 120,
                "TimeoutAction": "TERMINATE_CLUSTER"
            }
        },
        "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
                "BidPriceAsPercentageOfOnDemandPrice": 100
            }
        ]
    },
    {
        "Name": "Taskfleet",
        "InstanceFleetType": "TASK",
        "TargetSpotCapacity": 1,
        "LaunchSpecifications": {
          "OnDemandSpecification": {
            "AllocationStrategy": "lowest-price",
            "CapacityReservationOptions": 
            {
                "CapacityReservationPreference": "none"
            }
        },
            "SpotSpecification": {
                "TimeoutDurationMinutes": 120,
                "TimeoutAction": "TERMINATE_CLUSTER"
            }
        },
        "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
                "BidPrice": "0.89"
            }
        ]
    }
]

Ubah kapasitas target untuk armada instans

Gunakan perintah modify-instance-fleet untuk menentukan kapasitas target baru armada instans. Anda harus menentukan ID klaster dan ID armada instans. Gunakan perintah list-instance-fleets untuk mengambil ID armada instans.

aws emr modify-instance-fleet --cluster-id <cluster-id> \
  --instance-fleet \
    InstanceFleetId='<instance-fleet-id>',TargetOnDemandCapacity=1,TargetSpotCapacity=1			

Tambahkan armada instans tugas ke klaster

Jika cluster hanya memiliki armada instance primer dan inti, Anda dapat menggunakan add-instance-fleet perintah untuk menambahkan armada instance tugas. Anda hanya dapat menggunakan ini untuk menambahkan armada instans tugas.

aws emr add-instance-fleet --cluster-id <cluster-id> 
  --instance-fleet \
    InstanceFleetType=TASK,TargetSpotCapacity=1,\
LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=20,TimeoutAction=TERMINATE_CLUSTER}'},\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5}']				

Dapatkan detail konfigurasi armada instans dalam sebuah klaster

Gunakan perintah list-instance-fleets untuk mendapatkan detail konfigurasi armada instans dalam sebuah klaster. Perintah mengambil ID klaster sebagai input. Contoh berikut menunjukkan perintah dan outputnya untuk cluster yang berisi grup instance tugas utama dan grup instance tugas inti. Untuk sintaks respons lengkap, lihat ListInstanceFleetsdi Referensi API EMR Amazon.

list-instance-fleets --cluster-id <cluster-id>			

{
    "InstanceFleets": [
        {
            "Status": {
                "Timeline": {
                    "ReadyDateTime": 1488759094.637,
                    "CreationDateTime": 1488758719.817
                },
                "State": "RUNNING",
                "StateChangeReason": {
                    "Message": ""
                }
            },
            "ProvisionedSpotCapacity": 6,
            "Name": "CORE",
            "InstanceFleetType": "CORE",
            "LaunchSpecifications": {
                "SpotSpecification": {
                    "TimeoutDurationMinutes": 60,
                    "TimeoutAction": "TERMINATE_CLUSTER"
                }
            },
            "ProvisionedOnDemandCapacity": 2,
            "InstanceTypeSpecifications": [
                {
                    "BidPrice": "0.5",
                    "InstanceType": "m5.xlarge",
                    "WeightedCapacity": 2
                }
            ],
            "Id": "if-1ABC2DEFGHIJ3"
        },
        {
            "Status": {
                "Timeline": {
                    "ReadyDateTime": 1488759058.598,
                    "CreationDateTime": 1488758719.811
                },
                "State": "RUNNING",
                "StateChangeReason": {
                    "Message": ""
                }
            },
            "ProvisionedSpotCapacity": 0,
            "Name": "MASTER",
            "InstanceFleetType": "MASTER",
            "ProvisionedOnDemandCapacity": 1,
            "InstanceTypeSpecifications": [
                {
                    "BidPriceAsPercentageOfOnDemandPrice": 100.0,
                    "InstanceType": "m5.xlarge",
                    "WeightedCapacity": 1
                }
            ],
           "Id": "if-2ABC4DEFGHIJ4"
        }
    ]
}