Luncurkan Amazon EMR Cluster dengan beberapa node utama - Amazon EMR
PrasyaratLuncurkan Amazon EMR Cluster dengan beberapa node utamaMengakhiri Cluster EMR Amazon dengan beberapa node utama

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Luncurkan Amazon EMR Cluster dengan beberapa node utama

Topik ini memberikan detail konfigurasi dan contoh untuk meluncurkan klaster EMR Amazon dengan beberapa node utama.

catatan

Amazon EMR secara otomatis mengaktifkan perlindungan terminasi untuk semua kluster yang memiliki beberapa node utama, dan mengganti setelan penghentian otomatis apa pun yang Anda berikan saat membuat klaster. Untuk mematikan klaster dengan beberapa node primer, Anda harus terlebih dahulu memodifikasi atribut cluster untuk menonaktifkan perlindungan terminasi. Untuk petunjuk, silakan lihat Mengakhiri Cluster EMR Amazon dengan beberapa node utama.

Prasyarat

  • Anda dapat meluncurkan kluster EMR Amazon dengan beberapa node utama di subnet VPC publik dan pribadi. EC2-Classic tidak didukung. Untuk meluncurkan klaster EMR Amazon dengan beberapa node primer di subnet publik, Anda harus mengaktifkan instance di subnet ini untuk menerima alamat IP publik dengan memilih Tetapkan otomatis IPv4 di konsol atau menjalankan perintah berikut. Ganti 22XXXX01 dengan subnet ID Anda.

    aws ec2 modify-subnet-attribute --subnet-id subnet-22XXXX01 --map-public-ip-on-launch

  • Untuk menjalankan Hive, Hue, atau Oozie di klaster EMR Amazon dengan beberapa node utama, Anda harus membuat metastore eksternal. Untuk informasi selengkapnya, lihat Mengkonfigurasi metastore eksternal untuk Hive, Menggunakan Hue dengan basis data jarak jauh di Amazon RDS, atau Apache Ozie.

  • Untuk menggunakan otentikasi Kerberos di klaster Anda, Anda harus mengkonfigurasi KDC eksternal. Untuk informasi selengkapnya, lihat Mengonfigurasi Kerberos di Amazon Amazon EMR.

Luncurkan Amazon EMR Cluster dengan beberapa node utama

Anda dapat meluncurkan klaster dengan beberapa node utama saat Anda menggunakan grup instans atau armada instance. Bila Anda menggunakan grup instance dengan beberapa node primer, Anda harus menentukan nilai hitungan instance 3 untuk grup instance node primer. Bila Anda menggunakan armada instance dengan beberapa node primer, Anda harus menentukan TargetOnDemandCapacity dari3, TargetSpotCapacity dari 0 untuk armada instance utama, dan WeightedCapacity 1 untuk setiap jenis instance yang Anda konfigurasikan untuk armada utama.

Contoh berikut menunjukkan cara meluncurkan klaster menggunakan AMI default atau AMI kustom dengan grup instans dan armada instance:

catatan

Anda harus menentukan ID subnet saat meluncurkan klaster EMR Amazon dengan beberapa node utama menggunakan. AWS CLI Ganti 22XXXX01 dan 22XXXX02 dengan subnet ID Anda dalam contoh berikut.

Default AMI, instance groups
contoh Contoh - Meluncurkan cluster grup instans EMR Amazon dengan beberapa node primer menggunakan AMI default
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark
Default AMI, instance fleets
contoh Contoh - Meluncurkan cluster armada instans EMR Amazon dengan beberapa node primer menggunakan AMI default
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
 --ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark
Custom AMI, instance groups
contoh Contoh - Meluncurkan cluster grup instans EMR Amazon dengan beberapa node utama menggunakan AMI kustom
aws emr create-cluster \
--name "custom-ami-ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID
Custom AMI, instance fleets
contoh Contoh - Meluncurkan cluster armada instans EMR Amazon dengan beberapa node utama menggunakan AMI kustom
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID

Mengakhiri Cluster EMR Amazon dengan beberapa node utama

Untuk mengakhiri klaster EMR Amazon dengan beberapa node utama, Anda harus menonaktifkan perlindungan terminasi sebelum mengakhiri klaster, seperti yang ditunjukkan contoh berikut. Ganti j-3KVTXXXXXX7UG dengan ID cluster Anda.

aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected
aws emr terminate-clusters --cluster-id j-3KVTXXXXXX7UG