Luncurkan Amazon EMR Cluster dengan beberapa node utama - Amazon EMR
PrasyaratLuncurkan Amazon EMR Cluster dengan beberapa node utamaMengakhiri EMR Cluster Amazon dengan beberapa node utama

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Luncurkan Amazon EMR Cluster dengan beberapa node utama

Topik ini memberikan detail konfigurasi dan contoh untuk meluncurkan EMR klaster Amazon dengan beberapa node utama.

catatan

Amazon EMR secara otomatis mengaktifkan perlindungan terminasi untuk semua cluster yang memiliki beberapa node utama, dan mengganti setelan penghentian otomatis apa pun yang Anda berikan saat membuat klaster. Untuk mematikan klaster dengan beberapa node primer, Anda harus terlebih dahulu memodifikasi atribut cluster untuk menonaktifkan perlindungan terminasi. Untuk petunjuk, silakan lihat Mengakhiri EMR Cluster Amazon dengan beberapa node utama.

Prasyarat

  • Anda dapat meluncurkan EMR klaster Amazon dengan beberapa node utama di VPC subnet publik dan pribadi. EC2-Classic tidak didukung. Untuk meluncurkan EMR klaster Amazon dengan beberapa node primer di subnet publik, Anda harus mengaktifkan instance di subnet ini untuk menerima alamat IP publik dengan memilih Tetapkan otomatis IPv4 di konsol atau menjalankan perintah berikut. Ganti 22XXXX01 dengan subnet ID Anda.

    aws ec2 modify-subnet-attribute --subnet-id subnet-22XXXX01 --map-public-ip-on-launch

  • Untuk menjalankan Hive, Hue, atau Oozie di EMR klaster Amazon dengan beberapa node utama, Anda harus membuat metastore eksternal. Untuk informasi selengkapnya, lihat Mengonfigurasi metastore eksternal untuk Hive, Menggunakan Hue dengan database jarak jauh di Amazon RDS, atau Apache Oozie.

  • Untuk menggunakan otentikasi Kerberos di cluster Anda, Anda harus mengkonfigurasi eksternal. KDC Untuk informasi selengkapnya, lihat Mengonfigurasi Kerberos di Amazon Amazon. EMR

Luncurkan Amazon EMR Cluster dengan beberapa node utama

Anda dapat meluncurkan klaster dengan beberapa node utama saat Anda menggunakan grup instans atau armada instance. Bila Anda menggunakan grup instance dengan beberapa node primer, Anda harus menentukan nilai hitungan instance 3 untuk grup instance node primer. Saat Anda menggunakan armada instance dengan beberapa node primer, Anda harus menentukan TargetOnDemandCapacity dari3, TargetSpotCapacity dari 0 untuk armada instance utama, dan WeightedCapacity 1 untuk setiap jenis instance yang Anda konfigurasikan untuk armada utama.

Contoh berikut menunjukkan cara meluncurkan cluster menggunakan default AMI atau kustom AMI dengan grup instans dan armada instance:

catatan

Anda harus menentukan ID subnet saat meluncurkan EMR klaster Amazon dengan beberapa node utama menggunakan. AWS CLI Ganti 22XXXX01 and 22XXXX02 dengan subnet ID Anda dalam contoh berikut.

Default AMI, instance groups
contoh Contoh - Meluncurkan cluster grup EMR instans Amazon dengan beberapa node primer menggunakan default AMI
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark
Default AMI, instance fleets
contoh Contoh - Meluncurkan cluster armada EMR instans Amazon dengan beberapa node primer menggunakan default AMI
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
 --ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark
Custom AMI, instance groups
contoh Contoh - Meluncurkan cluster grup EMR instans Amazon dengan beberapa node utama menggunakan kustom AMI
aws emr create-cluster \
--name "custom-ami-ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID
Custom AMI, instance fleets
contoh Contoh - Meluncurkan cluster armada EMR instans Amazon dengan beberapa node utama menggunakan kustom AMI
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID

Mengakhiri EMR Cluster Amazon dengan beberapa node utama

Untuk mengakhiri EMR klaster Amazon dengan beberapa node utama, Anda harus menonaktifkan perlindungan terminasi sebelum mengakhiri klaster, seperti yang ditunjukkan contoh berikut. Ganti j-3KVTXXXXXX7UG dengan ID cluster Anda.

aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected
aws emr terminate-clusters --cluster-id j-3KVTXXXXXX7UG