View a markdown version of this page

Luncurkan Amazon EMR Cluster dengan beberapa node utama - Amazon EMR
PrasyaratLuncurkan Amazon EMR Cluster dengan beberapa node utamaMenghentikan Cluster Amazon EMR dengan beberapa node utama

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Luncurkan Amazon EMR Cluster dengan beberapa node utama

Topik ini memberikan detail konfigurasi dan contoh untuk meluncurkan cluster Amazon EMR dengan beberapa node utama.

catatan

Amazon EMR secara otomatis mengaktifkan perlindungan penghentian untuk semua cluster yang memiliki beberapa node utama, dan mengganti setelan penghentian otomatis yang Anda berikan saat membuat cluster. Untuk mematikan cluster dengan beberapa node utama, Anda harus terlebih dahulu memodifikasi atribut cluster untuk menonaktifkan perlindungan terminasi. Untuk petunjuk, lihat Menghentikan Cluster Amazon EMR dengan beberapa node utama.

Prasyarat

  • Anda dapat meluncurkan cluster Amazon EMR dengan beberapa node utama di subnet VPC publik dan pribadi. EC2-Classictidak didukung. Untuk meluncurkan cluster Amazon EMR dengan beberapa node utama di subnet publik, Anda harus mengaktifkan instance di subnet ini untuk menerima alamat IP publik dengan memilih Auto-assign IPv4 di konsol atau menjalankan perintah berikut. Ganti 22XXXX01 dengan ID subnet Anda.

    aws ec2 modify-subnet-attribute --subnet-id subnet-22XXXX01 --map-public-ip-on-launch

  • Untuk menjalankan Hive, Hue, atau Oozie pada cluster Amazon EMR dengan beberapa node primer, Anda harus membuat metastor eksternal. Untuk informasi selengkapnya, lihat Mengkonfigurasi metastore eksternal untuk Hive, Menggunakan Hue dengan basis data jarak jauh di Amazon RDS, atau Apache Ozie.

  • Untuk menggunakan otentikasi Kerberos di klaster Anda, Anda harus mengkonfigurasi KDC eksternal. Untuk informasi selengkapnya, lihat Mengon figurasi Kerberos di Amazon Amazon EMR.

Luncurkan Amazon EMR Cluster dengan beberapa node utama

Anda dapat meluncurkan cluster dengan beberapa node utama saat menggunakan grup instans atau armada instans. Bila Anda menggunakan grup instance dengan beberapa node utama, Anda harus menentukan nilai jumlah instance 3 untuk grup instance node utama. Saat Anda menggunakan armada instans dengan beberapa node utama, Anda harus menentukan TargetOnDemandCapacity TargetSpotCapacity dari3, 0 untuk armada instans utama, dan WeightedCapacity 1 untuk setiap jenis instans yang Anda konfigurasikan untuk armada utama.

Contoh berikut menunjukkan cara meluncurkan cluster menggunakan AMI default atau AMI kustom dengan grup instans dan armada instans:

catatan

Anda harus menentukan ID subnet saat meluncurkan cluster Amazon EMR dengan beberapa node utama menggunakan. AWS CLI Ganti 22XXXX01 dan 22XXXX02 dengan ID subnet Anda dalam contoh berikut.

Default AMI, instance groups
contoh Contoh — Meluncurkan cluster grup instans Amazon EMR dengan beberapa node utama menggunakan AMI default
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark
Default AMI, instance fleets
contoh Contoh — Meluncurkan cluster armada instans Amazon EMR dengan beberapa node utama menggunakan AMI default
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
 --ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark
Custom AMI, instance groups
contoh Contoh — Meluncurkan cluster grup instans Amazon EMR dengan beberapa node utama menggunakan AMI khusus
aws emr create-cluster \
--name "custom-ami-ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID
Custom AMI, instance fleets
contoh Contoh — Meluncurkan cluster armada instans Amazon EMR dengan beberapa node utama menggunakan AMI khusus
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID

Menghentikan Cluster Amazon EMR dengan beberapa node utama

Untuk mengakhiri cluster Amazon EMR dengan beberapa node utama, Anda harus menonaktifkan perlindungan terminasi sebelum mengakhiri cluster, seperti yang ditunjukkan contoh berikut. Ganti j-3KVTXXXXXX7UG dengan ID cluster Anda.

aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected
aws emr terminate-clusters --cluster-id j-3KVTXXXXXX7UG