Mengkonfigurasi ulang armada instans untuk klaster EMR Amazon Anda

Mode fokus

Mengkonfigurasi ulang armada instans untuk klaster EMR Amazon Anda - Amazon EMR

Perilaku konfigurasi ulang Batasan Mengkonfigurasi ulang armada instance Memecahkan masalah konfigurasi ulang armada contoh

Dengan Amazon EMR versi 5.21.0 dan yang lebih baru, Anda dapat mengonfigurasi ulang aplikasi klaster dan menentukan klasifikasi konfigurasi tambahan untuk setiap armada instans dalam klaster yang sedang berjalan. Untuk melakukannya, Anda dapat menggunakan AWS Command Line Interface (AWS CLI), atau AWS SDK.

Anda dapat melacak status armada instance, dengan melihat CloudWatch peristiwa. Untuk informasi selengkapnya, lihat Peristiwa konfigurasi ulang armada instans.

catatan

Anda hanya dapat mengganti objek Konfigurasi cluster yang ditentukan selama pembuatan klaster. Untuk informasi selengkapnya tentang objek Konfigurasi, lihat sintaks RunJobFlow permintaan. Jika ada perbedaan antara konfigurasi yang ada dan file yang Anda berikan, Amazon EMR akan me-reset konfigurasi yang dimodifikasi secara manual, seperti konfigurasi yang telah Anda modifikasi saat terhubung ke klaster menggunakan SSH, ke default cluster untuk armada instance yang ditentukan.

Saat Anda mengirimkan permintaan konfigurasi ulang menggunakan konsol EMR Amazon, antarmuka Baris AWS Perintah AWS CLI(), atau SDK, Amazon EMR AWS akan memeriksa file konfigurasi on-cluster yang ada. Jika ada perbedaan antara konfigurasi yang ada dan file yang Anda berikan, Amazon EMR memulai tindakan konfigurasi ulang, memulai ulang beberapa aplikasi, dan mengatur ulang konfigurasi yang dimodifikasi secara manual, seperti konfigurasi yang telah Anda modifikasi saat terhubung ke klaster menggunakan SSH, ke default cluster untuk armada instance yang ditentukan.

Perilaku konfigurasi ulang

Konfigurasi ulang menimpa konfigurasi on-cluster dengan set konfigurasi yang baru dikirimkan, dan dapat menimpa perubahan konfigurasi yang dibuat di luar API konfigurasi ulang.

Amazon EMR mengikuti proses bergulir untuk mengonfigurasi ulang instans di armada instans Tugas dan Inti. Hanya persentase instance untuk satu jenis instance yang dimodifikasi dan dimulai ulang pada satu waktu. Jika armada instans Anda memiliki beberapa konfigurasi tipe instans yang berbeda, mereka akan mengkonfigurasi ulang secara paralel.

Konfigurasi ulang dideklarasikan di level. InstanceTypeConfig Untuk contoh visual, lihatMengkonfigurasi ulang armada instance. Anda dapat mengirimkan permintaan konfigurasi ulang yang berisi pengaturan konfigurasi yang diperbarui untuk satu atau beberapa jenis instans dalam satu permintaan. Anda harus menyertakan semua tipe instans yang merupakan bagian dari armada instans Anda dalam permintaan modifikasi; namun, tipe instans dengan bidang konfigurasi terisi akan mengalami konfigurasi ulang, sementara InstanceTypeConfig instance lain dalam armada tetap tidak berubah. Konfigurasi ulang dianggap berhasil hanya ketika semua instance dari jenis instance yang ditentukan menyelesaikan konfigurasi ulang. Jika ada instans yang gagal dikonfigurasi ulang, seluruh Armada Instance secara otomatis kembali ke konfigurasi stabil terakhir yang diketahui.

Batasan

Saat Anda mengonfigurasi ulang armada instans di klaster yang sedang berjalan, pertimbangkan batasan berikut:

Aplikasi non-yarn dapat gagal selama restart atau menyebabkan masalah klaster, terutama jika aplikasi tidak dikonfigurasi dengan benar. Klaster yang mendekati penggunaan memori dan CPU maksimum dapat mengalami masalah setelah proses restart. Hal ini terutama berlaku untuk armada contoh utama. Konsultasikan Memecahkan masalah konfigurasi ulang armada contoh bagian ini.
Operasi mengubah ukuran dan konfigurasi ulang tidak terjadi secara paralel. Permintaan konfigurasi ulang akan menunggu perubahan ukuran yang sedang berlangsung dan sebaliknya.
Operasi mengubah ukuran dan konfigurasi ulang tidak terjadi secara paralel. Permintaan konfigurasi ulang akan menunggu perubahan ukuran yang sedang berlangsung dan sebaliknya.
Setelah mengonfigurasi ulang armada instance, Amazon EMR memulai ulang aplikasi untuk memungkinkan konfigurasi baru diterapkan. Gagal tugas atau perilaku aplikasi tak terduga lainnya mungkin terjadi jika aplikasi sedang digunakan saat konfigurasi ulang dilakukan.
Jika konfigurasi ulang untuk konfigurasi tipe instans apa pun di bawah armada instans gagal, Amazon EMR membalikkan parameter konfigurasi ke versi kerja sebelumnya untuk seluruh armada instans, bersama dengan memancarkan peristiwa dan memperbarui detail status. Jika proses pengembalian gagal juga, Anda harus mengirimkan ModifyInstanceFleet permintaan baru untuk memulihkan armada instans dari ARRESTED negara. Kegagalan pembalikan mengakibatkan peristiwa konfigurasi ulang armada Instance dan perubahan status.
Permintaan konfigurasi ulang untuk klasifikasi konfigurasi Phoenix hanya didukung di Amazon EMR versi 5.23.0 dan setelahnya, dan tidak didukung di Amazon EMR versi 5.21.0 atau 5.22.0.
Permintaan konfigurasi ulang untuk klasifikasi HBase konfigurasi hanya didukung di Amazon EMR versi 5.30.0 dan yang lebih baru, dan tidak didukung di Amazon EMR versi 5.23.0 hingga 5.29.0.
Mengkonfigurasi ulang hdfs-encryption-zones klasifikasi atau klasifikasi konfigurasi KMS Hadoop tidak didukung pada klaster EMR Amazon dengan beberapa node primer.
Amazon EMR saat ini tidak mendukung permintaan konfigurasi ulang tertentu untuk penjadwal kapasitas YARN yang memerlukan memulai ulang YARN. ResourceManager Misalnya, Anda tidak dapat menghapus antrean sepenuhnya.
Ketika YARN perlu dimulai ulang, semua pekerjaan YARN yang berjalan biasanya dihentikan dan hilang. Hal ini dapat menyebabkan penundaan pemrosesan data. Untuk menjalankan pekerjaan YARN selama restart YARN, Anda dapat membuat klaster EMR Amazon dengan beberapa node utama atau menyetel yarn.resourcemanager.recovery.enabled ke dalam klasifikasi konfigurasi yarn-site Anda. true Untuk informasi selengkapnya tentang penggunaan beberapa node master, lihat YARN ketersediaan tinggi ResourceManager.

Mengkonfigurasi ulang armada instance

Using the AWS CLI

Gunakan modify-instance-fleet perintah untuk menentukan konfigurasi baru untuk armada instance di cluster yang sedang berjalan.

catatan

Dalam contoh berikut, ganti j-2 AL4 XXXXXX5 T9 dengan ID cluster Anda, dan ganti if-1xxxxxxx9 dengan ID armada instance Anda.

Contoh - Ganti konfigurasi untuk armada instance

Awas

Tentukan semua InstanceTypeConfig bidang yang Anda gunakan saat peluncuran. Tidak termasuk bidang dapat mengakibatkan spesifikasi penimpaan yang Anda nyatakan saat peluncuran. Lihat InstanceTypeConfiguntuk daftar.

Contoh berikut mereferensikan file JSON konfigurasi bernama InstanceFleet.json untuk mengedit properti pemeriksa kesehatan disk YARN NodeManager untuk armada instance.

Modifikasi Armada Instance JSON

Siapkan klasifikasi konfigurasi Anda, dan simpan sebagai InstanceFleet.json di direktori yang sama di mana Anda akan menjalankan perintah.


{
    "InstanceFleetId":"if-1xxxxxxx9",
    "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
               other InstanceTypeConfig fields
                "Configurations": [
                    {
                        "Classification": "yarn-site",
                        "Properties": {
                            "yarn.nodemanager.disk-health-checker.enable":"true",
                            "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
                        }
                    }
                ]
            },
            {
                "InstanceType": "r5.xlarge",
               other InstanceTypeConfig fields
                "Configurations": [
                    {
                        "Classification": "yarn-site",
                        "Properties": {
                            "yarn.nodemanager.disk-health-checker.enable":"false",
                            "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"70.0"
                        }
                    }
                ]
            }
        ]

Jalankan perintah berikut.


aws emr modify-instance-fleet \
--cluster-id j-2AL4XXXXXX5T9 \
--region us-west-2 \
--instance-fleet instanceFleet.json

Contoh - Tambahkan konfigurasi ke armada instance

Jika Anda ingin menambahkan konfigurasi ke jenis instans, Anda harus menyertakan semua konfigurasi yang ditentukan sebelumnya untuk jenis instance tersebut dalam ModifyInstanceFleet permintaan baru Anda. Jika tidak, konfigurasi yang ditentukan sebelumnya akan dihapus.

Contoh berikut menambahkan properti untuk pemeriksa memori NodeManager virtual YARN. Konfigurasi juga menyertakan nilai yang ditentukan sebelumnya untuk pemeriksa kesehatan NodeManager disk YARN sehingga nilainya tidak akan ditimpa.

Siapkan konten berikut di InstanceFleet.json dan simpan di direktori yang sama di mana Anda akan menjalankan perintah.


{
    "InstanceFleetId":"if-1xxxxxxx9",
    "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
                other InstanceTypeConfig fields
                "Configurations": [
                    {
                        "Classification": "yarn-site",
                        "Properties": {
                            "yarn.nodemanager.disk-health-checker.enable":"true",
                            "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0",
                            "yarn.nodemanager.vmem-check-enabled":"true",
                            "yarn.nodemanager.vmem-pmem-ratio":"3.0"
                        }
                    }
                ]
            },
            {
                "InstanceType": "r5.xlarge",
                other InstanceTypeConfig fields
                "Configurations": [
                    {
                        "Classification": "yarn-site",
                        "Properties": {
                            "yarn.nodemanager.disk-health-checker.enable":"false",
                            "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"70.0"
                        }
                    }
                ]
            }
        ]      
}

Jalankan perintah berikut.


aws emr modify-instance-fleet \
--cluster-id j-2AL4XXXXXX5T9 \
--region us-west-2 \
--instance-fleet instanceFleet.json

using the Java SDK

catatan

Dalam contoh berikut, ganti j-2 AL4 XXXXXX5 T9 dengan ID cluster Anda, dan ganti if-1xxxxxxx9 dengan ID armada instance Anda.

Cuplikan kode berikut menyediakan konfigurasi baru untuk armada instance menggunakan AWS SDK for Java.


AWSCredentials credentials = new BasicAWSCredentials("access-key", "secret-key");
AmazonElasticMapReduce emr = new AmazonElasticMapReduceClient(credentials);

Map<String,String> hiveProperties = new HashMap<String,String>();
hiveProperties.put("hive.join.emit.interval","1000");
hiveProperties.put("hive.merge.mapfiles","true");
        
Configuration newConfiguration = new Configuration()
    .withClassification("hive-site")
    .withProperties(hiveProperties);
    
List<InstanceTypeConfig> instanceTypeConfigList = new ArrayList<>();

for (InstanceTypeConfig instanceTypeConfig : currentInstanceTypeConfigList) {
    instanceTypeConfigList.add(new InstanceTypeConfig()
        .withInstanceType(instanceTypeConfig.getInstanceType())
        .withBidPrice(instanceTypeConfig.getBidPrice())
        .withWeightedCapacity(instanceTypeConfig.getWeightedCapacity())
        .withConfigurations(newConfiguration)
    );
}

InstanceFleetModifyConfig instanceFleetModifyConfig = new InstanceFleetModifyConfig()
    .withInstanceFleetId("if-1xxxxxxx9")
    .withInstanceTypeConfigs(instanceTypeConfigList);
    
ModifyInstanceFleetRequest modifyInstanceFleetRequest = new ModifyInstanceFleetRequest()
    .withInstanceFleet(instanceFleetModifyConfig)
    .withClusterId("j-2AL4XXXXXX5T9");

emrClient.modifyInstanceFleet(modifyInstanceFleetRequest);

anchor anchor

Gunakan modify-instance-fleet perintah untuk menentukan konfigurasi baru untuk armada instance di cluster yang sedang berjalan.

catatan

Dalam contoh berikut, ganti j-2 AL4 XXXXXX5 T9 dengan ID cluster Anda, dan ganti if-1xxxxxxx9 dengan ID armada instance Anda.

Contoh - Ganti konfigurasi untuk armada instance

Awas

Contoh berikut mereferensikan file JSON konfigurasi bernama InstanceFleet.json untuk mengedit properti pemeriksa kesehatan disk YARN NodeManager untuk armada instance.

Modifikasi Armada Instance JSON

Siapkan klasifikasi konfigurasi Anda, dan simpan sebagai InstanceFleet.json di direktori yang sama di mana Anda akan menjalankan perintah.


{
    "InstanceFleetId":"if-1xxxxxxx9",
    "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
               other InstanceTypeConfig fields
                "Configurations": [
                    {
                        "Classification": "yarn-site",
                        "Properties": {
                            "yarn.nodemanager.disk-health-checker.enable":"true",
                            "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
                        }
                    }
                ]
            },
            {
                "InstanceType": "r5.xlarge",
               other InstanceTypeConfig fields
                "Configurations": [
                    {
                        "Classification": "yarn-site",
                        "Properties": {
                            "yarn.nodemanager.disk-health-checker.enable":"false",
                            "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"70.0"
                        }
                    }
                ]
            }
        ]

Jalankan perintah berikut.


aws emr modify-instance-fleet \
--cluster-id j-2AL4XXXXXX5T9 \
--region us-west-2 \
--instance-fleet instanceFleet.json

Contoh - Tambahkan konfigurasi ke armada instance

Siapkan konten berikut di InstanceFleet.json dan simpan di direktori yang sama di mana Anda akan menjalankan perintah.


{
    "InstanceFleetId":"if-1xxxxxxx9",
    "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
                other InstanceTypeConfig fields
                "Configurations": [
                    {
                        "Classification": "yarn-site",
                        "Properties": {
                            "yarn.nodemanager.disk-health-checker.enable":"true",
                            "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0",
                            "yarn.nodemanager.vmem-check-enabled":"true",
                            "yarn.nodemanager.vmem-pmem-ratio":"3.0"
                        }
                    }
                ]
            },
            {
                "InstanceType": "r5.xlarge",
                other InstanceTypeConfig fields
                "Configurations": [
                    {
                        "Classification": "yarn-site",
                        "Properties": {
                            "yarn.nodemanager.disk-health-checker.enable":"false",
                            "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"70.0"
                        }
                    }
                ]
            }
        ]      
}

Jalankan perintah berikut.


aws emr modify-instance-fleet \
--cluster-id j-2AL4XXXXXX5T9 \
--region us-west-2 \
--instance-fleet instanceFleet.json

Memecahkan masalah konfigurasi ulang armada contoh

Jika proses konfigurasi ulang untuk jenis instans apa pun dalam armada instans gagal, Amazon EMR mengembalikan konfigurasi ulang yang sedang berlangsung dan mencatat pesan kegagalan menggunakan peristiwa Peristiwa. AAmazon CloudWatch Peristiwa ini menyediakan ringkasan singkat dari kegagalan konfigurasi ulang. Ia mendaftar instans yang konfigurasi ulangnya gagal dan pesan kegagalan yang sesuai. Berikut ini adalah contoh pesan kegagalan.

Amazon EMR couldn't revert the instance fleet if-1xxxxxxx9 in the Amazon EMR cluster j-2AL4XXXXXX5T9 (ExampleClusterName) to the previously successful configuration at 2021-01-01 00:00 UTC. The reconfiguration reversion failed because of Instance i-xxxxxxx1, i-xxxxxxx2, i-xxxxxxx3 failed with message "This is an example failure message"...

Untuk mengakses log penyediaan node

Gunakan SSH untuk terhubung ke simpul di mana konfigurasi ulang gagal dilakukan. Untuk petunjuknya, lihat Connect ke instans Linux Anda di Amazon Elastic Compute Cloud.

Accessing logs by connecting to a node

Arahkan ke direktori berikut, yang berisi simpul yang menyediakan berkas log.
```
/mnt/var/log/provision-node/
```
Buka subdirektori laporan dan cari laporan penyediaan node untuk konfigurasi ulang Anda. Direktori laporan mengatur log berdasarkan nomor versi konfigurasi ulang, pengenal unik universal (UUID), alamat IP instans EC2 Amazon, dan stempel waktu. Setiap laporan adalah file YAML terkompresi yang berisi informasi rinci tentang proses konfigurasi ulang. Berikut ini adalah contoh nama dan path file laporan.
```
/reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz
```
Anda dapat memeriksa laporan menggunakan penampil file seperti zless, seperti pada contoh berikut.
```
zless 202104061715.yaml.gz
```

Accessing logs using Amazon S3

Masuk ke AWS Management Console dan buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/ Buka bucket Amazon S3 yang Anda tetapkan saat Anda mengkonfigurasi klaster untuk mengarsip berkas log.

Arahkan ke folder berikut, yang berisi simpul yang menyediakan berkas log:


amzn-s3-demo-bucket/elasticmapreduce/cluster id/node/instance id/provision-node/

Buka folder laporan dan cari laporan penyediaan node untuk konfigurasi ulang Anda. Folder laporan mengatur log berdasarkan nomor versi konfigurasi ulang, pengenal unik universal (UUID), alamat IP instans EC2 Amazon, dan stempel waktu. Setiap laporan adalah file YAML terkompresi yang berisi informasi rinci tentang proses konfigurasi ulang. Berikut ini adalah contoh nama dan path file laporan.
```
/reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz
```

Untuk melihat berkas log, Anda dapat mengunduhnya dari Amazon S3 ke mesin lokal Anda sebagai file teks. Untuk instruksi, lihat Mengunduh objek.

anchor anchor

Arahkan ke direktori berikut, yang berisi simpul yang menyediakan berkas log.
```
/mnt/var/log/provision-node/
```
Buka subdirektori laporan dan cari laporan penyediaan node untuk konfigurasi ulang Anda. Direktori laporan mengatur log berdasarkan nomor versi konfigurasi ulang, pengenal unik universal (UUID), alamat IP instans EC2 Amazon, dan stempel waktu. Setiap laporan adalah file YAML terkompresi yang berisi informasi rinci tentang proses konfigurasi ulang. Berikut ini adalah contoh nama dan path file laporan.
```
/reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz
```
Anda dapat memeriksa laporan menggunakan penampil file seperti zless, seperti pada contoh berikut.
```
zless 202104061715.yaml.gz
```

Setiap file berkas log berisi rincian laporan penyediaan rinci untuk konfigurasi ulang terkait. Untuk menemukan informasi pesan kesalahan, Anda dapat mencari tingkat log err laporan. Format laporan tergantung pada versi Amazon EMR pada klaster Anda. Contoh berikut menunjukkan informasi kesalahan untuk Amazon EMR versi rilis 5.32.0 dan 6.2.0 dan kemudian menggunakan format berikut:


- level: err
  message: 'Example detailed error message.'
  source: Puppet
  tags:
  - err
  time: '2021-01-01 00:00:00.000000 +00:00'
  file: 
  line:

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Merencanakan dan mengonfigurasi armada instans untuk klaster EMR Amazon

Gunakan reservasi kapasitas dengan armada instans di Amazon EMR

Di halaman ini

Pilih preferensi cookie Anda

Sesuaikan preferensi cookie

Penting

Kinerja

Fungsional

Iklan

Tidak dapat menyimpan preferensi cookie

Mengkonfigurasi ulang armada instans untuk klaster EMR Amazon Anda

catatan

Perilaku konfigurasi ulang

Batasan

Mengkonfigurasi ulang armada instance

catatan

Awas

catatan

catatan

Awas

Memecahkan masalah konfigurasi ulang armada contoh

Untuk mengakses log penyediaan node

Di halaman ini

Apakah halaman ini membantu Anda?

Topik berikutnya:

Topik sebelumnya:

Perlu bantuan?