Amazon EMR merilis 5.20.0

• Versi aplikasi di Amazon EMR 7.x rilis

• Versi aplikasi di Amazon EMR 6.x rilis

• Versi aplikasi di Amazon EMR 5.x rilis

• Versi aplikasi di Amazon EMR 4.x rilis

Upgrade

• Flink versi 1.6.2

• HBase1.4.8

• Hive versi 2.3.4

• Hue versi 4.3.0

• MXNet1.3.1

• Presto versi 0.214

• Spark versi 2.4.0

• TensorFlow 1.12.0

• Tez versi 0.9.1

• AWS SDK for Java 1.11.461

Fitur baru

• (22 Januari 2019) Kerberos di Amazon EMR telah ditingkatkan untuk mendukung prinsip otentikasi dari eksternal. KDC Ini memusatkan manajemen utama karena beberapa cluster dapat berbagi satu, eksternal. KDC Selain itu, eksternal KDC dapat memiliki kepercayaan lintas alam dengan domain Active Directory. Hal ini mengizinkan semua klaster untuk melakukan autentikasi prinsipal utama dari Direktori Aktif. Untuk informasi selengkapnya, lihat Menggunakan Otentikasi Kerberos di Panduan Manajemen Amazon EMR.

Perubahan, penyempurnaan, dan masalah yang diselesaikan

• Standar Amazon Linux AMI untuk Amazon EMR

  • Paket Python3 sudah ditingkatkan dari python 3.4 ke 3.6.

• Komitter yang EMRFS dioptimalkan S3

  • Komitter yang EMRFS dioptimalkan S3 sekarang diaktifkan secara default, yang meningkatkan kinerja penulisan. Untuk informasi selengkapnya, lihat Gunakan committer yang EMRFS dioptimalkan S3.

• Hive

  • Di-backport HIVE -16686.

• Glue dengan Spark dan Hive

  • Di EMR 5.20.0 atau yang lebih baru, pemangkasan partisi paralel diaktifkan secara otomatis untuk Spark dan Hive saat AWS Glue Data Catalog digunakan sebagai metastore. Perubahan ini secara signifikan mengurangi waktu perencanaan kueri dengan mengeksekusi beberapa permintaan secara paralel untuk mengambil partisi. Jumlah segmen yang dapat dieksekusi secara bersamaan berkisar antara 1 dan 10. Nilai default-nya adalah 5, yang merupakan pengaturan yang disarankan. Anda dapat mengubahnya dengan menentukan properti aws.glue.partition.num.segments dalam klasifikasi konfigurasi hive-site. Jika terjadi throttling, Anda dapat mematikan fitur ini dengan mengubah nilai-nya menjadi 1. Untuk informasi selengkapnya, lihat Struktur Segmen Glue AWS.

Masalah yang diketahui

• Hue (Diperbaiki di Amazon EMR rilis 5.24.0)

  • Hue berjalan di Amazon EMR tidak mendukung Solr. Dimulai dengan EMR rilis Amazon 5.20.0, masalah kesalahan konfigurasi menyebabkan Solr diaktifkan dan pesan kesalahan yang tidak berbahaya muncul mirip dengan berikut ini:

    Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))

    Untuk mencegah pesan kesalahan Solr muncul:

    1. Connect ke baris perintah node utama menggunakanSSH.

    2. Gunakan editor teks untuk membuka file hue.ini. Sebagai contoh:

       sudo vim /etc/hue/conf/hue.ini

    3. Cari istilah appblacklist dan ubah baris menjadi yang berikut:

       appblacklist = search

    4. Simpan perubahan dan mulai ulang Hue seperti yang ditunjukkan dalam contoh berikut:

       sudo stop hue; sudo start hue

• Tez

  • Masalah ini telah diperbaiki di Amazon EMR 5.22.0.

    Saat Anda terhubung ke UI Tez di http://MasterDNS:8080/tez-ui melalui SSH koneksi ke node utama cluster, kesalahan “Operasi adaptor gagal - Server Timeline () berada di luar jangkauan. ATS Entah itu down, atau tidak CORS diaktifkan “muncul, atau tugas tiba-tiba menunjukkan N/A.

    Hal ini disebabkan oleh UI Tez membuat permintaan ke Server YARN Timeline menggunakan localhost bukan nama host dari node utama. Solusinya, skrip tersedia untuk menjalankan sebagai tindakan bootstrap atau langkah. Skrip memperbarui nama host di file configs.env Tez. Untuk informasi selengkapnya dan lokasi skrip, lihat Petunjuk Bootstrap.

• Di Amazon EMR versi 5.19.0, 5.20.0, dan 5.21.0, label YARN node disimpan dalam direktori. HDFS Dalam beberapa situasi, hal ini menyebabkan penundaan mulai simpul inti dan kemudian menyebabkan klaster mengalami habis waktu dan gagal peluncuran. Dimulai dengan Amazon EMR 5.22.0, masalah ini teratasi. YARNlabel node disimpan pada disk lokal dari setiap node cluster, menghindari dependensi pada. HDFS

• Masalah yang diketahui dalam cluster dengan beberapa node primer dan otentikasi Kerberos

  Jika Anda menjalankan cluster dengan beberapa node utama dan otentikasi Kerberos di EMR Amazon rilis 5.20.0 dan yang lebih baru, Anda mungkin mengalami masalah dengan operasi klaster seperti penurunan skala atau pengiriman langkah, setelah klaster berjalan selama beberapa waktu. Periode waktunya tergantung pada masa validitas tiket Kerberos yang Anda tetapkan. Masalah menurunkan skala akan berdampak pada permintaan menurunkan skala otomatis dan permintaan menurunkan skala eksplisit yang Anda kirimkan. Operasi klaster tambahan juga dapat terkena dampak.

  Pemecahan masalah:

  • SSHsebagai hadoop pengguna ke simpul utama utama EMR cluster dengan beberapa node primer.

  • Jalankan perintah berikut untuk memperbarui tiket Kerberos untuk pengguna hadoop.

    kinit -kt <keytab_file> <principal>

    Biasanya, fail keytab terletak di /etc/hadoop.keytab dan file utama-nya dalam bentuk hadoop/<hostname>@<REALM>.

  catatan

  Pemecahan masalah ini akan efektif untuk jangka waktu selama tiket Kerberos berlaku. Durasi ini adalah 10 jam secara default, tetapi dapat dikonfigurasi dengan pengaturan Kerberos Anda. Anda harus menjalankan kembali perintah di atas setelah tiket Kerberos berakhir.