Amazon EMR rilis 5.30.0

• Versi aplikasi di Amazon EMR 7.x rilis

• Versi aplikasi di Amazon EMR 6.x rilis

• Versi aplikasi di Amazon EMR 5.x rilis

• Versi aplikasi di Amazon EMR 4.x rilis

Upgrade

• Diupgrade AWS SDK for Java ke versi 1.11.759

• Upgrade Amazon SageMaker Spark SDK ke versi 1.3.0

• EMR Record Server telah di-upgrade ke versi 1.6.0

• Flink telah di-upgrade ke versi 1.10.0

• Ganglia telah di-upgrade ke versi 3.7.2

• Diupgrade HBase ke versi 1.4.13

• Hudi telah di-upgrade ke versi 0.5.2-incubating

• Hue telah di-upgrade ke versi 4.6.0

• Upgrade JupyterHub ke versi 1.1.0

• Livy telah di-upgrade ke versi 0.7.0-incubating

• Oozie telah di-upgrade ke versi 5.2.0

• Presto telah di-upgrade ke versi 0.232

• Spark telah di-upgrade ke versi 2.4.5

• Konektor dan Driver yang ditingkatkan: Glue Amazon Connector 1.12.0; Amazon Kinesis Connector 3.5.0; EMR DynamoDB Connector 4.14.0

Fitur baru

• EMR Notebooks – Bila digunakan dengan klaster EMR yang dibuat menggunakan 5.30.0, kernel EMR notebooks akan berjalan di klaster. Hal ini meningkatkan performa notebook dan mengizinkan Anda untuk menginstal dan menyesuaikan kernel. Anda juga dapat menginstal pustaka Python pada node utama cluster. Untuk informasi selengkapnya, lihat Menginstal dan Menggunakan Kernel dan Perpustakaan di Panduan Manajemen EMR.

• Penskalaan Terkelola – Dengan Amazon EMR versi 5.30.0 dan versi yang lebih baru, Anda dapat mengaktifkan penskalaan terkelola EMR untuk secara otomatis menambah atau mengurangi jumlah instans atau unit di klaster Anda berdasarkan beban kerja. Amazon EMR terus mengevaluasi metrik klaster untuk membuat keputusan penskalaan yang mengoptimalkan kluster Anda untuk biaya dan kecepatan. Untuk informasi selengkapnya, lihat Penskalaan Sumber Daya Klaster di Panduan Pengelolaan Amazon EMR.

• Enkripsi file log yang disimpan di Amazon S3 - Dengan Amazon EMR versi 5.30.0 dan yang lebih baru, Anda dapat mengenkripsi file log yang disimpan di Amazon S3 dengan kunci yang dikelola pelanggan. AWS KMS Untuk informasi selengkapnya, lihat Mengenkripsi berkas log yang disimpan di Amazon S3 di Panduan Pengelolaan Amazon EMR.

• Support Amazon Linux 2 – Dalam EMR versi 5.30.0 dan setelahnya, EMR UseSamazon Linux 2 OS. Kustom baru AMIs (Amazon Machine Image) harus didasarkan padaAmazon Linux 2 AMI. Untuk informasi selengkapnya, lihat Menggunakan AMI Kustom.

• Penskalaan Otomatis Presto Graceful – Klaster EMR menggunakan 5.30.0 dapat diatur dengan periode waktu habis penskalaan otomatis yang memberikan Presto waktu tugas untuk menyelesaikan running-nya sebelum simpul mereka dinonaktifkan. Untuk informasi selengkapnya, lihat Menggunakan penskalaan otomatis Presto dengan Graceful Decommission.

• Pembuatan Instans Armada dengan opsi strategi alokasi baru – Opsi strategi alokasi baru tersedia di EMR versi 5.12.1 dan versi setelahnya. Ia menawarkan penyediaan klaster yang lebih cepat, alokasi tempat yang lebih akurat, dan interupsi instans spot yang sedikit. Pembaruan untuk peran layanan EMR non-default diperlukan. Lihat Mengkonfigurasi Armada Instans.

• sudo systemctl berhenti dan sudo systemctl memulai perintah – Dalam EMR versi 5.30.0 dan versi setelahnya, yang menggunakan Amazon Linux 2 OS, EMR menggunakan perintah sudo systemctl stop dan sudo systemctl start untuk memulai ulang layanan. Untuk informasi selengkapnya, lihat Bagaimana cara me-restart layanan di Amazon EMR?.

Perubahan, penyempurnaan, dan masalah yang diselesaikan

• EMR versi 5.30.0 tidak menginstal Ganglia secara default. Anda dapat secara eksplisit memilih Ganglia untuk menginstalnya ketika Anda membuat sebuah klaster.

• Optimalisasi performa Spark.

• Optimalisasi performa Presto.

• Python 3 adalah default untuk Amazon EMR versi 5.30.0 dan versi setelahnya.

• Grup keamanan terkelola default untuk akses layanan di subnet privat telah diperbarui dengan aturan baru. Jika Anda menggunakan grup keamanan kustom untuk akses layanan, Anda harus menyertakan aturan yang sama sesuai grup keamanan terkelola default. Untuk informasi selengkapnya, lihat Grup Keamanan Terkelola-Amazon EMR untuk Akses Layanan (Subnet Privat). Jika Anda menggunakan peran layanan kustom untuk Amazon EMR, Anda harus memberikan izin untuk ec2:describeSecurityGroups sehingga EMR dapat melakukan validasi apakah grup keamanan dibuat dengan benar. Jika Anda menggunakan EMR_DefaultRole, izin ini telah disertakan dalam kebijakan terkelola default.

Masalah yang diketahui

• Turunkan batas “Maks open files” pada yang lebih lama AL2 [diperbaiki dalam rilis yang lebih baru]. Rilis Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, dan emr-6.2.0 didasarkan pada versi lama dari Amazon Linux 2 (), yang memiliki pengaturan ulimit yang lebih rendah untuk “File terbuka maksimum” ketika kluster Amazon EMR dibuat dengan AMI default. AL2 Amazon EMR merilis 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 dan yang lebih baru menyertakan perbaikan permanen dengan pengaturan “Max open files” yang lebih tinggi. Rilis dengan batas file terbuka yang lebih rendah menyebabkan kesalahan “Terlalu banyak file terbuka” saat mengirimkan pekerjaan Spark. Dalam rilis yang terkena dampak, AMI default Amazon EMR memiliki pengaturan ulimit default 4096 untuk “File terbuka maksimum,” yang lebih rendah dari batas file 65536 di AMI Amazon Linux 2 terbaruAmazon. Pengaturan ulimit yang lebih rendah untuk "Maksimal file terbuka" menyebabkan kegagalan tugas Spark ketika driver dan pelaksana mencoba untuk membuka lebih dari 4096 file. Untuk memperbaiki masalah, Amazon EMR memiliki skrip tindakan bootstrap (BA) yang menyesuaikan pengaturan ulimit saat pembuatan klaster.

  Jika Anda menggunakan versi EMR Amazon yang lebih lama yang tidak memiliki perbaikan permanen untuk masalah ini, solusi berikut memungkinkan Anda untuk secara eksplisit mengatur ulimit pengontrol instans ke maksimum 65536 file.

  Mengatur secara eksplisit ulimit dari baris perintah

  1. Edit /etc/systemd/system/instance-controller.service untuk menambahkan parameter berikut ke bagian Layanan.

     LimitNOFILE=65536

     LimitNPROC=65536

  2. Mulai ulang InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  Tetapkan ulimit menggunakan tindakan bootstrap (BA)

  Anda juga dapat menggunakan skrip tindakan bootstrap (BA) untuk mengkonfigurasi ulimit instans-pengendali menjadi 65536 file saat pembuatan klaster.

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• Penskalaan terkelola

  Operasi penskalaan terkelola pada klaster 5.30.0 dan 5.30.1 tanpa Presto yang diinstal dapat menyebabkan gagal aplikasi atau menyebabkan grup instans seragam atau armada instans tetap berada di negara ARRESTED, terutama ketika operasi menurunkan skala diikuti dengan cepat oleh operasi menaikkan skala.

  Sebagai solusinya, pilih Presto sebagai aplikasi untuk diinstal saat Anda membuat cluster dengan Amazon EMR rilis 5.30.0 dan 5.30.1, bahkan jika pekerjaan Anda tidak memerlukan Presto.

• Masalah yang diketahui dalam cluster dengan beberapa node primer dan otentikasi Kerberos

  Jika Anda menjalankan cluster dengan beberapa node utama dan otentikasi Kerberos di Amazon EMR rilis 5.20.0 dan yang lebih baru, Anda mungkin mengalami masalah dengan operasi klaster seperti penurunan skala atau pengiriman langkah, setelah klaster berjalan selama beberapa waktu. Periode waktunya tergantung pada masa validitas tiket Kerberos yang Anda tetapkan. Masalah menurunkan skala akan berdampak pada permintaan menurunkan skala otomatis dan permintaan menurunkan skala eksplisit yang Anda kirimkan. Operasi klaster tambahan juga dapat terkena dampak.

  Pemecahan masalah:

  • SSH sebagai hadoop pengguna ke node utama utama dari cluster EMR dengan beberapa node primer.

  • Jalankan perintah berikut untuk memperbarui tiket Kerberos untuk pengguna hadoop.

    kinit -kt <keytab_file> <principal>

    Biasanya, fail keytab terletak di /etc/hadoop.keytab dan file utama-nya dalam bentuk hadoop/<hostname>@<REALM>.

  catatan

  Pemecahan masalah ini akan efektif untuk jangka waktu selama tiket Kerberos berlaku. Durasi ini adalah 10 jam secara default, tetapi dapat dikonfigurasi dengan pengaturan Kerberos Anda. Anda harus menjalankan kembali perintah di atas setelah tiket Kerberos berakhir.

• Mesin database default untuk Hue 4.6.0 adalah SQLite, yang menyebabkan masalah ketika Anda mencoba menggunakan Hue dengan database eksternal. Untuk memperbaikinya, atur engine di klasifikasi konfigurasi hue-ini Anda menjadi mysql. Masalah ini telah diperbaiki di Amazon EMR versi 5.30.1.

• Saat Anda menggunakan format lokasi partisi Spark dengan Hive untuk membaca data di Amazon S3, dan Anda menjalankan Spark di Amazon EMR rilis 5.30.0 hingga 5.36.0, dan 6.2.0 hingga 6.9.0, Anda mungkin mengalami masalah yang mencegah klaster membaca data dengan benar. Ini dapat terjadi jika partisi Anda memiliki semua karakteristik berikut:

  • Dua atau lebih partisi dipindai dari tabel yang sama.

  • Setidaknya satu jalur direktori partisi adalah awalan dari setidaknya satu jalur direktori partisi lainnya, misalnya, s3://bucket/table/p=a adalah awalan dari. s3://bucket/table/p=a b

  • Karakter pertama yang mengikuti awalan di direktori partisi lain memiliki nilai UTF-8 yang kurang dari / karakter (U+002F). Misalnya, karakter spasi (U+0020) yang terjadi antara a dan b masuk s3://bucket/table/p=a b termasuk dalam kategori ini. Perhatikan bahwa ada 14 karakter non-kontrol lainnya:!"#$%&‘()*+,-. Untuk informasi selengkapnya, lihat tabel pengkodean UTF-8 dan karakter Unicode.

  Sebagai solusi untuk masalah ini, atur spark.sql.sources.fastS3PartitionDiscovery.enabled konfigurasi ke false dalam klasifikasi. spark-defaults