Amazon EMR merilis 5.30.1

• Versi aplikasi di Amazon EMR 7.x rilis

• Versi aplikasi di Amazon EMR 6.x rilis

• Versi aplikasi di Amazon EMR 5.x rilis

• Versi aplikasi di Amazon EMR 4.x rilis

Perubahan, penyempurnaan, dan masalah yang diselesaikan

• EMRRilis Amazon yang lebih baru memperbaiki masalah dengan batas “Max open files” yang lebih rendah pada yang lebih lama AL2 di AmazonEMR. Amazon EMR merilis 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 dan yang lebih baru sekarang menyertakan perbaikan permanen dengan pengaturan “Max open files” yang lebih tinggi.

• Masalah di mana proses pengendali instans melahirkan jumlah proses yang tak terbatas telah diperbaiki.

• Masalah di mana Hue tidak dapat menjalankan kueri Hive, menampilkan pesan "basis data terkunci" dan mencegah eksekusi kueri telah diperbaiki.

• Memperbaiki masalah Spark untuk memungkinkan lebih banyak tugas berjalan secara bersamaan di cluster. EMR

• Perbaikan terhadap masalah notebook Jupyter yang menyebabkan "kesalahan terlalu banyak file terbuka" di server Jupyter.

• Perbaikan terhadap masalah dengan waktu mulai klaster.

Fitur baru

• UI Tez dan antarmuka aplikasi persisten server YARN timeline tersedia dengan Amazon EMR versi 6.x, dan EMR versi 5.30.1 dan yang lebih baru. Akses tautan sekali klik ke riwayat aplikasi persisten memungkinkan Anda mengakses riwayat pekerjaan dengan cepat tanpa menyiapkan proxy web melalui SSH koneksi. Log untuk klaster aktif dan yang dihentikan tersedia selama 30 hari setelah aplikasi berakhir. Untuk informasi selengkapnya, lihat Melihat Antarmuka Pengguna Aplikasi Persisten di Panduan EMR Manajemen Amazon.

• EMREksekusi notebook APIs tersedia untuk mengeksekusi EMR notebook melalui skrip atau baris perintah. Kemampuan untuk memulai, menghentikan, membuat daftar, dan menjelaskan eksekusi EMR notebook tanpa AWS konsol memungkinkan Anda mengontrol buku catatan secara terprogram. EMR Menggunakan sel notebook parameter, Anda dapat memberikan nilai parameter yang berbeda ke notebook tanpa harus membuat salinan notebook untuk setiap set baru nilai paramter. Lihat EMRAPITindakan. Untuk kode contoh, lihat Contoh perintah untuk menjalankan EMR Notebook secara terprogram.

Masalah yang diketahui

• Turunkan batas “Maks open files” pada yang lebih lama AL2 [diperbaiki dalam rilis yang lebih baru]. EMRRilis Amazon: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, dan emr-6.2.0 didasarkan pada versi lama Linux ofAmazon 2 ()AL2, yang memiliki pengaturan ulimit yang lebih rendah untuk “File terbuka maksimum” ketika cluster Amazon dibuat dengan default. EMR AMI Amazon EMR merilis 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 dan kemudian menyertakan perbaikan permanen dengan pengaturan “Max open files” yang lebih tinggi. Rilis dengan batas file terbuka yang lebih rendah menyebabkan kesalahan “Terlalu banyak file terbuka” saat mengirimkan pekerjaan Spark. Dalam rilis yang terkena dampak, EMR default Amazon AMI memiliki pengaturan ulimit default 4096 untuk “File terbuka maksimum,” yang lebih rendah dari batas file 65536 di Linux 2. latestAmazon AMI Pengaturan ulimit yang lebih rendah untuk "Maksimal file terbuka" menyebabkan kegagalan tugas Spark ketika driver dan pelaksana mencoba untuk membuka lebih dari 4096 file. Untuk memperbaiki masalah ini, Amazon EMR memiliki skrip bootstrap action (BA) yang menyesuaikan pengaturan ulimit pada pembuatan cluster.

  Jika Anda menggunakan EMR versi Amazon lama yang tidak memiliki perbaikan permanen untuk masalah ini, solusi berikut memungkinkan Anda untuk secara eksplisit menyetel ulimit pengontrol instans ke maksimum 65536 file.

  Mengatur secara eksplisit ulimit dari baris perintah

  1. Edit /etc/systemd/system/instance-controller.service untuk menambahkan parameter berikut ke bagian Layanan.

     LimitNOFILE=65536

     LimitNPROC=65536

  2. Mulai ulang InstanceController

     $ sudo systemctl daemon-reload

     $ sudo systemctl restart instance-controller

  Tetapkan ulimit menggunakan tindakan bootstrap (BA)

  Anda juga dapat menggunakan skrip tindakan bootstrap (BA) untuk mengkonfigurasi ulimit instans-pengendali menjadi 65536 file saat pembuatan klaster.

  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload

• EMRNotebook

  Fitur yang memungkinkan Anda menginstal kernel dan pustaka Python tambahan pada node primer cluster dinonaktifkan secara default EMR pada versi 5.30.1. Untuk informasi selengkapnya tentang fitur ini, lihat Menginstal Kernel dan Pustaka Python pada Node Utama Cluster.

  Untuk mengaktifkan fitur, lakukan hal berikut ini:

  1. Pastikan kebijakan izin yang dilampirkan pada peran layanan untuk EMR Notebook memungkinkan tindakan berikut:

     elasticmapreduce:ListSteps

     Untuk informasi selengkapnya, lihat Peran Layanan untuk EMR Buku Catatan.

  2. Gunakan AWS CLI untuk menjalankan langkah pada cluster yang menyiapkan EMR Notebook seperti yang ditunjukkan pada contoh berikut. Ganti us-east-1 dengan Wilayah tempat cluster Anda berada. Untuk informasi selengkapnya, lihat Menambahkan Langkah-langkah untuk Klaster Menggunakan AWS CLI.

     aws emr add-steps  --cluster-id MyClusterID --steps Type=CUSTOM_JAR,Name=EMRNotebooksSetup,ActionOnFailure=CONTINUE,Jar=s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://awssupportdatasvcs.com/bootstrap-actions/EMRNotebooksSetup/emr-notebooks-setup.sh"]
                             

• Penskalaan terkelola

  Operasi penskalaan terkelola pada klaster 5.30.0 dan 5.30.1 tanpa Presto yang diinstal dapat menyebabkan gagal aplikasi atau menyebabkan grup instans seragam atau armada instans tetap berada di negara ARRESTED, terutama ketika operasi menurunkan skala diikuti dengan cepat oleh operasi menaikkan skala.

  Sebagai solusinya, pilih Presto sebagai aplikasi untuk diinstal saat Anda membuat klaster dengan Amazon EMR merilis 5.30.0 dan 5.30.1, meskipun pekerjaan Anda tidak memerlukan Presto.

• Masalah yang diketahui dalam cluster dengan beberapa node primer dan otentikasi Kerberos

  Jika Anda menjalankan cluster dengan beberapa node utama dan otentikasi Kerberos di EMR Amazon rilis 5.20.0 dan yang lebih baru, Anda mungkin mengalami masalah dengan operasi klaster seperti penurunan skala atau pengiriman langkah, setelah klaster berjalan selama beberapa waktu. Periode waktunya tergantung pada masa validitas tiket Kerberos yang Anda tetapkan. Masalah menurunkan skala akan berdampak pada permintaan menurunkan skala otomatis dan permintaan menurunkan skala eksplisit yang Anda kirimkan. Operasi klaster tambahan juga dapat terkena dampak.

  Pemecahan masalah:

  • SSHsebagai hadoop pengguna ke node utama utama EMR cluster dengan beberapa node primer.

  • Jalankan perintah berikut untuk memperbarui tiket Kerberos untuk pengguna hadoop.

    kinit -kt <keytab_file> <principal>

    Biasanya, fail keytab terletak di /etc/hadoop.keytab dan file utama-nya dalam bentuk hadoop/<hostname>@<REALM>.

  catatan

  Pemecahan masalah ini akan efektif untuk jangka waktu selama tiket Kerberos berlaku. Durasi ini adalah 10 jam secara default, tetapi dapat dikonfigurasi dengan pengaturan Kerberos Anda. Anda harus menjalankan kembali perintah di atas setelah tiket Kerberos berakhir.

• Saat Anda menggunakan format lokasi partisi Spark dengan Hive untuk membaca data di Amazon S3, dan Anda menjalankan Spark di Amazon EMR merilis 5.30.0 hingga 5.36.0, dan 6.2.0 hingga 6.9.0, Anda mungkin mengalami masalah yang mencegah klaster membaca data dengan benar. Ini dapat terjadi jika partisi Anda memiliki semua karakteristik berikut:

  • Dua atau lebih partisi dipindai dari tabel yang sama.

  • Setidaknya satu jalur direktori partisi adalah awalan dari setidaknya satu jalur direktori partisi lainnya, misalnya, s3://bucket/table/p=a adalah awalan dari. s3://bucket/table/p=a b

  • Karakter pertama yang mengikuti awalan di direktori partisi lain memiliki nilai UTF -8 yang kurang dari / karakter (U+002F). Misalnya, karakter spasi (U+0020) yang terjadi antara a dan b masuk s3://bucket/table/p=a b termasuk dalam kategori ini. Perhatikan bahwa ada 14 karakter non-kontrol lainnya:!"#$%&‘()*+,-. Untuk informasi selengkapnya, lihat UTF-8 tabel pengkodean dan karakter Unicode.

  Sebagai solusi untuk masalah ini, atur spark.sql.sources.fastS3PartitionDiscovery.enabled konfigurasi ke false dalam klasifikasi. spark-defaults