Amazon EMR rilis 6.4.0

• Versi aplikasi di Amazon EMR 7.x rilis

• Versi aplikasi di Amazon EMR 6.x rilis

• Versi aplikasi di Amazon EMR 5.x rilis

• Versi aplikasi di Amazon EMR 4.x rilis

Aplikasi-aplikasi yang didukung

• AWS SDK for Java versi 1.12.31

• CloudWatch Wastafel versi 2.2.0

• DynamoDB Connector versi 4.16.0

• EMRFS versi 2.47.0

• Amazon EMR Goodies versi 3.2.0

• Amazon EMR Kinesis Connector versi 3.5.0

• Amazon EMR Record Server versi 2.1.0

• Amazon EMR Scripts versi 2.5.0

• Flink versi 1.13.1

• Ganglia versi 3.7.2

• AWS Glue Hive Metastore Client versi 3.3.0

• Hadoop versi 3.2.1-amzn-4

• HBase versi 2.4.4-amzn-0

• HBase-operator-tools 1.1.0

• HCatalog versi 3.1.2-amzn-5

• Hive versi 3.1.2-amzn-5

• Hudi versi 0.8.0-amzn-0

• Hue versi 4.9.0

• Versi Java JDK Corretto-8.302.08.1 (build 1.8.0_302-b08)

• JupyterHub versi 1.4.1

• Livy versi 0.7.1-inkubasi

• MXnet versi 1.8.0

• Oozie versi 5.2.1

• Phoenix versi 5.1.2

• Pig versi 0.17.0

• Versi Presto 0.254.1-amzn-0

• Trino versi 359

• Apache Ranger KMS (enkripsi transparan multi-utama) versi 2.0.0

• ranger-plugin 2.0.1-amzn-0

• plugin ranger-s3 1.2.0

• SageMaker Spark SDK versi 1.4.1

• Scala versi 2.12.10 (OpenJDK 64-Bit Server VM, Java 1.8.0_282)

• Spark versi 3.1.2-amzn-0

• spark-rapids 0.4.1

• Sqoop versi 1.4.7

• TensorFlow versi 2.4.1

• tez versi 0.9.2

• Zeppelin versi 0.9.0

• Zookeeper versi 3.5.7

• Konektor dan driver: DynamoDB Connector 4.16.0

Fitur baru

• [Penskalaan terkelola] Pengoptimalan penskalaan terkelola data Spark shuffle - Untuk Amazon EMR versi 5.34.0 dan yang lebih baru, dan EMR versi 6.4.0 dan yang lebih baru, penskalaan terkelola sekarang sadar data shuffle Spark (data yang Spark mendistribusikan ulang di seluruh partisi untuk melakukan operasi tertentu). Untuk informasi selengkapnya tentang operasi shuffle, lihat Menggunakan penskalaan terkelola EMR di Amazon EMR di Panduan Manajemen Amazon EMR dan Panduan Pemrograman Spark.

• Pada cluster Apache Ranger-enabled Amazon EMR, Anda dapat menggunakan Apache Spark SQL untuk memasukkan data ke dalam atau memperbarui tabel metastore Apache Hive menggunakanINSERT INTO,INSERT OVERWRITE, dan. ALTER TABLE Saat menggunakan ALTER TABLE dengan Spark SQL, lokasi partisi harus menjadi direktori anak dari lokasi tabel. Amazon EMR saat ini tidak mendukung penyisipan data ke partisi di mana lokasi partisi berbeda dari lokasi tabel.

• PrestoSQL telah berganti nama menjadi Trino.

• Hive: Eksekusi kueri SELECT sederhana dengan klausa LIMIT dipercepat dengan menghentikan eksekusi kueri segera setelah jumlah catatan yang disebutkan dalam klausa LIMIT diambil. Kueri SELECT sederhana adalah kueri yang tidak memiliki GROUP BY/ORDER by klausa atau kueri yang tidak memiliki tahap peredam. Misalnya, SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>.

Kontrol Konkurensi Hudi

• Hudi sekarang mendukung Optimistic Concurrency Control (OCC), yang dapat dimanfaatkan dengan operasi tulis seperti UPSERT dan INSERT untuk memungkinkan perubahan dari beberapa penulis ke tabel Hudi yang sama. Ini adalah OCC tingkat file, jadi dua commit (atau penulis) apa pun dapat menulis ke tabel yang sama, jika perubahannya tidak bertentangan. Untuk informasi lebih lanjut, lihat kontrol konkurensi Hudi.

• Cluster Amazon EMR telah menginstal Zookeeper, yang dapat dimanfaatkan sebagai penyedia kunci untuk OCC. Untuk mempermudah penggunaan fitur ini, cluster Amazon EMR memiliki properti berikut yang telah dikonfigurasi sebelumnya:

  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi

  Untuk mengaktifkan OCC, Anda perlu mengonfigurasi properti berikut dengan opsi pekerjaan Hudi mereka atau di tingkat cluster menggunakan API konfigurasi Amazon EMR:

  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)

Hudi Monitoring: CloudWatch Integrasi Amazon untuk melaporkan Hudi Metrics

• Amazon EMR mendukung penerbitan Hudi Metrics ke Amazon. CloudWatch Ini diaktifkan dengan mengatur konfigurasi yang diperlukan berikut:

  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH

• Berikut ini adalah konfigurasi Hudi opsional yang dapat Anda ubah:

  Pengaturan	Deskripsi	Nilai
  hoodie.metrics.cloudwatch.report.period.second	Frekuensi (dalam detik) untuk melaporkan metrik ke Amazon CloudWatch	Nilai default adalah 60s, yang baik-baik saja untuk resolusi default satu menit yang ditawarkan oleh Amazon CloudWatch
  hoodie.metrics.cloudwatch.metric.prefix	Awalan yang akan ditambahkan ke setiap nama metrik	Nilai default kosong (tidak ada awalan)
  ruang nama hoodie.metrics.cloudwatch.	CloudWatch Namespace Amazon di mana metrik dipublikasikan	Nilai default adalah Hudi
  hoodie.metrics.cloudwatch.max DatumsPerRequest	Jumlah maksimum tanggal yang akan dimasukkan dalam satu permintaan ke Amazon CloudWatch	Nilai default adalah 20, yang sama dengan CloudWatch default Amazon

Dukungan dan peningkatan konfigurasi Amazon EMR Hudi

• Pelanggan sekarang dapat memanfaatkan API Konfigurasi EMR dan fitur Rekonfigurasi untuk mengonfigurasi konfigurasi Hudi di tingkat cluster. Dukungan konfigurasi berbasis file baru telah diperkenalkan melalui/etc/hudi/conf/hudi-defaults.conf di sepanjang garis aplikasi lain seperti Spark, Hive dll. EMR mengonfigurasi beberapa default untuk meningkatkan pengalaman pengguna:

  - hoodie.datasource.hive_sync.jdbcurl dikonfigurasi ke URL server cluster Hive dan tidak perlu lagi ditentukan. Ini sangat berguna saat menjalankan pekerjaan dalam mode cluster Spark, di mana sebelumnya Anda harus menentukan IP master Amazon EMR.

  — Konfigurasi khusus HBase, yang berguna untuk menggunakan indeks HBase dengan Hudi.

  — Konfigurasi khusus penyedia kunci Zookeeper, seperti yang dibahas di bawah kontrol konkurensi, yang membuatnya lebih mudah untuk menggunakan Optimistic Concurrency Control (OCC).

• Perubahan tambahan telah diperkenalkan untuk mengurangi jumlah konfigurasi yang harus Anda lewati, dan untuk menyimpulkan secara otomatis jika memungkinkan:

  — partitionBy Kata kunci dapat digunakan untuk menentukan kolom partisi.

  — Saat mengaktifkan Hive Sync, tidak lagi wajib untuk lulusHIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY. Nilai-nilai tersebut dapat disimpulkan dari nama tabel Hudi dan bidang partisi.

  — tidak KEYGENERATOR_CLASS_OPT_KEY wajib untuk lulus, dan dapat disimpulkan dari kasus SimpleKeyGenerator dan ComplexKeyGenerator yang lebih sederhana.

Peringatan Hudi

• Hudi tidak mendukung eksekusi vektor di tabel Hive for Merge on Read (MoR) dan Bootstrap. Misalnya, count(*) gagal dengan tabel waktu nyata Hudi saat disetel hive.vectorized.execution.enabled ke true. Sebagai solusinya, Anda dapat menonaktifkan pembacaan vektor dengan menyetel ke. hive.vectorized.execution.enabled false

• Multi-writer dukungan tidak kompatibel dengan fitur bootstrap Hudi.

• Flink Streamer dan Flink SQL adalah fitur eksperimental dalam rilis ini. Fitur-fitur ini tidak disarankan untuk digunakan dalam penerapan produksi.

Perubahan, penyempurnaan, dan masalah yang diselesaikan

Ini adalah rilis untuk memperbaiki masalah dengan Amazon EMR Scaling ketika gagal up/scale menurunkan skala cluster dengan sukses atau menyebabkan kegagalan aplikasi.

• Sebelumnya, restart manual pengelola sumber daya pada cluster multi-master menyebabkan daemon on-cluster Amazon EMR, seperti Zookeeper, memuat ulang semua node yang sebelumnya dinonaktifkan atau hilang di file znode Zookeeper. Hal ini menyebabkan batas default terlampaui dalam situasi tertentu. Amazon EMR sekarang menghapus catatan node yang dinonaktifkan atau hilang yang lebih tua dari satu jam dari file Zookeeper dan batas internal telah ditingkatkan.

• Memperbaiki masalah ketika permintaan penskalaan gagal untuk cluster besar yang banyak digunakan saat daemon on-cluster Amazon EMR menjalankan aktivitas pemeriksaan kesehatan, seperti mengumpulkan status node YARN dan status simpul HDFS. Ini terjadi karena daemon on-cluster tidak dapat mengkomunikasikan data status kesehatan node ke komponen Amazon EMR internal.

• Peningkatan daemon on-cluster EMR untuk melacak status node dengan benar ketika alamat IP digunakan kembali untuk meningkatkan keandalan selama operasi penskalaan.

• SPARK-29683. Memperbaiki masalah ketika kegagalan pekerjaan terjadi selama penurunan skala cluster karena Spark mengasumsikan semua node yang tersedia dicantumkan di daftar yang dibantah.

• YARN-9011. Memperbaiki masalah ketika kegagalan pekerjaan terjadi karena kondisi balapan dalam penonaktifan YARN saat cluster mencoba menaikkan atau menurunkan skala.

• Memperbaiki masalah dengan kegagalan langkah atau pekerjaan selama penskalaan cluster dengan memastikan bahwa status node selalu konsisten antara daemon on-cluster Amazon EMR dan. YARN/HDFS

• Memperbaiki masalah ketika operasi cluster seperti penurunan skala dan pengiriman langkah gagal untuk cluster Amazon EMR yang diaktifkan dengan otentikasi Kerberos. Ini karena daemon on-cluster Amazon EMR tidak memperbarui tiket Kerberos, yang diperlukan untuk berkomunikasi dengan aman dengan HDFS/YARN berjalan di node utama.

• Mengkonfigurasi cluster untuk memperbaiki masalah kinerja Apache YARN Timeline Server versi 1 dan 1.5

  Apache YARN Timeline Server versi 1 dan 1.5 dapat menyebabkan masalah kinerja dengan cluster EMR besar yang sangat aktif, terutama denganyarn.resourcemanager.system-metrics-publisher.enabled=true, yang merupakan pengaturan default di Amazon EMR. YARN Timeline Server v2 sumber terbuka memecahkan masalah kinerja yang terkait dengan skalabilitas YARN Timeline Server.

  Solusi lain untuk masalah ini meliputi:

  • Mengkonfigurasi yarn.resourcemanager.system-metrics-publisher.enabled=false di yarn-site.xml.

  • Mengaktifkan perbaikan untuk masalah ini saat membuat cluster, seperti dijelaskan di bawah ini.

  Rilis Amazon EMR berikut berisi perbaikan untuk masalah kinerja YARN Timeline Server ini.

  EMR 5.30.2, 5.31.1, 5.32.1, 5.33.1, 5.34.x, 6.0.1, 6.1.1, 6.2.1, 6.3.1, 6.4.x

  Untuk mengaktifkan perbaikan pada salah satu rilis Amazon EMR yang ditentukan di atas, atur properti ini ke true dalam file JSON konfigurasi yang diteruskan menggunakan parameter aws emr create-cluster perintah:--configurations file://./configurations.json. Atau aktifkan perbaikan menggunakan UI konsol konfigurasi ulang.

  Contoh isi file configurations.json:

  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]

• WebHDFS dan server HttpFS dinonaktifkan secara default. Anda dapat mengaktifkan kembali WebHDFS menggunakan konfigurasi Hadoop,. dfs.webhdfs.enabled Server HttpFS dapat dimulai dengan menggunakansudo systemctl start hadoop-httpfs.

• HTTPS sekarang diaktifkan secara default untuk repositori Amazon Linux. Jika Anda menggunakan kebijakan Amazon S3 VPCE untuk membatasi akses ke bucket tertentu, Anda harus menambahkan bucket Amazon Linux ARN baru arn:aws:s3:::amazonlinux-2-repos-$region/* ke kebijakan Anda (ganti $region dengan wilayah tempat titik akhir berada). Untuk informasi lebih lanjut, lihat topik ini di forum AWS diskusi. Pengumuman: Amazon Linux 2 sekarang mendukung kemampuan untuk menggunakan HTTPS saat menghubungkan ke repositori paket.

• Hive: Performa kueri tulis ditingkatkan dengan mengaktifkan penggunaan direktori scratch pada HDFS untuk pekerjaan terakhir. Data sementara untuk pekerjaan akhir ditulis ke HDFS alih-alih Amazon S3 dan kinerja ditingkatkan karena data dipindahkan dari HDFS ke lokasi tabel akhir (Amazon S3), bukan di antara perangkat Amazon S3.

• Hive: Peningkatan waktu kompilasi kueri hingga 2,5x dengan Pemangkasan Partisi Metastore Glue.

• Secara default, ketika UDF bawaan diteruskan oleh Hive ke Server Metastore Hive, hanya sebagian dari UDF bawaan yang diteruskan ke Glue Metastore karena Glue hanya mendukung operator ekspresi terbatas. Jika Anda mengaturhive.glue.partition.pruning.client=true, maka semua pemangkasan partisi terjadi di sisi klien. Jika Anda mengaturhive.glue.partition.pruning.server=true, maka semua pemangkasan partisi terjadi di sisi server.

Masalah yang diketahui

• Kueri Hue tidak berfungsi di Amazon EMR 6.4.0 karena server Apache Hadoop HttpFS dinonaktifkan secara default. Untuk menggunakan Hue di Amazon EMR 6.4.0, jalankan server HttpFS secara manual di node utama Amazon EMR menggunakansudo systemctl start hadoop-httpfs, atau gunakan langkah Amazon EMR.

• Fitur Amazon EMR Notebooks yang digunakan dengan peniruan pengguna Livy tidak berfungsi karena HttpFS dinonaktifkan secara default. Dalam hal ini, notebook EMR tidak dapat terhubung ke cluster yang mengaktifkan peniruan Livy. Solusinya adalah memulai server HttpFS sebelum menghubungkan notebook EMR ke cluster menggunakan. sudo systemctl start hadoop-httpfs

• Di Amazon EMR versi 6.4.0, Phoenix tidak mendukung komponen konektor Phoenix.

• Untuk menggunakan tindakan Spark dengan Apache Oozie, Anda harus menambahkan konfigurasi berikut ke file Oozie workflow.xml Anda. Jika tidak, beberapa pustaka penting seperti Hadoop dan EMRFS akan hilang dari classpath eksekutor Spark yang diluncurkan Oozie.

  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>

• Saat menggunakan Spark dengan pemformatan lokasi partisi Hive untuk membaca data di Amazon S3, dan menjalankan Spark di Amazon EMR rilis 5.30.0 hingga 5.36.0, dan 6.2.0 hingga 6.9.0, Anda mungkin mengalami masalah yang mencegah cluster membaca data dengan benar. Hal ini dapat terjadi jika partisi Anda memiliki semua karakteristik berikut:

  • Dua atau lebih partisi dipindai dari tabel yang sama.

  • Setidaknya satu jalur direktori partisi adalah awalan dari setidaknya satu jalur direktori partisi lainnya, misalnya, s3://bucket/table/p=a adalah awalan daris3://bucket/table/p=a b.

  • Karakter pertama yang mengikuti awalan di direktori partisi lain memiliki UTF-8 nilai yang kurang dari / karakter (U+002F). Misalnya, karakter spasi (U+0020) yang terjadi antara a dan b dalam termasuk dalam kategori s3://bucket/table/p=a b ini. Perhatikan bahwa ada 14 karakter non-kontrol lainnya:!"#$%&‘()*+,-. Untuk informasi selengkapnya, lihat tabel UTF-8 pengkodean dan karakter Unicode.

  Sebagai solusi untuk masalah ini, atur spark.sql.sources.fastS3PartitionDiscovery.enabled konfigurasi ke false dalam klasifikasispark-defaults.