Amazon EMR merilis 6.4.0

• Versi aplikasi di Amazon EMR 7.x rilis

• Versi aplikasi di Amazon EMR 6.x rilis

• Versi aplikasi di Amazon EMR 5.x rilis

• Versi aplikasi di Amazon EMR 4.x rilis

Aplikasi-aplikasi yang didukung

• AWS SDK for Java versi 1.12.31

• CloudWatch Wastafel versi 2.2.0

• DynamoDB Connector versi 4.16.0

• EMRFSversi 2.47.0

• Amazon EMR Goodies versi 3.2.0

• Konektor EMR Kinesis Amazon versi 3.5.0

• Amazon EMR Record Server versi 2.1.0

• Amazon EMR Scripts versi 2.5.0

• Flink versi 1.13.1

• Ganglia versi 3.7.2

• AWS Glue Hive Metastore Client versi 3.3.0

• Hadoop versi 3.2.1-amzn-4

• HBaseversi 2.4.4-amzn-0

• HBase-operator-tools 1.1.0

• HCatalogversi 3.1.2-amzn-5

• Sarang versi 3.1.2-amzn-5

• Hudi versi 0.8.0-amzn-0

• Hue versi 4.9.0

• JDKVersi Java Corretto-8.302.08.1 (build 1.8.0_302-b08)

• JupyterHub versi 1.4.1

• Livy versi 0.7.1-inkubasi

• MXNetversi 1.8.0

• Oozie versi 5.2.1

• Phoenix versi 5.1.2

• Pig versi 0.17.0

• Presto versi 0.254.1-amzn-0

• Trino versi 359

• Apache Ranger KMS (enkripsi transparan multi-master) versi 2.0.0

• ranger-plugin 2.0.1-amzn-0

• ranger-s3-plugin 1.2.0

• SageMaker Spark SDK versi 1.4.1

• Scala versi 2.12.10 (Buka VM Server JDK 64-Bit, Java 1.8.0_282)

• Spark versi 3.1.2-amzn-0

• spark-rapids 0.4.1

• Sqoop versi 1.4.7

• TensorFlow versi 2.4.1

• tez versi 0.9.2

• Zeppelin versi 0.9.0

• Zookeeper versi 3.5.7

• Konektor dan driver: DynamoDB Connector 4.16.0

Fitur baru

• [Penskalaan terkelola] Pengoptimalan penskalaan terkelola data acak percikan - Untuk Amazon EMR versi 5.34.0 dan yang lebih baru, dan EMR versi 6.4.0 dan yang lebih baru, penskalaan terkelola sekarang sadar data acak Spark (data yang didistribusikan ulang Spark di seluruh partisi untuk melakukan operasi tertentu). Untuk informasi selengkapnya tentang operasi shuffle, lihat Menggunakan penskalaan EMR terkelola EMR di Amazon dalam Panduan EMR Manajemen Amazon dan Panduan Pemrograman Spark.

• Pada kluster EMR Amazon yang mendukung Apache Ranger, Anda dapat menggunakan Apache SQL Spark untuk menyisipkan data ke dalam atau memperbarui tabel metastore Apache Hive menggunakan,, dan. INSERT INTO INSERT OVERWRITE ALTER TABLE Saat menggunakan ALTER TABLE dengan SparkSQL, lokasi partisi harus menjadi direktori anak dari lokasi tabel. Amazon saat ini EMR tidak mendukung penyisipan data ke dalam partisi di mana lokasi partisi berbeda dari lokasi tabel.

• Presto SQL telah berganti nama menjadi Trino.

• Hive: Eksekusi SELECT kueri sederhana dengan LIMIT klausa dipercepat dengan menghentikan eksekusi kueri segera setelah jumlah catatan yang disebutkan dalam LIMIT klausa diambil. SELECTKueri sederhana adalah kueri yang tidak memiliki GROUP BY ORDER /by klausa atau kueri yang tidak memiliki tahap peredam. Misalnya, SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>.

Kontrol Konkurensi Hudi

• Hudi sekarang mendukung Optimistic Concurrency Control (OCC), yang dapat dimanfaatkan dengan operasi tulis seperti UPSERT dan INSERT untuk memungkinkan perubahan dari beberapa penulis ke tabel Hudi yang sama. Ini adalah tingkat fileOCC, jadi dua komit (atau penulis) dapat menulis ke tabel yang sama, jika perubahannya tidak bertentangan. Untuk informasi lebih lanjut, lihat kontrol konkurensi Hudi.

• EMRCluster Amazon telah menginstal Zookeeper, yang dapat dimanfaatkan sebagai penyedia kunci untuk. OCC Untuk mempermudah penggunaan fitur ini, EMR klaster Amazon memiliki properti berikut yang telah dikonfigurasi sebelumnya:

  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi

  Untuk mengaktifkanOCC, Anda perlu mengonfigurasi properti berikut baik dengan opsi pekerjaan Hudi atau di tingkat cluster menggunakan konfigurasi Amazon: EMR API

  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)

Pemantauan Hudi: CloudWatch Integrasi Amazon untuk melaporkan Metrik Hudi

• Amazon EMR mendukung penerbitan Hudi Metrics ke Amazon. CloudWatch Ini diaktifkan dengan mengatur konfigurasi yang diperlukan berikut:

  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH

• Berikut ini adalah konfigurasi Hudi opsional yang dapat Anda ubah:

  Pengaturan	Deskripsi	Nilai
  hoodie.metrics.cloudwatch.report.period.seconds	Frekuensi (dalam detik) untuk melaporkan metrik ke Amazon CloudWatch	Nilai default adalah 60-an, yang baik-baik saja untuk resolusi default satu menit yang ditawarkan oleh Amazon CloudWatch
  hoodie.metrics.cloudwatch.metric.prefix	Awalan yang akan ditambahkan ke setiap nama metrik	Nilai default kosong (tidak ada awalan)
  hoodie.metrics.cloudwatch.namespace	CloudWatch Namespace Amazon di mana metrik diterbitkan	Nilai default adalah Hudi
  hoodie.metrics.cloudwatch. maxDatumsPerPermintaan	Jumlah maksimum datum yang akan dimasukkan dalam satu permintaan ke Amazon CloudWatch	Nilai default adalah 20, yang sama dengan CloudWatch default Amazon

Dukungan dan EMR peningkatan konfigurasi Amazon Hudi

• Pelanggan sekarang dapat memanfaatkan fitur EMR Konfigurasi API dan Konfigurasi Ulang untuk mengonfigurasi konfigurasi Hudi di tingkat cluster. Dukungan konfigurasi berbasis file baru telah diperkenalkan via /etc/hudi/conf/hudi -defaults.conf di sepanjang baris aplikasi lain seperti Spark, Hive dll. Mengkonfigurasi beberapa default untuk meningkatkan pengalaman pengguna: EMR

  — hoodie.datasource.hive_sync.jdbcurl dikonfigurasi ke server cluster Hive URL dan tidak perlu lagi ditentukan. Ini sangat berguna saat menjalankan pekerjaan dalam mode cluster Spark, di mana Anda sebelumnya harus menentukan IP EMR master Amazon.

  — konfigurasi HBase khusus, yang berguna untuk menggunakan HBase indeks dengan Hudi.

  — Konfigurasi khusus penyedia kunci Zookeeper, seperti yang dibahas di bawah kontrol konkurensi, yang membuatnya lebih mudah untuk menggunakan Optimistic Concurrency Concurrency Control (). OCC

• Perubahan tambahan telah diperkenalkan untuk mengurangi jumlah konfigurasi yang perlu Anda lewati, dan untuk menyimpulkan secara otomatis jika memungkinkan:

  — partitionBy Kata kunci dapat digunakan untuk menentukan kolom partisi.

  — Saat mengaktifkan Hive Sync, tidak lagi wajib untuk lulus. HIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY Nilai-nilai tersebut dapat disimpulkan dari nama tabel Hudi dan bidang partisi.

  — KEYGENERATOR_CLASS_OPT_KEY tidak wajib untuk lulus, dan dapat disimpulkan dari kasus yang lebih sederhana dari SimpleKeyGenerator danComplexKeyGenerator.

Peringatan Hudi

• Hudi tidak mendukung eksekusi vektor di Hive for Merge on Read (MoR) dan tabel Bootstrap. Misalnya, count(*) gagal dengan tabel realtime Hudi ketika hive.vectorized.execution.enabled disetel ke true. Sebagai solusinya, Anda dapat menonaktifkan pembacaan vektor dengan menyetel ke. hive.vectorized.execution.enabled false

• Dukungan multi-penulis tidak kompatibel dengan fitur bootstrap Hudi.

• Flink Streamer dan Flink SQL adalah fitur eksperimental dalam rilis ini. Fitur-fitur ini tidak disarankan untuk digunakan dalam penyebaran produksi.

Perubahan, penyempurnaan, dan masalah yang diselesaikan

Ini adalah rilis untuk memperbaiki masalah dengan Amazon EMR Scaling ketika gagal meningkatkan/menurunkan klaster dengan sukses atau menyebabkan kegagalan aplikasi.

• Sebelumnya, restart manual pengelola sumber daya pada cluster multi-master menyebabkan daemon EMR on-cluster Amazon, seperti Zookeeper, memuat ulang semua node yang sebelumnya dinonaktifkan atau hilang dalam file znode Zookeeper. Hal ini menyebabkan batas default terlampaui dalam situasi tertentu. Amazon EMR sekarang menghapus catatan node yang dinonaktifkan atau hilang yang lebih tua dari satu jam dari file Zookeeper dan batas internal telah ditingkatkan.

• Memperbaiki masalah saat permintaan penskalaan gagal untuk klaster besar yang sangat dimanfaatkan saat daemon EMR on-cluster Amazon menjalankan aktivitas pemeriksaan kesehatan, seperti mengumpulkan status node dan status YARN node. HDFS Ini terjadi karena daemon on-cluster tidak dapat mengkomunikasikan data status kesehatan node ke komponen Amazon internal. EMR

• Peningkatan daemon EMR on-cluster untuk melacak status node dengan benar saat alamat IP digunakan kembali untuk meningkatkan keandalan selama operasi penskalaan.

• SPARK-29683. Memperbaiki masalah di mana kegagalan pekerjaan terjadi selama penskalaan klaster karena Spark mengasumsikan semua node yang tersedia tidak terdaftar.

• YARN-9011. Memperbaiki masalah di mana kegagalan pekerjaan terjadi karena kondisi balapan dalam YARN penonaktifan saat klaster mencoba menaikkan atau menurunkan skala.

• Memperbaiki masalah dengan kegagalan langkah atau pekerjaan selama penskalaan klaster dengan memastikan bahwa status node selalu konsisten antara EMR daemon on-cluster Amazon dan/. YARN HDFS

• Memperbaiki masalah saat operasi klaster seperti pengurangan skala dan pengiriman langkah gagal untuk EMR kluster Amazon yang diaktifkan dengan autentikasi Kerberos. Ini karena EMR daemon on-cluster Amazon tidak memperbarui tiket Kerberos, yang diperlukan untuk berkomunikasi dengan HDFS aman dengan/berjalan di node utama. YARN

• Mengkonfigurasi cluster untuk memperbaiki masalah kinerja Apache YARN Timeline Server versi 1 dan 1.5

  Apache YARN Timeline Server versi 1 dan 1.5 dapat menyebabkan masalah kinerja dengan EMR cluster besar yang sangat aktif, terutama denganyarn.resourcemanager.system-metrics-publisher.enabled=true, yang merupakan pengaturan default di Amazon. EMR YARNTimeline Server v2 open source memecahkan masalah kinerja yang terkait dengan skalabilitas Server YARN Timeline.

  Solusi lain untuk masalah ini meliputi:

  • Mengkonfigurasi yarn.resourcemanager. system-metrics-publisher.enabled=false di yarn-site.xml.

  • Mengaktifkan perbaikan untuk masalah ini saat membuat cluster, seperti yang dijelaskan di bawah ini.

  EMRRilis Amazon berikut berisi perbaikan untuk masalah kinerja Server YARN Timeline ini.

  EMR5.30.2, 5.31.1, 5.32.1, 5.33.1, 5.34.x, 6.0.1, 6.1.1, 6.2.1, 6.3.1, 6.4.x

  Untuk mengaktifkan perbaikan pada salah satu EMR rilis Amazon yang ditentukan di atas, setel properti ini ke true dalam JSON file konfigurasi yang diteruskan menggunakan parameter aws emr create-cluster perintah:--configurations file://./configurations.json. Atau aktifkan perbaikan menggunakan UI konsol konfigurasi ulang.

  Contoh isi file configurations.json:

  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]

• Web HDFS dan server HTTPFS dinonaktifkan secara default. Anda dapat mengaktifkan kembali Web HDFS menggunakan konfigurasi Hadoop,. dfs.webhdfs.enabled Server HTTPFS dapat dimulai dengan menggunakan. sudo systemctl start hadoop-httpfs

• HTTPSsekarang diaktifkan secara default untuk repositori Amazon Linux. Jika Anda menggunakan VPCE kebijakan Amazon S3 untuk membatasi akses ke bucket tertentu, Anda harus menambahkan bucket Amazon Linux baru ARN arn:aws:s3:::amazonlinux-2-repos-$region/* ke kebijakan Anda (ganti $region dengan wilayah tempat titik akhir berada). Untuk informasi lebih lanjut, lihat topik ini di forum AWS diskusi. Pengumuman: Amazon Linux 2 sekarang mendukung kemampuan untuk menggunakan HTTPS saat menghubungkan ke repositori paket.

• Hive: Kinerja kueri tulis ditingkatkan dengan mengaktifkan penggunaan direktori awal HDFS untuk pekerjaan terakhir. Data sementara untuk pekerjaan akhir ditulis HDFS alih-alih Amazon S3 dan kinerjanya ditingkatkan karena data dipindahkan dari HDFS lokasi tabel akhir (Amazon S3) alih-alih di antara perangkat Amazon S3.

• Hive: Peningkatan waktu kompilasi kueri hingga 2.5x dengan Glue metastore Partition Pruning.

• Secara default, ketika built-in UDFs diteruskan oleh Hive ke Server Metastore Hive, hanya sebagian dari built-in yang UDFs diteruskan ke Glue Metastore karena Glue hanya mendukung operator ekspresi terbatas. Jika Anda mengaturhive.glue.partition.pruning.client=true, maka semua pemangkasan partisi terjadi di sisi klien. Jika Anda mengaturhive.glue.partition.pruning.server=true, maka semua pemangkasan partisi terjadi di sisi server.

Masalah yang diketahui

• Kueri Hue tidak berfungsi di Amazon EMR 6.4.0 karena server Apache Hadoop HTTPFS dinonaktifkan secara default. Untuk menggunakan Hue di Amazon EMR 6.4.0, mulai server HTTPFS secara manual di node EMR utama Amazon menggunakansudo systemctl start hadoop-httpfs, atau gunakan langkah Amazon. EMR

• Fitur EMR Notebook Amazon yang digunakan dengan peniruan identitas pengguna Livy tidak berfungsi karena HTTPFS dinonaktifkan secara default. Dalam hal ini, EMR notebook tidak dapat terhubung ke cluster yang mengaktifkan peniruan Livy. Solusinya adalah memulai server HTTPFS sebelum menghubungkan EMR notebook ke cluster menggunakan. sudo systemctl start hadoop-httpfs

• Di Amazon EMR versi 6.4.0, Phoenix tidak mendukung komponen konektor Phoenix.

• Untuk menggunakan tindakan Spark dengan Apache Oozie, Anda harus menambahkan konfigurasi berikut ke file Oozie Anda. workflow.xml Jika tidak, beberapa perpustakaan penting seperti Hadoop dan EMRFS akan hilang dari classpath dari pelaksana Spark yang diluncurkan Oozie.

  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>

• Saat Anda menggunakan format lokasi partisi Spark dengan Hive untuk membaca data di Amazon S3, dan Anda menjalankan Spark di Amazon EMR merilis 5.30.0 hingga 5.36.0, dan 6.2.0 hingga 6.9.0, Anda mungkin mengalami masalah yang mencegah klaster membaca data dengan benar. Ini dapat terjadi jika partisi Anda memiliki semua karakteristik berikut:

  • Dua atau lebih partisi dipindai dari tabel yang sama.

  • Setidaknya satu jalur direktori partisi adalah awalan dari setidaknya satu jalur direktori partisi lainnya, misalnya, s3://bucket/table/p=a adalah awalan dari. s3://bucket/table/p=a b

  • Karakter pertama yang mengikuti awalan di direktori partisi lain memiliki nilai UTF -8 yang kurang dari / karakter (U+002F). Misalnya, karakter spasi (U+0020) yang terjadi antara a dan b masuk s3://bucket/table/p=a b termasuk dalam kategori ini. Perhatikan bahwa ada 14 karakter non-kontrol lainnya:!"#$%&‘()*+,-. Untuk informasi selengkapnya, lihat UTF-8 tabel pengkodean dan karakter Unicode.

  Sebagai solusi untuk masalah ini, setel spark.sql.sources.fastS3PartitionDiscovery.enabled konfigurasi ke false dalam klasifikasi. spark-defaults