View a markdown version of this page

Amazon EMR pada rilis EKS 7.2.0 - Amazon EMR
RilisCatatan rilisFitur

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon EMR pada rilis EKS 7.2.0

Halaman ini menjelaskan fungsionalitas baru dan diperbarui untuk Amazon EMR yang khusus untuk Amazon EMR pada penerapan EKS. Untuk detail tentang Amazon EMR yang berjalan di Amazon EC2 dan tentang rilis Amazon EMR 7.2.0 secara umum, lihat Amazon EMR 7.2.0 di Panduan Rilis Amazon EMR.

Amazon EMR pada rilis EKS 7.2

Rilis Amazon EMR 7.2.0 berikut tersedia untuk Amazon EMR di EKS. Pilih rilis EMR-7.2.0-xxxx tertentu untuk melihat detail selengkapnya seperti tag gambar kontainer terkait.

Flink releases

Rilis Amazon EMR 7.2.0 berikut tersedia untuk Amazon EMR di EKS saat Anda menjalankan aplikasi Flink.

Spark releases

Rilis Amazon EMR 7.2.0 berikut tersedia untuk Amazon EMR di EKS saat Anda menjalankan aplikasi Spark.

  • emr-7.2.0-terbaru

  • emr-7.2.0-20240610

  • emr-7.2.0-spark-rapids-latest

  • emr-7.2.0-spark-rapids-20240610

  • emr-7.2.0-java11-latest

  • emr-7.2.0-java11-20240610

  • emr-7.2.0-java8-latest

  • emr-7.2.0-java8-20240610

  • emr-7.2.0-spark-rapids-java8-latest

  • emr-7.2.0-spark-rapids-java8-20240610

  • notebook-spark/emr-7.2.0-latest

  • notebook-spark/emr-7.2.0-20240610

  • notebook-spark/emr-7.2.0-spark-rapids-latest

  • notebook-spark/emr-7.2.0-spark-rapids-20240610

  • notebook-spark/emr-7.2.0-java11-latest

  • notebook-spark/emr-7.2.0-java11-20240610

  • notebook-spark/emr-7.2.0-java8-latest

  • notebook-spark/emr-7.2.0-java8-20240610

  • notebook-spark/emr-7.2.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.2.0-spark-rapids-java8-20240610

  • notebook-python/emr-7.2.0-latest

  • notebook-python/emr-7.2.0-20240610

  • notebook-python/emr-7.2.0-spark-rapids-latest

  • notebook-python/emr-7.2.0-spark-rapids-20240610

  • notebook-python/emr-7.2.0-java11-latest

  • notebook-python/emr-7.2.0-java11-20240610

  • notebook-python/emr-7.2.0-java8-latest

  • notebook-python/emr-7.2.0-java8-20240610

  • notebook-python/emr-7.2.0-spark-rapids-java8-latest

  • notebook-python/emr-7.2.0-spark-rapids-java8-20240610

  • livy/emr-7.2.0-latest

  • livy/emr-7.2.0-20240610

  • livy/emr-7.2.0-java11-latest

  • livy/emr-7.2.0-java11-20240610

  • livy/emr-7.2.0-java8-latest

  • livy/emr-7.2.0-java8-20240610

Catatan rilis

Catatan rilis untuk Amazon EMR di EKS 7.2.0

  • Aplikasi yang didukung ‐ AWS SDK untuk Java 2.23.18 and 1.12.705, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.5.0-amzn-0, Delta 3.1.0, Apache Spark RAPIDS 24.02.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.8.0-amzn-1

  • Komponen yang didukung ‐ aws-sagemaker-spark-sdk emr-ddbemr-goodies,,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes.

  • Klasifikasi konfigurasi yang didukung

    Untuk digunakan dengan StartJobRun dan CreateManagedEndpoint API:

    Klasifikasi Deskripsi

    core-site

    Ubah nilai dalam file core-site.xml Hadoop.

    emrfs-site

    Ubah pengaturan EMRFS.

    spark-metrics

    Ubah nilai dalam file metrics.properties Spark.

    spark-defaults

    Ubah nilai dalam file spark-defaults.conf Spark.

    spark-env

    Ubah nilai di lingkungan Spark.

    spark-hive-site

    Ubah nilai dalam file hive-site.xml Spark.

    spark-log4j2

    Ubah nilai dalam file log4j2.properties Spark.

    emr-job-submitter

    Konfigurasi untuk pod pengirim pekerjaan.

    Untuk digunakan secara khusus dengan CreateManagedEndpoint API:

    Klasifikasi Deskripsi

    jeg-config

    Ubah nilai dalam file Jupyter Enterprise Gateway. jupyter_enterprise_gateway_config.py

    jupyter-kernel-overrides

    Ubah nilai untuk Gambar Kernel di file Jupyter Kernel Spec.

    Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti spark-hive-site.xml. Untuk informasi selengkapnya, lihat Meng onfigurasi Aplikasi.

Fitur penting

Fitur-fitur berikut disertakan dengan rilis 7.2.0 Amazon EMR di EKS.

  • Peningkatan aplikasi — Amazon EMR pada EKS 7.2.0 upgrade aplikasi termasuk Spark 3.5.1, Flink 1.18.1, dan Flink Operator 1.8.0. https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/jobruns-flink-kubernetes-operator.html

  • Autoscaler untuk pembaruan Flink - Rilis 7.2.0 menggunakan konfigurasi sumber terbuka job.autoscaler.restart.time-tracking.enabled untuk mengaktifkan estimasi waktu skala ulang, sehingga Anda tidak perlu lagi menetapkan nilai empiris secara manual untuk memulai ulang waktu. Jika Anda menjalankan 7.1.0 atau lebih rendah, Anda masih dapat menggunakan penskalaan otomatis Amazon EMR.

  • Integrasi Apache Hudi Apache Flink di Amazon EMR di EKS — Rilis ini menambahkan integrasi antara Apache Hudi dan Apache Flink, sehingga Anda dapat menggunakan operator Flink Kubernetes untuk menjalankan tugas Hudi. Hudi memungkinkan Anda menggunakan operasi tingkat rekaman yang dapat Anda gunakan untuk menyederhanakan manajemen data dan pengembangan jalur data.

  • Integrasi Amazon S3 Express One Zone dengan Amazon EMR di EKS — Dengan 7.2.0 dan yang lebih tinggi, Anda dapat mengunggah data ke S3 Express One Zone dengan Amazon EMR di EKS. S3 Express One Zone adalah kelas penyimpanan Amazon S3 zona tunggal berkinerja tinggi yang memberikan akses data milidetik satu digit yang konsisten untuk sebagian besar aplikasi sensitif latensi. Pada saat rilis, S3 Express One Zone memberikan latensi terendah dan penyimpanan objek cloud kinerja tertinggi di Amazon S3.

  • Dukungan untuk konfigurasi default di operator Spark — Operator Spark di Amazon EKS sekarang mendukung konfigurasi default yang sama dengan model start job run di Amazon EMR di EKS untuk 7.2.0 dan yang lebih tinggi. Ini berarti bahwa fitur seperti Amazon S3 dan EMRFS tidak lagi memerlukan konfigurasi manual dalam file yaml.