Amazon EMR pada rilis EKS 7.0.0 - Amazon EMR
RilisCatatan rilisFiturPerubahan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon EMR pada rilis EKS 7.0.0

Halaman ini menjelaskan fungsionalitas baru dan yang diperbarui untuk Amazon EMR yang khusus untuk EMR Amazon saat EKS penyebaran. Untuk detail tentang Amazon yang EMR berjalan di Amazon EC2 dan tentang rilis Amazon EMR 7.0.0 secara umum, lihat Amazon EMR 7.0.0 di Panduan Rilis Amazon. EMR

Amazon EMR pada rilis EKS 7.0

Rilis Amazon EMR 7.0.0 berikut tersedia untuk Amazon EMR di. EKS Pilih emr-7.0.0- XXXX rilis tertentu untuk melihat detail lebih lanjut seperti tag gambar kontainer terkait.

Flink releases

Rilis Amazon EMR 7.0.0 berikut tersedia untuk EMR Amazon EKS saat Anda menjalankan aplikasi Flink.

Spark releases

Rilis Amazon EMR 7.0.0 berikut tersedia untuk EMR Amazon EKS saat Anda menjalankan aplikasi Spark.

  • emr-7.0.0-terbaru

  • emr-7.0.0-20231211

  • emr-7.0.0-spark-rapids-latest

  • emr-7.0.0-spark-rapids-20231211

  • emr-7.0.0-java11-latest

  • emr-7.0.0-java11-20231211

  • emr-7.0.0-java8-latest

  • emr-7.0.0-java8-20231211

  • emr-7.0.0-spark-rapids-java8-latest

  • emr-7.0.0-spark-rapids-java8-20231211

  • notebook-spark/emr-7.0.0-latest

  • notebook-spark/emr-7.0.0-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-latest

  • notebook-spark/emr-7.0.0-spark-rapids-20231211

  • notebook-spark/emr-7.0.0-java11-latest

  • notebook-spark/emr-7.0.0-java11-20231211

  • notebook-spark/emr-7.0.0-java8-latest

  • notebook-spark/emr-7.0.0-java8-20231211

  • notebook-spark/emr-7.0.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.0.0-spark-rapids-java8-20231211

  • notebook-python/emr-7.0.0-latest

  • notebook-python/emr-7.0.0-20231211

  • notebook-python/emr-7.0.0-spark-rapids-latest

  • notebook-python/emr-7.0.0-spark-rapids-20231211

  • notebook-python/emr-7.0.0-java11-latest

  • notebook-python/emr-7.0.0-java11-20231211

  • notebook-python/emr-7.0.0-java8-latest

  • notebook-python/emr-7.0.0-java8-20231211

  • notebook-python/emr-7.0.0-spark-rapids-java8-latest

  • notebook-python/emr-7.0.0-spark-rapids-java8-20231211

Catatan rilis

Catatan rilis untuk Amazon EMR di EKS 7.0.0

  • Aplikasi yang didukung - AWS SDK for Java 2.20.160-amzn-0 and 1.12.595, Apache Spark 3.5.0-amzn-0, Apache Flink 1.18.0-amzn-0, Flink Operator 1.6.1, Apache Hudi 0.14.0-amzn-1, Apache Iceberg 1.4.2-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-0, Jupyter Enterprise Gateway 2.6.0

  • Komponen yang didukung - aws-sagemaker-spark-sdkemr-ddb,emr-goodies,,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes.

  • Klasifikasi konfigurasi yang didukung

    Untuk digunakan dengan StartJobRundan CreateManagedEndpointAPIs:

    Klasifikasi Deskripsi

    core-site

    Ubah nilai dalam file core-site.xml Hadoop.

    emrfs-site

    Ubah EMRFS pengaturan.

    spark-metrics

    Ubah nilai dalam file metrics.properties Spark.

    spark-defaults

    Ubah nilai dalam file spark-defaults.conf Spark.

    spark-env

    Ubah nilai di lingkungan Spark.

    spark-hive-site

    Ubah nilai dalam file hive-site.xml Spark.

    spark-log4j

    Ubah nilai dalam file log4j2.properties Spark.

    emr-job-submitter

    Konfigurasi untuk pod pengirim pekerjaan.

    Untuk digunakan secara khusus dengan CreateManagedEndpointAPIs:

    Klasifikasi Deskripsi

    jeg-config

    Ubah nilai dalam file Jupyter Enterprise Gatewayjupyter_enterprise_gateway_config.py.

    jupyter-kernel-overrides

    Ubah nilai untuk Gambar Kernel di file Spesifikasi Kernel Jupyter.

    Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering sesuai dengan XML file konfigurasi untuk aplikasi, sepertispark-hive-site.xml. Untuk informasi selengkapnya, lihat Mengkonfigurasi Aplikasi.

Fitur penting

Fitur-fitur berikut disertakan dengan rilis 7.0 Amazon EMR diEKS.

  • Peningkatan aplikasi - Amazon EMR pada peningkatan aplikasi EKS 7.0.0 termasuk Spark 3.5, Flink 1.18, dan Flink Operator 1.6.1.

  • Penyetelan otomatis parameter Flink Autoscaler — Parameter default yang digunakan Flink Autoscaler untuk perhitungan penskalaannya mungkin bukan nilai optimal untuk pekerjaan tertentu. Amazon EMR di EKS 7.0.0 menggunakan tren historis metrik tertentu yang diambil untuk menghitung parameter optimal yang disesuaikan untuk pekerjaan tersebut.

Perubahan

Perubahan berikut disertakan dengan rilis 7.0 Amazon EMR diEKS.

  • Amazon Linux 2023 - Dengan Amazon EMR pada EKS 7.0.0 dan yang lebih tinggi, semua gambar kontainer didasarkan pada Amazon Linux 2023.

  • Spark menggunakan Java 17 sebagai runtime default - Amazon EMR di EKS 7.0.0 Spark menggunakan Java 17 sebagai runtime default. Jika perlu, Anda dapat beralih untuk menggunakan Java 8 atau Java 11 dengan label rilis yang sesuai seperti yang disediakan dalam Amazon EMR pada rilis EKS 7.0 daftar.