View a markdown version of this page

Amazon EMR pada rilis EKS 6.7.0 - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon EMR pada rilis EKS 6.7.0

Rilis Amazon EMR 6.7.0 berikut tersedia untuk Amazon EMR di EKS. Pilih rilis EMR-6.7.0-xxxx tertentu untuk melihat detail selengkapnya seperti tag gambar kontainer terkait.

Catatan rilis untuk Amazon EMR 6.7.0

  • Aplikasi yang didukung ‐ Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.

  • Komponen yang didukung - aws-hm-client (Konektor Glue), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb, hudi-spark.

  • Dengan peningkatan ke JEG 2.6, manajemen kernel sekarang tidak sinkron, yang berarti bahwa JEG tidak memblokir transaksi saat peluncuran kernel sedang berlangsung. Ini sangat meningkatkan pengalaman pengguna dengan menyediakan yang berikut:

    • kemampuan untuk menjalankan perintah di notebook yang sedang berjalan saat peluncuran kernel lain sedang berlangsung

    • kemampuan untuk meluncurkan beberapa kernel secara bersamaan tanpa mempengaruhi kernel yang sudah berjalan

  • Klasifikasi konfigurasi yang didukung:

    Klasifikasi Deskripsi

    core-site

    Ubah nilai dalam core-site.xml file Hadoop.

    emrfs-site

    Ubah pengaturan EMRFS.

    spark-metrics

    Ubah nilai dalam metrics.properties file Spark.

    spark-defaults

    Ubah nilai dalam spark-defaults.conf file Spark.

    spark-env

    Ubah nilai di lingkungan Spark.

    spark-hive-site

    Ubah nilai dalam hive-site.xml file Spark.

    spark-log4j

    Ubah nilai dalam log4j.properties file Spark.

    Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti spark-hive-site.xml. Untuk informasi lebih lanjut, lihat Mengonfigurasi Aplikasi.

Masalah yang diselesaikan

  • Amazon EMR di EKS 6.7 memperbaiki masalah di 6.6 saat menggunakan fungsionalitas templat pod Apache Spark dengan titik akhir interaktif. Masalah ini hadir di Amazon EMR pada rilis EKS 6.4, 6.5 dan 6.6. Anda sekarang dapat menggunakan templat pod untuk menentukan bagaimana driver Spark dan pod eksekutor Anda dimulai saat menggunakan titik akhir interaktif untuk menjalankan analitik interaktif.

  • Dalam Amazon EMR sebelumnya pada rilis EKS, Jupyter Enterprise Gateway akan memblokir transaksi saat peluncuran kernel sedang berlangsung, dan ini menghambat eksekusi sesi notebook yang sedang berjalan. Anda sekarang dapat menjalankan perintah di buku catatan yang sedang berjalan saat peluncuran kernel lain sedang berlangsung. Anda juga dapat meluncurkan beberapa kernel secara bersamaan tanpa risiko kehilangan konektivitas ke kernel yang sudah berjalan.