Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Rilis Amazon EMR 6.10.0 berikut tersedia untuk Amazon EMR di EKS. Pilih rilis EMR-6.10.0-XXXX tertentu untuk melihat detail selengkapnya seperti tag gambar kontainer terkait.
-
emr-6.10.0- spark-rapids-latest
-
emr-6.10.0-spark-cepat-20230624
-
emr-6.10.0-spark-cepat-20230220
-
emr-6.10.0-java11-terbaru
-
emr-6.10.0-java11-20230624
-
emr-6.10.0-java11-20230220
-
notebook-spark/emr-6.10.0-terbaru
-
notebook-spark/emr-6.10.0-20230624
-
notebook-spark/emr-6.10.0-20230220
-
notebook-python/emr-6.10.0-terbaru
-
notebook-python/emr-6.10.0-20230624
-
notebook-python/emr-6.10.0-20230220
Catatan rilis untuk Amazon EMR 6.10.0
-
Aplikasi yang didukung - AWS SDK untuk Java 1.12.397, Spark 3.3.1-amzn-0, Hudi 0.12.2-amzn-0, Iceberg 1.1.0-amzn-0, Delta 2.2.0.
-
Komponen yang didukung -
aws-sagemaker-spark-sdkemr-ddb,emr-goodies,,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Klasifikasi konfigurasi yang didukung:
Untuk digunakan dengan StartJobRundan CreateManagedEndpoint APIs:
Klasifikasi Deskripsi core-siteUbah nilai dalam file Hadoop.
core-site.xmlemrfs-siteUbah pengaturan EMRFS.
spark-metricsUbah nilai dalam
metrics.propertiesfile Spark.spark-defaultsUbah nilai dalam
spark-defaults.conffile Spark.spark-envUbah nilai di lingkungan Spark.
spark-hive-siteUbah nilai dalam
hive-site.xmlfile Spark.spark-log4jUbah nilai dalam
log4j.propertiesfile Spark.Untuk digunakan secara khusus dengan CreateManagedEndpoint APIs:
Klasifikasi Deskripsi jeg-configUbah nilai dalam file Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py.jupyter-kernel-overridesUbah nilai untuk Gambar Kernel di file Spesifikasi Kernel Jupyter.
Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti
spark-hive-site.xml. Untuk informasi selengkapnya, lihat Mengkonfigurasi Aplikasi.
Fitur penting
-
Operator Spark - Dengan Amazon EMR di EKS 6.10.0 dan yang lebih tinggi, Anda dapat menggunakan operator Kubernetes untuk Apache Spark, atau operator Spark, untuk menyebarkan dan mengelola aplikasi Spark dengan runtime rilis Amazon EMR di kluster Amazon EKS Anda sendiri. Untuk informasi selengkapnya, lihat Menjalankan pekerjaan Spark dengan operator Spark.
-
Java 11 - Dengan Amazon EMR di EKS 6.10 dan lebih tinggi, Anda dapat meluncurkan Spark dengan runtime Java 11. Untuk melakukan ini, berikan
emr-6.10.0-java11-latestsebagai label rilis. Sebaiknya Anda memvalidasi dan menjalankan pengujian kinerja sebelum memindahkan beban kerja produksi dari gambar Java 8 ke gambar Java 11. -
Untuk integrasi Amazon Redshift untuk Apache Spark, Amazon EMR di EKS 6.10.0 menghapus dependensi
minimal-json.jar, dan secara otomatis menambahkan jar terkait yangspark-redshiftdiperlukan ke jalur kelas pelaksana untuk Spark:,, dan.spark-redshift.jarspark-avro.jarRedshiftJDBC.jar
Perubahan
-
EMRFS S3 committer yang dioptimalkan sekarang diaktifkan secara default untuk parket, ORC, dan format berbasis teks (termasuk CSV dan JSON).
