Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
AWS runtime untuk Apache Spark (emr-spark-8.1.0)
siklus hidup yang didukung emr-spark-8.1.0
Rilis ini ditetapkan sebagai rilis Dukungan Jangka Panjang (LTS). Tabel berikut menjelaskan tanggal siklus hidup yang didukung untuk Amazon EMR Spark 8.1.0.
| Fase dukungan | Date |
|---|---|
| Tanggal rilis awal | 8 September 2026 |
| Dukungan standar hingga | 7 September 2029 |
| Akhir kehidupan | 8 September 2029 |
emr-spark-8.1.0 versi aplikasi
Rilis ini mencakup aplikasi berikut: AmazonCloudWatchAgent Delta
Tabel di bawah ini mencantumkan versi aplikasi yang tersedia dalam rilis Amazon EMR ini dan versi aplikasi dalam tiga rilis Amazon EMR sebelumnya (jika berlaku).
Untuk riwayat lengkap versi aplikasi untuk setiap rilis Amazon EMR, lihat topik berikut:
| emr-spark-8.1.0 | emr-spark-8.0.0 | |
|---|---|---|
| AWS SDK untuk Java | 2.44.5 | 2.41.32 |
| Python | 3.11, 3.13 | 3.11, 3.13 |
| Skala | 2.13.17 | 2.13.16 |
| AmazonCloudWatchAgent | 1.300034.0-amzn-0 | 1.300032.2-amzn-0 |
| Delta | 4.2.0-amzn-0 | 4.0.0-amzn-1-percikan |
| Hudi | 1.1.1-amzn-0 | 1.1.0-amzn-0 |
| Iceberg | 1.11.0-amzn-0 | 1.10.1-amzn-0 |
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 |
| Livy | 0.9.0-inkubasi | 0.8.0-inkubasi |
| Spark | 4.1.1-amzn-0 | 4.0.2-amzn-0 |
Catatan terbitan emr-spark-8.1.0
Catatan rilis berikut mencakup informasi untuk rilis Amazon EMR 8.1.0 (emr-spark-8.1.0), yang menampilkan Apache Spark 4.1.1.
Apa yang baru
Apache Spark 4.1.1 - Amazon EMR Spark 8.1.0 termasuk Apache Spark 4.1.1. Dependensi yang diperbarui termasuk Scala 2.13.17, Jackson 2.20.0, dan Parquet-MR 1.16.0, bersama dengan fitur Spark baru, peningkatan kinerja, dan perbaikan bug.
Dukungan spesifikasi Iceberg v3 untuk beban kerja Spark — Amazon EMR Spark 8.1.0 memperluas dukungan spesifikasi Iceberg v3 untuk beban kerja Spark. Rilis ini menambahkan kemampuan v3 berikut:
Jenis data geospasial — Tabel Iceberg v3 mendukung tipe
GEOGRAPHYdataGEOMETRYdan.Fungsi SQL geospasial — Amazon EMR Spark 8.1.0 secara native mendukung fungsi geospasial untuk beban kerja Iceberg. Setel
spark.sql.geospatial.enabledketruedalam konfigurasi Spark Anda untuk mengaktifkan fungsi geospasial. Apache Spark 4.1 hanya mendukung SRID 0, 3857, dan 4326. Fungsi-fungsi berikut didukung:st_area(geom)st_asbinary(geo[, endianness])st_collect(geoArray)st_convexhull(geom)st_distance(geom1, geom2)st_dwithin(geom1, geom2, distance)st_geogfromwkb(wkb)st_geomfromwkb(wkb[, srid])st_geomfromwkt(wkt[, srid])st_intersection(geom1, geom2)st_intersects(geom1, geom2)st_length(geom)st_makeline(geomArray)st_setsrid(geo, srid)st_srid(geo)st_within(geom1, geom2)st_x(point)st_y(point)
Nanosecond-precision stempel waktu - Tabel Iceberg v3 mendukung kolom stempel waktu presisi nanodetik (dan).
TIMESTAMP(9)TIMESTAMP_NTZ(9)Penghancuran varian - Tabel Iceberg v3 mendukung penghancuran varian.
UNKNOWNtipe data — Tabel Iceberg v3 mendukung tipeUNKNOWNdata untuk kolom yang tipenya belum ditentukan. Kolom jenis ini bersifat opsional, default ke null, dan tidak disimpan dalam file data.Nilai default — Kolom Iceberg v3 mendukung nilai default yang dideklarasikan, yang berlaku ketika penulis menghilangkan kolom.
Dukungan kontrol akses berbutir halus yang diperluas untuk format tabel terbuka — Amazon EMR Spark 8.1.0 memperluas dukungan kontrol akses berbutir halus (FGAC) untuk format tabel terbuka (OTF). Iceberg sekarang mendukung FGAC untuk operasi tambahan:
DESCRIBE TABLE,,SHOW TBLPROPERTIES,SHOW CREATE TABLEALTER TABLE table_name WRITE ORDERED BY, dan.ALTER TABLE table_name WRITE DISTRIBUTED BYDelta Lake sekarang mendukung FGAC untukVACUUMoperasi tersebut.Peningkatan penyegaran tambahan untuk tampilan terwujud Iceberg — Penyegaran tambahan sekarang mendukung Merge-on-Read tabel melalui pengambilan data perubahan. Ini memungkinkan penyegaran cepat untuk beban kerja yang menggunakan pembaruan dan penghapusan. Refresh hanya membaca file data yang terpengaruh oleh perubahan, menggunakan statistik kolom per-file dan tingkat manifes.
Multi-format dukungan multi-katalog dengan penemuan otomatis - Kueri Spark SQL sekarang dapat mereferensikan katalog berdasarkan nama tanpa mendaftarkannya terlebih dahulu dalam konfigurasi Spark. Jenis katalog yang didukung termasuk katalog lintas akun dan katalog federasi Tabel S3, dengan deteksi otomatis format tabel Iceberg, Delta, dan Hudi. Untuk mengaktifkan fitur ini, tambahkan konfigurasi Spark berikut:
"spark.sql.catalog.spark_catalog": "org.apache.spark.sql.connector.catalog.redirecting.RedirectingSessionCatalog", "spark.sql.catalogResolver": "com.amazonaws.glue.catalog.redirecting.GlueCatalogResolver"
Perubahan, penyempurnaan, dan masalah yang diselesaikan
Rilis ini mencakup perbaikan bug dan peningkatan fitur untuk Iceberg, Hudi, dan Delta. Untuk informasi selengkapnya, lihat bagian Apa yang baru.
Peningkatan toleransi verifikasi enkripsi disk selama startup cluster — Cluster dengan enkripsi disk lokal diaktifkan dalam konfigurasi keamanannya sekarang lebih toleran terhadap penundaan konektivitas jaringan sementara selama boot instance. Perubahan ini mengurangi kegagalan startup cluster intermiten.
Memperbaiki penanganan karakter UTF-8 multibyte dalam konfigurasi Amazon EMR — Konfigurasi Amazon EMR sekarang mendukung UTF-8 karakter multibyte dengan benar. Ini termasuk nilai dengan huruf beraksen atau skrip non-Latin. Untuk informasi selengkapnya, lihat Mengkonfigurasi aplikasi.
Peningkatan keandalan startup Agen Rahasia — Memperbaiki dua masalah yang dapat menyebabkan kegagalan penyediaan cluster Amazon EMR terkait dengan layanan keamanan Agen Rahasia. Pembuatan sertifikat sekarang menunggu kesiapan HDFS sebelum melanjutkan, dan skrip startup mencoba lagi deteksi proses Secret Agent Java. Bersama-sama, perubahan ini mengurangi kegagalan peluncuran pada cluster dengan inisialisasi penyimpanan yang lebih lambat atau instans yang banyak dimuat.
Masalah umum dan batasan
Enkripsi tabel Apache Iceberg asli hanya diterapkan saat Anda menggunakan Hive Metastore atau katalog Iceberg REST. Dengan Katalog Data AWS Glue (termasuk titik akhir REST Iceberg) dan katalog Hadoop, properti ini diterima tetapi tidak diterapkan. Akibatnya, data ditulis dalam plaintext. Untuk mengenkripsi data tabel Iceberg saat diam dengan katalog ini, aktifkan enkripsi sisi server Amazon S3 dengan AWS KMS kunci (SSE-KMS) di lokasi Amazon S3 tabel.
Transformasi yang mengambil lebih dari satu argumen tidak didukung untuk tabel Iceberg v3.
emr-spark-8.1.0 versi Java default
| Aplikasi | Versi Java/Amazon Corretto (defaultnya tebal) |
|---|---|
| Spark | 17, 21 |
| Livy | 17, 11, 8 |
| Hadoop | 17, 11, 8 |
emr-spark-8.1.0 versi komponen
Komponen yang diinstal oleh Amazon EMR dengan rilis ini tercantum di bawah ini. Beberapa komponen diinstal sebagai bagian dari paket aplikasi big data. Sedangkan komponen lainnya bersifak unik untuk Amazon EMR dan diinstal untuk proses sistem dan fitur. Ini biasanya dimulai dengan emr atauaws. Big-data paket aplikasi dalam rilis Amazon EMR terbaru biasanya versi terbaru yang ditemukan di komunitas. Kami menyediakan rilis komunitas di Amazon EMR secepat mungkin.
Beberapa komponen yang ada di Amazon EMR berbeda dari versi komunitas. Komponen ini mempunyai label versi dalam bentuk CommunityVersion-amzn-EmrVersionEmrVersionmyapp-component dengan versi 2.2 telah dimodifikasi tiga kali untuk dimasukkan dalam rilis Amazon EMR yang berbeda, versi rilisnya terdaftar sebagai2.2-amzn-2.
| Komponen | Versi | Deskripsi |
|---|---|---|
| adot-java-agent | 1.31.0 | Agen Java yang mengumpulkan metrik dari daemon aplikasi. |
| delta | 4.2.0-amzn-0 | Danau Delta adalah format tabel terbuka untuk kumpulan data analitik besar |
| emr-amazon-cloudwatch-agent | 1.300034.0-amzn-0 | Aplikasi yang mengumpulkan metrik tingkat sistem internal dan metrik aplikasi khusus dari instans Amazon EC2. |
| emr-ddb | 6.1.0 | Konektor Amazon DynamoDB untuk aplikasi ekosistem Hadoop. |
| emr-goodies | 3.23.0-percikan | Perpustakaan kenyamanan ekstra untuk ekosistem Hadoop. |
| emr-notebook-env | 1.18.0 | Conda env untuk emr notebook yang mencakup gateway jupyter korporasi |
| emr-s3-dist-cp | 2.46.0 | Aplikasi salinan terdistribusi yang dioptimalkan untuk Amazon S3. |
| hadoop-client | 3.4.2-amzn-3 | Klien baris perintah Hadoop seperti 'hdfs', 'Hadoop', atau 'yarn'. |
| hadoop-hdfs-datanode | 3.4.2-amzn-3 | Layanan tingkat simpul HDFS untuk menyimpan blok. |
| hadoop-hdfs-library | 3.4.2-amzn-3 | Klien dan perpustakaan baris perintah HDFS |
| hadoop-hdfs-namenode | 3.4.2-amzn-3 | Layanan HDFS untuk melacak nama file dan lokasi blok. |
| hadoop-hdfs-zkfc | 3.4.2-amzn-3 | Layanan ZKFC untuk melacak namenode untuk mode HA. |
| hadoop-hdfs-journalnode | 3.4.2-amzn-3 | Layanan HDFS untuk mengelola jurnal filesystem Hadoop pada klaster HA. |
| hadoop-httpfs-server | 3.4.2-amzn-3 | Titik akhir HTTP untuk operasi HDFS. |
| hadoop-kms-server | 3.4.2-amzn-3 | Server manajemen kunci kriptografi berdasarkan API Hadoop. KeyProvider |
| hadoop-mapred | 3.4.2-amzn-3 | MapReduce pustaka mesin eksekusi untuk menjalankan MapReduce aplikasi. |
| hadoop-yarn-nodemanager | 3.4.2-amzn-3 | Layanan YARN untuk mengelola kontainer pada simpul individu. |
| hadoop-yarn-resourcemanager | 3.4.2-amzn-3 | Layanan YARN untuk mengalokasikan dan mengelola sumber daya klaster dan aplikasi terdistribusi. |
| hadoop-yarn-timeline-server | 3.4.2-amzn-3 | Layanan untuk mengambil informasi terkini dan historis untuk aplikasi YARN. |
| hudi | 1.1.1-amzn-0 | Kerangka pemrosesan tambahan untuk menyalakan pipa data pada latensi rendah dan efisiensi tinggi. |
| hudi-spark | 1.1.1-amzn-0 | Perpustakaan paket untuk menjalankan Spark dengan Hudi. |
| iceberg | 1.11.0-amzn-0 | Apache Iceberg adalah format tabel terbuka untuk kumpulan data analitik besar |
| livy-server | 0.9.0-inkubasi | Antarmuka REST untuk berinteraksi dengan Apache Spark |
| nginx | 1.12.1 | nginx [engine x] adalah server HTTP dan server proksi balik |
| mariadb-server | 5.5.68+ | Server basis data MariaDB. |
| nvidia-cuda | 12.5.0 | Driver Nvidia dan kit alat Cuda |
| r | 4.3.2 | Proyek R untuk Komputasi Statistik |
| spark-client | 4.1.1-amzn-0 | Klien baris perintah Spark. |
| spark-history-server | 4.1.1-amzn-0 | Web UI untuk melihat log acara untuk seluruh masa pakai aplikasi Spark. |
| spark-on-yarn | 4.1.1-amzn-0 | In-memory mesin eksekusi untuk YARN. |
| spark-yarn-slave | 4.1.1-amzn-0 | Perpustakaan Apache Spark yang dibutuhkan oleh slave YARN. |
| spark-rapids | 26.04.2-amzn-0 | Plugin Nvidia Spark RAPIDS yang mempercepat Apache Spark dengan GPU. |
| zookeeper-server | 3.9.3-amzn-8 | Layanan terpusat untuk menjaga informasi konfigurasi, penamaan, yang menyediakan sinkronisasi terdistribusi, dan menyediakan layanan grup. |
| zookeeper-client | 3.9.3-amzn-8 | ZooKeeper klien baris perintah. |
emr-spark-8.1.0 klasifikasi konfigurasi
Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti hive-site.xml. Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.
Tindakan konfigurasi ulang terjadi ketika Anda menentukan konfigurasi untuk grup instans di klaster yang sedang berjalan. Amazon EMR hanya memulai tindakan konfigurasi ulang untuk klasifikasi yang Anda ubah. Untuk informasi selengkapnya, lihat Lakukan konfigurasi ulang pada grup instans di klaster yang sedang berjalan.
| Klasifikasi | Deskripsi | Tindakan Konfigurasi Ulang |
|---|---|---|
capacity-scheduler | Ubah nilai dalam file capacity-scheduler.xml Hadoop. | Restarts the ResourceManager service. |
container-executor | Ubah nilai dalam file container-executor.cfg Hadoop YARN ini. | Not available. |
container-log4j | Ubah nilai dalam file container-log4j.properties Hadoop YARN. | Not available. |
core-site | Ubah nilai dalam file core-site.xml Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
docker-conf | Ubah pengaturan terkait docker. | Not available. |
hadoop-env | Ubah nilai dalam lingkungan Hadoop untuk semua komponen Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
hadoop-log4j | Ubah nilai dalam file log4j.properties Hadoop ini. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
hadoop-ssl-server | Ubah konfigurasi server ssl hadoop | Not available. |
hadoop-ssl-client | Ubah konfigurasi klien ssl hadoop | Not available. |
hdfs-encryption-zones | Konfigurasikan zona enkripsi HDFS. | This classification should not be reconfigured. |
hdfs-env | Ubah nilai dalam lingkungan HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. |
hdfs-site | Ubah nilai dalam hdfs-site.xml HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
httpfs-env | Ubah nilai di lingkungan HTTPFS. | Restarts Hadoop Httpfs service. |
httpfs-site | Ubah nilai dalam file httpfs-site.xml Hadoop. | Restarts Hadoop Httpfs service. |
hadoop-kms-acls | Ubah nilai dalam file kms-acls.xml Hadoop. | Not available. |
hadoop-kms-env | Ubah nilai dalam lingkungan Hadoop KMS. | Restarts Hadoop-KMS service. |
hadoop-kms-java-home | Ubah beranda java KMS Hadoop | Not available. |
hadoop-kms-log4j | Ubah nilai dalam file kms-log4j.properties Hadoop. | Not available. |
hadoop-kms-site | Ubah nilai dalam file kms-site.xml Hadoop. | Restarts Hadoop-KMS. |
hudi-env | Ubah nilai di lingkungan Hudi. | Not available. |
hudi-defaults | Ubah nilai dalam file hudi-defaults.conf Hudi. | Not available. |
iceberg-defaults | Ubah nilai dalam file iceberg-defaults.conf Iceberg. | Not available. |
delta-defaults | Ubah nilai dalam file delta-defaults.conf Delta. | Not available. |
jupyter-notebook-conf | Ubah nilai dalam file jupyter_notebook_config.py Jupyter Notebook. | Not available. |
jupyter-s3-conf | Konfigurasikan persistensi Jupyter Notebook S3. | Not available. |
jupyter-sparkmagic-conf | Ubah nilai dalam file config.json Sparkmagic. | Not available. |
livy-conf | Ubah nilai dalam file livy.conf Livy. | Restarts Livy Server. |
livy-env | Ubah nilai di lingkungan Livy. | Restarts Livy Server. |
livy-log4j2 | Ubah pengaturan Livy log4j2.properties. | Restarts Livy Server. |
mapred-env | Ubah nilai di lingkungan MapReduce aplikasi. | Restarts Hadoop MapReduce-HistoryServer. |
mapred-site | Ubah nilai dalam file mapred-site.xml MapReduce aplikasi. | Restarts Hadoop MapReduce-HistoryServer. |
spark | Peng EMR-curated aturan Amazon untuk Apache Spark. | This property modifies spark-defaults. See actions there. |
spark-defaults | Ubah nilai dalam file spark-defaults.conf Spark. | Restarts Spark history server and Spark thrift server. |
spark-env | Ubah nilai di lingkungan Spark. | Restarts Spark history server and Spark thrift server. |
spark-hive-site | Ubah nilai dalam file hive-site.xml Spark | Not available. |
spark-log4j2 | Ubah nilai dalam file log4j2.properties Spark. | Restarts Spark history server and Spark thrift server. |
spark-metrics | Ubah nilai dalam file metrics.properties Spark. | Restarts Spark history server and Spark thrift server. |
yarn-env | Ubah nilai di lingkungan YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
yarn-site | Ubah nilai dalam file yarn-site.xml YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
zookeeper-config | Ubah nilai dalam ZooKeeper file zoo.cfg. | Restarts Zookeeper server. |
zookeeper-logback | Ubah nilai dalam ZooKeeper file logback.xml. | Restarts Zookeeper server. |
cloudwatch-logs | Konfigur CloudWatch asikan integrasi Log untuk node cluster EMR. | Not available. |
emr-metrics | Ubah pengaturan metrik emr untuk node ini. | Restarts the CloudWatchAgent service. |
Log perubahan Amazon EMR Spark 8.1.0
| Date | Peristiwa | Deskripsi |
|---|---|---|
| 2026-09-08 | Publikasi dokumen | Catatan rilis Amazon EMR Spark 8.1.0 (emr-spark-8.1.0) pertama kali diterbitkan |
