Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Ada fitur baru?
Halaman ini menjelaskan perubahan dan fungsionalitas yang tersedia dalam rilis terbaru Amazon EMR 7.x, 6.x, dan 5.x.
Catatan rilis ini juga tersedia di halaman Amazon EMR 7.3.0, Amazon EMR 6.15.0, dan Amazon EMR 5.36.2, bersama dengan versi aplikasi, versi komponen, dan klasifikasi konfigurasi yang tersedia untuk setiap rilis.
-
Untuk catatan rilis dari rilis sebelumnya, lihatEMRArsip Amazon dari catatan rilis.
-
Untuk mendapatkan pembaruan saat EMR rilis Amazon baru tersedia, berlangganan RSSumpan untuk catatan EMR rilis Amazon.
catatan
Rilis Amazon selanjutnya EMR menggunakan AWS Signature Version 4 (SigV4) untuk mengautentikasi permintaan ke Amazon S3. Kami menyarankan Anda menggunakan EMR rilis Amazon yang mendukung SigV4 sehingga Anda dapat mengakses bucket S3 baru dan menghindari gangguan pada beban kerja Anda. Untuk informasi lebih lanjut dan daftar EMR rilis Amazon yang mendukung SigV4, lihat Amazon EMR dan AWS Signature Versi 4.
Amazon EMR 7.3.0 (rilis terbaru seri 7.x)
EMRRilis Amazon baru tersedia di Wilayah yang berbeda selama beberapa hari, dimulai dengan Wilayah pertama pada tanggal rilis awal. Versi rilis terbaru mungkin tidak tersedia di Wilayah Anda selama periode ini.
Catatan rilis berikut mencakup informasi untuk EMR rilis Amazon 7.3.0. Perubahan relatif terhadap 7.3.0.
Fitur baru
-
Upgrade aplikasi — Amazon EMR 7.3.0 application upgrades include Delta 3.2.0-amzn-0, Hudi 0.15.0-amzn-0, TensorFlow 2.16.1, Trino 442, and Zeppelin 11.1.
-
Rilis ini menambahkan 22 titik akhir open-source yang mendukung enkripsi in-transit melalui jaringan. Peningkatan ini mencakup kerangka kerja sumber terbuka seperti Hadoop, Hive, Tez, Phoenix, dan Flink. Jika Anda mengaktifkan enkripsi dalam perjalanan dan ingin terhubung ke titik akhir ini, Anda mungkin harus memodifikasi kode Anda untuk mendukung TLS komunikasi. Anda dapat menonaktifkan TLS untuk salah satu titik akhir ini sesuai kebutuhan. Untuk daftar lengkap titik akhir yang didukung, lihat Memahami matriks dukungan enkripsi dalam transit.
-
Dengan Amazon EMR 7.3.0, Apache Hive dengan Iceberg kini mendukung Katalog Data AWS Glue sebagai metastore, yang memberi Anda manfaat seperti repositori terpusat untuk menyimpan metadata, merayapi sumber data secara otomatis dan mengekstrak metadata, dan integrasi dengan layanan lain untuk alur kerja yang mulus.
Masalah yang diketahui
-
Python 3.11 tidak didukung dengan Studio. EMR
-
Jika Anda menggunakan enkripsi dalam transit dan otentikasi Kerberos, Anda tidak akan dapat menggunakan aplikasi Spark yang bergantung pada metastore Hive. Masalah ini diperbaiki di HIVE-16340
dan akan sepenuhnya diselesaikan di SPARK-44114 ketika Spark sumber terbuka dapat meningkatkan ke Hive 3. Sementara itu, Anda dapat mengatasi masalah ini untuk sementara dengan hive.metastore.use.SSL
menyetelnya.false
Untuk informasi selengkapnya, lihat Mengkonfigurasi aplikasi.-
Jika Anda tidak menggunakan otentikasi Kerberos, Anda harus mengonfigurasi Spark untuk digunakan. SSL Untuk melakukannya, atur konfigurasi berikut saat Anda menyediakan klaster Anda.
[{ "Classification": "spark-defaults", "Properties": { "spark.hadoop.hive.metastore.truststore.path": "/usr/share/aws/emr/security/conf/keystore-thrift.jks", "spark.hadoop.hive.metastore.use.SSL": "true" } }]
-
Perubahan, penyempurnaan, dan masalah yang diselesaikan
-
Untuk mendukung verifikasi TLS nama hostYARN, rilis ini mengubah
yarn.resourcemanager.hostname
konfigurasi dari alamat IP instance utama ke DNS nama pribadi instance utama.
Saat Anda meluncurkan cluster dengan rilis patch terbaru Amazon EMR 5.36 atau lebih tinggi, 6.6 atau lebih tinggi, atau 7.0 atau lebih tinggi, Amazon EMR menggunakan rilis Amazon Linux 2023 atau Amazon Linux 2 terbaru untuk Amazon default. EMR AMI Untuk informasi selengkapnya, lihat Menggunakan Amazon Linux default AMI untuk Amazon EMR.
OsReleaseLabel (Versi Amazon Linux) Versi kernel Amazon Linux Tanggal yang tersedia Wilayah yang Didukung 2023.5.20240916 6.1.109-118.189.amzn2023 September 6, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia), Asia Pasifik (Hyderabad), Timur Tengah (), Eropa (SpanyolUAE), Eropa (Zurich), Asia Pasifik (Melbourne), Israel (Tel Aviv), Kanada Barat (Calgary)
Amazon EMR 6.15.0 (rilis terbaru dari seri 6.x)
EMRRilis Amazon baru tersedia di Wilayah yang berbeda selama beberapa hari, dimulai dengan Wilayah pertama pada tanggal rilis awal. Versi rilis terbaru mungkin tidak tersedia di Wilayah Anda selama periode ini.
Catatan rilis berikut mencakup informasi untuk EMR rilis Amazon 6.15.0. Perubahan relatif terhadap 6.14.0. Untuk informasi tentang timeline rilis, lihat. 6.15.0 perubahan log
Fitur baru
-
Upgrade aplikasi — Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
-
Peluncuran lebih cepat untuk EMR cluster yang berjalan EC2
— Sekarang hingga 35% lebih cepat untuk meluncurkan Amazon EMR di EC2 cluster. Dengan peningkatan ini, sebagian besar pelanggan dapat meluncurkan cluster mereka dalam 5 menit atau kurang. -
CodeWhisperer untuk EMR Studio - Anda sekarang dapat menggunakan Amazon CodeWhisperer dengan Amazon EMR Studio untuk mendapatkan rekomendasi waktu nyata saat Anda menulis kode JupyterLab. CodeWhisperer dapat menyelesaikan komentar Anda, menyelesaikan satu baris kode, membuat line-by-line rekomendasi, dan menghasilkan fungsi yang sepenuhnya terbentuk.
-
Waktu restart pekerjaan lebih cepat dengan Flink - Dengan Amazon EMR 6.15.0 dan yang lebih tinggi, beberapa mekanisme baru tersedia untuk Apache Flink untuk meningkatkan waktu restart pekerjaan selama pemulihan tugas atau operasi penskalaan. Ini mengoptimalkan kecepatan pemulihan dan memulai ulang grafik eksekusi untuk meningkatkan stabilitas pekerjaan.
-
Kontrol akses tingkat tabel dan berbutir halus untuk format tabel terbuka — Dengan EMR Amazon 6.15.0 dan yang lebih tinggi, saat Anda menjalankan pekerjaan Spark di Amazon EMR pada EC2 cluster yang mengakses data di Katalog Data AWS Glue, Anda dapat AWS Lake Formation menggunakannya untuk menerapkan izin tabel, baris, kolom, dan tingkat sel pada tabel berbasis Hudi, Iceberg, atau Delta Lake.
-
Upgrade Hadoop - Amazon EMR 6.15.0 termasuk upgrade Apache Hadoop ke versi 3.3.6. Hadoop 3.3.6 adalah versi terbaru pada saat penyebaran Amazon EMR 6.15, dirilis oleh Apache pada Juni 2023. Rilis Amazon sebelumnya EMR (6.9.0 hingga 6.14.x) menggunakan Hadoop 3.3.3.
Upgrade mencakup ratusan perbaikan dan perbaikan, dan fitur yang mencakup parameter datanode yang dapat dikonfigurasi ulang,
DFSAdmin
opsi untuk memulai operasi konfigurasi ulang massal pada semua datanodes langsung, dan vektor yang memungkinkan pembaca seek-heavy menentukan beberapa rentang API untuk dibaca. Hadoop 3.3.6 juga menambahkan dukungan untuk HDFS APIs dan semantik untuk write-ahead log (WAL), sehingga HBase dapat berjalan pada implementasi sistem penyimpanan lainnya. Untuk informasi selengkapnya, lihat changelog untuk versi 3.3.4, 3.3.5, dan 3.3.6dalam dokumentasi Apache Hadoop. -
Support AWS SDK for Java, versi 2 - Aplikasi Amazon EMR 6.15.0 dapat digunakan AWS SDK untuk Java versi 1.12.569
atau 2.20.160 jika aplikasi mendukung v2. The AWS SDK for Java 2.x adalah penulisan ulang utama dari basis kode versi 1.x. Ini dibangun di atas Java 8+ dan menambahkan beberapa fitur yang sering diminta. Ini termasuk dukungan untuk I/O non-pemblokiran, dan kemampuan untuk menyambungkan HTTP implementasi yang berbeda saat runtime. Untuk informasi selengkapnya, termasuk Panduan Migrasi dari SDK untuk Java v1 ke v2, lihat panduan AWS SDKuntuk Java, versi 2.
Perubahan, penyempurnaan, dan masalah yang diselesaikan
Untuk meningkatkan EMR kluster ketersediaan tinggi Anda, rilis ini memungkinkan konektivitas ke EMR daemon Amazon di host lokal yang menggunakan IPv6 titik akhir.
Rilis ini memungkinkan TLS 1.2 untuk komunikasi dengan ZooKeeper provisioned pada semua node utama klaster ketersediaan tinggi Anda.
Rilis ini meningkatkan pengelolaan file log ZooKeeper transaksi yang dipertahankan pada node primer untuk meminimalkan skenario di mana file log tumbuh di luar batas dan mengganggu operasi cluster.
Rilis ini membuat komunikasi intra-node lebih tangguh untuk cluster ketersediaan tinggi. EMR Peningkatan ini mengurangi kemungkinan kegagalan tindakan bootstrap atau kegagalan awal cluster.
-
Tez di Amazon EMR 6.15.0 memperkenalkan konfigurasi yang dapat Anda tentukan untuk membuka pemisahan input secara asinkron dalam pemisahan yang dikelompokkan Tez. Ini menghasilkan kinerja kueri baca yang lebih cepat ketika ada sejumlah besar pemisahan input dalam satu pemisahan yang dikelompokkan Tez. Untuk informasi lebih lanjut, lihat Pembukaan split asinkron Tez.
Saat Anda meluncurkan cluster dengan rilis patch terbaru Amazon EMR 5.36 atau lebih tinggi, 6.6 atau lebih tinggi, atau 7.0 atau lebih tinggi, Amazon EMR menggunakan rilis Amazon Linux 2023 atau Amazon Linux 2 terbaru untuk Amazon default. EMR AMI Untuk informasi selengkapnya, lihat Menggunakan Amazon Linux default AMI untuk Amazon EMR.
OsReleaseLabel (Versi Amazon Linux) Versi kernel Amazon Linux Tanggal yang tersedia Wilayah yang Didukung 2.0.20241001.0 4.14.352 Oktober 4, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240816.0 4.14.350 Agustus 21, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240809.0 4.14.349 Agustus 20, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240719.0 4.14.348 Juli 25, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240709.1 4.14.348 Juli 23, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia), Asia Pasifik (Hyderabad), Timur Tengah (), Eropa (SpanyolUAE), Eropa (Zurich), Asia Pasifik (Melbourne), Israel (Tel Aviv), Kanada Barat (Calgary) 2.0.20240223.0 4.14.336 8 Maret 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Zurich), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Hyderabad), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Timur Tengah (), Kanada (UAE Tengah), Israel (Tel Aviv), AWS GovCloud (AS-Barat), AWS GovCloud (AS-Timur), China (Beijing), China (Ningxia), Kanada Barat (Calgary) 2.0.20240131.0 4.14.336 Februari 14, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Zurich), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Hyderabad), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Timur Tengah (), Kanada (UAE Tengah), Israel (Tel Aviv), AWS GovCloud (AS-Barat), AWS GovCloud (AS-Timur), China (Beijing), China (Ningxia), Kanada Barat (Calgary) 2.0.20240124.0 4.14.336 Februari 7, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Zurich), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Hyderabad), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Timur Tengah (), Kanada (UAE Tengah), Israel (Tel Aviv), AWS GovCloud (AS-Barat), AWS GovCloud (AS-Timur), China (Beijing), China (Ningxia), Kanada Barat (Calgary) 2.0.20240109.0 4.14.334 Januari 24, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Zurich), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Hyderabad), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Timur Tengah (), Kanada (UAE Tengah), Israel (Tel Aviv), AWS GovCloud (AS-Barat), AWS GovCloud (AS-Timur), China (Beijing), China (Ningxia), Kanada Barat (Calgary) 2.0.20231218.0 4.14.330 Januari 2, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Zurich), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Hyderabad), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Timur Tengah (), Kanada (UAE Tengah), Israel (Tel Aviv), AWS GovCloud (AS-Barat), AWS GovCloud (AS-Timur), China (Beijing), China (Ningxia) 2.0.20231206.0 4.14.330 22 Desember 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Zurich), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Hyderabad), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Timur Tengah (), Kanada (UAE Tengah), Israel (Tel Aviv), AWS GovCloud (AS-Barat), AWS GovCloud (AS-Timur), China (Beijing), China (Ningxia) 2.0.20231116.0 4.14.328 Desember 11, 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Zurich), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Hyderabad), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Timur Tengah (), Kanada (UAE Tengah), Israel (Tel Aviv), AWS GovCloud (AS-Barat), AWS GovCloud (AS-Timur), China (Beijing), China (Ningxia) 2.0.20231101.0 4.14.327 13 November 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Zurich), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Hyderabad), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Timur Tengah (), Kanada (UAE Tengah), Israel (Tel Aviv), AWS GovCloud (AS-Barat), AWS GovCloud (AS-Timur), China (Beijing), China (Ningxia)
Amazon EMR 5.36.2 (rilis terbaru seri 5.x)
EMRRilis Amazon baru tersedia di Wilayah yang berbeda selama beberapa hari, dimulai dengan Wilayah pertama pada tanggal rilis awal. Versi rilis terbaru mungkin tidak tersedia di Wilayah Anda selama periode ini.
Catatan rilis berikut mencakup informasi untuk EMR rilis Amazon 5.36.2. Perubahan relatif terhadap 5.36.1. Untuk informasi tentang timeline rilis, lihat log perubahan.
Perubahan, penyempurnaan, dan masalah yang diselesaikan
-
Rilis ini meningkatkan logika penskalaan klaster sehingga Amazon EMR tidak menurunkan skala node inti di bawah pengaturan faktor HDFS replikasi untuk cluster. Peningkatan ini memenuhi persyaratan redundansi data, dan mengurangi kemungkinan operasi penskalaan mungkin terhenti.
-
Rilis ini menambahkan mekanisme coba lagi baru ke alur kerja penskalaan klaster untuk menjalankan Presto atau Trino. Peningkatan ini mengurangi risiko bahwa pengubahan ukuran cluster berjalan tanpa batas karena satu operasi pengubahan ukuran yang gagal. Ini juga meningkatkan pemanfaatan cluster, karena klaster Anda naik dan turun lebih cepat.
-
Memperbaiki masalah di mana operasi penskalaan klaster mungkin terhenti sementara EMR Amazon dengan anggun menonaktifkan node inti dan ternyata tidak sehat sebelum sepenuhnya dinonaktifkan.
-
Meningkatkan stabilitas node dalam klaster ketersediaan tinggi dengan beberapa node primer saat Amazon EMR memulai ulang satu node.
-
Mengoptimalkan manajemen log dengan Amazon yang EMR berjalan di AmazonEC2. Akibatnya, Anda mungkin melihat sedikit pengurangan biaya penyimpanan untuk log cluster Anda.
-
Meningkatkan pengelolaan file log ZooKeeper transaksi yang dipertahankan pada node primer untuk meminimalkan skenario di mana file log tumbuh di luar batas dan mengganggu operasi cluster.
-
Memperbaiki bug langka yang dapat menyebabkan cluster ketersediaan tinggi dengan beberapa node utama gagal karena tidak dapat berkomunikasi dengan Yarn. ResourceManager
Saat Anda meluncurkan cluster dengan rilis patch terbaru Amazon EMR 5.36 atau lebih tinggi, 6.6 atau lebih tinggi, atau 7.0 atau lebih tinggi, Amazon EMR menggunakan rilis Amazon Linux 2023 atau Amazon Linux 2 terbaru untuk Amazon default. EMR AMI Untuk informasi selengkapnya, lihat Menggunakan Amazon Linux default AMI untuk Amazon EMR.
OsReleaseLabel (Versi Amazon Linux) Versi Kernel Amazon Linux Tanggal Tersedia Wilayah yang Didukung 2.0.20241001.0 4.14.352 Oktober 4, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240816.0 4.14.350 Agustus 21, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240809.0 4.14.349 Agustus 20, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240719.0 4.14.348 Juli 25, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240709.1 4.14.348 Juli 23, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia), Asia Pasifik (Hyderabad), Timur Tengah (), Eropa (SpanyolUAE), Eropa (Zurich), Asia Pasifik (Melbourne), Israel (Tel Aviv), Kanada Barat (Calgary) 2.0.20240503.0 4.14.343 xxxxxx, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia)
Amazon EMR dan AWS Signature Versi 4
EMRRilis Amazon menggunakan AWS Signature Versi 4 (SigV4) untuk mengautentikasi permintaan ke Amazon S3. Bucket yang dibuat di Amazon S3 setelah 24 Juni 2020 tidak mendukung permintaan yang ditandatangani oleh Signature Version 2 (SigV2). Bucket yang dibuat pada atau sebelum 24 Juni 2020 akan terus mendukung SIGV2. Kami menyarankan Anda bermigrasi ke EMR rilis Amazon yang mendukung SigV4 sehingga Anda dapat mengakses bucket S3 baru dan menghindari gangguan pada beban kerja Anda.
Jika Anda menggunakan aplikasi yang disertakan dengan Amazon EMR seperti Apache Spark, Apache Hive, dan Presto, Anda tidak perlu mengubah kode aplikasi untuk digunakan SigV4 . Jika Anda menggunakan aplikasi khusus yang tidak disertakan dengan AmazonEMR, Anda mungkin perlu memperbarui kode Anda untuk digunakan SigV4. Untuk informasi selengkapnya, lihat Memindahkan dari Signature Version 2 ke Signature Version 4 di Panduan Pengguna Amazon S3.
Amazon berikut EMR merilis dukungan SigV4: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher. Semua 6.x dan 7.x rilis mendukung SigV4.