View a markdown version of this page

Layanan Terkelola Amazon untuk Apache Flink 1.18 - Layanan Terkelola untuk Apache Flink
Perubahan Layanan Terkelola Amazon untuk Apache Flink dengan Apache Flink 1.15 Komponen-komponenMasalah yang diketahui

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Layanan Terkelola Amazon untuk Apache Flink 1.18

Layanan Terkelola untuk Apache Flink sekarang mendukung Apache Flink versi 1.18.1. Pelajari tentang fitur baru utama dan perubahan yang diperkenalkan dengan Managed Service for Apache Flink dukungan Apache Flink 1.18.1.

catatan

Jika Anda menggunakan versi Apache Flink yang didukung sebelumnya dan ingin meningkatkan aplikasi yang ada ke Apache Flink 1.18.1, Anda dapat melakukannya menggunakan peningkatan versi Apache Flink di tempat. Dengan peningkatan versi di tempat, Anda mempertahankan keterlacakan aplikasi terhadap satu ARN di seluruh versi Apache Flink, termasuk snapshot, log, metrik, tag, konfigurasi Flink, dan banyak lagi. Anda dapat menggunakan fitur ini di RUNNING dan READY negara bagian. Untuk informasi selengkapnya, lihat Gunakan upgrade versi di tempat untuk Apache Flink.

Fitur yang didukung dengan referensi dokumentasi Apache Flink
Fitur yang Didukung Deskripsi Referensi dokumentasi Apache Flink
Konektor Opensearch Konektor ini termasuk wastafel yang memberikan jaminan setidaknya sekali. github: Konektor Opensearch
Konektor Amazon DynamoDB Konektor ini termasuk wastafel yang memberikan jaminan setidaknya sekali. Wastafel Amazon DynamoDB
Konektor MongoDB Konektor ini mencakup sumber dan wastafel yang memberikan jaminan setidaknya sekali. Konektor MongoDB
Pisahkan Hive dengan perencana Flink

Anda dapat menggunakan dialek Hive secara langsung tanpa pertukaran JAR tambahan.

 FLINK-26603: Pisahkan Hive dengan perencana Flink
Nonaktifkan WAL RocksDBWriteBatchWrapper secara default

Ini memberikan waktu pemulihan yang lebih cepat.

 FLINK-32326: Nonaktifkan WAL RocksDBWriteBatchWrapper secara default

Tingkatkan kinerja agregasi tanda air saat mengaktifkan penyelarasan tanda air

Meningkatkan kinerja agregasi tanda air saat mengaktifkan penyelarasan tanda air, dan menambahkan tolok ukur terkait.

 FLINK-32524: Kinerja agregasi tanda air
Siapkan penyelarasan tanda air untuk penggunaan produksi Menghilangkan risiko kelebihan beban pekerjaan besar JobManager FLINK-32548: Siapkan penyelarasan tanda air

Dapat dikonfigurasi RateLimitingStratey untuk Async Sink

RateLimitingStrategy memungkinkan Anda mengonfigurasi keputusan tentang apa yang harus diskalakan, kapan harus menskalakan, dan berapa banyak yang harus diskalakan.

 FLIP-242: Memperkenalkan yang dapat dikonfigurasi RateLimitingStrategy untuk Async Sink

Tabel pengambilan massal dan statistik kolom

 Peningkatan kinerja kueri. FLIP-247: Pengambilan massal tabel dan statistik kolom untuk partisi yang diberikan

Untuk dokumentasi rilis Apache Flink 1.18.1, lihat Pengumuman Rilis Apache Flink 1.18.1.

Akka diganti dengan Pekko

Apache Flink menggantikan Akka dengan Pekko di Apache Flink 1.18. Perubahan ini didukung sepenuhnya dalam Layanan Terkelola untuk Apache Flink dari Apache Flink 1.18.1 dan yang lebih baru. Anda tidak perlu memodifikasi aplikasi Anda sebagai akibat dari perubahan ini. Untuk informasi lebih lanjut, lihat FLINK-32468: Ganti Akka dengan Pekko.

Mendukung eksekusi PyFlink Runtime dalam Mode Thread

Perubahan Apache Flink ini memperkenalkan mode eksekusi baru untuk kerangka kerja Pyflink Runtime, Mode Proses. Mode Proses sekarang dapat menjalankan fungsi yang ditentukan pengguna Python di utas yang sama alih-alih proses terpisah.

Perbaikan bug yang di-backporting

Amazon Managed Service untuk Apache Flink melakukan perbaikan backport dari komunitas Flink untuk masalah kritis. Ini berarti bahwa runtime berbeda dari rilis Apache Flink 1.18.1. Berikut ini adalah daftar perbaikan bug yang telah kami backport:

Perbaikan bug yang di-backporting
Tautan Apache Flink JIRA Deskripsi
FLINK-33863 Perbaikan ini mengatasi masalah saat pemulihan status gagal untuk snapshot terkompresi.
FLINK-34063 Perbaikan ini mengatasi masalah saat operator sumber kehilangan pemisahan saat kompresi snapshot diaktifkan. Apache Flink menawarkan kompresi opsional (default: off) untuk semua pos pemeriksaan dan titik penyimpanan. Apache Flink mengidentifikasi bug di Flink 1.18.1 di mana status operator tidak dapat dipulihkan dengan benar ketika kompresi snapshot diaktifkan. Hal ini dapat mengakibatkan hilangnya data atau ketidakmampuan untuk memulihkan dari pos pemeriksaan.
FLINK-35069 Perbaikan ini mengatasi masalah ketika pekerjaan Flink macet memicu timer di akhir jendela.
FLINK-35097 Perbaikan ini mengatasi masalah catatan duplikat dalam konektor Sistem File API Tabel dengan format mentah.
FLINK-34379 Perbaikan ini mengatasi masalah OutOfMemoryError saat mengaktifkan pemfilteran tabel dinamis.
FLINK-28693 Perbaikan ini mengatasi masalah Table API tidak dapat menghasilkan grafik jika tanda air memiliki ekspresi ColumnBy.
FLINK-35217 Perbaikan ini mengatasi masalah pos pemeriksaan yang rusak selama mode kegagalan pekerjaan Flink tertentu.
Komponen Versi
Java 11 (direkomendasikan)
Skala

Sejak versi 1.15, Flink adalah. Scala-agnostic Sebagai referensi, MSF Flink 1.18 telah diverifikasi terhadap Scala 3.3 (LTS).
Layanan Terkelola untuk Apache Flink Flink Runtime (aws-kinesisanalytics-runtime) 1.2.0
AWS Konektor Kinesis (flink-connector-kinesis) [Sumber] 4.2.0-1.18
AWS Konektor Kinesis (flink-connector-kinesis) [Wastafel] 4.2.0-1.18
Apache Beam (hanya aplikasi Beam)

Dari versi 2.57.0. Untuk informasi selengkapnya, lihat Kompati bilitas Versi Flink.

Layanan Terkelola Amazon untuk Apache Flink Studio

Studio menggunakan notebook Apache Zeppelin untuk memberikan pengalaman pengembangan antarmuka tunggal untuk mengembangkan, men-debug kode, dan menjalankan aplikasi pemrosesan aliran Apache Flink. Diperlukan peningkatan ke Flink Interpreter Zeppelin untuk mengaktifkan dukungan Flink 1.18. Pekerjaan ini dijadwalkan dengan komunitas Zeppelin dan kami akan memperbarui catatan ini ketika selesai. Anda dapat terus menggunakan Flink 1.15 dengan Amazon Managed Service untuk Apache Flink Studio. Untuk informasi selengkapnya, lihat Membuat buku catatan Studio.

Kemalasan tanda air yang salah saat subtugas mengalami tekanan balik

Ada masalah yang diketahui dalam pembuatan tanda air ketika subtugas mengalami tekanan balik, yang telah diperbaiki dari Flink 1.19 dan yang lebih baru. Ini dapat muncul sebagai lonjakan jumlah catatan terlambat ketika grafik pekerjaan Flink mengalami tekanan balik. Kami menyarankan Anda meningkatkan ke versi Flink terbaru untuk melakukan perbaikan ini. Untuk informasi selengkapnya, lihat Penghit ungan waktu batas waktu kemalasan tanda air salah saat subtugas dilakukan. backpressured/blocked