View a markdown version of this page

Layanan Terkelola Amazon untuk Apache Flink 1.19 - Layanan Terkelola untuk Apache Flink
Fitur yang didukungPerubahan Layanan Terkelola Amazon untuk Apache Flink 1.19.1Komponen-komponenMasalah yang diketahui

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Layanan Terkelola Amazon untuk Apache Flink 1.19

Layanan Terkelola untuk Apache Flink sekarang mendukung Apache Flink versi 1.19.1. Bagian ini memperkenalkan Anda pada fitur-fitur baru utama dan perubahan yang diperkenalkan dengan Managed Service untuk Apache Flink dukungan Apache Flink 1.19.1.

catatan

Jika Anda menggunakan versi Apache Flink yang didukung sebelumnya dan ingin meningkatkan aplikasi yang ada ke Apache Flink 1.19.1, Anda dapat melakukannya menggunakan peningkatan versi Apache Flink di tempat. Untuk informasi selengkapnya, lihat Gunakan upgrade versi di tempat untuk Apache Flink. Dengan peningkatan versi di tempat, Anda mempertahankan keterlacakan aplikasi terhadap satu ARN di seluruh versi Apache Flink, termasuk snapshot, log, metrik, tag, konfigurasi Flink, dan banyak lagi.

Apache Flink 1.19.1 memperkenalkan peningkatan dalam SQL API, seperti parameter bernama, paralelisme sumber kustom, dan TTL status yang berbeda untuk berbagai operator Flink.

Fitur yang didukung dan dokumentasi terkait
Fitur yang didukung Deskripsi Referensi dokumentasi Apache Flink
SQL API: Mendukung Konfigurasi TTL Status Berbeda menggunakan Petunjuk SQL Pengguna sekarang dapat mengonfigurasi status TTL pada gabungan reguler streaming dan agregat grup. FLIP-373: Mengkonfigurasi TTL Status Berbeda menggunakan Petunjuk SQL
SQL API: Mendukung parameter bernama untuk fungsi dan prosedur panggilan Pengguna sekarang dapat menggunakan parameter bernama dalam fungsi, daripada mengandalkan urutan parameter. FLIP-378: Mendukung parameter bernama untuk fungsi dan prosedur panggilan
SQL API: Mengatur paralelisme untuk sumber SQL Pengguna sekarang dapat menentukan paralelisme untuk sumber SQL. FLIP-367: Mendukung Pengaturan Paralelisme untuk Sumber Table/SQL
SQL API: Mendukung Jendela Sesi TVF Pengguna sekarang dapat menggunakan Table-Valued fungsi jendela sesi. FLINK-24024: Dukungan sesi Window TVF
SQL API: Agregasi TVF Jendela Mendukung Input Changelog Pengguna sekarang dapat melakukan agregasi jendela pada input changelog. FLINK-20281: Agregasi jendela mendukung input aliran changelog

Mendukung Python 3.11

 Flink sekarang mendukung Python 3.11, yang 10-60% lebih cepat dibandingkan dengan Python 3.10. Untuk informasi selengkapnya, lihat Apa yang Baru di Python 3.11. FLINK-33030: Tambahkan dukungan python 3.11
Berikan metrik untuk TwoPhaseCommitting wastafel Pengguna dapat melihat statistik seputar status commit dalam dua fase commit sink. FLIP-371: Menyediakan konteks inisialisasi untuk pembuatan Committer di TwoPhaseCommittingSink

Pelacakan Reporter untuk memulai ulang pekerjaan dan pemeriksaan

 Pengguna sekarang dapat memantau jejak di sekitar durasi pos pemeriksaan dan tren pengulangan ulang. Di Amazon Managed Service for Apache Flink, kami mengaktifkan pelacakan pelacakan SLF4j secara default, sehingga pengguna dapat memantau pos pemeriksaan dan pelacakan pekerjaan melalui Log aplikasi. CloudWatch FLIP-384: Perkenalkan TraceReporter dan gunakan untuk membuat jejak checkpoint dan pemulihan
catatan

Anda dapat memilih fitur berikut dengan mengirimkan kasus dukungan:

Opt-in fitur dan dokumentasi terkait
Opt-in fitur Deskripsi Referensi dokumentasi Apache Flink
Dukungan menggunakan interval checkpointing yang lebih besar saat sumber memproses backlog Ini adalah fitur opt-in, karena pengguna harus menyesuaikan konfigurasi untuk persyaratan pekerjaan spesifik mereka. FLIP-309: Dukungan menggunakan interval checkpointing yang lebih besar saat sumber memproses backlog
Mengalihkan System.out dan System.err ke log Java Ini adalah fitur opt-in. Pada Amazon Managed Service untuk Apache Flink, perilaku defaultnya adalah mengabaikan output dari System.out dan System.err karena praktik terbaik dalam produksi adalah menggunakan logger Java asli. FLIP-390: Dukungan Sistem keluar dan kesalahan untuk dialihkan ke LOG atau dibuang

Untuk dokumentasi rilis Apache Flink 1.19.1, lihat Dokumentasi Apache Flink v1.19.1.

Logging Trace Reporter diaktifkan secara default

Apache Flink 1.19.1 memperkenalkan pos pemeriksaan dan jejak pemulihan, memungkinkan pengguna untuk men-debug pos pemeriksaan dan masalah pemulihan pekerjaan dengan lebih baik. Di Amazon Managed Service untuk Apache Flink, jejak ini dicatat ke aliran CloudWatch log, memungkinkan pengguna untuk menguraikan waktu yang dihabiskan untuk inisialisasi pekerjaan, dan mencatat ukuran historis pos pemeriksaan.

Strategi restart default sekarang adalah penundaan eksponensial

Di Apache Flink 1.19.1, ada peningkatan signifikan pada strategi restart penundaan eksponensial. Di Amazon Managed Service untuk Apache Flink dari Flink 1.19.1 dan seterusnya, pekerjaan Flink menggunakan strategi restart penundaan eksponensial secara default. Ini berarti bahwa pekerjaan pengguna akan pulih lebih cepat dari kesalahan sementara, tetapi tidak akan membebani sistem eksternal jika restart pekerjaan tetap ada.

Perbaikan bug yang di-backporting

Amazon Managed Service untuk Apache Flink melakukan perbaikan backport dari komunitas Flink untuk masalah kritis. Ini berarti bahwa runtime berbeda dari rilis Apache Flink 1.19.1. Berikut ini adalah daftar perbaikan bug yang telah kami backport:

Perbaikan bug yang di-backporting
Tautan Apache Flink JIRA Deskripsi
FLINK-35531 Perbaikan ini mengatasi regresi kinerja yang diperkenalkan di 1.17.0 yang menyebabkan penulisan lebih lambat ke HDFS.
FLINK-35157 Perbaikan ini mengatasi masalah pekerjaan Flink yang macet saat sumber dengan penyelarasan tanda air mengalami subtugas yang sudah selesai.
FLINK-34252 Perbaikan ini mengatasi masalah dalam pembuatan tanda air yang menghasilkan status tanda air IDLE yang salah.
FLINK-34252 Perbaikan ini mengatasi regresi kinerja selama pembuatan tanda air dengan mengurangi panggilan sistem.
FLINK-33936 Perbaikan ini mengatasi masalah dengan catatan duplikat selama agregasi batch mini pada API Tabel.
FLINK-35498 Perbaikan ini mengatasi masalah dengan konflik nama argumen saat mendefinisikan parameter bernama di UDF API Tabel.
FLINK-33192 Perbaikan ini mengatasi masalah kebocoran memori status di operator jendela karena pembersihan timer yang tidak tepat.
FLINK-35069 Perbaikan ini mengatasi masalah ketika pekerjaan Flink macet memicu timer di akhir jendela.
FLINK-35832 Perbaikan ini mengatasi masalah saat IFNULL mengembalikan hasil yang salah.
FLINK-35886 Perbaikan ini mengatasi masalah saat tugas bertekanan balik dianggap tidak aktif.
Komponen Versi
Java 11 (direkomendasikan)
Python

3.11
Kinesis Analisis Data Flink Runtime (aws-kinesisanalytics-runtime) 1.2.0
Konektor Untuk informasi tentang konektor yang tersedia, lihat konektor https://docs.aws.amazon.com/managed-flink/latest/java/how-flink-connectors.html Apache Flink.
Apache Beam (hanya aplikasi Beam)

Dari versi 2.61.0. Untuk informasi selengkapnya, lihat Kompati bilitas Versi Flink.

Layanan Terkelola Amazon untuk Apache Flink Studio

Studio menggunakan notebook Apache Zeppelin untuk memberikan pengalaman pengembangan antarmuka tunggal untuk mengembangkan, men-debug kode, dan menjalankan aplikasi pemrosesan aliran Apache Flink. Diperlukan peningkatan ke Flink Interpreter Zeppelin untuk mengaktifkan dukungan Flink 1.19. Pekerjaan ini dijadwalkan dengan komunitas Zeppelin dan kami akan memperbarui catatan ini ketika selesai. Anda dapat terus menggunakan Flink 1.15 dengan Amazon Managed Service untuk Apache Flink Studio. Untuk informasi selengkapnya, lihat Membuat buku catatan Studio.