Flink 1.15 Kebuntuan Wastafel Asinkron - Layanan Terkelola untuk Apache Flink

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Flink 1.15 Kebuntuan Wastafel Asinkron

Ada masalah yang diketahui dengan AWS konektor untuk antarmuka implementasi AsyncSink Apache Flink. Ini memengaruhi aplikasi yang menggunakan Flink 1.15 dengan konektor berikut:

  • Untuk aplikasi Java:

    • KinesisStreamsSink – org.apache.flink:flink-connector-kinesis

    • KinesisStreamsSink – org.apache.flink:flink-connector-aws-kinesis-streams

    • KinesisFirehoseSink – org.apache.flink:flink-connector-aws-kinesis-firehose

    • DynamoDbSink – org.apache.flink:flink-connector-dynamodb

  • SQL/TableAPI/PythonAplikasi Flink:

    • kinesis — org.apache.flink:flink-sql-connector-kinesis

    • kinesis — org.apache.flink:flink-sql-connector-aws-kinesis-streams

    • selang api — org.apache.flink:flink-sql-connector-aws-kinesis-firehose

    • dinamodb — org.apache.flink:flink-sql-connector-dynamodb

Aplikasi yang terpengaruh akan mengalami gejala berikut:

  • Pekerjaan Flink dalam RUNNING keadaan, tetapi tidak memproses data;

  • Tidak ada pekerjaan restart;

  • Pos pemeriksaan sudah habis waktu.

Masalah ini disebabkan oleh bug yang AWS SDK mengakibatkan tidak memunculkan kesalahan tertentu ke pemanggil saat menggunakan klien HTTP async. Hal ini mengakibatkan wastafel menunggu tanpa batas waktu untuk “permintaan dalam penerbangan” selesai selama operasi flush pos pemeriksaan.

Masalah ini telah diperbaiki AWS SDK mulai dari versi 2.20.144.

Berikut ini adalah petunjuk tentang cara memperbarui konektor yang terpengaruh untuk menggunakan versi baru AWS SDK dalam aplikasi Anda:

Topik