Amazon Managed Service für Apache Flink 1.15 - Managed Service für Apache Flink

Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Managed Service für Apache Flink 1.15

Managed Service für Apache Flink unterstützt die folgenden neuen Funktionen in Apache 1.15.2:

Funktion Beschreibung Apache-Referenz FLIP
Asynchrone Senke Ein AWS unterstütztes Framework für die Erstellung asynchroner Ziele, das es Entwicklern ermöglicht, benutzerdefinierte AWS Konnektoren mit weniger als der Hälfte des bisherigen Aufwands zu erstellen. Weitere Informationen finden Sie unter Die generische asynchrone Basissenke. FLIP-171: Asynchrone Senke.
Kinesis Data Firehose Senke AWS hat mithilfe des Async-Frameworks einen neuen Amazon Kinesis Firehose Sink beigesteuert. Amazon Kinesis Data Firehose Senke.
Anhalten mit Savepoint Anhalten mit Savepoint sorgt für einen sauberen Anhaltevorgang und unterstützt vor allem die Exakt-einmal-Semantik für Kunden, die sich darauf verlassen. FLIP-34: Job mit Savepoint beenden/aussetzen.
Scala-Entkopplung Benutzer können jetzt Java API von jeder Scala-Version aus nutzen, einschließlich Scala 3. Kunden müssen die Scala-Standardbibliothek ihrer Wahl in ihren Scala-Anwendungen bündeln. FLIP-28: Langfristiges Ziel, Flink-Table skalafrei zu machen.
Scala Siehe Scala-Entkopplung oben FLIP-28: Langfristiges Ziel, Flink-Table Scala-frei zu machen.
Einheitliche Konnektor-Metriken Flink hat Standardmetriken für Aufträge, Aufgaben und Operatoren definiert. Managed Service für Apache Flink wird weiterhin Senken- und Quell-Metriken unterstützen und in 1.15 numRestarts parallel zu fullRestarts für Verfügbarkeitsmetriken einführen. FLIP-33: Standardisieren Sie Connector-Metriken und -179: Stellen Sie standardisierte Operator-Metriken bereit. FLIP
Checkpointing von abgeschlossenen Aufgaben Dieses Feature ist in Flink 1.15 standardmäßig aktiviert und ermöglicht es, weiterhin Checkpoints durchzuführen, auch wenn Teile des Auftragsdiagramms die Verarbeitung aller Daten abgeschlossen haben, was passieren kann, wenn er gebundene (Batch-)Quellen enthält. FLIP-147: Support Checkpoints nach Abschluss von Aufgaben.

Studio-Notebooks

Managed Service für Apache Flink Studio unterstützt jetzt Apache Flink 1.15. Managed Service für Apache Flink Studio nutzt Apache-Zeppelin-Notebooks, um eine zentrale Benutzeroberfläche für die Entwicklung, das Debuggen von Code und die Ausführung von Apache-Flink-Streamverarbeitungsanwendungen bereitzustellen. Weitere Informationen über Managed Service für Apache Flink Studio und die ersten Schritte finden Sie unter Verwenden Sie ein Studio-Notebook mit Managed Service für Apache Flink.

EFOStecker

Stellen Sie beim Upgrade auf Managed Service für Apache Flink Version 1.15 sicher, dass Sie den neuesten EFO Connector verwenden, d. h. eine beliebige Version 1.15.3 oder neuer. Weitere Informationen zu den Gründen finden Sie unter -29324. FLINK

Scala-Entkopplung

Ab Flink 1.15.2 müssen Sie die Scala-Standardbibliothek Ihrer Wahl in Ihren Scala-Anwendungen bündeln.

Kinesis Data Firehose Senke

Stellen Sie beim Upgrade auf Managed Service für Apache Flink Version 1.15 sicher, dass Sie die neueste Amazon Kinesis Data Firehose Senke verwenden.

Kafka-Konnektoren

Stellen Sie beim Upgrade auf Amazon Managed Service for Apache Flink for Apache Flink Version 1.15 sicher, dass Sie den neuesten Kafka-Connector verwenden. APIs Apache Flink ist veraltet FlinkKafkaConsumerund FlinkKafkaProducerdiese APIs für die Kafka-Senke können sich nicht auf Kafka für Flink 1.15 festlegen. Stellen Sie sicher, dass Sie KafkaSourceund KafkaSinkverwenden.

Komponente Version
Java 11 (empfohlen)
Scala 2.12
Verwalteter Dienst für Apache Flink Flink Runtime () aws-kinesisanalytics-runtime 1.2.0
AWS Kinesis-Anschluss () flink-connector-kinesis 1.15.4
Apache Beam (nur Beam-Anwendungen) 2.33.0, mit Jackson-Version 2.12.2