View a markdown version of this page

Amazon Managed Service für Apache Flink 1.19 - Managed Service für Apache Flink
Unterstützte FeaturesÄnderungen in Amazon Managed Service für Apache Flink 1.19.1KomponentenBekannte Probleme

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Managed Service für Apache Flink 1.19

Managed Service für Apache Flink unterstützt jetzt Apache Flink Version 1.19.1. In diesem Abschnitt werden die wichtigsten neuen Funktionen und Änderungen vorgestellt, die mit der Unterstützung von Apache Flink von Apache Flink 1.19.1 durch Managed Service for Apache Flink eingeführt wurden.

Anmerkung

Wenn Sie eine frühere unterstützte Version von Apache Flink verwenden und Ihre vorhandenen Anwendungen auf Apache Flink 1.19.1 aktualisieren möchten, können Sie dies mithilfe von direkten Apache Flink-Versionsupgrades tun. Weitere Informationen finden Sie unter Verwenden Sie direkte Versionsupgrades für Apache Flink. Mit direkten Versionsupgrades behalten Sie die Rückverfolgbarkeit von Anwendungen anhand eines einzigen ARN für alle Apache Flink-Versionen bei, einschließlich Snapshots, Logs, Metriken, Tags, Flink-Konfigurationen und mehr.

Apache Flink 1.19.1 führt Verbesserungen in der SQL-API ein, wie z. B. benannte Parameter, benutzerdefinierte Quellparallelität und unterschiedliche Status-TTLs für verschiedene Flink-Operatoren.

Unterstützte Funktionen und zugehörige Dokumentation
Unterstützte Features Description Referenz zur Apache Flink-Dokumentation
SQL API: Unterstützt die Konfiguration verschiedener Status-TTLs mithilfe von SQL Hint Benutzer können jetzt Status-TTL für reguläre Stream-Joins und Gruppenaggregat konfigurieren. FLIP-373: Konfiguration verschiedener Status-TTLs mithilfe von SQL Hint
SQL API: Unterstützt benannte Parameter für Funktionen und Aufrufprozeduren Benutzer können jetzt benannte Parameter in Funktionen verwenden, anstatt sich auf die Reihenfolge der Parameter zu verlassen. FLIP-378: Unterstützt benannte Parameter für Funktionen und Aufrufprozeduren
SQL API: Einstellung der Parallelität für SQL-Quellen Benutzer können jetzt Parallelität für SQL-Quellen angeben. FLIP-367: Unterstützt die Einstellung der Parallelität für Quellen Table/SQL
SQL-API: Unterstützung für das Sitzungsfenster (TVF) Benutzer können jetzt die Table-Valued Funktionen des Sitzungsfensters verwenden. FLINK-24024: Unterstützt das Sitzungsfenster (TVF)
SQL API: Die Window TVF-Aggregation unterstützt Changelog-Eingaben Benutzer können jetzt eine Fensteraggregation für Changelog-Eingaben durchführen. FLINK-20281: Die Fensteraggregation unterstützt die Eingabe von Changelog-Streams

Unterstützt Python 3.11

 Flink unterstützt jetzt Python 3.11, was im Vergleich zu Python 3.10 10-60% schneller ist. Weitere Informationen finden Sie unter Was ist neu in Python 3.11. FLINK-33030: Fügen Sie Python 3.11-Unterstützung hinzu
Stellen Sie Metriken für TwoPhaseCommitting Sink bereit Benutzer können sich Statistiken zum Status von Committern in zwei Phasen ansehen, in denen Committer in zwei Phasen vorliegen. FLIP-371: Geben Sie den Initialisierungskontext für die Erstellung von Committern in an TwoPhaseCommittingSink

Trace Reporters für Jobneustarts und Checkpoints

 Benutzer können nun Traces im Hinblick auf die Dauer der Checkpoints und die Wiederherstellungstrends überwachen. In Amazon Managed Service für Apache Flink aktivieren wir standardmäßig SLF4j-Trace-Reporter, sodass Benutzer Checkpoint- und Job-Traces mithilfe von Anwendungsprotokollen überwachen können. CloudWatch FLIP-384: Führen Sie es ein TraceReporter und verwenden Sie es, um Checkpointing- und Recovery-Traces zu erstellen
Anmerkung

Sie können sich für die folgenden Funktionen anmelden, indem Sie eine Support-Anfrage einreichen:

Opt-in Funktionen und zugehörige Dokumentation
Opt-in features Description Referenz zur Apache Flink-Dokumentation
Unterstützung der Verwendung eines größeren Checkpointing-Intervalls, wenn die Quelle Backlog verarbeitet Dies ist eine Opt-in-Funktion, da Benutzer die Konfiguration an ihre spezifischen Jobanforderungen anpassen müssen. FLIP-309: Unterstützung der Verwendung eines größeren Checkpointing-Intervalls, wenn die Quelle gerade Backlog verarbeitet
Umleitung System.out und zu System.err Java-Logs Dies ist eine Opt-in-Funktion. Bei Amazon Managed Service für Apache Flink ist das Standardverhalten so, dass die Ausgabe von System.out und ignoriert wird, System.err weil es sich in der Produktion bewährt hat, den nativen Java-Logger zu verwenden. FLIP-390: Unterstützt System out and err, um zu LOG umgeleitet oder verworfen zu werden

Die Apache Flink 1.19.1 Release-Dokumentation finden Sie in der Apache Flink Documentation v1.19.1. https://nightlies.apache.org/flink/flink-docs-stable/

Logging Trace Reporter ist standardmäßig aktiviert

Apache Flink 1.19.1 führte Checkpoint- und Recovery-Traces ein, sodass Benutzer Checkpoint- und Job-Recovery-Probleme besser debuggen konnten. In Amazon Managed Service für Apache Flink werden diese Traces im Log-Stream CloudWatch protokolliert, sodass Benutzer die für die Jobinitialisierung aufgewendete Zeit aufschlüsseln und die historische Größe der Checkpoints aufzeichnen können.

Die Standardstrategie für den Neustart lautet jetzt exponentielle Verzögerung

In Apache Flink 1.19.1 gibt es signifikante Verbesserungen an der Neustartstrategie mit exponentieller Verzögerung. In Amazon Managed Service für Apache Flink ab Flink 1.19.1 verwenden Flink-Jobs standardmäßig die Neustartstrategie mit exponentieller Verzögerung. Das bedeutet, dass Benutzerjobs nach vorübergehenden Fehlern schneller wiederhergestellt werden, externe Systeme jedoch nicht überlastet werden, wenn die Jobs erneut gestartet werden.

Fehlerkorrekturen wurden zurückportiert

Amazon Managed Service für Apache Flink meldet Fehlerbehebungen aus der Flink-Community für kritische Probleme zurück. Dies bedeutet, dass sich die Laufzeit von der Version 1.19.1 von Apache Flink unterscheidet. Im Folgenden finden Sie eine Liste von Bugfixes, die wir zurückportiert haben:

Fehlerkorrekturen wurden zurückportiert
Apache Flink JIRA-Verbindung Description
FLINK-35531 Dieser Fix behebt die in 1.17.0 eingeführte Leistungsregression, die zu langsameren Schreibvorgängen auf HDFS führt.
FLINK-35157 Mit diesem Fix wird das Problem behoben, dass Flink-Jobs hängen bleiben, wenn Quellen mit Wasserzeichenausrichtung auf abgeschlossene Unteraufgaben stoßen.
FLINK-34252 Mit diesem Fix wird das Problem bei der Generierung von Wasserzeichen behoben, das zu einem fehlerhaften IDLE-Wasserzeichenstatus führt.
FLINK-34252 Mit diesem Fix wird der Leistungsabfall beim Generieren von Wasserzeichen behoben, indem die Anzahl der Systemaufrufe reduziert wird.
FLINK-33936 Mit diesem Fix wird das Problem mit doppelten Datensätzen bei der Mini-Batch-Aggregation in der Tabellen-API behoben.
FLINK-35498 Mit diesem Fix wird das Problem mit Argumentnamenskonflikten bei der Definition benannter Parameter in Tabellen-API-UDFs behoben.
FLINK-33192 Mit diesem Fix wird das Problem behoben, dass bei Fensterbedienern aufgrund einer unsachgemäßen Timerbereinigung ein Zustandsspeicherverlust auftritt.
FLINK-35069 Dieser Fix behebt das Problem, wenn ein Flink-Job hängen bleibt und am Ende eines Fensters einen Timer auslöst.
FLINK-35832 Mit diesem Fix wird das Problem behoben, wenn IFNULL falsche Ergebnisse zurückgibt.
FLINK-35886 Mit diesem Fix wird das Problem behoben, wenn Aufgaben, bei denen ein Gegendruck ausgeführt wird, als inaktiv betrachtet werden.
Komponente Version
Java 11 (empfohlen)
Python

3.11
Kinesis Data Analytics Flink-Laufzeit (aws-kinesisanalytics-runtime) 1.2.0
Konnektoren Informationen zu verfügbaren Konnektoren finden Sie unter Apache Flink-Konnektoren. https://docs.aws.amazon.com/managed-flink/latest/java/how-flink-connectors.html
Apache Beam (nur Beam-Anwendungen)

Ab Version 2.61.0. Weitere Informationen finden Sie unter Flink-Versionskompatibilität.

Von Amazon verwalteter Service für Apache Flink Studio

Studio verwendet Apache Zeppelin-Notebooks, um eine zentrale Entwicklungsumgebung für die Entwicklung, das Debuggen von Code und die Ausführung von Apache Flink Stream-Verarbeitungsanwendungen bereitzustellen. Für den Flink Interpreter von Zeppelin ist ein Upgrade erforderlich, um die Unterstützung von Flink 1.19 zu aktivieren. Diese Arbeiten sind mit der Zeppelin-Community geplant und wir werden diese Hinweise aktualisieren, sobald sie abgeschlossen sind. Sie können Flink 1.15 weiterhin mit Amazon Managed Service für Apache Flink Studio verwenden. Weitere Informationen finden Sie unter Ein Studio-Notizbuch erstellen.