Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon Managed Service für Apache Flink 1.19
Managed Service für Apache Flink unterstützt jetzt Apache Flink Version 1.19.1. In diesem Abschnitt werden die wichtigsten neuen Funktionen und Änderungen vorgestellt, die mit der Unterstützung von Apache Flink 1.19.1 durch Managed Service for Apache Flink eingeführt wurden.
Anmerkung
Wenn Sie eine frühere unterstützte Version von Apache Flink verwenden und Ihre vorhandenen Anwendungen auf Apache Flink 1.19.1 aktualisieren möchten, können Sie dazu direkte Apache Flink-Versionsupgrades verwenden. Weitere Informationen finden Sie unter Verwenden Sie direkte Versionsupgrades für Apache Flink. Mit direkten Versionsupgrades behalten Sie die Rückverfolgbarkeit der Anwendung anhand einer einzelnen ARN Apache Flink-Version, einschließlich Snapshots, Protokollen, Metriken, Tags, Flink-Konfigurationen und mehr.
Unterstützte Features
Apache Flink 1.19.1 bietet Verbesserungen, wie z. B. benannte Parameter SQLAPI, benutzerdefinierte Quellparallelität und unterschiedliche Status für verschiedene Flink-Operatoren. TTLs
Unterstützte Funktionen und zugehörige Dokumentation | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Unterstützte Features | Beschreibung | Referenz zur Apache Flink-Dokumentation | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Support Konfiguration verschiedener Zustände TTLs mithilfe von SQL Hint | Benutzer können jetzt den Status TTL bei regulären Stream-Joins und Gruppenaggregaten konfigurieren. | FLIP-373: Verschiedene Zustände TTLs mithilfe SQL eines Hints konfigurieren |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Support benannte Parameter für Funktionen und Aufrufprozeduren | Benutzer können jetzt benannte Parameter in Funktionen verwenden, anstatt sich auf die Reihenfolge der Parameter zu verlassen. | FLIP-378: Support benannte Parameter für Funktionen und Aufrufprozeduren |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Einstellung der Parallelität für Quellen SQL | Benutzer können jetzt Parallelität für Quellen angeben. SQL | FLIP-367: Support Einstellung der Parallelität für Tabelle/Quellen SQL |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Fenster „Support-Sitzung“ TVF | Benutzer können jetzt Tabellenwertfunktionen im Sitzungsfenster verwenden. | FLINK-24024: Fenster Support Support-Sitzung TVF |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Die TVF Fensteraggregation unterstützt Changelog-Eingaben | Benutzer können jetzt Fensteraggregation für Changelog-Eingaben durchführen. | FLINK-20281: Die Fensteraggregation unterstützt die Eingabe von Changelog-Streams |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Support Sie Python 3.11 |
Flink unterstützt jetzt Python 3.11, was im Vergleich zu Python 3.10 10-60% schneller ist. Weitere Informationen finden Sie unter Was ist neu in Python 3.11 |
FLINK-33030: Unterstützung für Python 3.11 hinzufügen |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Stellen Sie Metriken für Sink bereit TwoPhaseCommitting | Benutzer können Statistiken über den Status von Committern in zwei Phasen der Committer-Senken einsehen. | FLIP-371: Stellen Sie den Initialisierungskontext für die Committer-Erstellung bereit in TwoPhaseCommittingSink |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Trace-Reporter für Jobneustart und Checkpointing |
Benutzer können nun die Traces rund um die Dauer von Checkpoints und die Wiederherstellungstrends überwachen. In Amazon Managed Service für Apache Flink aktivieren wir standardmäßig Slf4j-Trace-Reporter, sodass Benutzer Checkpoint- und Job-Traces anhand von Anwendungsprotokollen überwachen können. CloudWatch | FLIP-384: Führen Sie es ein TraceReporter und verwenden Sie es, um Checkpoint- und Wiederherstellungs-Traces zu erstellen |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Anmerkung
Sie können sich für die folgenden Funktionen entscheiden, indem Sie eine Support-Anfrage
Opt-in-Funktionen und zugehörige Dokumentation | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Opt-in-Funktionen | Beschreibung | Referenz zur Apache Flink-Dokumentation | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Support bei Verwendung eines größeren Checkpoint-Intervalls, wenn die Quelle Backlog verarbeitet | Dies ist eine optionale Funktion, da Benutzer die Konfiguration an ihre spezifischen Jobanforderungen anpassen müssen. | FLIP-309: Support bei Verwendung eines größeren Checkpoint-Intervalls, wenn die Quelle Backlog verarbeitet |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Leitet System.out und System.err zu Java-Logs um | Dies ist eine Opt-in-Funktion. Bei Amazon Managed Service für Apache Flink besteht das Standardverhalten darin, die Ausgabe von System.out und System.err zu ignorieren, da die beste Vorgehensweise in der Produktion darin besteht, den nativen Java-Logger zu verwenden. | FLIP-390: Das Support-System ist ausgefallen und es wird ein Fehler angezeigt, an den das System umgeleitet oder verworfen wird LOG |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Änderungen in Amazon Managed Service für Apache Flink 1.19.1
Logging Trace Reporter ist standardmäßig aktiviert
Apache Flink 1.19.1 führte Checkpoint- und Recovery Traces ein, sodass Benutzer Probleme mit Checkpoint und Job Recovery besser debuggen können. In Amazon Managed Service für Apache Flink werden diese Traces im CloudWatch Protokollstream protokolliert, sodass Benutzer die für die Auftragsinitialisierung aufgewendete Zeit aufschlüsseln und die historische Größe von Checkpoints aufzeichnen können.
Die Standardstrategie für einen Neustart ist jetzt exponentielle Verzögerung
In Apache Flink 1.19.1 gibt es erhebliche Verbesserungen an der Neustartstrategie mit exponentieller Verzögerung. In Amazon Managed Service für Apache Flink ab Flink 1.19.1 verwenden Flink-Jobs standardmäßig die Neustartstrategie mit exponentieller Verzögerung. Das bedeutet, dass Benutzerjobs nach vorübergehenden Fehlern schneller wiederhergestellt werden, externe Systeme jedoch nicht überlastet werden, wenn die Jobs weiterhin neu gestartet werden.
Komponenten
| Komponente | Version |
|---|---|
| Java | 11 (empfohlen) |
| Python |
3.11 |
| Kinesis Data Analytics Flink Runtime () aws-kinesisanalytics-runtime | 1.2.0 |
| Konnektoren | Informationen zu verfügbaren Konnektoren finden Sie unter Apache Flink-Konnektoren. |
| Apache Beam (nur Beam-Anwendungen) |
Es gibt keinen kompatiblen Apache Flink Runner für Flink 1.19. Weitere Informationen finden Sie unter Flink-Versionskompatibilität |
Bekannte Probleme
Apache Beam
Derzeit gibt es in Apache Beam keinen kompatiblen Apache Flink Runner für Flink 1.19. Weitere Informationen finden Sie unter Flink-Versionskompatibilität.
Amazon Managed Service für Apache Flink Studio
Studio verwendet Apache Zeppelin-Notebooks, um die Entwicklung, das Debuggen von Code und die Ausführung von Apache Flink-Stream-Verarbeitungsanwendungen über eine einzige Benutzeroberfläche zu ermöglichen. Für den Flink Interpreter von Zeppelin ist ein Upgrade erforderlich, um die Unterstützung von Flink 1.19 zu aktivieren. Diese Arbeit ist mit der Zeppelin-Community geplant und wir werden diese Hinweise aktualisieren, sobald sie abgeschlossen sind. Sie können Flink 1.15 weiterhin mit Amazon Managed Service für Apache Flink Studio verwenden. Weitere Informationen finden Sie unter Ein Studio-Notizbuch erstellen.
