Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon Managed Service für Apache Flink 1.18
Managed Service für Apache Flink unterstützt jetzt Apache Flink Version 1.18.1. Erfahren Sie mehr über die wichtigsten neuen Funktionen und Änderungen, die mit der Unterstützung von Apache Flink von Apache Flink 1.18.1 durch Managed Service for Apache Flink eingeführt wurden.
Anmerkung
Wenn Sie eine frühere unterstützte Version von Apache Flink verwenden und Ihre vorhandenen Anwendungen auf Apache Flink 1.18.1 aktualisieren möchten, können Sie dies mithilfe von direkten Apache Flink-Versionsupgrades tun. Mit direkten Versionsupgrades behalten Sie die Rückverfolgbarkeit Ihrer Anwendungen anhand eines einzigen ARN für alle Apache Flink-Versionen bei, einschließlich Snapshots, Logs, Metriken, Tags, Flink-Konfigurationen und mehr. Sie können diese Funktion in und nach verwenden. RUNNING READY Weitere Informationen finden Sie unter Verwenden Sie direkte Versionsupgrades für Apache Flink.
| Unterstützte Funktionen | Description | Referenz zur Apache Flink-Dokumentation |
|---|---|---|
| Opensearch-Konnektor | Dieser Connector enthält eine Senke, die mindestens einmal Garantien bietet. | github: Opensearch-Konnektor |
| Amazon DynamoDB-Konnektor | Dieser Anschluss enthält eine Senke, die mindestens einmal Garantien bietet. | Amazon DynamoDB Sink |
| MongoDB-Anschluss | Dieser Connector enthält eine Quelle und eine Senke, die Garantien für mindestens einmal bieten. | MongoDB-Konnektor |
| Entkoppeln Sie Hive mit Flink Planner |
Sie können den Hive-Dialekt direkt ohne zusätzlichen JAR-Swapping verwenden. |
FLINK-26603: Entkoppeln Sie Hive mit dem Flink-Planer |
| Deaktiviere WAL standardmäßig RocksDBWriteBatchWrapper |
Dies ermöglicht schnellere Wiederherstellungszeiten. |
FLINK-32326: WAL RocksDBWriteBatchWrapper standardmäßig deaktivieren |
|
Verbessern Sie die Leistung der Wasserzeichen-Aggregation, wenn Sie die Wasserzeichenausrichtung aktivieren |
Verbessert die Leistung der Wasserzeichen-Aggregation, wenn die Wasserzeichenausrichtung aktiviert wird, und fügt den entsprechenden Benchmark hinzu. |
FLINK-32524: Leistung bei der Aggregation von Wasserzeichen |
| Machen Sie die Ausrichtung von Wasserzeichen bereit für den Einsatz in der Produktion | Beseitigt das Risiko, dass große Jobs überlastet werden JobManager | FLINK-32548: Bereiten Sie die Ausrichtung des Wasserzeichens vor |
|
Konfigurierbar RateLimitingStratey für Async Sink |
RateLimitingStrategy ermöglicht es Ihnen, die Entscheidung zu konfigurieren, was, wann und wie stark skaliert werden soll. |
FLIP-242: Konfigurierbar RateLimitingStrategy für Async Sink einführen |
|
Tabellen- und Spaltenstatistiken in großen Mengen abrufen |
Verbesserte Abfrageleistung. | FLIP-247: Massenabruf von Tabellen- und Spaltenstatistiken für bestimmte Partitionen |
Die Apache Flink 1.18.1-Release-Dokumentation finden Sie in der Apache Flink 1.18.1-Versionsankündigung.
Änderungen in Amazon Managed Service für Apache Flink mit Apache Flink 1.18
Akka wurde durch Pekko ersetzt
Apache Flink ersetzte Akka in Apache Flink 1.18 durch Pekko. Diese Änderung wird in Managed Service für Apache Flink ab Apache Flink 1.18.1 und höher vollständig unterstützt. Aufgrund dieser Änderung müssen Sie Ihre Anwendungen nicht ändern. Weitere Informationen finden Sie unter FLINK-32468: Ersetzen Sie Akka durch
Unterstützt die PyFlink Runtime-Ausführung im Thread-Modus
Diese Apache Flink-Änderung führt einen neuen Ausführungsmodus für das Pyflink Runtime-Framework ein, den Prozessmodus. Der Prozessmodus kann jetzt benutzerdefinierte Python-Funktionen im selben Thread statt in einem separaten Prozess ausführen.
Fehlerkorrekturen wurden zurückportiert
Amazon Managed Service für Apache Flink meldet Fehlerbehebungen aus der Flink-Community für kritische Probleme zurück. Dies bedeutet, dass sich die Laufzeit von der Version 1.18.1 von Apache Flink unterscheidet. Im Folgenden finden Sie eine Liste von Bugfixes, die wir zurückportiert haben:
| Apache Flink JIRA-Verbindung | Description |
|---|---|
| FLINK-33863 |
Mit diesem Fix wird das Problem behoben, wenn eine Statuswiederherstellung für komprimierte Snapshots fehlschlägt. |
| FLINK-34063 |
Mit diesem Fix wird das Problem behoben, dass Quell-Operatoren Splits verlieren, wenn die Snapshot-Komprimierung aktiviert ist. Apache Flink bietet optionale Komprimierung (Standardeinstellung: aus) für alle Checkpoints und Savepoints. Apache Flink identifizierte einen Fehler in Flink 1.18.1, bei dem der Operator-Status nicht ordnungsgemäß wiederhergestellt werden konnte, wenn die Snapshot-Komprimierung aktiviert war. Dies könnte entweder zu Datenverlust oder zur Unfähigkeit der Wiederherstellung vom Checkpoint aus führen. |
| FLINK-35069 |
Dieser Fix behebt das Problem, wenn ein Flink-Job hängen bleibt und am Ende eines Fensters einen Timer auslöst. |
| FLINK-35097 |
Dieser Fix behebt das Problem doppelter Datensätze in einem Tabellen-API-Dateisystem-Connector mit dem Rohformat. |
| FLINK-34379 |
Mit diesem Fix wird das Problem behoben, das OutOfMemoryError bei der Aktivierung der dynamischen Tabellenfilterung auftritt. |
| FLINK-28693 |
Mit diesem Fix wird das Problem behoben, dass die Tabellen-API kein Diagramm generieren kann, wenn das Wasserzeichen einen ColumnBY-Ausdruck enthält. |
| FLINK-35217 |
Dieser Fix behebt das Problem eines beschädigten Checkpoints während eines bestimmten Flink-Job-Fehlermodus. |
Komponenten
| Komponente | Version |
|---|---|
| Java | 11 (empfohlen) |
| Scala |
Seit Version 1.15 ist Flink. Scala-agnostic Als Referenz wurde MSF Flink 1.18 gegen Scala 3.3 (LTS) verifiziert. |
| Managed Service for Apache Flink Laufzeit (aws-kinesisanalytics-runtime) | 1.2.0 |
| AWS Kinesis-Konnektor (Flink-Connector-Kinesis) [Quelle] |
4.2.0-1.18 |
| AWS Kinesis-Anschluss (Flink-Connector-Kinesis) [Senke] |
4.2.0-1.18 |
| Apache Beam (nur Beam-Anwendungen) |
Ab Version 2.57.0. Weitere Informationen finden Sie unter Flink-Versionskompatibilität. |
Bekannte Probleme
Von Amazon verwalteter Dienst für Apache Flink Studio
Studio verwendet Apache Zeppelin-Notebooks, um eine zentrale Entwicklungsumgebung für die Entwicklung, das Debuggen von Code und die Ausführung von Apache Flink Stream-Verarbeitungsanwendungen bereitzustellen. Für den Flink Interpreter von Zeppelin ist ein Upgrade erforderlich, um die Unterstützung von Flink 1.18 zu aktivieren. Diese Arbeiten sind mit der Zeppelin-Community geplant und wir werden diese Hinweise aktualisieren, sobald sie abgeschlossen sind. Sie können Flink 1.15 weiterhin mit Amazon Managed Service für Apache Flink Studio verwenden. Weitere Informationen finden Sie unter Ein Studio-Notizbuch erstellen.
Falsches Leerzeichen, wenn die Unteraufgabe durch Gegendruck belastet wird
Es gibt ein bekanntes Problem bei der Generierung von Wasserzeichen, wenn eine Unteraufgabe durch Gegendruck belastet wird. Dieses Problem wurde ab Flink 1.19 und höher behoben. Dies kann zu einem Anstieg der Anzahl verspäteter Datensätze führen, wenn ein Flink-Jobdiagramm mit Gegendruck belastet wird. Wir empfehlen Ihnen, auf die neueste Flink-Version zu aktualisieren, um diesen Fix zu installieren. Weitere Informationen finden Sie unter Fehlerhafte Berechnung des Leerlaufzeitlimits bei Wasserzeichen, wenn eine Unteraufgabe ausgeführt wird. backpressured/blocked
