Amazon Managed Service für Apache Flink 2.2

MSF Flink 2.2 meldet jetzt eine Ausnahme, wenn Kunden versuchen, Konfigurationen, die von MSF nicht unterstützt werden, über oder ähnliche APIs zu ändern. env.getConfig().set() Siehe Eigenschaften der programmatischen Flink-Konfiguration.

Kunden können weiterhin die Änderung bestimmter Konfigurationen über Support-Tickets beantragen (siehe Modifizierbare Einstellungen) https://docs.aws.amazon.com/managed-flink/latest/java/reference-modifiable-settings.html

Die fullRestarts Metrik wurde in Flink 2.2 entfernt. Verwenden Sie stattdessen die numRestarts Metrik.

Die bytesRequestedPerFetch Metrik für den KDS-Anschluss wurde in der AWS Flink-Connector-Version 6.0.0 entfernt (nur die Connector-Version, die mit Flink 2.2 kompatibel ist).

Die downtime Metriken uptime und sind in Flink 2.2 beide als veraltet markiert und werden in Kürze entfernt. Ersetze sie uptime durch die neue Metrik. runningTime downtimeErsetzen Sie durch eines oder mehrere von restartingTimecancellingTime, undfailingTime.

Eine vollständige Liste der unterstützten Metriken finden Sie auf der Seite „Metriken und Dimensionen“.

Diese zulässigen Endpunkte werden von den AWS SDKs DefaultCredentialsProvider (/latest/meta-data/iam/security-credentials/) und DefaultAwsRegionProviderChain (/latest/dynamic/instance-identity/document) verwendet, um Anmeldeinformationen und Region für Ihre Anwendung automatisch zu konfigurieren.

Anwendungen, die AWS-SDK-Funktionen verwenden und auf IMDS-Aufrufen ohne Anmeldeinformationen (wieEC2MetadataUtils.getInstanceId(),, oderEC2MetadataUtils.getAvailabilityZone()) angewiesen sind EC2MetadataUtils.getInstanceType()EC2MetadataUtils.getLocalHostName(), erhalten HTTP 4xx-Fehler, wenn sie versuchen, diese Aufrufe auszuführen.

Wenn Ihre Anwendung IMDS für Instance-Metadaten oder andere Informationen außerhalb der zulässigen Pfade verwendet, ändern Sie Ihren Code so, dass er stattdessen Umgebungsvariablen oder Anwendungskonfigurationen verwendet.

Um die Sicherheit zu verbessern, führt jede Abhängigkeit, außerhalb /tmp derer das Standard-Flink-Arbeitsverzeichnis ist, zu:. java.io.FileNotFoundException: /{path}/{filename} (Read-only file system)

Dateisystemabhängigkeiten können direkt aus Ihrem Code oder indirekt aus Bibliotheken stammen, die in Ihren Abhängigkeiten enthalten sind. Setzen Sie direkte Dateisystemabhängigkeiten /tmp/ in Ihrem Code außer Kraft. Bei indirekten Dateisystemabhängigkeiten von Bibliotheken verwenden Sie Überschreibungen der Bibliothekskonfiguration, um Dateisystemoperationen auf diese umzuleiten. /tmp/

Die alte DataSet API für die Stapelverarbeitung wurde in Flink 2.0+ vollständig entfernt. Die gesamte Batchverarbeitung muss jetzt die einheitliche DataStream API verwenden.

Anwendungen, die die DataSet API verwenden, müssen vor dem Upgrade zur DataStream API migriert werden. Informationen zur Konvertierung finden Sie im Apache Flink-Migrationshandbuch DataSet DataStream

Die Unterstützung für Java 11 wurde vollständig entfernt; Java 17 ist die standardmäßige und empfohlene Laufzeit.

Die Unterstützung für Python 3.8 wurde entfernt; Python 3.12 ist jetzt die Standardeinstellung.

Die alten APIs SourceFunction und SinkFunction Schnittstellen wurden durch die neuen vereinheitlichten Source (FLIP-27) - und Sink (FLIP-143) -APIs ersetzt, die eine bessere Unterstützung für bounded/unbounded Dualität, eine verbesserte Checkpoint-Koordination und ein übersichtlicheres Programmiermodell bieten.

Verwenden Sie und von Kinesis Data Streams. KinesisStreamsSource KinesisStreamsSink flink-connector-aws-kinesis-streams:6.0.0-2.0

Die Flink Scala API wurde entfernt. Die Java-API von Flink ist jetzt die einzige unterstützte API für Anwendungen. JVM-based

Wenn Ihre Anwendung in Scala geschrieben ist, können Sie die Java-API von Flink weiterhin aus dem Scala-Code verwenden. Die wichtigste Änderung besteht darin, dass die Scala-specific Wrapper und impliziten Konvertierungen nicht mehr verfügbar sind. Einzelheiten zur Aktualisierung Ihrer Scala-Anwendungen finden Sie unter Aktualisieren von Anwendungen und Flink-Versionen.

Der Kryo-Serializer, der von Version 2.24 auf 5.6 aktualisiert wurde, kann zu Problemen mit der Statuskompatibilität führen.

POJOs mit Sammlungen (HashMap,,HashSet) können Probleme mit der ArrayList Statuskompatibilität haben.

Die Serialisierung von Avro und Protobuf ist davon nicht betroffen.

Unter finden Sie Leitfaden zur staatlichen Kompatibilität für Flink 2.2-Upgrades eine detaillierte Bewertung zur Bewertung des Risikoniveaus Ihrer Anwendung.

Wenn Ihre Anwendung von einem Connector abhängt, für den es noch keine Flink 2.x-Version gibt, haben Sie zwei Möglichkeiten: Warten Sie, bis der Connector eine kompatible Version veröffentlicht, oder prüfen Sie, ob Sie ihn durch eine Alternative ersetzen können (z. B. mithilfe des JDBC-Katalogs oder einer benutzerdefinierten Senke).

Achten Sie beim Aktualisieren von Connector-Versionen auf Änderungen der Artefaktnamen — einige Connectoren wurden zwischen Hauptversionen umbenannt (z. B. wurde der Firehose-Connector flink-connector-aws-firehose in einigen Zwischenversionen von flink-connector-aws-kinesis-firehose zu geändert).

Lesen Sie immer in der Dokumentation zum Amazon Managed Service for Apache Flink Connector nach, um die genauen Artefaktnamen und Versionen zu erfahren, die in Ihrer Ziel-Laufzeit unterstützt werden.

Materialisierte Tabellen: Kontinuierlich gepflegte, abfragbare Tabellen-Snapshots.

Änderungen an der benutzerdefinierten Telemetrie: Benutzerdefinierte Metrik-Reporter und Telemetriekonfigurationen.

ForSt State Backend: Disaggregierter Statusspeicher (experimentell in Open Source).

Java 21: Experimentelle Unterstützung in Open Source, nicht unterstützt in Managed Service für Apache Flink.

Anwendungen, die den in Connector v5.0.0 und v6.0.0 eingeführten Pfad KinesisStreamsSource with EFO (Enhanced Fan-Out / SubscribeToShard) verwenden, schlagen möglicherweise fehl, wenn Kinesis-Streams einem Resharding unterzogen werden. Dies ist ein bekanntes Problem in der Community. Weitere Informationen finden Sie unter FLINK-37648.

Bei Anwendungen, die den in Connector v5.0.0 und v6.0.0 eingeführten Pfad KinesisStreamsSource with EFO (Enhanced Fan-Out / SubscribeToShard) verwenden, KinesisStreamsSink kann es zusammen mit Connector v5.0.0 und v6.0.0 zu Deadlocks kommen, wenn die Flink-Anwendung unter Gegendruck steht, was zu einem vollständigen Stopp der Datenverarbeitung in einer oder mehreren Anwendungen führt. TaskManagers Zum Wiederherstellen der Anwendung sind ein erzwungener Stopp- und ein Startvorgang für die Anwendung erforderlich. Dies ist ein Unterfall des bekannten Problems in der Community. Weitere Informationen finden Sie unter FLINK-34071.

Neu bei Flink 2.2? Eine ausführliche Apache Flink 2.2-Dokumentation finden Sie in der Apache Flink 2.2-Dokumentation.

Sie planen ein Upgrade? Siehe Upgrade auf Flink 2.2: Vollständige Anleitung

Bedenken hinsichtlich der staatlichen Kompatibilität? Siehe Leitfaden zur staatlichen Kompatibilität für Flink 2.2-Upgrades