Precauzioni e problemi noti relativi agli aggiornamenti delle applicazioni - Servizio gestito per Apache Flink
Kafka Commit sul checkpoint fallisce ripetutamente dopo il riavvio del brokerLimitazioni note della compatibilità tra statiProblemi noti con il Flink Kinesis ConnectorApplicazioni Flink scritte in ScalaAspetti da considerare quando si esegue il downgrade dell'applicazione Flink

Il servizio gestito da Amazon per Apache Flink era precedentemente noto come Analisi dei dati Amazon Kinesis per Apache Flink.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Precauzioni e problemi noti relativi agli aggiornamenti delle applicazioni

Kafka Commit sul checkpoint fallisce ripetutamente dopo il riavvio del broker

Esiste un problema noto di Apache Flink open source con il connettore Apache Kafka nella versione 1.15 di Flink, causato da un bug critico di Kafka Client open source in Kafka Client 2.8.1. Per ulteriori informazioni, vedi Kafka Commit on checkpointing fallisce ripetutamente dopo il riavvio del broker e non è in grado di ripristinare la connessione al coordinatore del gruppo dopo un'eccezione. KafkaConsumer commitOffsetAsync

Per evitare questo problema, ti consigliamo di utilizzare Apache Flink 1.18 o versione successiva in Amazon Managed Service for Apache Flink.

Limitazioni note della compatibilità tra stati

  • Se si utilizza la tabellaAPI, Apache Flink non garantisce la compatibilità degli stati tra le versioni di Flink. Per ulteriori informazioni, consulta Stateful Upgrades and Evolution nella documentazione di Apache Flink.

  • Gli stati di Flink 1.6 non sono compatibili con Flink 1.18. APIRifiuta la tua richiesta se tenti di eseguire l'aggiornamento da 1.6 a 1.18 e versioni successive con state. È possibile eseguire l'aggiornamento alla versione 1.8, 1.11, 1.13 e 1.15 e scattare un'istantanea, quindi eseguire l'aggiornamento alla versione 1.18 e successive. Per ulteriori informazioni, consulta Aggiornamento delle applicazioni e delle versioni Flink nella documentazione di Apache Flink.

Problemi noti con il Flink Kinesis Connector

  • Se si utilizza Flink 1.11 o versioni precedenti e si utilizza il amazon-kinesis-connector-flink connettore per il supporto Enhanced-fan-out (EFO), è necessario eseguire ulteriori passaggi per un aggiornamento stateful a Flink 1.13 o versione successiva. Ciò è dovuto alla modifica del nome del pacchetto del connettore. Per ulteriori informazioni, vedere amazon-kinesis-connector-flink.

    Il amazon-kinesis-connector-flink connettore per Flink 1.11 e versioni precedenti utilizza la confezionesoftware.amazon.kinesis, mentre il connettore Kinesis per Flink 1.13 e versioni successive utilizza. org.apache.flink.streaming.connectors.kinesis Utilizzate questo strumento per supportare la migrazione: -state-migrator. amazon-kinesis-connector-flink

  • Se si utilizza Flink 1.13 o versioni precedenti FlinkKinesisProducer e si esegue l'aggiornamento a Flink 1.15 o successivo, per un aggiornamento statico è necessario continuare a utilizzare in Flink 1.15 o versione successiva, anziché la versione più recente. FlinkKinesisProducer KinesisStreamsSink Tuttavia, se hai già un uid set personalizzato sul tuo sink, dovresti essere in grado di passare a perché non mantiene lo stato. KinesisStreamsSink FlinkKinesisProducer Flink lo tratterà come lo stesso operatore perché uid è impostata una personalizzazione.

Applicazioni Flink scritte in Scala

  • A partire da Flink 1.15, Apache Flink non include Scala nel runtime. È necessario includere la versione di Scala che si desidera utilizzare e altre dipendenze di Scala nel codice JAR /zip quando si esegue l'aggiornamento a Flink 1.15 o versioni successive. Per ulteriori informazioni, consulta Amazon Managed Service for Apache Flink for Apache Flink release 1.15.2.

  • Se la tua applicazione utilizza Scala e la stai aggiornando da Flink 1.11 o precedente (Scala 2.11) a Flink 1.13 (Scala 2.12), assicurati che il codice utilizzi Scala 2.12. Altrimenti, l'applicazione Flink 1.13 potrebbe non riuscire a trovare le classi Scala 2.11 nel runtime Flink 1.13.

Aspetti da considerare quando si esegue il downgrade dell'applicazione Flink

  • Il downgrade delle applicazioni Flink è possibile, ma limitato ai casi in cui l'applicazione era precedentemente in esecuzione con la versione precedente di Flink. Per un aggiornamento statico, Managed Service for Apache, Flink richiederà l'utilizzo di un'istantanea scattata con una versione corrispondente o precedente per il downgrade

  • Se state aggiornando il runtime da Flink 1.13 o versione successiva a Flink 1.11 o precedente e se l'app utilizza il backend di stato, l'applicazione fallirà continuamente. HashMap