View a markdown version of this page

Amazon Managed Service per Apache Flink 1.19 - Servizio gestito per Apache Flink
Funzionalità supportateModifiche in Amazon Managed Service per Apache Flink 1.19.1ComponentiProblemi noti

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon Managed Service per Apache Flink 1.19

Managed Service for Apache Flink ora supporta Apache Flink versione 1.19.1. Questa sezione presenta le principali nuove funzionalità e modifiche introdotte con il supporto di Managed Service for Apache Flink di Apache Flink 1.19.1.

Nota

Se stai utilizzando una versione precedente supportata di Apache Flink e desideri aggiornare le tue applicazioni esistenti ad Apache Flink 1.19.1, puoi farlo utilizzando gli aggiornamenti della versione di Apache Flink sul posto. Per ulteriori informazioni, consulta Usa gli aggiornamenti di versione sul posto per Apache Flink. Con gli aggiornamenti delle versioni sul posto, mantieni la tracciabilità delle applicazioni rispetto a un singolo ARN tra le versioni di Apache Flink, inclusi snapshot, log, metriche, tag, configurazioni Flink e altro ancora.

Apache Flink 1.19.1 introduce miglioramenti nell'API SQL, come parametri denominati, parallelismo dei sorgenti personalizzato e TTL di stato diversi per vari operatori Flink.

Funzionalità supportate e documentazione correlata
Funzionalità supportate Description Riferimento alla documentazione di Apache Flink
API SQL: supporto per la configurazione di TTL di stato diversi utilizzando SQL Hint Gli utenti possono ora configurare il TTL di stato sui join regolari dello streaming e sull'aggregazione di gruppo. FLIP-373: Configurazione di TTL di stato diversi utilizzando SQL Hint
API SQL: supporta parametri denominati per funzioni e procedure di chiamata Gli utenti possono ora utilizzare parametri denominati nelle funzioni, anziché basarsi sull'ordine dei parametri. FLIP-378: supporta i parametri denominati per funzioni e procedure di chiamata
API SQL: impostazione del parallelismo per le sorgenti SQL Gli utenti possono ora specificare il parallelismo per le sorgenti SQL. FLIP-367: Supporto per l'impostazione del parallelismo per le sorgenti Table/SQL
API SQL: finestra di sessione di supporto TVF Gli utenti possono ora utilizzare le Table-Valued funzioni della finestra di sessione. FLINK-24024: Sessione di supporto Window TVF
API SQL: Window TVF Aggregation supporta gli input del Changelog Gli utenti possono ora eseguire l'aggregazione delle finestre sugli input del changelog. FLINK-20281: l'aggregazione delle finestre supporta l'immissione del flusso del changelog

Supporta Python 3.11

 Flink ora supporta Python 3.11, che è il 10-60% più veloce rispetto a Python 3.10. Per ulteriori informazioni, vedi Novità in Python 3.11. FLINK-33030: aggiungi il supporto per python 3.11
Fornisci metriche per sink TwoPhaseCommitting Gli utenti possono visualizzare le statistiche sullo stato dei committer in due fasi. FLIP-371: Fornisci il contesto di inizializzazione per la creazione di Committer in TwoPhaseCommittingSink

Trace Reporters per il riavvio del lavoro e il checkpoint

 Gli utenti possono ora monitorare le tracce relative alla durata dei checkpoint e alle tendenze di recupero. In Amazon Managed Service for Apache Flink, abilitiamo i trace reporter SLF4j per impostazione predefinita, in modo che gli utenti possano monitorare le tracce dei checkpoint e dei job tramite i log delle applicazioni. CloudWatch FLIP-384: introducilo TraceReporter e usalo per creare tracce di checkpoint e ripristino
Nota

Puoi attivare le seguenti funzionalità inviando una richiesta di supporto:

Opt-in funzionalità e documentazione correlata
Opt-in features Description Riferimento alla documentazione di Apache Flink
Supporto per l'utilizzo di un intervallo di checkpoint più ampio quando il sorgente sta elaborando il backlog Si tratta di una funzionalità opzionale, in quanto gli utenti devono regolare la configurazione in base ai requisiti specifici del lavoro. FLIP-309: supporto per l'utilizzo di un intervallo di checkpoint più ampio quando l'origine sta elaborando il backlog
Reindirizzamento System.out e verso i log Java System.err Questa è una funzionalità di attivazione. In Amazon Managed Service for Apache Flink, il comportamento predefinito è ignorare l'output di System.out e System.err perché la migliore pratica in produzione consiste nell'utilizzare il logger Java nativo. FLIP-390: supporta System out ed err per essere reindirizzati a LOG o eliminati

Per la documentazione sulla versione 1.19.1 di Apache Flink, vedere Apache Flink Documentation v1.19.1. https://nightlies.apache.org/flink/flink-docs-stable/

La registrazione di Trace Reporter è abilitata per impostazione predefinita

Apache Flink 1.19.1 ha introdotto le tracce di checkpoint e recovery, consentendo agli utenti di eseguire meglio il debug dei problemi relativi ai checkpoint e al job recovery. In Amazon Managed Service for Apache Flink, queste tracce vengono registrate nel flusso di CloudWatch log, consentendo agli utenti di suddividere il tempo impiegato per l'inizializzazione del processo e registrare la dimensione storica dei checkpoint.

La strategia di riavvio predefinita è ora il ritardo esponenziale

In Apache Flink 1.19.1, sono stati apportati miglioramenti significativi alla strategia di riavvio con ritardo esponenziale. In Amazon Managed Service for Apache Flink a partire da Flink 1.19.1, i job di Flink utilizzano per impostazione predefinita la strategia di riavvio con ritardo esponenziale. Ciò significa che i processi utente verranno ripristinati più rapidamente da errori transitori, ma non sovraccaricheranno i sistemi esterni se i riavvii dei processi persistono.

Correzioni di bug backport

Amazon Managed Service for Apache Flink esegue il backport delle correzioni fornite dalla community di Flink per i problemi critici. Ciò significa che il runtime è diverso dalla versione 1.19.1 di Apache Flink. Di seguito è riportato un elenco di correzioni di bug di cui abbiamo eseguito il backport:

Correzioni di bug con backport
Collegamento Apache Flink JIRA Description
FLINK-35531 Questa correzione risolve la regressione delle prestazioni introdotta nella versione 1.17.0 che causa scritture più lente su HDFS.
FLINK-35157 Questa correzione risolve il problema dei job Flink bloccati quando le sorgenti con allineamento della filigrana incontrano sottoattività terminate.
FLINK-34252 Questa correzione risolve il problema della generazione della filigrana che provoca uno stato IDLE errato della filigrana.
FLINK-34252 Questa correzione risolve la regressione delle prestazioni durante la generazione della filigrana riducendo le chiamate di sistema.
FLINK-33936 Questa correzione risolve il problema dei record duplicati durante l'aggregazione in mini-batch su Table API.
FLINK-35498 Questa correzione risolve il problema dei conflitti tra i nomi degli argomenti durante la definizione di parametri denominati nelle UDF Table API.
FLINK-33192 Questa correzione risolve il problema di una perdita di memoria di stato negli operatori delle finestre dovuta a una pulizia impropria del timer.
FLINK-35069 Questa correzione risolve il problema quando un job Flink si blocca attivando un timer alla fine di una finestra.
FLINK-35832 Questa correzione risolve il problema quando IFNULL restituisce risultati errati.
FLINK-35886 Questa correzione risolve il problema quando le attività sottoposte a contropressione vengono considerate inattive.
Componente Versione
Java 11 (consigliata)
Python

3.11
Kinesis Data Analytics Flink Runtime (aws-kinesisanalytics-runtime) 1.2.0
Connettori Per informazioni sui connettori disponibili, consulta Connettori Apache Flink. https://docs.aws.amazon.com/managed-flink/latest/java/how-flink-connectors.html
Apache Beam (solo applicazioni Beam)

Dalla versione 2.61.0. Per ulteriori informazioni, vedere Compatibilità delle versioni di Flink.

Amazon Managed Service per Apache Flink Studio

Studio utilizza i notebook Apache Zeppelin per fornire un'esperienza di sviluppo a interfaccia singola per lo sviluppo, il debug del codice e l'esecuzione di applicazioni di elaborazione di stream Apache Flink. È necessario un aggiornamento al Flink Interpreter di Zeppelin per abilitare il supporto di Flink 1.19. Questo lavoro è programmato con la comunità di Zeppelin e aggiorneremo queste note una volta completato. Puoi continuare a utilizzare Flink 1.15 con Amazon Managed Service per Apache Flink Studio. Per ulteriori informazioni, consulta Creazione di un notebook Studio.