Il servizio gestito da Amazon per Apache Flink era precedentemente noto come Analisi dei dati Amazon Kinesis per Apache Flink.
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Managed Service for Apache Flink ora supporta la versione 1.19.1 di Apache Flink. Questa sezione presenta le nuove funzionalità e le modifiche principali introdotte con il supporto di Managed Service for Apache Flink di Apache Flink 1.19.1.
Nota
Se utilizzi una versione precedente supportata di Apache Flink e desideri aggiornare le tue applicazioni esistenti ad Apache Flink 1.19.1, puoi farlo utilizzando gli aggiornamenti della versione di Apache Flink in loco. Per ulteriori informazioni, consulta Usa gli aggiornamenti di versione sul posto per Apache Flink. Con gli aggiornamenti di versione in loco, mantieni la tracciabilità delle applicazioni su un singolo ARN tra le versioni di Apache Flink, tra cui istantanee, log, metriche, tag, configurazioni Flink e altro ancora.
Funzionalità supportate
Apache Flink 1.19.1 introduce miglioramenti nell'API SQL, come parametri denominati, parallelismo dei sorgenti personalizzato e stati diversi per vari operatori Flink. TTLs
| Funzionalità supportate | Descrizione | Riferimento alla documentazione di Apache Flink |
|---|---|---|
| API SQL: Supporta la configurazione di stati diversi TTLs utilizzando SQL Hint | Gli utenti possono ora configurare lo stato TTL sui join regolari in streaming e sugli aggregati di gruppo. | FLIP-373: configurazione di stati diversi utilizzando SQL Hint TTLs |
| API SQL: Supporta parametri denominati per funzioni e procedure di chiamata | Gli utenti possono ora utilizzare parametri denominati nelle funzioni, anziché fare affidamento sull'ordine dei parametri. | FLIP-378: Supporta parametri denominati per funzioni e procedure di chiamata |
| API SQL: impostazione del parallelismo per le sorgenti SQL | Gli utenti possono ora specificare il parallelismo per le sorgenti SQL. | FLIP-367: Supporta l'impostazione del parallelismo per sorgenti Table/SQL |
| API SQL: Finestra di sessione di supporto TVF | Gli utenti possono ora utilizzare Table-Valued Functions della finestra di sessione. | FLINK-24024: sessione di supporto Window TVF |
| API SQL: l'aggregazione Window TVF supporta gli input del registro delle modifiche | Gli utenti possono ora eseguire l'aggregazione delle finestre sugli input del changelog. | FLINK-20281: L'aggregazione delle finestre supporta l'input del flusso di log delle modifiche |
|
Supporta Python 3.11 |
Flink ora supporta Python 3.11, che è il 10-60% più veloce rispetto a Python 3.10. Per ulteriori informazioni, consulta What's New in Python |
FLINK-33030: aggiungi il supporto per Python 3.11 |
| Fornisci metriche TwoPhaseCommitting per il sink | Gli utenti possono visualizzare le statistiche sullo stato dei committenti nei sink di committenza a due fasi. | FLIP-371: Fornisce un contesto di inizializzazione per la creazione di Committer in TwoPhaseCommittingSink |
|
Trace Reporters per il riavvio del lavoro e il checkpoint |
Gli utenti possono ora monitorare le tracce relative alla durata dei checkpoint e alle tendenze di recupero. In Amazon Managed Service for Apache Flink, abilitiamo i trace reporter SLF4j per impostazione predefinita, in modo che gli utenti possano monitorare checkpoint e tracce di lavoro tramite i log delle applicazioni. CloudWatch | FLIP-384: introducilo e usalo per creare tracce di checkpoint e ripristino TraceReporter |
| Funzionalità di attivazione | Descrizione | Riferimento alla documentazione di Apache Flink |
|---|---|---|
| Supporta l'utilizzo di intervalli di checkpoint più ampi quando la fonte sta elaborando il backlog | Si tratta di una funzionalità opzionale, in quanto gli utenti devono ottimizzare la configurazione in base alle proprie esigenze lavorative specifiche. | FLIP-309: Supporta l'utilizzo di intervalli di checkpoint più ampi quando l'origine sta elaborando il backlog |
| Reindirizza System.out e System.err nei log Java | Questa è una funzionalità opzionale. In Amazon Managed Service for Apache Flink, il comportamento predefinito consiste nell'ignorare l'output di System.out e System.err perché la migliore pratica in produzione consiste nell'utilizzare il logger Java nativo. | FLIP-390: Support System out ed err per essere reindirizzato a LOG o eliminato |
Modifiche ad Amazon Managed Service per Apache Flink 1.19.1
La registrazione di Trace Reporter è abilitata per impostazione predefinita
Apache Flink 1.19.1 ha introdotto le tracce di checkpoint e ripristino, permettendo agli utenti di eseguire meglio il debug dei checkpoint e dei problemi di ripristino dei job. In Amazon Managed Service for Apache Flink, queste tracce vengono registrate nel flusso di CloudWatch log, permettendo agli utenti di suddividere il tempo impiegato per l'inizializzazione dei processi e registrare la dimensione storica dei checkpoint.
La strategia di riavvio predefinita è ora exponential-delay
In Apache Flink 1.19.1, sono stati apportati miglioramenti significativi alla strategia di riavvio con ritardo esponenziale. In Amazon Managed Service for Apache Flink a partire da Flink 1.19.1 in poi, i job Flink utilizzano la strategia di riavvio con ritardo esponenziale per impostazione predefinita. Ciò significa che i lavori degli utenti verranno ripristinati più rapidamente in seguito a errori temporanei, ma non sovraccaricheranno i sistemi esterni se i riavvii dei processi persistono.
Correzioni di bug con backport
Amazon Managed Service for Apache Flink supporta le correzioni della community Flink per problemi critici. Ciò significa che il runtime è diverso dalla versione Apache Flink 1.19.1. Di seguito è riportato un elenco di correzioni di bug di cui abbiamo eseguito il backport:
| Collegamento Apache Flink JIRA | Descrizione |
|---|---|
| FLINK-35531 |
Questa correzione risolve la regressione delle prestazioni introdotta nella versione 1.17.0 che causa scritture più lente su HDFS. |
| FLINK-35157 |
Questa correzione risolve il problema dei lavori Flink bloccati quando le sorgenti con allineamento della filigrana incontrano attività secondarie completate. |
| FLINK-34252 |
Questa correzione risolve il problema della generazione di filigrane che causa uno stato errato della filigrana IDLE. |
| FLINK-34252 |
Questa correzione risolve la regressione delle prestazioni durante la generazione di filigrane riducendo le chiamate di sistema. |
| FLINK-33936 |
Questa correzione risolve il problema dei record duplicati durante l'aggregazione in mini-batch su Table API. |
| FLINK-35498 |
Questa correzione risolve il problema dei conflitti tra i nomi degli argomenti durante la definizione di parametri denominati nell'API Table. UDFs |
| FLINK-33192 |
Questa correzione risolve il problema di una perdita di memoria di stato negli operatori di Windows a causa di una pulizia impropria del timer. |
| FLINK-35069 |
Questa correzione risolve il problema quando un job Flink si blocca attivando un timer alla fine di una finestra. |
| FLINK-35832 |
Questa correzione risolve il problema quando IFNULL restituisce risultati errati. |
| FLINK-35886 |
Questa correzione risolve il problema quando le attività in contropressione vengono considerate inattive. |
Componenti
| Componente | Versione |
|---|---|
| Java | 11 (consigliata) |
| Python |
3.11 |
| Kinesis Data Analytics Flink Runtime () aws-kinesisanalytics-runtime | 1.2.0 |
| Connectors (Connettori) | Per informazioni sui connettori disponibili, consulta Connettori Apache Flink. |
| Apache Beam (solo applicazioni Beam) |
A partire dalla versione 2.61.0. Per ulteriori informazioni, vedere Compatibilità della versione di Flink |
Problemi noti
Servizio gestito Amazon per Apache Flink Studio
Studio utilizza i notebook Apache Zeppelin per offrire un'esperienza di sviluppo a interfaccia singola per lo sviluppo, il debug del codice e l'esecuzione di applicazioni di elaborazione di flussi Apache Flink. È necessario un aggiornamento a Flink Interpreter di Zeppelin per abilitare il supporto di Flink 1.19. Questo lavoro è programmato con la community di Zeppelin e aggiorneremo queste note quando sarà completo. Puoi continuare a utilizzare Flink 1.15 con Amazon Managed Service per Apache Flink Studio. Per ulteriori informazioni, consulta Creazione di un notebook Studio.
