Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon Managed Service per Apache Flink 1.18
Managed Service for Apache Flink ora supporta Apache Flink versione 1.18.1. Scopri le nuove funzionalità e le modifiche principali introdotte con il supporto di Managed Service for Apache Flink di Apache Flink 1.18.1.
Nota
Se stai utilizzando una versione precedente supportata di Apache Flink e desideri aggiornare le tue applicazioni esistenti ad Apache Flink 1.18.1, puoi farlo utilizzando gli aggiornamenti della versione di Apache Flink sul posto. Con gli aggiornamenti delle versioni sul posto, mantieni la tracciabilità delle applicazioni rispetto a un singolo ARN tra le versioni di Apache Flink, inclusi snapshot, log, metriche, tag, configurazioni Flink e altro ancora. È RUNNING READY possibile utilizzare questa funzionalità in and state. Per ulteriori informazioni, consulta Usa gli aggiornamenti di versione sul posto per Apache Flink.
| Caratteristiche supportate | Description | Riferimento alla documentazione di Apache Flink |
|---|---|---|
| Connettore Opensearch | Questo connettore include un dissipatore che fornisce garanzie almeno una volta. | github: Opensearch Connector |
| Connettore Amazon DynamoDB | Questo connettore include un sink che fornisce garanzie valide almeno una volta. | Sink Amazon DynamoDB |
| Connettore MongoDB | Questo connettore include una sorgente e un sink che forniscono garanzie almeno una volta. | Connettore MongoDB |
| Disaccoppia Hive con il pianificatore Flink |
Puoi usare direttamente il dialetto Hive senza lo scambio di JAR aggiuntivo. |
FLINK-26603: Disaccoppia Hive con il pianificatore Flink |
| Disabilita WAL in per impostazione predefinita RocksDBWriteBatchWrapper |
Ciò fornisce tempi di recupero più rapidi. |
FLINK-32326: Disabilita WAL in RocksDBWriteBatchWrapper per impostazione predefinita |
|
Migliora le prestazioni di aggregazione delle filigrane abilitando l'allineamento delle filigrane |
Migliora le prestazioni di aggregazione delle filigrane abilitando l'allineamento delle filigrane e aggiunge il relativo benchmark. |
FLINK-32524: prestazioni di aggregazione delle filigrane |
| Prepara l'allineamento delle filigrane per l'uso in produzione | Elimina il rischio di sovraccarico di lavori di grandi dimensioni JobManager | FLINK-32548: Prepara l'allineamento della filigrana |
|
Configurabile RateLimitingStratey per Async Sink |
RateLimitingStrategy consente di configurare la decisione su cosa scalare, quando scalare e quanto scalare. |
FLIP-242: Introduci la configurazione RateLimitingStrategy per Async Sink |
|
Recupera in blocco le statistiche di tabelle e colonne |
Prestazioni delle query migliorate. | FLIP-247: recupero in blocco delle statistiche di tabelle e colonne per determinate partizioni |
Per la documentazione sulla versione di Apache Flink 1.18.1, vedere l'annuncio del rilascio di Apache Flink 1.18.1.
Modifiche in Amazon Managed Service for Apache Flink with Apache Flink 1.18
Akka è stato sostituito con Pekko
Apache Flink ha sostituito Akka con Pekko in Apache Flink 1.18. Questa modifica è completamente supportata in Managed Service for Apache Flink a partire da Apache Flink 1.18.1 e versioni successive. Non è necessario modificare le applicazioni a seguito di questa modifica. Per ulteriori informazioni, consulta FLINK-32468: Sostituire Akka con
Supporta l' PyFlink esecuzione del runtime in modalità Thread
Questa modifica ad Apache Flink introduce una nuova modalità di esecuzione per il framework Pyflink Runtime, Process Mode. Process Mode può ora eseguire funzioni Python definite dall'utente nello stesso thread anziché in un processo separato.
Correzioni di bug supportate
Amazon Managed Service for Apache Flink esegue il backport delle correzioni fornite dalla community di Flink per i problemi critici. Ciò significa che il runtime è diverso dalla versione 1.18.1 di Apache Flink. Di seguito è riportato un elenco di correzioni di bug di cui abbiamo eseguito il backport:
| Collegamento Apache Flink JIRA | Description |
|---|---|
| FLINK-33863 |
Questa correzione risolve il problema quando un ripristino dello stato non riesce per le istantanee compresse. |
| FLINK-34063 |
Questa correzione risolve il problema quando gli operatori di origine perdono le suddivisioni quando la compressione delle istantanee è abilitata. Apache Flink offre una compressione opzionale (impostazione predefinita: disattivata) per tutti i checkpoint e i savepoint. Apache Flink ha identificato un bug in Flink 1.18.1 in cui lo stato dell'operatore non poteva essere ripristinato correttamente quando la compressione delle istantanee era abilitata. Ciò potrebbe comportare la perdita dei dati o l'impossibilità di ripristinarli dal checkpoint. |
| FLINK-35069 |
Questa correzione risolve il problema quando un job Flink si blocca attivando un timer alla fine di una finestra. |
| FLINK-35097 |
Questa correzione risolve il problema dei record duplicati in un connettore Table API Filesystem in formato raw. |
| FLINK-34379 |
Questa correzione risolve il problema dell'attivazione del filtro dinamico delle tabelle OutOfMemoryError . |
| FLINK-28693 |
Questa correzione risolve il problema dell'API Table che non è in grado di generare un grafico se la filigrana ha un'espressione ColumnBy. |
| FLINK-35217 |
Questa correzione risolve il problema di un checkpoint danneggiato durante una specifica modalità di errore del lavoro di Flink. |
Componenti
| Componente | Versione |
|---|---|
| Java | 11 (consigliata) |
| Scala |
Dalla versione 1.15, Flink è. Scala-agnostic Per riferimento, MSF Flink 1.18 è stato verificato rispetto a Scala 3.3 (LTS). |
| Servizio gestito per Apache Flink per il runtime di Flink (aws-kinesisanalytics-runtime) | 1.2.0 |
| AWS Kinesis Connector (flink-connector-kinesis) [Fonte] |
4.2.0-1.18 |
| AWS Connettore Kinesis (flink-connector-kinesis) [Sink] |
4.2.0-1.18 |
| Apache Beam (solo applicazioni Beam) |
Dalla versione 2.57.0. Per ulteriori informazioni, vedere Compatibilità delle versioni di Flink. |
Problemi noti
Amazon Managed Service per Apache Flink Studio
Studio utilizza i notebook Apache Zeppelin per fornire un'esperienza di sviluppo a interfaccia singola per lo sviluppo, il debug del codice e l'esecuzione di applicazioni di elaborazione di stream Apache Flink. È necessario un aggiornamento al Flink Interpreter di Zeppelin per abilitare il supporto di Flink 1.18. Questo lavoro è programmato con la comunità di Zeppelin e aggiorneremo queste note una volta completato. Puoi continuare a utilizzare Flink 1.15 con Amazon Managed Service per Apache Flink Studio. Per ulteriori informazioni, consulta Creazione di un notebook Studio.
Filigrana inattiva errata quando la sottoattività è sottoposta a contropressione
Esiste un problema noto nella generazione della filigrana quando una sottoattività viene sottoposta a contropressione, che è stato risolto da Flink 1.19 e versioni successive. Questo può manifestarsi come un picco nel numero di record in ritardo quando un grafico di lavoro di Flink viene sottoposto a contropressione. Ti consigliamo di eseguire l'aggiornamento alla versione più recente di Flink per apportare questa correzione. Per ulteriori informazioni, consulta Filigrana errata per la contabilizzazione del timeout quando la sottoattività è. backpressured/blocked
