Impostazioni Apache Flink - Servizio gestito per Apache Flink

Il servizio gestito da Amazon per Apache Flink era precedentemente noto come Analisi dei dati Amazon Kinesis per Apache Flink.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Impostazioni Apache Flink

Il servizio gestito per Apache Flink è un'implementazione del framework Apache Flink. Il servizio gestito per Apache Flink utilizza i valori predefiniti descritti in questa sezione. Alcuni di questi valori possono essere impostati dal servizio gestito per le applicazioni Apache Flink nel codice, mentre altri non possono essere modificati.

Usa i link in questa sezione per saperne di più sulle impostazioni di Apache flink e su quali sono modificabili.

Il servizio gestito per Apache Flink fornisce una configurazione Flink predefinita composta da valori consigliati da Apache Flink per la maggior parte delle proprietà e alcune basati su profili comuni per le applicazioni. Per ulteriori informazioni sulla configurazione di Flink, consulta Configurazione. La configurazione predefinita fornita dal servizio funziona per la maggior parte delle applicazioni. Tuttavia, per modificare le proprietà di configurazione di Flink per migliorare le prestazioni di determinate applicazioni con elevato parallelismo, elevato utilizzo di memoria e stato o abilitare nuove funzionalità di debug in Apache Flink, puoi modificare determinate proprietà richiedendo un caso di supporto. Per ulteriori informazioni, consulta Centro di supporto di AWS. È possibile controllare la configurazione corrente dell'applicazione utilizzando la dashboard di Apache Flink.

Backend statale

Il servizio gestito per Apache Flink archivia i dati transitori in un backend di stato. Il servizio gestito per Apache Flink utilizza il backend R. ocksDBState Chiamare setStateBackend per impostare un backend diverso non ha alcun effetto.

Abilitiamo le seguenti funzionalità sul backend di stato:

  • Snapshot incrementali del backend di stato

  • Snapshot del backend di stato asincroni

  • Ripristino locale dei checkpoint

Per ulteriori informazioni sui backend di stato, consulta State Backends nella documentazione di Apache Flink.

Checkpoint

Il servizio gestito per Apache Flink utilizza una configurazione di checkpoint predefinita con i seguenti valori. Alcuni di questi valori possono essere modificati utilizzando. CheckpointConfiguration È necessario CheckpointConfiguration.ConfigurationType impostare su Managed Service CUSTOM for Apache Flink per utilizzare i valori di checkpoint modificati.

Impostazione Può essere modificato? In che modo Valore predefinito
CheckpointingEnabled Modificabile

Crea applicazione

Aggiorna applicazione

AWS CloudFormation

True
CheckpointInterval Modificabile

Crea applicazione

Aggiorna applicazione

AWS CloudFormation

60000
MinPauseBetweenCheckpoints Modificabile

Crea applicazione

Aggiorna applicazione

AWS CloudFormation

5000
Checkpoint non allineati Modificabile Caso di supporto False
Numero di checkpoint simultanei Non modificabile N/D 1
Modalità di checkpoint Non modificabile N/D Esattamente una volta
Policy di conservazione dei checkpoint Non modificabile N/D In caso di errore
Timeout checkpoint Non modificabile N/D 60 minuti
Max. di checkpoint mantenuti Non modificabile N/D 1
Ubicazione di checkpoint e savepoint Non modificabile N/D Archiviamo dati durevoli su checkpoint e savepoint in un bucket S3 di proprietà del servizio.

Savepoint

Per impostazione predefinita, quando si esegue il ripristino da un savepoint, l'operazione di ripristino proverà a mappare tutto lo stato del savepoint nel programma con cui si sta eseguendo il ripristino. Se hai eliminato un operatore, per impostazione predefinita, il ripristino da un savepoint con dati corrispondenti all'operatore mancante avrà esito negativo. È possibile consentire il successo dell'operazione impostando il AllowNonRestoredStateparametro dell'applicazione FlinkRunConfigurationsutrue. Ciò consentirà all'operazione di ripristino di ignorare uno stato che non può essere mappato nel nuovo programma.

Per ulteriori informazioni, consulta la sezione Consentire lo stato non ripristinato nella documentazione di Apache Flink.

Dimensioni del mucchio

Managed Service for Apache Flink alloca ogni 3 KPU GiB di JVM heap e riserva 1 GiB per le allocazioni di codice nativo. Per informazioni sull'aumento della capacità delle applicazioni, consulta Implementazione della scalabilità delle applicazioni in Managed Service for Apache Flink.

Per ulteriori informazioni sulle dimensioni degli JVM heap, consulta Configurazione nella documentazione di Apache Flink.

Debloating del buffer

Il debloating del buffer può aiutare le applicazioni che hanno una congestione elevata. Se l'applicazione presenta checkpoint/savepoint non riusciti, potrebbe essere utile abilitare questa funzionalità. A tal scopo, richiedi un caso di supporto.

Per ulteriori informazioni, consulta Il meccanismo di debloating del buffer nella documentazione di Apache Flink.