Il servizio gestito da Amazon per Apache Flink era precedentemente noto come Analisi dei dati Amazon Kinesis per Apache Flink.
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Usa il ridimensionamento automatico in Managed Service for Apache Flink
Il servizio gestito per Apache Flink ridimensiona in modo elastico il parallelismo dell'applicazione, per adattarsi alla velocità di trasmissione effettiva dei dati della fonte e alla complessità dell'operatore nella maggior parte delle situazioni. Il dimensionamento automatico è abilitato per impostazione predefinita. Il servizio gestito per Apache Flink monitora l'utilizzo delle risorse (CPU) dell'applicazione e ridimensiona elasticamente il parallelismo dell'applicazione verso l'alto o verso il basso di conseguenza:
L'applicazione si ridimensiona verso l'alto (aumenta il parallelismo) se il valore massimo
containerCPUUtilizationdella CloudWatch metrica è superiore o superiore al 75% per 15 minuti. Ciò significa che l'ScaleUpazione viene avviata quando ci sono 15 punti dati consecutivi con un periodo di 1 minuto pari o superiore al 75%. Un'ScaleUpazione raddoppia la durata dell'applicazione.CurrentParallelismParallelismPerKPUnon viene modificato. Di conseguenza, KPUs anche il numero di stanziati raddoppia.L'applicazione si ridimensiona (riduce il parallelismo) quando l'CPUutilizzo rimane al di sotto del 10 percento per sei ore. Ciò significa che l'
ScaleDownazione viene avviata quando ci sono 360 punti dati consecutivi con un periodo di 1 minuto inferiore al 10 percento. Un'ScaleDownazione dimezza (arrotonda per eccesso) il parallelismo dell'applicazione.ParallelismPerKPUnon viene modificato e KPUs anche il numero di allocazioni viene dimezzato (arrotondato per eccesso).
Nota
È possibile fare riferimento a un periodo massimo di containerCPUUtilization oltre 1 minuto per trovare la correlazione con un datapoint utilizzato per l'azione Scaling, ma non è necessario indicare il momento esatto in cui l'azione viene inizializzata.
Il servizio gestito per Apache Flink non ridurrà il valore di CurrentParallelism dell'applicazione a un valore inferiore rispetto all’impostazione Parallelism.
Quando il servizio gestito per Apache Flink dimensiona l'applicazione, questa comparirà nello status AUTOSCALING. È possibile verificare lo stato attuale dell'applicazione utilizzando le azioni o. DescribeApplication ListApplications Mentre il servizio sta ridimensionando l'applicazione, l'unica API azione valida che puoi utilizzare è StopApplicationcon il Force parametro impostato true su.
È possibile utilizzare la proprietà AutoScalingEnabled (parte di FlinkApplicationConfiguration) per abilitare o disabilitare il dimensionamento automatico. All' AWS account vengono addebitate le KPUs disposizioni relative al servizio gestito per Apache Flink, in funzione delle impostazioni e dell'parallelismapplicazione. parallelismPerKPU Un picco di attività aumenta i costi del servizio gestito per Apache Flink.
Per ulteriori informazioni sulle tariffe, consulta il Piano tariffario del servizio gestito da Amazon per Apache Flink
È fondamentale tenere presente quanto segue in merito al dimensionamento dell'applicazione:
Il dimensionamento automatico è abilitato per impostazione predefinita.
Il dimensionamento non si applica ai notebook Studio. Tuttavia, nel caso in cui si implementi un notebook Studio come applicazione con stato permanente, il dimensionamento verrà eseguito sull'applicazione implementata.
L'applicazione ha un limite predefinito di 64. KPUs Per ulteriori informazioni, consulta Servizio gestito per Apache Flink e quota di notebook Studio.
Quando il dimensionamento automatico aggiorna il parallelismo dell'applicazione, l'applicazione subisce un’interruzione. Segui i seguenti passaggi per evitare che l’applicazione si interrompa:
Disabilita il dimensionamento automatico
Configura
parallelismeparallelismPerKPUcon l'UpdateApplicationazione della tua applicazione. Per ulteriori informazioni sull'impostazione delle impostazioni di parallelismo dell'applicazione, consulta. Aggiorna il parallelismo dell'applicazioneÈ fondamentale monitorare periodicamente l'utilizzo delle risorse dell'applicazione, per verificare che disponga di impostazioni di parallelismo adatte al carico di lavoro. Per informazioni sul monitoraggio dell'utilizzo delle risorse di allocazione, consulta Metriche e dimensioni in Managed Service for Apache Flink.
Implementa la scalabilità automatica personalizzata
Se desideri un controllo più preciso sulla scalabilità automatica o utilizzare metriche di attivazione diverse da quelle, puoi usare questo esempio: containerCPUUtilization
-
Questo esempio illustra come scalare l'applicazione Managed Service for Apache Flink utilizzando una CloudWatch metrica diversa dall'applicazione Apache Flink, incluse le metriche di Amazon e Amazon Kinesis Data MSK Streams, utilizzate come sorgenti o sink.
Implementa la scalabilità automatica pianificata
Se il carico di lavoro segue un profilo prevedibile nel tempo, potresti preferire scalare preventivamente la tua applicazione Apache Flink. Questo ridimensiona l'applicazione a un orario pianificato, invece di scalare in modo reattivo in base a una metrica. Per impostare la scalabilità verso l'alto e verso il basso a orari prestabiliti del giorno, puoi utilizzare questo esempio:
