Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Use o escalonamento automático no Managed Service para Apache Flink
O Managed Service for Apache Flink dimensiona elasticamente o paralelismo de seu aplicativo para acomodar o throughput de dados de sua fonte e a complexidade de seu operador na maioria dos cenários. O ajuste de escala automático está habilitado por padrão. O Managed Service for Apache Flink monitora o uso de recursos (CPU) do seu aplicativo e dimensiona elasticamente o paralelismo do seu aplicativo para cima ou para baixo de acordo:
Seu aplicativo aumenta (aumenta o paralelismo) se o máximo da CloudWatch métrica
containerCPUUtilization
for maior que 75 por cento ou mais por 15 minutos. Isso significa que aScaleUp
ação é iniciada quando há 15 pontos de dados consecutivos com um período de 1 minuto igual ou superior a 75%. UmaScaleUp
ação dobra o valorCurrentParallelism
do seu aplicativo.ParallelismPerKPU
não foi modificado. Como consequência, o número de alocados KPUs também dobra.Seu aplicativo é reduzido (diminui o paralelismo) quando seu CPU uso permanece abaixo de 10% por seis horas. Isso significa que a
ScaleDown
ação é iniciada quando há 360 pontos de dados consecutivos com um período de 1 minuto inferior a 10%. UmaScaleDown
ação divide pela metade (arredondando para cima) o paralelismo do aplicativo.ParallelismPerKPU
não é modificado, e o número de alocados KPUs também é reduzido pela metade (arredondado para cima).
nota
Um período máximo de containerCPUUtilization
mais de 1 minuto pode ser referenciado para encontrar a correlação com um ponto de dados usado para a ação de escalonamento, mas não é necessário refletir o momento exato em que a ação é inicializada.
O Managed Service for Apache Flink não reduzirá o valor CurrentParallelism
do seu aplicativo para menos do que a configuração Parallelism
do seu aplicativo.
Quando o serviço do Managed Service for Apache Flink estiver escalando seu aplicativo, ele estará no status AUTOSCALING
. Você pode verificar o status atual da sua inscrição usando as ListApplicationsações DescribeApplicationou. Enquanto o serviço está escalando seu aplicativo, a única API ação válida que você pode usar é StopApplicationcom o Force
parâmetro definido como. true
Você pode usar a propriedade AutoScalingEnabled
(parte de FlinkApplicationConfiguration
) para ativar ou desativar o comportamento de ajuste de escala automático. Sua AWS conta é cobrada pelas KPUs provisões do Managed Service for Apache Flink, que é uma função do seu aplicativo parallelism
e parallelismPerKPU
das configurações. Um pico de atividade aumenta os custos do Managed Service for Apache Flink.
Para obter mais informações sobre preços, consulte Preço do Amazon Managed Service for Apache Flink
Observe o seguinte sobre escalonamento de aplicativo:
O ajuste de escala automático está habilitado por padrão.
O escalonamento não se aplica aos blocos de anotações do Studio. No entanto, se você implantar um bloco de anotações do Studio como um aplicativo de estado durável, o escalonamento será aplicado ao aplicativo implantado.
Seu aplicativo tem um limite padrão de 64KPUs. Para obter mais informações, consulte Serviço gerenciado para cota de notebooks Apache Flink e Studio.
Quando o automáticoajuste de escala automático atualiza o paralelismo do aplicativo, o aplicativo passa por um tempo de inatividade. Para evitar esse tempo de inatividade, faça o seguinte:
Desabilitar o ajuste de escala automático
Configure seu aplicativo
parallelism
eparallelismPerKPU
com a UpdateApplicationação. Para obter mais informações sobre como definir as configurações de paralelismo do seu aplicativo, consulte. Atualize o paralelismo do seu aplicativoMonitore periodicamente o uso de recursos do seu aplicativo para verificar se ele tem as configurações de paralelismo corretas para seu workload. Para obter informações sobre monitoramento de alocação de recursos, consulte Métricas e dimensões no Managed Service para Apache Flink.
Implemente o escalonamento automático personalizado
Se você quiser um controle mais refinado sobre o escalonamento automático ou usar outras métricas de gatilhocontainerCPUUtilization
, você pode usar este exemplo:
-
Esses exemplos ilustram como escalar seu aplicativo Managed Service for Apache Flink usando uma CloudWatch métrica diferente da aplicação Apache Flink, incluindo métricas do Amazon e do Amazon Kinesis MSK Data Streams, usadas como fontes ou coletor.
Para obter informações adicionais, consulte Monitoramento aprimorado e escalabilidade automática para o Apache Flink
Implemente o escalonamento automático programado
Se sua carga de trabalho seguir um perfil previsível ao longo do tempo, talvez você prefira escalar seu aplicativo Apache Flink preventivamente. Isso dimensiona seu aplicativo em um horário programado, em vez de escalar reativamente com base em uma métrica. Para configurar a escalabilidade para cima e para baixo em horários fixos do dia, você pode usar este exemplo: