Configurações do Apache Flink - Managed Service for Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurações do Apache Flink

O Managed Service for Apache Flink é uma implementação da estrutura Apache Flink. O Managed Service for Apache Flink usa os valores padrão descritos nesta seção. Alguns desses valores podem ser definidos pelo Managed Service para aplicativos Apache Flink em código, e outros não podem ser alterados.

Use os links desta seção para saber mais sobre as configurações do Apache flink e quais são modificáveis.

O Managed Service for Apache Flink fornece uma configuração padrão do Flink que consiste em valores recomendados pelo Apache Flink para a maioria das propriedades e alguns baseados em perfis comuns de aplicativos. Para obter mais informações sobre a configuração do Flink, consulte Configuração. A configuração padrão fornecida pelo serviço funciona para a maioria dos aplicativos. No entanto, para ajustar as propriedades de configuração do Flink para melhorar o desempenho de determinados aplicativos com alto paralelismo, alto uso de memória e estado, ou habilitar novos recursos de depuração no Apache Flink, você pode alterar determinadas propriedades solicitando um caso de suporte. Para obter mais informações, consulte o Support Center do AWS. Você pode verificar a configuração atual do seu aplicativo usando o painel do Apache Flink.

Backend estadual

O Managed Service for Apache Flink armazena dados transitórios em um estado de back-end. O serviço gerenciado para Apache Flink usa o R Backend. ocksDBState Chamar setStateBackend para definir um back-end diferente não tem efeito.

Habilitamos os seguintes recursos no estado de back-end:

  • Snapshots incrementais de estado de back-end

  • Snapshots de estado assíncrono de back-end

  • Recuperação local dos pontos de verificação

Para obter mais informações sobre back-ends estaduais, consulte State Backends na documentação do Apache Flink.

Pontos de verificação

O Managed Service for Apache Flink usa uma configuração de ponto de verificação padrão com os seguintes valores. Alguns desses valores podem ser alterados usando CheckpointConfiguration. Você deve definir como CheckpointConfiguration.ConfigurationType CUSTOM para que o Managed Service for Apache Flink use valores de checkpoint modificados.

Configuração Pode ser modificada? Como Valor padrão
CheckpointingEnabled Modificável

Criar aplicativo

Atualizar um aplicativo

AWS CloudFormation

Verdadeiro
CheckpointInterval Modificável

Criar aplicativo

Atualizar um aplicativo

AWS CloudFormation

60000
MinPauseBetweenCheckpoints Modificável

Criar aplicativo

Atualizar um aplicativo

AWS CloudFormation

5000
Pontos de verificação não alinhados Modificável Caso de suporte Falso
Número de pontos de verificação simultâneos Não modificável N/D 1
Modo de verificação Não modificável N/D Exatamente uma vez
Política de retenção do ponto de verificação Não modificável N/D Em caso de falha
Tempo limite do ponto de verificação Não modificável N/D 60 minutos
Número máximo de pontos de verificação retidos Não modificável N/D 1
Localização do ponto de verificação e do ponto de salvamento Não modificável N/D Armazenamos dados duráveis de pontos de verificação e pontos de salvamento em um bucket S3 de propriedade do serviço.

Salvamento

Por padrão, ao restaurar a partir de um ponto de salvamento, a operação de retomada tentará mapear todo o estado do ponto de salvamento de volta até o programa com o qual você está restaurando. Se você descartar um operador, por padrão, a restauração a partir de um ponto de salvamento que tenha dados que correspondam ao operador ausente falhará. Você pode permitir que a operação seja bem-sucedida definindo o AllowNonRestoredStateparâmetro do aplicativo FlinkRunConfigurationparatrue. Isso permitirá que a operação de retomada ignore um estado que não possa ser mapeado para o novo programa.

Para obter mais informações, consulte Allowing Non-Restored State (Permitir estado não restaurado) na documentação do Apache Flink.

Tamanhos de pilha

O Managed Service for Apache Flink aloca cada 3 KPU GiB de JVM heap e reserva 1 GiB para alocações de código nativo. Para obter informações sobre como aumentar a capacidade do seu aplicativo, consulte Implemente o escalonamento de aplicativos no Managed Service para Apache Flink.

Para obter mais informações sobre tamanhos de JVM pilha, consulte Configuração na documentação do Apache Flink.

Diminuição do buffer

A diminuição do buffer pode ajudar aplicativos com alta contrapressão. Se o seu aplicativo apresentar falhas nos pontos de verificação/salvamento, habilitar esse recurso pode ser útil. Para fazer isso, solicite um caso de suporte.

Para obter mais informações, consulte The Buffer Debloating Mechanism na documentação do Apache Flink.