View a markdown version of this page

Serviço gerenciado da Amazon para Apache Flink 2.3 - Managed Service for Apache Flink

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Serviço gerenciado da Amazon para Apache Flink 2.3

O Managed Service for Apache Flink agora oferece suporte ao Apache Flink versão 2.3.0. Esta seção apresenta os principais novos recursos e mudanças introduzidos com o Managed Service para suporte ao Apache Flink do Apache Flink 2.3.0.

nota

Se você estiver usando uma versão anterior suportada do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 2.3.0, você pode fazer isso usando as atualizações de versão do Apache Flink no local. Para obter mais informações, consulte Use atualizações de versão in-place para o Apache Flink. Com as atualizações de versão in-place, você mantém a rastreabilidade do aplicativo em relação a um único ARN nas versões do Apache Flink, incluindo snapshots, registros, métricas, tags, configurações do Flink e muito mais.

nota

A atualização do Flink 1.x para o Flink 2.3 é uma atualização de versão importante com alterações significativas e considerações de compatibilidade de estado. Antes de atualizar da versão 1.x, Alterações decisivas e suspensões de uso revise e. Guia de compatibilidade estadual para atualizações do Flink 2.2

O Apache Flink 2.3.0 introduz melhorias na API SQL, na seleção adaptável de partições para cargas de trabalho distorcidas e no painel do Flink.

Recursos compatíveis e documentação relacionada

Recursos compatíveis

Description

Referência da documentação do Apache Flink

Melhorias SinkUpsertMaterializer e transtorno do registro de alterações

Melhora a ordem de atualização ao gravar fluxos de CDC ou de registro de alterações em coletores superiores.

FLIP-558: Melhorias SinkUpsertMaterializer e transtorno do registro de alterações

APIs de leitura do gerenciamento de aplicativos

Novos endpoints somente de leitura para observabilidade em nível de aplicativo. Os endpoints de gravação estão desativados no Amazon Managed Service para Apache Flink.

FLIP-549: Gerenciamento de aplicativos, FLIP-560: Aprimoramento da capacidade de gerenciamento de aplicativos

Seleção de partição adaptável para StreamPartitioner

Opt-in otimização da taxa de transferência para particionadores Rebalance e Rescale assimétricos. Desativado por padrão; habilite comtaskmanager.network.adaptive-partitioner.enabled.

FLIP-339: Seleção de partição adaptável para StreamPartitioner

nota

Você pode optar pelos seguintes recursos enviando um caso de suporte:

Opt-in recursos e documentação relacionada

Opt-in features

Description

Referência da documentação do Apache Flink

Ponto de verificação de suporte durante a recuperação

Isso está desativado por padrão, pois é um recurso experimental em código aberto. Você pode solicitar a habilitação para seu aplicativo usando um caso de suporte.

FLIP-547: Ponto de verificação de suporte durante a recuperação

Para ver a documentação de lançamento do Apache Flink 2.3.0, consulte a documentação do Apache Flink v2.3.0. Para as notas de lançamento do Flink 2.3, consulte Notas de lançamento - Flink 2.3.

O Apache Flink 2.3 altera o comportamento padrão do alinhamento da marca d'água para evitar que trabalhos atrasados consumam todos os recursos posteriores. No Amazon Managed Service for Apache Flink, o valor padrão de pipeline.watermark-alignment.max-drift é definido como preservar 0 a compatibilidade retroativa com versões anteriores suportadas do Apache Flink e proteger seus aplicativos existentes de uma regressão comportamental na atualização. Se você quiser o novo comportamento justo, você pode optar por configurá-lo pipeline.watermark-alignment.max-drift programaticamente no código do seu aplicativo. Para obter mais informações, consulte FLINK-37399: O alinhamento da marca d'água impede que trabalhos atrasados usem todos os recursos.

Componentes do Amazon Managed Service para Apache Flink 2.3

Componente

Versão

Java

17 (recomendado)

Python

3,12

Runtime do Kinesis Data Analytics Flink (aws-kinesisanalytics-runtime)

1.2.0

Conectores

Para obter informações sobre os conectores disponíveis, consulte Conectores do Apache Flink.

Os seguintes recursos do Apache Flink 2.3 não são compatíveis com o Amazon Managed Service para Apache Flink:

  • Tabelas materializadas: instantâneos de tabelas que podem ser consultados e mantidos continuamente.

  • Alterações de telemetria personalizadas: relatórios métricos personalizados e configurações de telemetria.

  • Flink Native S3 FileSystem (FLIP-555): Implementação nativa do sistema de arquivos S3 (experimental em código aberto)

  • ForSt Backend estadual: armazenamento de estado desagregado (experimental em código aberto).

  • Java 21: suporte experimental em código aberto, não suportado no Managed Service for Apache Flink.

O Flink 2.3 no Amazon Managed Service para Apache Flink não oferece suporte a aplicativos Studio. Para obter mais informações, consulte Criação de um notebook do Studio.