View a markdown version of this page

Amazon Managed Service para Apache Flink 2.3 - Managed Service for Apache Flink

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon Managed Service para Apache Flink 2.3

O Managed Service para Apache Flink agora oferece suporte ao Apache Flink versão 2.3.0. Esta seção apresenta os principais novos recursos e mudanças introduzidos com o Managed Service for Apache Flink, suporte ao Apache Flink 2.3.0.

nota

Se você estiver usando uma versão anterior compatível do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 2.3.0, você pode fazer isso usando atualizações de versão do Apache Flink no local. Para obter mais informações, consulte Use atualizações de versão in-place para o Apache Flink. Com as atualizações de versão in-place, você mantém a rastreabilidade do aplicativo em relação a um único ARN nas versões do Apache Flink, incluindo snapshots, registros, métricas, tags, configurações do Flink e muito mais.

nota

A atualização do Flink 1.x para o Flink 2.3 é uma atualização importante da versão com alterações significativas e considerações de compatibilidade de estado. Antes de atualizar da versão 1.x, revise e. Alterações e suspensões significativas Guia de compatibilidade estadual para atualizações do Flink 2.2

O Apache Flink 2.3.0 introduz melhorias na API SQL, na seleção adaptativa de partições para cargas de trabalho distorcidas e no painel do Flink.

Recursos compatíveis e documentação relacionada

Recursos compatíveis

Description

Referência da documentação do Apache Flink

Melhorias SinkUpsertMaterializer e transtorno de registro de alterações

Melhora a ordem das atualizações ao gravar fluxos CDC ou changelog em coletores upsert.

FLIP-558: Melhorias SinkUpsertMaterializer e transtorno de registro de alterações

APIs de leitura do gerenciamento de aplicativos

Novos endpoints somente para leitura para observabilidade em nível de aplicativo. Os endpoints de gravação estão desativados no Amazon Managed Service para Apache Flink.

FLIP-549: Gerenciamento de aplicativos, FLIP-560: Aprimoramento da capacidade de gerenciamento de aplicativos

Seleção de partição adaptável para StreamPartitioner

Opt-in otimização da taxa de transferência para particionadores assimétricos Rebalance e particionadoresRescale. Desativado por padrão; habilite comtaskmanager.network.adaptive-partitioner.enabled.

FLIP-339: Seleção de partição adaptável para StreamPartitioner

nota

Você pode optar pelos seguintes recursos enviando um caso de suporte:

Opt-in recursos e documentação relacionada

Opt-in features

Description

Referência da documentação do Apache Flink

Support checkpoint durante a recuperação

Isso está desativado por padrão, pois é um recurso experimental em código aberto. Você pode solicitar a habilitação para seu aplicativo usando um caso de suporte.

FLIP-547: Support checkpoint durante a recuperação

Para a documentação da versão do Apache Flink 2.3.0, consulte a documentação do Apache Flink v2.3.0. Para as notas de lançamento do Flink 2.3, consulte Notas de versão - Flink 2.3.

O Apache Flink 2.3 altera o comportamento padrão do alinhamento de marca d'água para evitar que trabalhos atrasados consumam todos os recursos posteriores. No Amazon Managed Service para Apache Flink, o valor padrão de pipeline.watermark-alignment.max-drift é definido 0 para preservar a compatibilidade com versões anteriores do Apache Flink suportadas e proteger seus aplicativos existentes de uma regressão comportamental na atualização. Se você quiser o novo comportamento imparcial, você pode optar por configurá-lo pipeline.watermark-alignment.max-drift programaticamente no código do seu aplicativo. Para obter mais informações, consulte FLINK-37399: O alinhamento de marca d'água impede que trabalhos atrasados usem todos os recursos.

Componentes do Amazon Managed Service para Apache Flink 2.3

Componente

Versão

Java

17 (recomendado)

Python

3.12

Runtime do Kinesis Data Analytics Flink (aws-kinesisanalytics-runtime)

1.2.0

Conectores

Para obter informações sobre os conectores disponíveis, consulte Conectores do Apache Flink.

Os seguintes recursos do Apache Flink 2.3 não são compatíveis com o Amazon Managed Service para Apache Flink:

  • Tabelas materializadas: instantâneos de tabelas consultáveis e mantidos continuamente.

  • Alterações de telemetria personalizadas: relatórios métricos personalizados e configurações de telemetria.

  • Flink Native S3 FileSystem (FLIP-555): implementação do sistema de arquivos S3 nativo (experimental em código aberto)

  • ForSt State Backend: armazenamento de estado desagregado (experimental em código aberto).

  • Java 21: suporte experimental em código aberto, não suportado no Managed Service for Apache Flink.

O Flink 2.3 no Amazon Managed Service para Apache Flink não é compatível com aplicativos Studio. Para obter mais informações, consulte Criação de um notebook do Studio.