As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Amazon Managed Service for Apache Flink 1.18 O Managed Service for Apache Flink Studio agora é compatível com o Apache Flink versão 1.18.1. Conheça os principais novos recursos e alterações introduzidos com o suporte do Apache Flink 1.18.1 ao Managed Service for Apache Flink. **nota** Se você estiver usando uma versão anterior compatível do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 1.18.1, pode fazer isso usando atualizações de versão do Apache Flink in-place. Com as atualizações de versão in-place, você mantém a rastreabilidade do aplicativo em relação a um único ARN nas versões do Apache Flink, incluindo snapshots, registros, métricas, tags, configurações do Flink e muito mais. Você pode usar esse recurso em um estado `RUNNING` e `READY`. Para obter mais informações, consulte [Use atualizações de versão in-place para o Apache Flink](how-in-place-version-upgrades.md). **Recursos compatíveis com as referências de documentação do Apache Flink** | Recursos compatíveis | Description | Referência da documentação do Apache Flink | | --- | --- | --- | | Conector Opensearch | Esse conector inclui um coletor que fornece at-least-once garantias. | [github: Conector Opensearch](https://github.com/apache/flink-connector-opensearch/blob/main/docs/content/docs/connectors/datastream/opensearch.md) | | Conector Amazon DynamoDB | Esse conector inclui um coletor que fornece at-least-once garantias. | [Coletor Amazon DynamoDB](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/dynamodb/) | | Conector MongoDB | Esse conector inclui uma fonte e um coletor que fornecem at-least-once garantias. | [Conector MongoDB](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/mongodb/) | | Separe o Hive com o planejador Flink | Você pode usar o dialeto Hive diretamente sem uma troca extra de JAR. | [FLINK-26603: Separe o Hive com o planejador Flink](https://issues.apache.org/jira/browse/FLINK-26603) | | Desative o WAL em Rocks DBWrite BatchWrapper por padrão | Isso habilita tempos de recuperação mais rápidos. | [FLINK-32326: Desative o WAL em Rocks por padrão DBWrite BatchWrapper ](https://issues.apache.org/jira/browse/FLINK-32326) | | Melhore o desempenho da agregação de marcas d'água ao ativar o alinhamento da marca d'água | Melhora o desempenho da agregação de marcas d'água ao ativar o alinhamento da marca d'água e adiciona a referência relacionada. | [FLINK-32524: desempenho da agregação de marcas d'água](https://issues.apache.org/jira/browse/FLINK-32420) | | Prepare o alinhamento da marca d'água para uso na produção | Elimina o risco de sobrecarga de grandes trabalhos JobManager | [FLINK-32548: prepare o alinhamento da marca d'água](https://issues.apache.org/jira/browse/FLINK-32548) | | Configurável RateLimitingStratey para coletor assíncrono | RateLimitingStrategy permite que você configure a decisão sobre o que escalar, quando escalar e quanto escalar. | [FLIP-242: Introdução configurável RateLimitingStrategy para Async Sink](https://cwiki.apache.org/confluence/display/FLINK/FLIP-242%3A+Introduce+configurable+RateLimitingStrategy+for+Async+Sink) | | Busca em lote das estatísticas de tabelas e colunas | Melhoria do desempenho de consultas | [FLIP-247: busca em lote das estatísticas de tabelas e colunas para determinadas partições](https://cwiki.apache.org/confluence/display/FLINK/FLIP-247%3A+Bulk+fetch+of+table+and+column+statistics+for+given+partitions) | Para a documentação da versão do Apache Flink 1.18.1, consulte [Anúncio da versão do Apache Flink 1.18.1](https://flink.apache.org/2024/01/19/apache-flink-1.18.1-release-announcement/). ## Mudanças no Amazon Managed Service para Apache Flink com Apache Flink 1.18 **Akka substituído pelo Pekko** O Apache Flink substituiu o Akka pelo Pekko no Apache Flink 1.18. Essa alteração é totalmente compatível no Managed Service for Apache Flink a partir do Apache Flink versão 1.18.1 e posteriores. Não é necessário modificar seus aplicativos como resultado dessa alteração. Para obter mais informações, consulte [FLINK-32468: substituir o Akka pelo Pekko](https://issues.apache.org/jira/browse/FLINK-32468). **Support a PyFlink execução do Runtime no Modo Thread** Essa alteração do Apache Flink introduz um novo modo de execução para a estrutura do Pyflink Runtime, o modo de processo. O Modo de Processo agora pode executar funções definidas pelo usuário do Python no mesmo thread, em vez de em um processo separado. **Correções de bugs retroportadas** O Amazon Managed Service for Apache Flink é responsável pelas correções da comunidade do Flink para problemas críticos. Isso significa que o runtime é diferente da versão 1.18.1 do Apache Flink. A seguir está uma lista de correções de bugs em que aplicamos backport: **Correções de bugs retroportadas** | Link para o Apache Flink JIRA | Description | | --- | --- | | [FLINK-33863](https://issues.apache.org/jira/browse/FLINK-33863) | Essa correção soluciona o problema quando uma restauração de estado falha para snapshots compactados. | | [FLINK-34063](https://issues.apache.org/jira/browse/FLINK-34063) | Essa correção soluciona o problema quando os operadores da fonte perdem divisões quando a compactação de snapshots está ativada. O Apache Flink oferece compactação opcional (padrão: desligado) para todos os pontos de verificação e pontos de salvamento. O Apache Flink identificou um bug no Flink 1.18.1 em que o estado do operador não pôde ser restaurado adequadamente quando a compactação de snapshots foi ativada. Isso pode causar perda de dados ou incapacidade de restaurar a partir do ponto de verificação. | | [FLINK-35069](https://issues.apache.org/jira/browse/FLINK-35069) | Essa correção soluciona o problema quando uma tarefa do Flink trava e aciona um cronômetro no final de uma janela. | | [FLINK-35097](https://issues.apache.org/jira/browse/FLINK-35097) | Essa correção soluciona o problema de registros duplicados em um conector Filesystem da API Table com o formato bruto. | | [FLINK-34379](https://issues.apache.org/jira/browse/FLINK-34379) | Essa correção soluciona o problema de um OutOfMemoryError ao ativar a filtragem dinâmica de tabelas. | | [FLINK-28693](https://issues.apache.org/jira/browse/FLINK-28693) | Essa correção soluciona o problema de a API Table não conseguir gerar um gráfico se a marca d'água tiver uma expressão columnBy. | | [FLINK-35217](https://issues.apache.org/jira/browse/FLINK-35217) | Essa correção soluciona o problema de um ponto de verificação corrompido durante um modo específico de falha de trabalho do Flink. | ## Componentes **** | Componente | Versão | | --- | --- | | Java | 11 (recomendado) | | Scala | Desde a versão 1.15, o Flink é independente do Scala. Para referência, o MSF Flink 1.18 foi verificado em relação ao Scala 3.3 (LTS). | | Serviço gerenciado para Apache Flink Flink Runtime () aws-kinesisanalytics-runtime | 1.2.0 | | [AWS Kinesis Connector (flink-connector-kinesis) [Fonte]](https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kinesis/4.2.0-1.18) | 4.2.0-1.18 | | [AWS Conector Kinesis (flink-connector-kinesis) [Pia]](https://mvnrepository.com/artifact/org.apache.flink/flink-connector-aws-kinesis-streams/4.2.0-1.18) | 4.2.0-1.18 | | [Apache Beam (somente aplicativos Beam)](https://aws.amazon.com/developer/language/python/) | A partir da versão 2.57.0. Para obter mais informações, consulte [Compatibilidade de versões do Flink](https://beam.apache.org/documentation/runners/flink/#flink-version-compatibility). | ## Problemas conhecidos **Amazon Managed Service para Apache Flink Studio** O Studio utiliza notebooks do Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de fluxo do Apache Flink. É necessário atualizar o Flink Interpreter do Zeppelin para permitir o suporte ao Flink 1.18. Este trabalho está agendado com a comunidade do Zeppelin e atualizaremos essas notas quando for concluído. É possível continuar usando o Flink 1.15 com o Amazon Managed Service for Apache Flink Studio. Para obter mais informações, consulte [Criação de um notebook do Studio](https://docs.aws.amazon.com/managed-flink/latest/java/how-zeppelin-creating.html). **Ociosidade incorreta da marca d'água quando a subtarefa está sob backpressure** Há um problema conhecido na geração de marca d'água quando uma subtarefa está sob backpressure, o que foi corrigido a partir do Flink 1.19 e versões posteriores. Isso pode aparecer como um aumento no número de registros atrasados quando um gráfico de trabalho do Flink está sob backpressure. É recomendável atualizar para a versão mais recente do Flink para obter essa correção. Para obter mais informações, consulte [Contabilização incorreta do tempo limite de ociosidade da marca d'água quando a subtarefa está sob backpressure/bloqueada](https://issues.apache.org/jira/browse/FLINK-35886).