Versões compatíveis do Apache Kafka - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Versões compatíveis do Apache Kafka

O Amazon Managed Streaming for Apache Kafka (MSKAmazon) oferece suporte às seguintes versões do Apache Kafka e da Amazon. MSK A comunidade Apache Kafka fornece aproximadamente 12 meses de suporte para uma versão após sua data de lançamento. Para obter mais detalhes, consulte a política do Apache Kafka EOL (fim da vida útil).

Versões compatíveis do Apache Kafka
Versão Apache Kafka Data de lançamento da MSK Data de fim do suporte
1.1.1 -- 2024-06-05
2.1.0 -- 2024-06-05
2.2.1 31-07-2019 2024-06-08
2.3.1 19-12-2019 2024-06-08
2.4.1 02-04-2020 2024-06-08
2.4.1.1 2020-09-09 2024-06-08
2.5.1 2020-09-30 2024-06-08
2.6.0 2020-10-21 2024-09-11
2.6.1 2021-01-19 2024-09-11
2.6.2 2021-04-29 2024-09-11
2.6.3 2021-12-21 2024-09-11
2.7.0 2020-12-29 2024-09-11
2.7.1 2021-05-25 2024-09-11
2.7.2 2021-12-21 2024-09-11
2.8.0 -- 2024-09-11
2.8.1 28/10/2022 2024-09-11
2.8.2 em camadas 28/10/2022 2025-01-14
3.1.1 2022-06-22 2024-09-11
3.2.0 2022-06-22 2024-09-11
3.3.1 2022-10-26 2024-09-11
3.3.2 2023-03-02 2024-09-11
3.4.0 2023-05-04 2025-06-17
3.5.1 (recomendado) 2023-09-26 --
3.6.0 2023-11-16 --
3.7.x 2024-05-29 --

Para obter mais informações sobre a política de suporte de MSK versões da Amazon, consultePolítica de suporte de MSK versões da Amazon.

Apache Kafka versão 3.7.x (com armazenamento em camadas pronto para produção)

O Apache Kafka versão 3.7.x em diante MSK inclui suporte para o Apache Kafka versão 3.7.0. Você pode criar clusters ou atualizar clusters existentes para usar a nova versão 3.7.x. Com essa mudança no nome da versão, você não precisa mais adotar versões mais recentes de correção de patches, como a 3.7.1, quando elas são lançadas pela comunidade Apache Kafka. A Amazon MSK atualizará automaticamente a versão 3.7.x para oferecer suporte às futuras versões de patch assim que elas estiverem disponíveis. Isso permite que você se beneficie da segurança e das correções de erros disponíveis nas versões de correção de patches sem acionar uma atualização de versão. Essas versões de correção de patches lançadas pelo Apache Kafka não quebram a compatibilidade de versões e você pode se beneficiar das novas versões de correção de patches sem se preocupar com erros de leitura ou gravação em seus aplicativos clientes. Certifique-se de que suas ferramentas de automação de infraestrutura, como CloudFormation, estejam atualizadas para considerar essa alteração na nomenclatura da versão.

A Amazon MSK agora suporta o KRaft modo (Apache Kafka Raft) na versão 3.7.x do Apache Kafka. Na AmazonMSK, assim como ZooKeeper nos nós, KRaft os controladores são incluídos sem custo adicional para você e não exigem configuração ou gerenciamento adicionais de sua parte. Agora você pode criar clusters em qualquer KRaft modo ou ZooKeeper modo no Apache Kafka versão 3.7.x. No modo Kraft, você pode adicionar até 60 corretores para hospedar mais partições por cluster, sem solicitar um aumento de limite, em comparação com a cota de 30 corretores em clusters baseados no Zookeeper. Para saber mais KRaft sobreMSK, consulte KRaftmais.

A versão 3.7.x do Apache Kafka também inclui várias correções de erros e novos recursos que melhoram o desempenho. As principais melhorias incluem otimizações de descoberta de líderes para clientes e opções de otimização de descarga de segmentos de log. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.7.0.

Apache Kafka versão 3.6.0 (com armazenamento em camadas pronto para produção)

Para obter informações sobre a versão 3.6.0 (com armazenamento em camadas pronto para produção) do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

A Amazon MSK continuará usando e gerenciando o Zookeeper para gerenciamento de quórum nesta versão para fins de estabilidade.

Amazon MSK versão 3.5.1

O Amazon Managed Streaming for Apache Kafka (MSKAmazon) agora oferece suporte ao Apache Kafka versão 3.5.1 para clusters novos e existentes. O Apache Kafka 3.5.1 inclui várias correções de erros e novos recursos que melhoram o desempenho. Os principais recursos incluem a introdução de uma nova atribuição de partições com reconhecimento de rack para consumidores. A Amazon MSK continuará usando e gerenciando o Zookeeper para gerenciamento de quórum nesta versão. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para a versão 3.5.1.

Para obter informações sobre a versão 3.5.1 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Amazon MSK versão 3.4.0

O Amazon Managed Streaming for Apache Kafka (MSKAmazon) agora oferece suporte ao Apache Kafka versão 3.4.0 para clusters novos e existentes. O Apache Kafka 3.4.0 inclui várias correções de erros e novos recursos que melhoram o desempenho. Os principais recursos incluem uma correção para melhorar a estabilidade da busca na réplica mais próxima. A Amazon MSK continuará usando e gerenciando o Zookeeper para gerenciamento de quórum nesta versão. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.4.0.

Para obter informações sobre a versão 3.4.0 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Amazon MSK versão 3.3.2

O Amazon Managed Streaming for Apache Kafka (MSKAmazon) agora oferece suporte ao Apache Kafka versão 3.3.2 para clusters novos e existentes. O Apache Kafka 3.3.2 inclui várias correções de erros e novos recursos que melhoram o desempenho. Os principais recursos incluem uma correção para melhorar a estabilidade da busca na réplica mais próxima. A Amazon MSK continuará usando e gerenciando o Zookeeper para gerenciamento de quórum nesta versão. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.3.2.

Para obter informações sobre a versão 3.3.2 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Amazon MSK versão 3.3.1

O Amazon Managed Streaming for Apache Kafka (MSKAmazon) agora oferece suporte ao Apache Kafka versão 3.3.1 para clusters novos e existentes. O Apache Kafka 3.3.1 inclui várias correções de erros e novos recursos que melhoram o desempenho. Alguns dos principais recursos incluem aprimoramentos nas métricas e no particionador. A Amazon MSK continuará usando e gerenciando o Zookeeper para gerenciamento de quórum nesta versão para fins de estabilidade. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.3.1.

Para obter informações sobre a versão 3.3.1 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Amazon MSK versão 3.1.1

O Amazon Managed Streaming for Apache Kafka (MSKAmazon) agora oferece suporte ao Apache Kafka versão 3.1.1 e 3.2.0 para clusters novos e existentes. O Apache Kafka 3.1.1 e o Apache Kafka 3.2.0 incluem várias correções de erros e novos recursos que melhoram o desempenho. Alguns dos principais recursos incluem aprimoramentos nas métricas e no uso do tópico. IDs MSKcontinuarão a usar e gerenciar o Zookeeper para gerenciamento de quórum nesta versão para fins de estabilidade. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.1.1 e 3.2.0.

Para obter informações sobre as versões 3.1.1 e 3.2.0 do Apache Kafka, consulte suas notas de lançamento 3.2.0 e 3.1.1 no site de downloads do Apache Kafka.

Armazenamento MSK em camadas da Amazon versão 2.8.2.

Esta versão é uma versão exclusiva da Amazon MSK do Apache Kafka versão 2.8.2 e é compatível com clientes Apache Kafka de código aberto.

A versão 2.8.2.tiered contém a funcionalidade de armazenamento em camadas que é compatível com a APIs introduzida em KIP -405 para o Apache Kafka. Para obter mais informações sobre o recurso de armazenamento MSK hierárquico da Amazon, consulteArmazenamento em camadas.

Apache Kafka versão 2.5.1

A versão 2.5.1 do Apache Kafka inclui várias correções de erros e novos recursos, incluindo criptografia em trânsito para clientes Apache e de administração. ZooKeeper MSKA Amazon fornece TLS ZooKeeper endpoints, que você pode consultar com a DescribeCluster operação.

A saída da DescribeClusteroperação inclui o ZookeeperConnectStringTls nó, que lista os endpoints do TLS zookeeper.

O exemplo a seguir mostra o nó ZookeeperConnectStringTls da resposta para a operação DescribeCluster:

"ZookeeperConnectStringTls": "z-3.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-2.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-1.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182"

Para obter informações sobre o uso da TLS criptografia com o zookeeper, consulte. Usando a TLS segurança com o Apache ZooKeeper

Para obter mais informações sobre a versão 2.5.1 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Correção de MSK bugs da Amazon versão 2.4.1.1

Esta versão é uma versão de correção de bugs MSK exclusiva da Amazon do Apache Kafka versão 2.4.1. Essa versão de correção de bugs contém uma correção para KAFKA-9752, um problema raro que faz com que grupos de consumidores se reequilibrem continuamente e permaneçam no estado. PreparingRebalance Esse problema afeta clusters que executam as versões 2.3.1 e 2.4.1. Essa versão contém uma correção produzida pela comunidade que está disponível na versão 2.5.0 do Apache Kafka.

nota

MSKOs clusters da Amazon que executam a versão 2.4.1.1 são compatíveis com qualquer cliente Apache Kafka compatível com o Apache Kafka versão 2.4.1.

Recomendamos que você use a versão 2.4.1.1 de MSK correção de bugs para novos MSK clusters da Amazon se preferir usar o Apache Kafka 2.4.1. É possível atualizar os clusters existentes que executam o Apache Kafka versão 2.4.1 para essa versão a fim de incorporar essa correção. Para obter informações sobre como atualizar um cluster existente, consulte Atualizar a versão do Apache Kafka.

Para contornar esse problema sem atualizar o cluster para a versão 2.4.1.1, consulte a seção Grupo de consumidores preso no estado PreparingRebalance do guia Solução de problemas do seu MSK cluster Amazon.

Apache Kafka versão 2.4.1 (use 2.4.1.1 alternativamente)

nota

Você não pode mais criar um MSK cluster com o Apache Kafka versão 2.4.1. Em vez disso, você pode usar a versão Correção de MSK bugs da Amazon versão 2.4.1.1 com clientes compatíveis com o Apache Kafka versão 2.4.1. E se você já tem um MSK cluster com o Apache Kafka versão 2.4.1, recomendamos que você o atualize para usar o Apache Kafka versão 2.4.1.1 em vez disso.

KIP-392 é uma das principais propostas de melhoria do Kafka que estão incluídas na versão 2.4.1 do Apache Kafka. Essa melhoria permite que os consumidores busquem a partir da réplica mais próxima. Para usar esse recurso, defina client.rack nas propriedades do consumidor como o ID da zona de disponibilidade do consumidor. Um exemplo de ID AZ é use1-az1. A Amazon MSK define broker.rack as zonas IDs de disponibilidade dos corretores. Também é necessário definir a propriedade de configuração replica.selector.class como org.apache.kafka.common.replica.RackAwareReplicaSelector, que é uma implementação de reconhecimento de rack fornecida pelo Apache Kafka.

Quando você usa esta versão do Apache Kafka, as métricas no nível de monitoramento PER_TOPIC_PER_BROKER aparecem somente após os valores se tornarem diferentes de zero pela primeira vez. Para obter mais informações sobre isso, consulte Monitoramento no nível PER_TOPIC_PER_BROKER.

Para obter informações sobre como encontrar a Zona de DisponibilidadeIDs, consulte AZ IDs for Your Resource no guia AWS Resource Access Manager do usuário.

Para obter informações sobre como definir propriedades de configuração, consulte MSKConfiguração da Amazon.

Para obter mais informações sobre KIP -392, consulte Permitir que os consumidores busquem na réplica mais próxima nas páginas do Confluence.

Para obter mais informações sobre a versão 2.4.1 do Apache Kafka, consulte as notas de release no site de downloads do Apache Kafka.