Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Versions Apache Kafka prises en charge

Amazon Managed Streaming for Apache Kafka (Amazon MSK) prend en charge les versions Apache Kafka et Amazon MSK suivantes. La communauté Apache Kafka fournit environ 12 mois de support pour une version postérieure à sa date de sortie. Pour plus de détails, consultez la politique EOL (fin de vie) d'Apache Kafka.

Le tableau suivant répertorie les versions d'Apache Kafka prises en charge par Amazon MSK.

Pour plus d'informations sur la politique de support des versions d'Amazon MSK, consultezPolitique de support pour les versions Amazon MSK.

Amazon MSK version 4.2.x

Amazon Managed Streaming pour Apache Kafka (Amazon MSK) prend désormais en charge Apache Kafka version 4.2. Cette version inclut des améliorations apportées aux répliques des leaders éligibles (ELR) qui renforcent la disponibilité grâce à une meilleure exactitude de l'élection des dirigeants. Il introduit également un nouveau protocole de rééquilibrage des consommateurs qui permet de garantir des rééquilibres de groupe plus fluides et plus rapides, ainsi qu'un nouveau protocole de rééquilibrage des flux qui étend les capacités de coordination des courtiers à Kafka Streams pour une attribution des tâches optimisée.

Pour plus de détails et une liste complète des améliorations et des corrections de bugs, consultez les notes de publication d'Apache Kafka pour la version 4.2.

Pour commencer à utiliser Apache Kafka 4.2 sur Amazon MSK, choisissez la version 4.2.x lors de la création d'un nouveau cluster avec Express Brokers via le Console de gestion AWS, AWS CLI ou les SDK. AWS Vous pouvez également mettre à niveau les clusters MSK Express existants grâce à une mise à jour continue sur place. Amazon MSK orchestre les redémarrages des courtiers afin de maintenir la disponibilité et de protéger vos données pendant la mise à niveau. Le support de Kafka version 4.2 est disponible sur les courtiers MSK Express sur tous les sites Régions AWS où Amazon MSK est proposé.

Amazon MSK version 4.1.x

Amazon Managed Streaming for Apache Kafka (Amazon MSK) prend désormais en charge la version 4.1 d'Apache Kafka, qui introduit les files d'attente en avant-première, un nouveau protocole de rééquilibrage des flux en accès anticipé et les répliques Eligible Leader (ELR). Outre ces fonctionnalités, la version 4.1 d'Apache Kafka inclut diverses corrections de bogues et améliorations.

L'un des points forts de Kafka 4.1 est l'introduction des files d'attente en tant que fonctionnalité de prévisualisation. Vous pouvez utiliser plusieurs consommateurs pour traiter les messages provenant des mêmes partitions thématiques, améliorant ainsi le parallélisme et le débit pour les charges de travail nécessitant une distribution de messages point à point. Le nouveau protocole Streams Rebalance s'appuie sur le protocole de rééquilibrage des consommateurs de Kafka 4.0, étendant les capacités de coordination des courtiers à Kafka Streams pour optimiser l'attribution des tâches et le rééquilibrage. De plus, l'ELR est désormais activé par défaut pour renforcer la disponibilité.

Pour plus de détails et une liste complète des améliorations et des corrections de bugs, consultez les notes de publication d'Apache Kafka pour la version 4.1.

Pour commencer à utiliser Apache Kafka 4.1 sur Amazon MSK, choisissez la version 4.1.x lors de la création d'un nouveau cluster via les kits SDK ou les Console de gestion AWS kits de développement logiciel. AWS CLI AWS Vous pouvez également mettre à niveau les clusters provisionnés MSK existants grâce à une mise à jour continue sur place. Amazon MSK orchestre les redémarrages des courtiers afin de maintenir la disponibilité et de protéger vos données pendant la mise à niveau. La prise en charge de la version 4.1 de Kafka est disponible partout Régions AWS où Amazon MSK est proposé.

Amazon MSK version 4.0.x

Amazon Managed Streaming pour Apache Kafka (Amazon MSK) prend désormais en charge Apache Kafka version 4.0. Cette version apporte les dernières avancées en matière de gestion et de performances des clusters à MSK Provisioned. Kafka 4.0 introduit un nouveau protocole de rééquilibrage des consommateurs, désormais disponible pour tous, qui permet de garantir des rééquilibres de groupe plus fluides et plus rapides. En outre, Kafka 4.0 nécessite que les courtiers et les outils utilisent Java 17, offrant une sécurité et des performances améliorées, inclut diverses corrections de bogues et améliorations, et rend obsolète la gestion des métadonnées via Apache. ZooKeeper

Pour plus de détails et une liste complète des améliorations et des corrections de bugs, consultez les notes de publication d'Apache Kafka pour la version 4.0.

Amazon MSK version 3.9.x (recommandée)

Amazon Managed Streaming pour Apache Kafka (Amazon MSK) prend désormais en charge Apache Kafka version 3.9. Cette version améliore la fonctionnalité de stockage hiérarchisé en vous permettant de conserver les données hiérarchisées lorsque vous désactivez le stockage hiérarchisé au niveau de la rubrique. Vos applications grand public peuvent lire les données historiques à partir du décalage de démarrage du journal à distance (Rx) tout en maintenant des décalages de journal continus sur le stockage local et distant.

La version 3.9 est la dernière à prendre en charge à la fois les systèmes de gestion des métadonnées Kraft ZooKeeper et ceux de Kraft. Amazon MSK fournira un support étendu pour la version 3.9 pendant au moins deux ans à compter de sa date de sortie.

Pour plus de détails et une liste complète des améliorations et des corrections de bugs, consultez les notes de publication d'Apache Kafka pour la version 3.9.x.

Amazon MSK version 3.8.x

Amazon Managed Streaming pour Apache Kafka (Amazon MSK) prend désormais en charge Apache Kafka version 3.8. Vous pouvez désormais créer de nouveaux clusters à l'aide de la version 3.8 avec KRAFT ou le ZooKeeper mode de gestion des métadonnées ou mettre à niveau ZooKeeper vos clusters existants pour utiliser la version 3.8. La version 3.8 d'Apache Kafka inclut plusieurs corrections de bogues et de nouvelles fonctionnalités qui améliorent les performances. Les principales nouvelles fonctionnalités incluent la prise en charge de la configuration des niveaux de compression. Cela vous permet d'optimiser davantage vos performances lorsque vous utilisez des types de compression tels que lz4, zstd et gzip, en vous permettant de modifier le niveau de compression par défaut.

Pour plus de détails et une liste complète des améliorations et des corrections de bugs, consultez les notes de publication d'Apache Kafka pour la version 3.8.x.

Apache Kafka version 3.7.x (avec stockage hiérarchisé prêt pour la production)

La version 3.7.x d'Apache Kafka sur MSK inclut la prise en charge de la version 3.7.0 d'Apache Kafka. Vous pouvez créer des clusters ou mettre à niveau des clusters existants pour utiliser la nouvelle version 3.7.x. Grâce à ce changement de dénomination des versions, il n'est plus nécessaire d'adopter de nouvelles versions de correctifs, telles que la version 3.7.1, lorsqu'elles seront publiées par la communauté Apache Kafka. Amazon MSK mettra automatiquement à jour la version 3.7.x pour prendre en charge les futures versions de correctifs dès qu'elles seront disponibles. Cela vous permet de bénéficier de la sécurité et des corrections de bogues disponibles via les versions de correctifs sans déclencher de mise à niveau de version. Ces versions de correctifs publiées par Apache Kafka n'interrompent pas la compatibilité des versions et vous pouvez bénéficier des nouvelles versions de correctifs sans vous soucier des erreurs de lecture ou d'écriture de vos applications clientes. Assurez-vous que vos outils d'automatisation de l'infrastructure, tels que CloudFormation, sont mis à jour pour tenir compte de ce changement de dénomination des versions.

Amazon MSK prend désormais en charge le mode Kraft (Apache Kafka Raft) dans Apache Kafka version 3.7.x. Sur Amazon MSK, comme pour les ZooKeeper nœuds, les contrôleurs Kraft sont inclus sans frais supplémentaires pour vous et ne nécessitent aucune configuration ou gestion supplémentaire de votre part. Vous pouvez désormais créer des clusters en mode Kraft ou en ZooKeeper mode sur Apache Kafka version 3.7.x. En mode Kraft, vous pouvez ajouter jusqu'à 60 courtiers pour héberger davantage de partitions par cluster, sans demander d'augmentation de limite, par rapport au quota de 30 courtiers sur Zookeeper-based les clusters. Pour en savoir plus sur Kraft sur MSK, consultezMode KRAFT.

La version 3.7.x d'Apache Kafka inclut également plusieurs corrections de bogues et de nouvelles fonctionnalités qui améliorent les performances. Les principales améliorations incluent l'optimisation de la découverte des leaders pour les clients et les options d'optimisation du vidage des segments de journaux. Pour une liste complète des améliorations et des corrections de bogues, consultez les notes de publication d'Apache Kafka pour la version https://archive.apache.org/dist/kafka/3.7.0/RELEASE_NOTES.html 3.7.0.

Apache Kafka version 3.6.0 (avec stockage hiérarchisé prêt pour la production)

Pour plus d'informations sur Apache Kafka version 3.6.0 (avec stockage hiérarchisé prêt pour production), consultez les notes de mise à jour correspondantes sur le site de téléchargement d’Apache Kafka.

Amazon MSK continuera d'utiliser et de gérer ZooKeeper pour la gestion du quorum dans cette version à des fins de stabilité.

Amazon MSK version 3.5.1

Amazon Managed Streaming for Apache Kafka (Amazon MSK) prend désormais en charge Apache Kafka version 3.5.1 pour les clusters nouveaux et existants. Apache Kafka 3.5.1 inclut plusieurs corrections de bogues et de nouvelles fonctionnalités qui améliorent les performances. Parmi les principales fonctionnalités, citons l'introduction d'une nouvelle attribution de partition prenant en compte les racks pour les consommateurs. Amazon MSK continuera à utiliser et à gérer Zookeeper pour la gestion du quorum dans cette version. Pour une liste complète des améliorations et des corrections de bogues, consultez les notes de publication d'Apache Kafka pour la version 3.5.1.

Pour plus d'informations sur Apache Kafka, version 3.5.1, consultez ses notes de mise à jour sur le site de téléchargement Apache Kafka.

Amazon MSK version 3.4.0

Amazon Managed Streaming for Apache Kafka (Amazon MSK) prend désormais en charge la version 3.4.0 d'Apache Kafka pour les clusters nouveaux et existants. Apache Kafka 3.4.0 inclut plusieurs corrections de bogues et de nouvelles fonctionnalités qui améliorent les performances. Les principales fonctionnalités incluent un correctif visant à améliorer la stabilité lors de la récupération à partir de la réplique la plus proche. Amazon MSK continuera à utiliser et à gérer Zookeeper pour la gestion du quorum dans cette version. Pour une liste complète des améliorations et des corrections de bogues, consultez les notes de publication d'Apache Kafka pour la version 3.4.0.

Pour plus d'informations sur Apache Kafka, version 3.4.0, consultez ses notes de mise à jour sur le site de téléchargement Apache Kafka.

Amazon MSK version 3.3.2

Amazon Managed Streaming for Apache Kafka (Amazon MSK) prend désormais en charge la version 3.3.2 d'Apache Kafka pour les clusters nouveaux et existants. Apache Kafka 3.3.2 inclut plusieurs corrections de bogues et de nouvelles fonctionnalités qui améliorent les performances. Les principales fonctionnalités incluent un correctif visant à améliorer la stabilité lors de la récupération à partir de la réplique la plus proche. Amazon MSK continuera à utiliser et à gérer Zookeeper pour la gestion du quorum dans cette version. Pour une liste complète des améliorations et des corrections de bogues, consultez les notes de publication d'Apache Kafka pour la version 3.3.2.

Pour plus d'informations sur Apache Kafka, version 3.3.2, consultez ses notes de mise à jour sur le site de téléchargement Apache Kafka.

Amazon MSK version 3.3.1

Amazon Managed Streaming for Apache Kafka (Amazon MSK) prend désormais en charge la version 3.3.1 d'Apache Kafka pour les clusters nouveaux et existants. Apache Kafka 3.3.1 inclut plusieurs corrections de bogues et de nouvelles fonctionnalités qui améliorent les performances. Certaines des fonctionnalités clés incluent des améliorations apportées aux métriques et au partitionneur. Amazon MSK continuera d'utiliser et de gérer ZooKeeper pour la gestion du quorum dans cette version à des fins de stabilité. Pour une liste complète des améliorations et des corrections de bogues, consultez les notes de publication d'Apache Kafka pour la version 3.3.1.

Pour plus d'informations sur Apache Kafka, version 3.3.1, consultez ses notes de mise à jour sur le site de téléchargement Apache Kafka.

Amazon MSK version 3.1.1

Amazon Managed Streaming for Apache Kafka (Amazon MSK) prend désormais en charge les versions 3.1.1 et 3.2.0 d'Apache Kafka pour les clusters nouveaux et existants. Apache Kafka 3.1.1 et Apache Kafka 3.2.0 incluent plusieurs corrections de bogues et de nouvelles fonctionnalités qui améliorent les performances. Parmi les fonctionnalités clés, citons l'amélioration des métriques et l'utilisation d'identifiants de rubrique. MSK continuera à utiliser et à gérer Zookeeper pour la gestion du quorum dans cette version pour des raisons de stabilité. Pour une liste complète des améliorations et des corrections de bogues, consultez les notes de publication d'Apache Kafka pour les versions 3.1.1 et 3.2.0.

Pour plus d'informations sur les versions 3.1.1 et 3.2.0 d'Apache Kafka, consultez ses notes de version 3.2.0 et 3.1.1 sur le site de téléchargement d'Apache Kafka.

Stockage hiérarchisé Amazon MSK version 2.8.2.tiered

Cette version est une MSK-only version Amazon de la version 2.8.2 d'Apache Kafka et est compatible avec les clients Apache Kafka open source.

La version 2.8.2.tiered contient une fonctionnalité de stockage hiérarchisé compatible avec les API introduites pour Apache Kafka. KIP-405 Pour de plus amples informations sur la fonctionnalité de stockage hiérarchisé Amazon MSK, consultez Stockage hiérarchisé pour les courtiers standard.

Apache Kafka, version 2.5.1

La version 2.5.1 d'Apache Kafka inclut plusieurs corrections de bogues et de nouvelles fonctionnalités, notamment le chiffrement en transit pour Apache ZooKeeper et les clients d'administration. Amazon MSK fournit des ZooKeeper points de terminaison TLS, que vous pouvez interroger lors de l'opération. DescribeCluster

La sortie de l' DescribeClusteropération inclut le ZookeeperConnectStringTls nœud, qui répertorie les points de terminaison TLS du gardien de zoo.

L'exemple suivant montre le nœud ZookeeperConnectStringTls de la réponse à l'opération DescribeCluster :

"ZookeeperConnectStringTls": "z-3.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-2.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-1.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182"

Pour obtenir des informations sur l'utilisation du chiffrement TLS avec ZooKeeper, consultez Utilisation de la sécurité TLS avec Apache ZooKeeper.

Pour plus d'informations sur Apache Kafka, version 2.5.1, consultez ses notes de mise à jour sur le site de téléchargement Apache Kafka.

Version de correction de bogues Amazon MSK 2.4.1.1

Cette version est une version Amazon MSK-only corrigeant des bogues de la version 2.4.1 d'Apache Kafka. Cette version de correction de bogues contient un correctif pour KAFKA-9752 un problème rare qui oblige les groupes de consommateurs à se rééquilibrer continuellement et à rester dans l'état. PreparingRebalance Ce problème concerne les clusters exécutant les versions 2.3.1 et 2.4.1 d'Apache Kafka. Cette version contient un correctif produit par la communauté qui est disponible dans la version 2.5.0 d'Apache Kafka.

Nous vous recommandons d'utiliser la version de correction de bogues MSK 2.4.1.1 pour les nouveaux clusters Amazon MSK si vous préférez utiliser la version 2.4.1 d'Apache Kafka. Vous pouvez mettre à jour les clusters existants exécutant la version 2.4.1 d'Apache Kafka vers cette version afin d'intégrer ce correctif. Pour de plus amples informations sur la mise à niveau d'un cluster existant, consultez Mettre à jour la version d'Apache Kafka.

Pour contourner ce problème sans mettre à niveau le cluster vers la version 2.4.1.1, consultez la section Groupe de consommateurs bloqué à l'état PreparingRebalance du guide Résoudre les problèmes liés à votre cluster Amazon MSK.

Apache Kafka version 2.4.1 (utilisez plutôt 2.4.1.1)

KIP-392 est l'une des principales propositions d'amélioration de Kafka incluses dans la version 2.4.1 d'Apache Kafka. Cette amélioration permet aux consommateurs de récupérer le réplica le plus proche. Pour utiliser cette fonctionnalité, définissez client.rack dans les propriétés du consommateur pour l'ID de la zone de disponibilité du consommateur. Un exemple d'ID de zone de disponibilité est use1-az1. Amazon MSK définit broker.rack pour les ID des zones de disponibilité des agents. Vous devez également définir la propriété de configuration replica.selector.class sur org.apache.kafka.common.replica.RackAwareReplicaSelector, qui est une implémentation de la prise en compte du rack fournie par Apache Kafka.

Lorsque vous utilisez cette version d'Apache Kafka, les mesures du niveau de surveillance PER_TOPIC_PER_BROKER s'affichent seulement lorsque leurs valeurs sont devenues non nulles pour la première fois. Pour de plus amples informations à ce sujet, veuillez consulter PER_TOPIC_PER_BROKER Surveillance des niveaux.

Pour plus d'informations sur la recherche des ID de zone de disponibilité, consultez la section Identifiants AZ pour votre ressource dans le guide de AWS Resource Access Manager l'utilisateur.

Pour plus d'informations sur la définition des propriétés de configuration, consultez Configuration provisionnée d'Amazon MSK.

Pour plus d'informations à ce sujet KIP-392, consultez la section Autoriser les consommateurs à effectuer des recherches depuis la réplique la plus proche dans les pages Confluence.

Pour plus d'informations sur Apache Kafka, version 2.4.1, consultez ses notes de mise à jour sur le site de téléchargement Apache Kafka.