Configurations personnalisées du courtier MSK Express (Read/Write accès)

allow.everyone.if.no.acl.found

Si vous souhaitez définir cette propriété sur false, assurez-vous d'abord de définir les ACL Apache Kafka pour votre cluster. Si vous définissez cette propriété sur false et que vous ne définissez pas d'abord les ACL Apache Kafka, vous perdez l'accès au cluster. Dans ce cas, vous pouvez à nouveau mettre à jour la configuration et définir cette propriété sur true pour retrouver l'accès au cluster.

true

auto.create.topics.enable

Active la création automatique d'une rubrique sur le serveur.

false

Spécifiez le type de compression final pour une rubrique donnée. Cette configuration accepte les codecs de compression standard : gzip, snappy, lz4, zstd.

Cette configuration accepte en outreuncompressed, ce qui équivaut à aucune compression ; etproducer, ce qui signifie conserver le codec de compression d'origine défini par le producteur.

connections.max.idle.ms

Délai d'expiration des connexions inactives en millisecondes. Les threads du processeur de socket de serveur ferment les connexions inactives pendant une durée supérieure à la valeur que vous avez définie pour cette propriété.

Apache Kafka par défaut

auditeurs.publics.customisés

Configure des noms de domaine personnalisés pour les auditeurs orientés client sur votre cluster Amazon MSK. Amazon MSK applique automatiquement la configuration à chaque courtier, y compris aux nouveaux courtiers ajoutés lors de la mise à l'échelle ou du remplacement. Fonctionne à la fois sur les clusters KRAFT ZooKeeper et sur les clusters. Exemple de format :LISTENER_NAME://b-{broker_id}.kafka.mycompany.com:9000+{broker_id}.

Les noms d'écouteurs autorisés sont CLIENTCLIENT_SECURE,CLIENT_SECURE_PUBLIC,CLIENT_SASL_SCRAM, CLIENT_SASL_SCRAM_PUBLICCLIENT_IAM, etCLIENT_IAM_PUBLIC.

Pour de plus amples informations, veuillez consulter Configurer des noms de domaine personnalisés pour votre cluster Amazon MSK.

Aucun (désactivé)

delete.topic.enable

Active l'opération de suppression de rubrique. Si vous désactivez cette configuration, vous ne pouvez pas supprimer une rubrique via l'outil d'administration.

Apache Kafka par défaut

group.initial.rebalance.delay.ms

Temps pendant lequel le coordinateur du groupe attend que davantage de consommateurs de données rejoignent un nouveau groupe avant d'effectuer le premier rééquilibrage. Un délai plus long signifie potentiellement moins de rééquilibrages, mais augmente le temps jusqu'au début du traitement.

Apache Kafka par défaut

group.max.session.timeout.ms

Délai maximal de session pour les consommateurs enregistrés. Les délais d'expiration plus longs donnent aux consommateurs plus de temps pour traiter les messages entre les battements de cœur, au prix d'un délai plus long pour détecter les défaillances.

Apache Kafka par défaut

leader.imbalance.per.broker.pourcentage

Ratio de déséquilibre de leader autorisé par courtier. Le contrôleur déclenche un équilibrage de leader s'il dépasse cette valeur par agent. Cette valeur est spécifiée en pourcentage.

Apache Kafka par défaut

La différence d'horodatage autorisée entre l'horodatage du message et l'horodatage du courtier. L'horodatage du message peut être supérieur ou égal à l'horodatage du courtier, la différence maximale autorisée étant déterminée par la valeur définie dans cette configuration.

Silog.message.timestamp.type=CreateTime, le message sera rejeté si la différence d'horodatage dépasse ce seuil spécifié. Cette configuration est ignorée silog.message.timestamp.type=LogAppendTime.

La différence d'horodatage autorisée entre l'horodatage du courtier et l'horodatage du message. L'horodatage du message peut être antérieur ou égal à l'horodatage du courtier, la différence maximale autorisée étant déterminée par la valeur définie dans cette configuration.

Silog.message.timestamp.type=CreateTime, le message sera rejeté si la différence d'horodatage dépasse ce seuil spécifié. Cette configuration est ignorée silog.message.timestamp.type=LogAppendTime.

max.incremental.fetch.session.cache.slots

Nombre maximal de sessions d'extraction incrémentielle qui sont maintenues.

Apache Kafka par défaut

La plus grande taille de lot d'enregistrement autorisée par Kafka. Si vous augmentez la valeur et qu'il y a des consommateurs plus anciens que 0.10.2, vous devez aussi augmenter la taille d'extraction des consommateurs afin qu'ils puissent récupérer des lots d'enregistrements aussi volumineux.

La dernière version de format de message regroupe toujours les massages en lots pour plus d'efficacité. Les versions de format de message précédentes ne regroupent pas les enregistrements non compressés en lots et dans ce cas, cette limite ne s'applique qu'à un seul enregistrement. Vous pouvez définir cette valeur par rubrique à l'aide de la max.message.bytes configuration au niveau de la rubrique.

num.partitions

Nombre de partitions par défaut par sujet.

1

offsets.retention.minutes

Lorsqu'un groupe de consommateurs perd tous ses consommateurs (c'est-à-dire qu'il devient vide), ses compensations sont conservées pour cette période de rétention avant d'être jetées. Pour les consommateurs autonomes (c'est-à-dire ceux qui utilisent l'attribution manuelle), les offsets expirent après la date du dernier commit plus cette période de rétention.

Apache Kafka par défaut

réplica.fetch.max.bytes

Nombre d'octets de messages à essayer de récupérer pour chaque partition. Ce n'est pas un maximum absolu. Si le premier lot d'enregistrements de la première partition non vide de l'extraction est supérieur à cette valeur, le lot d'enregistrements est renvoyé pour assurer la progression. Les message.max.bytes (broker config) ou max.message.bytes (topic config) définissent la taille maximale du lot d'enregistrements que l'agent accepte.

Apache Kafka par défaut

replica.selector.class

Le nom de classe complet qui implémente ReplicaSelector. L'agent utilise cette valeur pour trouver le réplica en lecture préféré. Si vous souhaitez autoriser les consommateurs à effectuer des recherches à partir de la réplique la plus proche, définissez cette propriété surorg.apache.kafka.common.replica.RackAwareReplicaSelector.

Apache Kafka par défaut

socket.receive.buffer.bytes

Tampon SO_RCVBUF tampon des sockets de serveur de socket. Si la valeur est -1, le système d'exploitation par défaut est utilisé.

102400

socket.request.max.octets

Nombre maximal d'octets dans une requête socket.

104857600

socket.send.buffer.bytes

Tampon SO_SNDBUF des sockets de serveur de socket. Si la valeur est -1, le système d'exploitation par défaut est utilisé.

102400

transaction.max.timeout.ms

Délai maximal pour les transactions. Si le temps de transaction demandé à un client dépasse cette valeur, le courtier renvoie une erreur InitProducerIdRequest. Cela évite au client un délai d'expiration trop important et cela peut empêcher les consommateurs de lire des rubriques incluses dans la transaction.

Apache Kafka par défaut

transactional.id.expiration.ms

Durée en millisecondes pendant laquelle le coordinateur de transactions attend de recevoir les mises à jour du statut de la transaction en cours avant que l'ID transactionnel du coordinateur n'expire. Ce paramètre influence également l'expiration de l'identifiant du producteur car il entraîne l'expiration des ID de producteur lorsque ce délai s'écoule après la dernière écriture avec l'ID de producteur donné. Les ID de producteur peuvent expirer plus tôt si la dernière écriture à partir de l'ID de producteur est supprimée en raison des paramètres de conservation de la rubrique. La valeur minimale pour cette propriété est 1 milliseconde.

Apache Kafka par défaut

auditeurs annoncés

Écouteurs à publier pour que les clients puissent les utiliser, s'ils sont différents de la propriété listeners config. Dans les environnements IaaS, cela peut devoir être différent de l'interface à laquelle le courtier est lié. Si ce paramètre n'est pas défini, la valeur pour les auditeurs sera utilisée. Contrairement aux auditeurs, il n'est pas valide de publier la méta-adresse 0.0.0.0.

Contrairement à celalisteners, il peut y avoir des ports dupliqués dans cette propriété, de sorte qu'un écouteur peut être configuré pour annoncer l'adresse d'un autre auditeur. Cela peut être utile dans certains cas où des équilibreurs de charge externes sont utilisés.

Cette propriété est définie au niveau de chaque courtier.

null

compression.type

Type de compression final pour une rubrique donnée. Vous pouvez définir cette propriété sur les codecs de compression standard (gzip, snappy, lz4 et zstd). Il accepte en outre uncompressed. Cette valeur équivaut à l'absence de compression. Si vous définissez la valeur sur producer, cela implique de retenir le codec de compression d'origine défini par le producteur.

log.cleanup.policy

Stratégie de nettoyage par défaut pour les segments au-delà de la fenêtre de rétention. Liste de stratégies valides séparées par des virgules. Les stratégies valides sont delete et compact. Pour les clusters activés pour le stockage hiérarchisé, la politique valide est uniquement. delete

log.message.timestamp.after.max.ms

La différence d'horodatage autorisée entre l'horodatage du message et l'horodatage du courtier. L'horodatage du message peut être supérieur ou égal à l'horodatage du courtier, la différence maximale autorisée étant déterminée par la valeur définie dans cette configuration. Silog.message.timestamp.type=CreateTime, le message sera rejeté si la différence d'horodatage dépasse ce seuil spécifié. Cette configuration est ignorée silog.message.timestamp.type=LogAppendTime.

86400000 (24 * 60 * 60 * 1000 ms, soit 1 jour)

log.message.timestamp.before.max.ms

La différence d'horodatage autorisée entre l'horodatage du courtier et l'horodatage du message. L'horodatage du message peut être antérieur ou égal à l'horodatage du courtier, la différence maximale autorisée étant déterminée par la valeur définie dans cette configuration. Silog.message.timestamp.type=CreateTime, le message sera rejeté si la différence d'horodatage dépasse ce seuil spécifié. Cette configuration est ignorée silog.message.timestamp.type=LogAppendTime.

86400000 (24 * 60 * 60 * 1000 ms, soit 1 jour)

log.message.timestamp.type

Spécifie si l'horodatage du message est l'heure de création du message ou l'heure d'ajout du journal. Les valeurs autorisées sont CreateTime et LogAppendTime.

Apache Kafka par défaut

log.retention.bytes

Taille maximale du journal avant de le supprimer.

Apache Kafka par défaut

log.retention.ms

Nombre de millisecondes nécessaires pour conserver un fichier journal avant de le supprimer.

Apache Kafka par défaut

max.connection.creation.rate

Le taux maximum de création de connexions autorisé dans le broker à tout moment.

Apache Kafka par défaut

connexions max.

Le nombre maximum de connexions autorisées dans le broker à tout moment. Cette limite est appliquée en plus des limites par adresse IP configurées à l'aide max.connections.per.ip de.

Apache Kafka par défaut

nombre maximum de connexions par adresse IP

Le nombre maximum de connexions autorisées à partir de chaque adresse IP. Cela peut être défini sur 0 si des remplacements sont configurés à l'aide de la propriété max.connections.per.ip.overrides. Les nouvelles connexions à partir de l'adresse IP sont supprimées si la limite est atteinte.

Apache Kafka par défaut

max.connections.per.ip.overrides

Une liste de connexions par adresse IP ou nom d'hôte séparées par des virgules remplace par le nombre maximum de connexions par défaut. Un exemple de valeur est hostName:100,127.0.0.1:200

message.max.octets

La plus grande taille de lot d'enregistrement autorisée par Kafka. Si vous augmentez la valeur et qu'il y a des consommateurs plus anciens que 0.10.2, vous devez aussi augmenter la taille d'extraction des consommateurs afin qu'ils puissent récupérer des lots d'enregistrements aussi volumineux. La dernière version de format de message regroupe toujours les massages en lots pour plus d'efficacité. Les versions de format de message précédentes ne regroupent pas les enregistrements non compressés en lots et dans ce cas, cette limite ne s'applique qu'à un seul enregistrement. Vous pouvez définir cette valeur par rubrique à l'aide de la max.message.bytes configuration au niveau de la rubrique.

producer.id.expiration.ms

Temps en ms pendant lequel le responsable d'une partition thématique attendra avant d'expirer les ID de producteur. Les identifiants des producteurs n'expireront pas tant qu'une transaction qui leur est associée est toujours en cours. Notez que les ID de producteur peuvent expirer plus tôt si la dernière écriture à partir de l'ID de producteur est supprimée en raison des paramètres de rétention de la rubrique. Si cette valeur est égale ou supérieure à celle-ci, delivery.timeout.ms vous pouvez éviter l'expiration lors des nouvelles tentatives et empêcher la duplication des messages, mais la valeur par défaut doit être raisonnable dans la plupart des cas d'utilisation.

cleanup.policy

Cette configuration désigne la politique de rétention à utiliser sur les segments de journal. La politique de « suppression » (qui est la valeur par défaut) supprime les anciens segments lorsque leur durée de conservation ou leur limite de taille est atteinte. La politique « compacte » permettra le compactage des journaux, qui conservera la valeur la plus récente pour chaque clé. Il est également possible de spécifier les deux politiques dans une liste séparée par des virgules (par exemple, « supprimer, compacter »). Dans ce cas, les anciens segments seront supprimés conformément à la configuration du temps de rétention et de la taille, tandis que les segments conservés seront compactés. Le compactage sur Express Brokers est déclenché lorsque les données d'une partition atteignent 256 Mo.

compression.type

Spécifiez le type de compression final pour une rubrique donnée. Cette configuration accepte les codecs de compression standard (gzip,, snappylz4,zstd). Il accepte également uncompressed ce qui équivaut à aucune compression, producer ce qui signifie conserver le codec de compression d'origine défini par le producteur.

Durée de conservation des marqueurs de suppression des pierres tombales pour les sujets compactés dans le journal. Ce paramètre limite également le temps pendant lequel un consommateur doit terminer une lecture s'il commence à partir de l'offset 0 afin de s'assurer d'obtenir un instantané valide de l'étape finale. Sinon, les pierres tombales supprimées pourraient être collectées avant la fin de leur numérisation.

La valeur par défaut de ce paramètre est 86400000 (24 * 60 * 60 * 1000 ms, soit 1 jour), Apache Kafka par défaut

max.message.bytes

La plus grande taille de lot d'enregistrements autorisée par Kafka (après compression, si la compression est activée). Si ce chiffre est augmenté et que certains consommateurs sont âgés de plus de deux ans0.10.2, la taille de chargement des consommateurs doit également être augmentée afin qu'ils puissent récupérer des lots records d'une telle taille. Dans la dernière version du format de message, les enregistrements sont toujours regroupés en lots pour plus d'efficacité. Dans les versions de format de message précédentes, les enregistrements non compressés ne sont pas regroupés en lots et cette limite ne s'applique qu'à un seul enregistrement dans ce cas. Cela peut être défini par sujet en fonction du niveau du sujetmax.message.bytes config.

message.horodatage.after.max.ms

Cette configuration définit la différence d'horodatage autorisée entre l'horodatage du message et l'horodatage du courtier. L'horodatage du message peut être supérieur ou égal à l'horodatage du courtier, la différence maximale autorisée étant déterminée par la valeur définie dans cette configuration. Simessage.timestamp.type=CreateTime, le message sera rejeté si la différence d'horodatage dépasse ce seuil spécifié. Cette configuration est ignorée simessage.timestamp.type=LogAppendTime.

message.horodatage.before.max.ms

Cette configuration définit la différence d'horodatage autorisée entre l'horodatage du courtier et l'horodatage du message. L'horodatage du message peut être antérieur ou égal à l'horodatage du courtier, la différence maximale autorisée étant déterminée par la valeur définie dans cette configuration. Simessage.timestamp.type=CreateTime, le message sera rejeté si la différence d'horodatage dépasse ce seuil spécifié. Cette configuration est ignorée simessage.timestamp.type=LogAppendTime.

message.timestamp.type

Définissez si l'horodatage du message correspond à l'heure de création du message ou à l'heure d'ajout du journal. La valeur doit être CreateTime soit LogAppendTime

Durée minimale pendant laquelle un message restera décompacté dans le journal. Ce paramètre s'applique uniquement aux journaux en cours de compactage.

La valeur par défaut de ce paramètre est 0, Apache Kafka par défaut

Durée maximale pendant laquelle un message ne peut pas être compacté dans le journal. Ce paramètre s'applique uniquement aux journaux en cours de compactage. Cette configuration serait limitée dans la plage de [7 jours, Long.Max].

La valeur par défaut de ce paramètre est 9223372036854775807, Apache Kafka par défaut.

retention.bytes

Cette configuration contrôle la taille maximale qu'une partition (composée de segments de journal) peut atteindre avant que nous ne supprimions les anciens segments de journal pour libérer de l'espace si nous utilisons la politique de rétention « supprimer ». Par défaut, il n'y a pas de limite de taille, juste une limite de temps. Comme cette limite est appliquée au niveau de la partition, multipliez-la par le nombre de partitions pour calculer la rétention des sujets en octets. En outre, retention.bytes configuration fonctionne indépendamment segment.ms des segment.bytes configurations. De plus, il déclenche le roulement d'un nouveau segment s'retention.bytesil est configuré à zéro.

retention.ms

Cette configuration contrôle la durée maximale pendant laquelle nous conserverons un journal avant de supprimer les anciens segments de journal afin de libérer de l'espace si nous utilisons la politique de conservation « supprimer ». Il s'agit d'un SLA indiquant la rapidité avec laquelle les consommateurs doivent lire leurs données. Si ce paramètre est défini sur-1, aucune limite de temps n'est appliquée. De plus, retention.ms la configuration fonctionne indépendamment segment.ms des segment.bytes configurations. De plus, il déclenche le lancement d'un nouveau segment si la retention.ms condition est remplie.