La MSK configuration Amazon par défaut - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

La MSK configuration Amazon par défaut

Lorsque vous créez un MSK cluster sans spécifier de MSK configuration personnalisée, Amazon MSK crée et utilise une configuration par défaut avec les valeurs indiquées dans le tableau suivant. Pour les propriétés qui ne figurent pas dans ce tableau, Amazon MSK utilise les valeurs par défaut associées à votre version d'Apache Kafka. Pour obtenir la liste de ces valeurs par défaut, consultez Apache Kafka Configuration.

Valeurs de la configuration par défaut
Name (Nom) Description Valeur par défaut d'un cluster de stockage non hiérarchisé Valeur par défaut d'un cluster de stockage hiérarchisé
allow.everyone.if.no.acl.found Si aucun modèle de ressource ne correspond à une ressource spécifique, celle-ci n'est associée à aucune ressourceACLs. Dans ce cas, si vous définissez cette propriété sur true, tous les utilisateurs peuvent accéder à la ressource, et pas seulement les super utilisateurs. true true
auto.create.topics.enable Active la création automatique d'une rubrique sur le serveur. false false
auto.leader.rebalance.enable Active l'équilibrage automatique du leader. Un thread d'arrière-plan vérifie et lance un équilibrage de leader si nécessaire à intervalles réguliers. true true
default.replication.factor Facteurs de réplication par défaut pour les rubriques créées automatiquement. 3 pour les clusters situés dans 3 zones de disponibilité et 2 pour les clusters situés dans 2 zones de disponibilité. 3 pour les clusters situés dans 3 zones de disponibilité et 2 pour les clusters situés dans 2 zones de disponibilité.

local.retention.bytes

Taille maximale des segments de journal locaux pour une partition avant la suppression des anciens segments. Si vous ne définissez pas cette valeur, la valeur de log.retention.bytes est utilisée. La valeur effective doit toujours être inférieure ou égale à la valeur de log.retention.bytes. Une valeur par défaut de -2 signifie qu'aucune limite n'est appliquée à la conservation locale. Cela correspond au paramètre retention.ms/bytes de -1. Les propriétés local.retention.ms et local.retention.bytes sont similaires à log.retention, car elles sont utilisées pour déterminer la durée pendant laquelle les segments de journal doivent être conservés dans le stockage local. Les configurations log.retention.* existantes sont des configurations de conservation pour la partition de la rubrique. Cela inclut le stockage local et distant. Valeurs valides : nombres entiers compris entre [-2 ; +Inf]

-2 pour un nombre illimité -2 pour un nombre illimité

local.retention.ms

Nombre de millisecondes pour retenir le segment de journal local avant sa suppression. Si vous ne définissez pas cette valeur, Amazon l'MSKutilise dans log.retention.ms. La valeur effective doit toujours être inférieure ou égale à la valeur de log.retention.bytes. Une valeur par défaut de -2 signifie qu'aucune limite n'est appliquée à la conservation locale. Cela correspond au paramètre retention.ms/bytes de -1.

Les valeurs local.retention.ms et local.retention.bytes sont similaires à celles de log.retention. MSKutilise cette configuration pour déterminer la durée pendant laquelle les segments de journal doivent rester dans le stockage local. Les configurations log.retention.* existantes sont des configurations de conservation pour la partition de la rubrique. Cela inclut le stockage local et distant. Les valeurs valides sont des nombres entiers supérieurs à 0.
-2 pour un nombre illimité -2 pour un nombre illimité

log.message.timestamp.difference.max.ms

Différence maximale autorisée entre l'horodatage lorsqu'un broker reçoit un message et l'horodatage spécifié dans le message. Si log.message.timestamp.type=CreateTime, un message sera rejeté si la différence d'horodatage dépasse ce seuil. Cette configuration est ignorée si LogAppendTime log.message.timestamp.type=. La différence d'horodatage maximale autorisée ne doit pas être supérieure à log.retention.ms afin d'éviter la propagation de journaux inutilement fréquente. 9223372036854775807 86400000 pour Kafka 2.8.2.tiered
log.segment.bytes Taille maximale d'un seul fichier journal. 1073741824 134217728
min.insync.replicas

Lorsqu'un producteur définit la valeur de acks (accusé de réception reçu par le producteur de l'agent Kafka) sur "all" (ou "-1"), la valeur de min.insync.replicas spécifie le nombre minimum de réplicas qui doivent reconnaître une écriture pour que celle-ci soit considérée comme réussie. Si cette valeur n'atteint pas ce minimum, le producteur déclenche une exception ( NotEnoughReplicas ou NotEnoughReplicasAfterAppend).

Lorsque vous utilisez les valeurs de min.insync.replicas et acks ensemble, vous pouvez appliquer de meilleures garanties de durabilité. Par exemple, vous pouvez créer une rubrique avec un facteur de réplication de 3, définir min.insync.replicas sur 2 et produire avec des acks de "all". Cela garantit que le producteur déclenche une exception si la majorité des réplicas ne reçoivent pas d'écriture.

2 pour les clusters situés dans 3 zones de disponibilité et 1 pour les clusters situés dans 2 zones de disponibilité. 2 pour les clusters situés dans 3 zones de disponibilité et 1 pour les clusters situés dans 2 zones de disponibilité.
num.io.threads Nombre de threads utilisés par le serveur pour produire des demandes, qui peuvent inclure des E/S de disque. 8 max (8,vCPUs) où vCPUs dépend de la taille de l'instance du broker
num.network.threads Nombre de threads que le serveur utilise pour recevoir des demandes du réseau et lui envoyer des réponses. 5 max (5, vCPUs /2) où vCPUs dépend de la taille de l'instance du broker
num.partitions Nombre par défaut de partitions de journal par rubrique. 1 1
num.replica.fetchers Nombre de threads de récupération utilisés pour répliquer les messages provenant d'un agent source. Si vous augmentez cette valeur, vous pouvez augmenter le degré de parallélisme des E/S dans l'agent suiveur. 2 max (2, vCPUs /4) où vCPUs dépend de la taille de l'instance du broker

remote.log.msk.disable.policy

Utilisé avec remote.storage.enable pour désactiver le stockage hiérarchisé. Définissez cette politique sur Supprimer, pour indiquer que les données du stockage hiérarchisé sont supprimées lorsque vous définissez remote.storage.enable sur false.

N/A DELETE
remote.log.reader.threads Taille du pool de threads du lecteur de journaux distant, qui est utilisée pour planifier des tâches visant à récupérer des données à partir d'un stockage distant. N/A max (10, vCPUs * 0,67) où vCPUs dépend de la taille de l'instance du courtier

remote.storage.enable

Active le stockage (distant) hiérarchisé pour une rubrique s'il est défini sur true. Désactive le stockage hiérarchisé au niveau de la rubrique s'il est défini sur false et remote.log.msk.disable.policy est défini sur Supprimer. Lorsque vous désactivez le stockage hiérarchisé, vous supprimez les données du stockage distant. Lorsque vous désactivez le stockage hiérarchisé pour une rubrique, vous ne pouvez pas le réactiver. false true
replica.lag.time.max.ms Si un abonné n'a envoyé aucune demande de récupération ou n'a pas utilisé le décalage de fin de journal du leader pendant au moins ce nombre de millisecondes, le leader le retire du. ISR 30 000 30 000

retention.ms

Champ obligatoire. La durée minimale est de 3 jours. Le paramètre étant obligatoire, il n'y a pas de valeur par défaut.

Amazon MSK utilise la valeur retention.ms avec local.retention.ms pour déterminer à quel moment les données sont transférées du stockage local vers le stockage hiérarchisé. La valeur local.retention.ms indique quand déplacer les données du stockage local vers le stockage hiérarchisé. La valeur retention.ms indique à quel moment les données doivent être supprimées du stockage hiérarchisé (c'est-à-dire lorsqu'elles sont supprimées du cluster). Valeurs valides : nombres entiers compris entre [-1 ; +Inf]

Minimum 259 200 000 millisecondes (3 jours). -1 pour une conservation illimitée. Minimum 259 200 000 millisecondes (3 jours). -1 pour une conservation illimitée.
socket.receive.buffer.bytes La RCVBUF mémoire tampon SO_ des sockets du serveur de sockets. Si la valeur est -1, le système d'exploitation par défaut est utilisé. 102400 102400
socket.request.max.octets Nombre maximal d'octets dans une requête socket. 104857600 104857600
socket.send.buffer.bytes La SNDBUF mémoire tampon SO_ des sockets du serveur de sockets. Si la valeur est -1, le système d'exploitation par défaut est utilisé. 102400 102400
unclean.leader.election.enable Indique si vous souhaitez que les répliques ne figurant pas dans l'ISRensemble servent de référence en dernier recours, même si cela peut entraîner une perte de données. vrai false
zookeeper.session.timeout.ms

Le délai d'expiration de ZooKeeper la session Apache en millisecondes.

18000 18000
zookeeper.set.acl Le client configuré pour utiliser SecureACLs. false false

Pour de plus amples informations sur la définition de valeurs de configuration personnalisées, consultez Configurations MSK personnalisées.