Die MSK Standardkonfiguration von Amazon - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die MSK Standardkonfiguration von Amazon

Wenn Sie einen MSK Cluster erstellen und keine benutzerdefinierte MSK Konfiguration angeben, MSK erstellt und verwendet Amazon eine Standardkonfiguration mit den in der folgenden Tabelle aufgeführten Werten. Für Eigenschaften, die nicht in dieser Tabelle enthalten sind, MSK verwendet Amazon die Standardeinstellungen, die mit Ihrer Version von Apache Kafka verknüpft sind. Eine Liste dieser Standardwerte finden Sie unter Apache Kafka Configuration.

Standardkonfigurationswerte
Name Beschreibung Standardwert für Cluster mit nicht-gestaffeltem Speicher Standardwert für Cluster mit aktivierter gestaffelter Speicherung
allow.everyone.if.no.acl.found Wenn keine Ressourcenmuster mit einer bestimmten Ressource übereinstimmen, ist der Ressource nichts zugeordnet. ACLs Wenn diese Eigenschaft auf true gesetzt ist, kann jeder auf die Ressource zugreifen, nicht nur die Superuser. true true
auto.create.topics.enable Aktiviert die automatische Erstellung eines Themas auf dem Server. false false
auto.leader.rebalance.enable Aktiviert den automatischen Führungsausgleich. Ein Hintergrund-Thread prüft den Führungsausgleich und löst, wenn erforderlich, diesen in regelmäßigen Abständen aus. true true
default.replication.factor Standardreplikationsfaktoren für automatisch erstellte Themen. 3 für Cluster in 3 Availability Zones und 2 für Cluster in 2 Availability Zones. 3 für Cluster in 3 Availability Zones und 2 für Cluster in 2 Availability Zones.

local.retention.bytes

Die maximale Größe der lokalen Protokollsegmente für eine Partition, bevor die alten Segmente gelöscht werden. Wenn Sie diesen Wert nicht festlegen, wird der Wert in log.retention.bytes verwendet. Der effektive Wert sollte immer kleiner oder gleich dem Wert log.retention.bytes sein. Ein Standardwert von -2 bedeutet, dass kein Grenzwert für die lokale Aufbewahrung vorhanden ist. Dies entspricht der retention.ms/bytes-Einstellung von -1. Die Eigenschaften local.retention.ms und local.retention.bytes ähneln log.retention, da sie verwendet werden, um zu bestimmen, wie lange die Protokollsegmente im lokalen Speicher verbleiben sollen. Bestehende log.retention.*-Konfigurationen sind Aufbewahrungskonfigurationen für die Themenpartition. Dies umfasst sowohl lokalen als auch Remote-Speicher. Gültige Werte: Ganzzahlen in [-2; +Inf]

-2 für unbegrenzt -2 für unbegrenzt

local.retention.ms

Die Anzahl der Millisekunden, die das lokale Protokollsegment vor dem Löschen beibehalten werden soll. Wenn Sie diesen Wert nicht festlegen, MSK verwendet Amazon den Wert in log.retention.ms. Der effektive Wert sollte immer kleiner oder gleich dem Wert log.retention.bytes sein. Ein Standardwert von -2 bedeutet, dass kein Grenzwert für die lokale Aufbewahrung vorhanden ist. Dies entspricht der retention.ms/bytes-Einstellung von -1.

Die Werte local.retention.ms und local.retention.bytes ähneln log.retention. MSKverwendet diese Konfiguration, um zu bestimmen, wie lange die Protokollsegmente im lokalen Speicher verbleiben sollen. Bestehende log.retention.*-Konfigurationen sind Aufbewahrungskonfigurationen für die Themenpartition. Dies umfasst sowohl lokalen als auch Remote-Speicher. Gültige Werte sind Ganzzahlen größer als 0.
-2 für unbegrenzt -2 für unbegrenzt

log.message.timestamp.difference.max.ms

Die maximal zulässige Diskrepanz zwischen dem Zeitstempel beim Empfang einer Nachricht durch den Broker und dem in der Nachricht angegebenen Zeitstempel. Bei log.message.timestamp.type= wird eine Nachricht zurückgewiesenCreateTime, wenn der Unterschied im Zeitstempel diesen Schwellenwert überschreitet. Diese Konfiguration wird LogAppendTime ignoriert, wenn log.message.timestamp.type=. Der maximal zulässige Zeitstempelunterschied sollte nicht größer als log.retention.ms sein, um unnötig häufiges Protokoll-Rolling zu vermeiden. 9223372036854775807 86400000 für Kafka 2.8.2.tiered
log.segment.bytes Die maximale Größe einer einzelnen Protokolldatei. 1073741824 134217728
min.insync.replicas

Wenn ein Produzent den Wert von acks (Bestätigung, die der Produzent vom Kafka-Brocker erhält) auf "all" (oder "-1") setzt, gibt der Wert in min.insync.replicas die Mindestanzahl von Replikaten an, die einen Schreibvorgang bestätigen müssen, damit der Schreibvorgang als erfolgreich angesehen wird. Wenn dieser Wert dieses Minimum nicht erreicht, löst der Producer eine Ausnahme aus (entweder oder). NotEnoughReplicas NotEnoughReplicasAfterAppend

Wenn Sie die Werte in min.insync.replicas und acks zusammen verwenden, können Sie langfristigere Beständigkeitsgarantien durchsetzen. Zum Beispiel könnten Sie ein Thema mit dem Replikationsfaktor 3 erstellen, min.insync.replicas auf 2 einstellen und mit acks von "all" produzieren. Dadurch wird sichergestellt, dass der Produzent eine Ausnahme auslöst, wenn die Mehrheit der Replikate keinen Schreibvorgang erhält.

2 für Cluster in 3 Availability Zones und 1 für Cluster in 2 Availability Zones. 2 für Cluster in 3 Availability Zones und 1 für Cluster in 2 Availability Zones.
num.io.threads Anzahl der Threads, die der Server für die Erzeugung von Anfragen verwendet, eventuell einschließlich Datenträger-I/O. 8 max (8vCPUs), wobei dies vCPUs von der Instanzgröße des Brokers abhängt
num.network.threads Anzahl der Threads, die der Server zum Empfangen von Anfragen aus dem Netzwerk und zum Senden von Antworten an das Netzwerk verwendet. 5 max (5, vCPUs /2) wobei dies von der Instanzgröße des Brokers vCPUs abhängt
num.partitions Standardanzahl der Protokollpartitionen pro Thema. 1 1
num.replica.fetchers Anzahl der Abfrage-Threads, die zum Replizieren von Nachrichten von einem Quell-Broker verwendet werden. Wenn Sie diesen Wert erhöhen, können Sie den Grad der I/O-Parallelität im Follower-Broker erhöhen. 2 max (2, vCPUs /4) wobei dies von der Instanzgröße des Brokers vCPUs abhängt

remote.log.msk.disable.policy

Wird zusammen mit remote.storage.enable verwendet, um die gestaffelte Speicherung zu deaktivieren. Setzen Sie diese Richtlinie auf Löschen, um anzugeben, dass Daten im gestaffelten Speicher gelöscht werden, wenn Sie remote.storage.enable auf Falsch setzen.

N/A DELETE
remote.log.reader.threads Größe des Threadpools für den Remote-Protokollleser, der bei der Planung von Aufgaben zum Abrufen von Daten aus dem Remote-Speicher verwendet wird. N/A max (10, vCPUs * 0,67) wobei dies von der Instanzgröße des Brokers vCPUs abhängt

remote.storage.enable

Aktiviert gestaffelte (Remote-)Speicherung für ein Thema, wenn dieser Wert auf Wahr gesetzt ist. Deaktiviert die gestaffelte Speicherung auf Themenebene, wenn der Wert auf Falsch gesetzt ist und remote.log.msk.disable.policy auf Löschen gesetzt ist. Wenn Sie die gestaffelte Speicherung deaktivieren, löschen Sie Daten aus dem Remote-Speicher. Wenn Sie die gestaffelte Speicherung für ein Thema deaktiviert haben, können Sie sie nicht erneut aktivieren. false true
replica.lag.time.max.ms Wenn ein Follower keine Abrufanforderungen gesendet oder mindestens diese Anzahl von Millisekunden nicht bis zum Log-End-Offset des Leaders aufgebraucht hat, entfernt der Leader den Follower aus dem. ISR 30000 30000

retention.ms

Plichtfeld. Die Mindestzeit beträgt 3 Tage. Es gibt keine Standardeinstellung, da die Einstellung ein Pflichtfeld ist.

Amazon MSK verwendet den Wert retention.ms zusammen mit local.retention.ms, um zu ermitteln, wann Daten vom lokalen zum mehrstufigen Speicher verschoben werden. Der Wert local.retention.ms gibt an, wann Daten vom lokalen in den gestaffelten Speicher verschoben werden sollen. Der Wert retention.ms gibt an, wann Daten aus dem Tiered Storage (d. h. aus dem Cluster entfernt) entfernt werden sollen. Gültige Werte: Ganzzahlen in [-1; +Inf]

Mindestens 259 200 000 Millisekunden (3 Tage). -1 für unendliche Aufbewahrung. Mindestens 259 200 000 Millisekunden (3 Tage). -1 für unendliche Aufbewahrung.
socket.receive.buffer.bytes Der RCVBUF SO_-Puffer der Socket-Server-Sockets. Wenn der Wert -1 ist, wird der Standardwert des Betriebssystems verwendet. 102400 102400
socket.request.max.bytes Maximale Anzahl von Bytes in einer Socket-Anforderung. 104857600 104857600
socket.send.buffer.bytes Der SNDBUF SO_-Puffer der Socket-Server-Sockets. Wenn der Wert -1 ist, wird der Standardwert des Betriebssystems verwendet. 102400 102400
unclean.leader.election.enable Gibt an, ob Replikate, die nicht in der ISR Gruppe enthalten sind, als letztes Mittel als führendes Mittel dienen sollen, auch wenn dies zu Datenverlust führen kann. true false
zookeeper.session.timeout.ms

Das Zeitlimit für die ZooKeeper Apache-Sitzung in Millisekunden.

18000 18000
zookeeper.set.acl Der eingestellte Client, der sicher verwendet werden soll. ACLs false false

Weitere Informationen zum Festlegen von benutzerdefinierten Konfigurationswerten finden Sie unter Benutzerdefinierte MSK-Konfigurationen.