KCL-Konfigurationen

Ermöglicht das Überschreiben des für die Lease-Tabelle von Amazon DynamoDB verwendeten Tabellennamens.

Der Name des Streams, dessen Datensätze diese Anwendung verarbeitet.

Eine eindeutige Kennung, die die Instanziierung des Anwendungsprozessors repräsentiert. Dieser Wert muss eindeutig sein.

Anzahl Millisekunden, nach deren Ablauf unterstellt werden kann, dass ein Lease-Eigentümer fehlgeschlagen ist. Bei Anwendungen mit einer großen Anzahl von Shards kann dieser Wert auf einen höheren Wert festgelegt werden, um die Anzahl der DynamoDB-IOPS zu reduzieren, die für die Nachverfolgung von Leases erforderlich sind.

Die Zeit zwischen Shard-Synchronisierungsaufrufen.

Wenn diese Option aktiviert ist, werden Leases entfernt, sobald die untergeordneten Leases die Verarbeitung gestartet haben.

Wenn diese Option aktiviert ist, werden untergeordnete Shards, die einen offenen Shard aufweisen, ignoriert. Dies gilt hauptsächlich für DynamoDB Streams.

Die maximale Anzahl von Leasingverträgen, die ein einzelner Arbeitnehmer annehmen sollte. Ein zu niedriger Wert kann zu Datenverlust führen, wenn Mitarbeiter nicht alle Shards verarbeiten können, und zu einer suboptimalen Leasingzuweisung zwischen den Mitarbeitern führen. Berücksichtigen Sie bei der Konfiguration die Gesamtzahl der Shards, die Anzahl der Mitarbeiter und die Verarbeitungskapazität der Mitarbeiter.

Steuert die Größe des Lease-Renewer-Thread-Pools. Dieser Pool muss größer sein, wenn die Anwendung mehr Leases annehmen kann.

Bestimmt den Kapazitätsmodus der in DynamoDB erstellten Leasetabelle. Es gibt zwei Optionen: den On-Demand-Modus (PAY_PER_REQUEST) und den Bereitstellungsmodus. Wir empfehlen, die Standardeinstellung des On-Demand-Modus zu verwenden, da dieser automatisch an Ihre Arbeitslast angepasst wird, ohne dass eine Kapazitätsplanung erforderlich ist.

Die ursprüngliche Position im Stream, an der die Anwendung starten soll. Dieser Wert wird nur im Rahmen der Lease-Erstellung verwendet.

InitialPositionInStream.TRIM_HORIZON

Ein Prozentwert, der festlegt, wann der Load-Balancing-Algorithmus die Neuzuweisung von Shards zwischen Arbeitern in Betracht ziehen sollte.

Dies ist eine neue Konfiguration, die in KCL 3.x eingeführt wurde.

Ein Prozentwert, der verwendet wird, um die Menge der Last zu dämpfen, die von der überlasteten Arbeitskraft bei einem einzigen Auswuchtvorgang wegbewegt wird.

Dies ist eine neue Konfiguration, die in KCL 3.x eingeführt wurde.

Legt fest, ob der überlastete Worker trotzdem einen zusätzlichen Leasingvertrag abwickeln muss, auch wenn dadurch der Gesamtdurchsatz des Leasingdurchsatzes den gewünschten Durchsatz übersteigt.

Dies ist eine neue Konfiguration, die in KCL 3.x eingeführt wurde.

Legt fest, ob KCL bei der Neuzuweisung von Leasings und beim Lastenausgleich die Ressourcenmetriken von Workern (wie z. B. die CPU-Auslastung) ignorieren soll. Setzen Sie diesen Wert auf TRUE, wenn Sie verhindern möchten, dass KCL basierend auf der CPU-Auslastung einen Lastenausgleich durchführt.

Dies ist eine neue Konfiguration, die in KCL 3.x eingeführt wurde.

Höhe des maximalen Durchsatzes, der einer Arbeitskraft während der Leasingzuweisung zugewiesen werden soll.

Dies ist eine neue Konfiguration, die in KCL 3.x eingeführt wurde.

Steuert das Verhalten bei der Leasingübergabe zwischen Arbeitern. Wenn der Wert auf „true“ gesetzt ist, versucht KCL, Leasingverträge ordnungsgemäß zu übertragen, indem dem Shard RecordProcessor genügend Zeit eingeräumt wird, die Bearbeitung abzuschließen, bevor der Leasingvertrag an einen anderen Mitarbeiter weitergegeben wird. Dies kann dazu beitragen, die Datenintegrität und reibungslose Übergänge zu gewährleisten, kann jedoch die Übergabezeit verlängern.

Wenn der Wert auf „False“ gesetzt ist, wird der Mietvertrag sofort vergeben, ohne dass darauf gewartet werden RecordProcessor muss, dass der Vertrag ordnungsgemäß geschlossen wird. Dies kann zu schnelleren Übergaben führen, kann jedoch zu einer unvollständigen Bearbeitung führen.

Hinweis: Checkpointing muss innerhalb der shutdownRequested () -Methode von implementiert werden, um von der Funktion „Graceful Lease Handoff“ RecordProcessor zu profitieren.

Dies ist eine neue Konfiguration, die in KCL 3.x eingeführt wurde.

Gibt die Mindestzeit (in Millisekunden) an, nach der auf das ordnungsgemäße Herunterfahren der aktuellen Shards gewartet werden muss, bevor das RecordProcessor Leasing gewaltsam an den nächsten Eigentümer übertragen wird.

Wenn Ihre ProcessRecords-Methode in der Regel länger als der Standardwert ausgeführt wird, sollten Sie erwägen, diese Einstellung zu erhöhen. Dadurch wird sichergestellt, dass ausreichend Zeit zur Verfügung steht, um die Bearbeitung abzuschließen, bevor die Leasingübertragung erfolgt. RecordProcessor

Dies ist eine neue Konfiguration, die in KCL 3.x eingeführt wurde.

Ermöglicht das Einstellen der maximalen Anzahl an Datensätzen, die Kinesis zurückgibt.

Konfiguriert die Verzögerung zwischen GetRecords Fehlversuchen.

Die verwendete Threadpoolgröße für GetRecords.

Legt fest, wie lange KCL zwischen GetRecords Aufrufen wartet, um die Daten aus Datenströmen abzufragen. Die Einheit ist Millisekunden.

Wenn diese Option aktiviert ist, wird der Datensatzprozessor aufgerufen, auch wenn Kinesis keine Datensätze bereitgestellt hat.

Gibt an, wie oft ein Datensatzprozessor abfragen soll, ob der übergeordnete Shard abgeschlossen wurde. Die Einheit ist Millisekunden.

Synchronisieren der Shard-Daten deaktivieren, wenn die Lease-Tabelle Leases enthält.

FALSE

Welche Shard-Priorisierung verwendet werden soll.

NoOpShardPrioritization

Legt fest, in welchem KCL-Versionskompatibilitätsmodus die Anwendung ausgeführt wird. Diese Konfiguration ist nur für die Migration von früheren KCL-Versionen vorgesehen. Bei der Migration zu 3.x müssen Sie diese Konfiguration auf setzen. CLIENT_VERSION_CONFIG_COMPATIBLE_WITH_2X Sie können diese Konfiguration entfernen, wenn Sie die Migration abgeschlossen haben.

Die Wartezeit für die Wiederholung fehlgeschlagener KCL-Aufgaben. Die Einheit ist Millisekunden.

Wartezeit, bevor eine Warnung protokolliert wird, wenn eine Aufgabe nicht abgeschlossen wurde.

Gibt die maximale Dauer (in Millisekunden) an, für die Metriken gepuffert werden, bevor sie veröffentlicht werden. CloudWatch

Gibt die maximale Anzahl von Metriken an, die vor der Veröffentlichung gepuffert werden sollen CloudWatch.

Gibt die Granularitätsstufe der CloudWatch Metriken an, die aktiviert und veröffentlicht werden sollen.

Mögliche Werte: NONE, SUMMARY, DETAILLIERT.

MetricsLevel.DETAILED

Steuert die zulässigen Dimensionen für CloudWatch Metriken.

Die maximale Anzahl der Leases, die eine Anwendung zu einem gegebenen Zeitpunkt zu stehlen versuchen sollte. KCL 3.x ignoriert diese Konfiguration und weist Leasingverträge auf der Grundlage der Ressourcenauslastung der Mitarbeiter neu zu.

Steuert, ob Mitarbeiter sehr abgelaufene Leasingverträge (Leasingverträge werden für die dreifache Failover-Zeit nicht verlängert) und neuen Shard-Leasingverträgen Vorrang einräumen sollten, unabhängig von der Anzahl der angestrebten Leasingverträge, aber unter Einhaltung der maximalen Leasinglimits. KCL 3.x ignoriert diese Konfiguration und verteilt abgelaufene Leasingverträge immer auf alle Mitarbeiter.