Verwenden Sie die Kinesis-Clientbibliothek - Amazon-Kinesis-Data-Streams

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie die Kinesis-Clientbibliothek

Was ist die Kinesis Client Library?

Kinesis Client Library (KCL) ist eine eigenständige Java-Softwarebibliothek, die entwickelt wurde, um den Prozess der Nutzung und Verarbeitung von Daten aus Amazon Kinesis Data Streams zu vereinfachen. KCLbewältigt viele der komplexen Aufgaben im Zusammenhang mit verteilter Datenverarbeitung, sodass sich Entwickler auf die Implementierung ihrer Geschäftslogik für die Datenverarbeitung konzentrieren können. Es verwaltet Aktivitäten wie den Lastenausgleich zwischen mehreren Workern, die Reaktion auf Worker-Ausfälle, Checkpoints verarbeiteter Datensätze und die Reaktion auf Änderungen der Anzahl der Shards im Stream.

KCLwird häufig aktualisiert, um neuere Versionen der zugrunde liegenden Bibliotheken, Sicherheitsverbesserungen und Fehlerkorrekturen zu integrieren. Wir empfehlen Ihnen, die neueste Version von KCL zu verwenden, um bekannte Probleme zu vermeiden und von allen aktuellen Verbesserungen zu profitieren. Die neueste KCL Version finden Sie auf KCLGithub.

Wichtig
  • Wir empfehlen Ihnen, die neueste KCL Version zu verwenden, um bekannte Fehler und Probleme zu vermeiden. Wenn Sie KCL 2.6.0 oder früher verwenden, führen Sie ein Upgrade auf KCL 2.6.1 oder höher durch, um den seltenen Fall zu vermeiden, dass die gemeinsame Verarbeitung blockiert wird, wenn sich die Stream-Kapazität ändert.

  • KCList eine Java-Bibliothek. Support für andere Sprachen als Java wird über einen Java-basierten Daemon namens bereitgestellt. MultiLangDaemon MultiLangDaemoninteragiert mit der Anwendung über undKCL. STDIN STDOUT Weitere Informationen zum MultiLangDaemon On finden Sie GitHub unterEntwickeln Sie Verbraucher KCL in Nicht-Java-Sprachen.

KCLHauptmerkmale und Vorteile

Im Folgenden sind die wichtigsten Funktionen und die damit verbundenen Vorteile von aufgeführtKCL:

  • Skalierbarkeit: KCL Ermöglicht die dynamische Skalierung von Anwendungen, indem die Verarbeitungslast auf mehrere Worker verteilt wird. Sie können Ihre Anwendung manuell oder mit automatischer Skalierung nach innen oder außen skalieren, ohne sich Gedanken über die Lastumverteilung machen zu müssen.

  • Lastenausgleich: Die Verarbeitungslast KCL wird automatisch auf die verfügbaren Mitarbeiter verteilt, was zu einer gleichmäßigen Verteilung der Arbeit auf die Mitarbeiter führt.

  • Checkpointing: KCL Verwaltet das Checkpointing verarbeiteter Datensätze und ermöglicht es Anwendungen, die Bearbeitung an der zuletzt erfolgreich verarbeiteten Position fortzusetzen.

  • Fehlertoleranz: KCL bietet integrierte Fehlertoleranzmechanismen, die sicherstellen, dass die Datenverarbeitung auch dann fortgesetzt wird, wenn einzelne Mitarbeiter ausfallen. KCLbietet auch at-least-once Lieferung.

  • Umgang mit Änderungen auf Stream-Ebene: KCL passt sich an Splits und Zusammenführungen von Shards an, die aufgrund von Änderungen des Datenvolumens auftreten können. Es behält die Reihenfolge bei, indem es sicherstellt, dass untergeordnete Shards erst verarbeitet werden, nachdem der übergeordnete Shard fertiggestellt und mit einem Checkpoint versehen wurde.

  • Überwachung: KCL lässt sich in Amazon integrieren, um die Überwachung CloudWatch auf Verbraucherebene zu ermöglichen.

  • Unterstützung mehrerer Sprachen: Unterstützt Java KCL nativ und ermöglicht mehrere Programmiersprachen, die nicht in Java enthalten sind. MultiLangDaemon