Kinesis Client Library を使用する

フォーカスモード

Kinesis Client Library を使用する - Amazon Kinesis Data Streams

Kinesis Client Library とは

Kinesis Client Library (KCL) は、Amazon Kinesis Data Streams からのデータの消費と処理のプロセスを簡素化するために設計されたスタンドアロンの Java ソフトウェアライブラリです。KCL は、分散コンピューティングに関連する複雑なタスクの多くを処理し、デベロッパーがデータ処理のビジネスロジックの実装に集中できるようにします。複数のワーカー間での負荷分散、ワーカーの障害への対応、処理されたレコードのチェックポイント、ストリーム内のシャード数の変化への対応などのアクティビティを管理します。

基盤となるライブラリの新しいバージョン、セキュリティの改善、バグ修正を組み込むために、KCL が頻繁に更新されます。既知の問題を回避し、すべての最新の改善点を活用するには、最新バージョンの KCL を使用することをお勧めします。最新の KCL バージョンを確認するには、「KCL Github」を参照してください。

重要

既知のバグや問題を回避するには、最新の KCL バージョンを使用することをお勧めします。KCL 2.6.0 以前を使用している場合は、KCL 2.6.1 以降にアップグレードして、ストリーム容量の変更時にシャード処理をブロックするまれな状態を回避します。
KCL は Java ライブラリです。Java 以外の言語のサポートは、MultiLangDaemon という Java ベースのデーモンを使用して提供されます。MultiLangDaemon は STDIN および STDOUT を介して KCL アプリケーションとやり取りします。GitHub の MultiLangDaemon の詳細については、「」を参照してくださいJava 以外の言語で KCL を使用してコンシューマーを開発する。
KCL 3.x で AWS SDK for Java バージョン 2.27.19 ～ 2.27.23 を使用しないでください。これらのバージョンには、KCL の DynamoDB の使用に関連する例外エラーが発生する問題が含まれています。この問題を回避するには、 AWS SDK for Java バージョン 2.28.0 以降を使用することをお勧めします。

KCL の主な機能と利点

以下は、KCL の主な機能とそれに関連する利点です。

スケーラビリティ: KCL を使用すると、複数のワーカーに処理負荷を分散することで、アプリケーションを動的にスケールできます。負荷の再分散を気にすることなく、手動または自動スケーリングでアプリケーションをスケールインまたはスケールアウトできます。
負荷分散: KCL は使用可能なワーカー間で処理負荷を自動的に分散するため、ワーカー間で作業が均等に分散されます。
チェックポイント: KCL は処理されたレコードのチェックポイントを管理し、アプリケーションが最後に正常に処理された位置から処理を再開できるようにします。
耐障害性: KCL には耐障害性メカニズムが組み込まれているため、個々のワーカーが失敗してもデータ処理が継続されます。KCL はat-least-once配信も提供します。
ストリームレベルの変更の処理: KCL は、データボリュームの変更に伴って発生する可能性のあるシャード分割とマージに適応します。子シャードが親シャードが完了してチェックポイントされた後にのみ処理されるようにすることで、順序を維持します。
モニタリング: KCL は Amazon CloudWatch と統合され、コンシューマーレベルのモニタリングを行います。
多言語サポート: KCL は Java をネイティブにサポートし、MultiLangDaemon を介して複数の非 Java プログラミング言語を有効にします。