Kinesis 클라이언트 라이브러리 사용 - Amazon Kinesis Data Streams

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Kinesis 클라이언트 라이브러리 사용

Kinesis Client Library란 무엇입니까?

Kinesis Client Library(KCL)는 Amazon Kinesis Data Streams에서 데이터를 사용하고 처리하는 프로세스를 간소화하도록 설계된 독립형 Java 소프트웨어 라이브러리입니다.는 분산 컴퓨팅과 관련된 많은 복잡한 작업을 KCL 처리하므로 개발자는 데이터 처리를 위한 비즈니스 로직을 구현하는 데 집중할 수 있습니다. 여러 작업자 간의 로드 밸런싱, 작업자 장애 대응, 처리된 레코드 검사, 스트림의 샤드 수 변경 대응과 같은 활동을 관리합니다.

KCL는 기본 라이브러리의 최신 버전, 보안 개선 사항 및 버그 수정을 통합하도록 자주 업데이트됩니다. 알려진 문제를 방지하고 모든 최신 개선 사항의 이점을 누리KCL려면 최신 버전의를 사용하는 것이 좋습니다. 최신 KCL 버전을 찾으려면 KCL Github를 참조하세요.

중요
  • 알려진 버그와 문제를 방지하려면 최신 KCL 버전을 사용하는 것이 좋습니다. 2.6.0 이하KCL를 사용하는 경우 스트림 용량이 변경될 때 공유 처리를 차단할 수 있는 드문 조건을 방지하려면 KCL 2.6.1 이상으로 업그레이드하세요.

  • KCL는 Java 라이브러리입니다. Java 이외의 언어에 대한 지원은 라는 Java 기반 데몬을 사용하여 제공됩니다 MultiLangDaemon. MultiLangDaemon는 STDIN 및를 통해 KCL 애플리케이션과 상호 작용합니다STDOUT. MultiLangDaemon 의에 대한 자세한 내용은 섹션을 GitHub참조하세요Java 이외의 언어로 KCL를 사용하여 소비자 개발.

KCL 주요 기능 및 이점

의 주요 기능 및 관련 이점은 KCL다음과 같습니다.

  • 확장성:를 KCL 사용하면 여러 작업자에 처리 로드를 분산하여 애플리케이션이 동적으로 확장할 수 있습니다. 로드 재분산에 대한 걱정 없이 애플리케이션을 수동으로 또는 오토 스케일링으로 확장하거나 축소할 수 있습니다.

  • 로드 밸런싱:는 사용 가능한 작업자 간에 처리 로드의 균형을 KCL 자동으로 조정하여 작업자 간에 작업을 고르게 분산합니다.

  • 체크포인트 지정: 처리된 레코드의 체크포인트 지정을 KCL 관리하여 애플리케이션이 마지막으로 성공적으로 처리된 위치에서 처리를 재개할 수 있도록 합니다.

  • 결함성: KCL는 내장 내결함성 메커니즘을 제공하여 개별 작업자가 실패하더라도 데이터 처리가 계속되도록 합니다. KCL 또한는 전송을 제공합니다 at-least-once.

  • 스트림 수준 변경 처리: 데이터 볼륨 변경으로 인해 발생할 수 있는 샤드 분할 및 병합에 KCL 맞게 조정됩니다. 상위 샤드가 완료되고 체크포인트가 지정된 후에만 하위 샤드가 처리되도록 하여 순서를 유지합니다.

  • 모니터링: 소비자 수준 모니터링을 CloudWatch 위해 Amazon과 KCL 통합됩니다.

  • 다국어 지원:는 KCL 기본적으로 Java를 지원하며를 통해 여러 비 Java 프로그래밍 언어를 활성화합니다 MultiLangDaemon.