As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Esta seção explica os principais conceitos e interações da Kinesis Client Library (KCL). Esses conceitos são fundamentais para desenvolver e gerenciar aplicativos de consumo da KCL.
-
Aplicativo de consumidor KCL — um aplicativo personalizado projetado para ler e processar registros de streams de dados do Kinesis usando a Kinesis Client Library.
-
Trabalhador — os aplicativos de consumo da KCL são normalmente distribuídos, com um ou mais trabalhadores em execução simultânea. A KCL coordena os trabalhadores para consumir dados do fluxo de forma distribuída e equilibra a carga uniformemente entre vários trabalhadores.
-
Scheduler — uma classe de alto nível que um funcionário da KCL usa para começar a processar dados. Cada funcionário da KCL tem um agendador. O agendador inicializa e supervisiona várias tarefas, incluindo a sincronização de informações de fragmentos dos fluxos de dados do Kinesis, o rastreamento de atribuições de fragmentos entre os trabalhadores e o processamento de dados do stream com base nos fragmentos atribuídos ao trabalhador. O agendador pode usar várias configurações que afetam o comportamento do agendador, como o nome do fluxo a ser processado e as credenciais. AWS O agendador inicia a entrega de registros de dados do fluxo para os processadores de registros.
-
Processador de registros — define a lógica de como seu aplicativo consumidor KCL processa os dados que recebe dos fluxos de dados. Você deve implementar sua própria lógica de processamento de dados personalizada no processador de registros. Um trabalhador da KCL instancia um agendador. Em seguida, o programador instancia um processador de registros para cada fragmento para o qual possui uma concessão. Um trabalhador pode executar vários processadores de registros.
-
Locação — define a atribuição entre um trabalhador e um fragmento. Os aplicativos de consumo da KCL usam concessões para distribuir o processamento de registros de dados entre vários trabalhadores. Cada fragmento está vinculado a apenas um trabalhador por meio de um contrato de arrendamento a qualquer momento e cada trabalhador pode manter um ou mais arrendamentos simultaneamente. Quando um trabalhador deixa de manter um contrato devido à interrupção ou falha, a KCL designa outro trabalhador para assumir o contrato. Para saber mais sobre o leasing, consulte a documentação do Github: Lease
Lifecycle. -
Tabela de lease — é uma tabela exclusiva do Amazon DynamoDB usada para rastrear todas as concessões do aplicativo de consumo da KCL. Cada aplicativo de consumidor da KCL cria sua própria tabela de leasing. A tabela de locação é usada para manter o estado de todos os trabalhadores para coordenar o processamento de dados. Para obter mais informações, consulte Tabelas de metadados do DynamoDB e balanceamento de carga no KCL.
-
Checkpoint — é o processo de armazenar persistentemente a posição do último registro processado com sucesso em um fragmento. A KCL gerencia o ponto de verificação para garantir que o processamento possa ser retomado a partir da última posição do ponto de verificação se um funcionário falhar ou o aplicativo for reiniciado. Os pontos de verificação são armazenados na tabela de lease do DynamoDB como parte dos metadados do lease. Isso permite que os trabalhadores continuem processando de onde o trabalhador anterior parou.
