Utilizzo dell'adattatore DynamoDB Streams Kinesis per elaborare i record di flusso - Amazon DynamoDB

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo dell'adattatore DynamoDB Streams Kinesis per elaborare i record di flusso

L'utilizzo di Amazon Kinesis Adapter è il modo consigliato per utilizzare flussi da Amazon DynamoDB. DynamoDB Streams è intenzionalmente simile a quello di Kinesis Data API Streams, un servizio per l'elaborazione in tempo reale di dati in streaming su larga scala. In entrambi i servizi, i flussi di dati sono composti da partizioni, che sono container per i record di flusso. Entrambi i servizi contengono,, e operazioni. APIs ListStreams DescribeStream GetShards GetShardIterator Sebbene queste operazioni DynamoDB Streams siano simili alle loro controparti in Kinesis Data Streams, non sono identiche al 100%.

È possibile scrivere applicazioni per Kinesis Data Streams utilizzando la Kinesis Client Library (). KCL KCLSemplifica la codifica fornendo astrazioni utili al di sopra dei Kinesis Data Streams di basso livello. API Per ulteriori informazioni suKCL, consulta la sezione Developing consumer using the Kinesis Client Library nella Amazon Kinesis Data Streams Developer Guide.

L'attuale KCL versione 1.x con AWS SDK for Java v1.x continuerà a essere pienamente supportata per tutto il suo ciclo di vita per garantire stabilità e prestazioni. Se utilizzi quella esistenteSDK, le applicazioni esistenti che utilizzano la AWS SDK for Java v1.x continueranno a funzionare come previsto durante il periodo di transizione, in linea con la politica di manutenzione degli strumenti.AWS SDKs

In qualità di utente di DynamoDB Streams, puoi utilizzare i modelli di progettazione presenti all'interno di DynamoDB Streams per KCL elaborare gli shard e i record di flusso di DynamoDB Streams. Per fare ciò, si utilizza l'adattatore Kinesis DynamoDB Streams. Il Kinesis Adapter implementa l'interfaccia Kinesis Data Streams in modo che possa essere utilizzata per consumare ed elaborare KCL i record da DynamoDB Streams. Per istruzioni su come configurare e installare il DynamoDB Streams Kinesis Adapter, consulta il repository. GitHub

Nel seguente diagramma viene illustrato come queste librerie interagiscono tra loro.

Interazione tra DynamoDB Streams, Kinesis Data Streams e per l'elaborazione dei record DynamoDB Streams. KCL

Con il DynamoDB Streams Kinesis Adapter, puoi iniziare a sviluppare utilizzando l'interfaccia, API con le chiamate dirette senza interruzioni all'KCLendpoint DynamoDB Streams.

All'avvio, l'applicazione chiama per creare un'istanza di un worker. KCL È necessario fornire al worker le informazioni di configurazione per l'applicazione, ad esempio il descrittore di flusso e AWS le credenziali, e il nome di una classe di processore di record fornita dall'utente. Durante l'esecuzione del codice nel processore di record, il worker completa le seguenti attività:

  • Si collega al flusso

  • Enumera le partizioni all'interno del flusso

  • Coordina le associazioni di shard con altri processi di lavoro (se presenti)

  • Crea istanze di un elaboratore di record per ogni shard che gestisce

  • Estrae i record di dati dal flusso

  • Inserisce i record nell'elaboratore di record corrispondente

  • Controlla i record elaborati

  • Bilancia le associazioni tra shard e processi di lavoro quando il conteggio delle istanze del lavoro cambia

  • Bilancia le associazioni tra partizioni e worker quando le partizioni sono suddivise

Nota

Per una descrizione dei KCL concetti elencati qui, consulta Developing consumer using the Kinesis Client Library nella Amazon Kinesis Data Streams Developer Guide.

Per ulteriori informazioni sull'uso degli stream, consulta AWS Lambda Streams e trigger DynamoDB AWS Lambda