Cos'è Amazon Kinesis Data Streams? - Flusso di dati Amazon Kinesis

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Cos'è Amazon Kinesis Data Streams?

Puoi utilizzare Flusso di dati Amazon Kinesis per raccogliere ed elaborare flussi di grandi dimensioni di record di dati in tempo reale. Puoi creare applicazioni di elaborazione di dati, note come applicazioni del flusso di dati Kinesis. Una tipica applicazione del flusso di dati Kinesis legge da un flusso di dati come record di dati. Queste applicazioni possono utilizzare la Kinesis Client Library e possono essere eseguite su istanze AmazonEC2. Puoi inviare i record elaborati ai pannelli di controllo, utilizzarli per generare avvisi, modificare dinamicamente i prezzi e le strategie pubblicitarie, oppure inviare dati a una gamma di altri servizi AWS . Per ulteriori informazioni sulle funzionalità e sui prezzi del flusso di dati Kinesis, consulta Flusso di dati Amazon Kinesis.

Kinesis Data Streams fa parte della piattaforma di streaming dati Kinesis, insieme a Firehose, Kinesis Video Streams e Managed Service for Apache Flink.

Per ulteriori informazioni sulle soluzioni per i big data, consulta AWS Big Data on. AWS Per ulteriori informazioni sulle soluzioni AWS di dati in streaming, consulta Cosa sono i dati in streaming?.

Cosa posso fare con Kinesis Data Streams?

Puoi utilizzare il flusso di dati Kinesis per l'acquisizione e l'aggregazione di dati in maniera rapida e continua. Il tipo di dati utilizzato può includere dati di logo dell'infrastruttura IT, log di applicazioni, social media, feed di dati di mercato e dati clickstream Web. Poiché il tempo di risposta per il consumo e l'elaborazione dei dati è in tempo reale, l'elaborazione è in genere leggera.

Di seguito sono riportati alcuni scenari tipici per l'utilizzo del flusso di dati Kinesis:

Elaborazione accelerata di feed di dati e log

Puoi fare in modo che i produttori inviino dati direttamente in un flusso. Ad esempio, i log di sistema e applicazioni push e sono disponibili per l'elaborazione in pochi secondi. In questo modo si impedisce la perdita di dati di log nel caso in cui il front-end o un server di applicazioni abbiano esito negativo. Il flusso di dati Kinesis fornisce feed di dati accelerati perché non raggruppi i dati sul server prima di inviarli per il consumo.

Reportistica e parametri in tempo reale

Puoi utilizzare i dati raccolti nel flusso di dati Kinesis per la semplice analisi dei dati e la creazione di report in tempo reale. Ad esempio, l'applicazione di elaborazione dei dati può lavorare sui parametri e la creazione di report per log di sistema e applicazione durante l'arrivo dei dati, piuttosto che aspettare di ricevere batch di dati.

Analisi dei dati in tempo reale

Ciò combina la potenza di elaborazione parallela con il valore dei dati in tempo reale. Ad esempio, è possibile elaborare clickstream di siti Web in tempo reale e analizzare la fruibilità del sito utilizzando diverse applicazioni del flusso di dati Kinesis in esecuzione in parallelo.

Elaborazione complessa di flussi

È possibile creare grafici aciclici diretti (DAGs) di applicazioni e flussi di dati Kinesis Data Streams. Questo in genere implica l'inserimento di dati da più applicazioni del flusso di dati Kinesis in un altro flusso per l'elaborazione downstream da parte di un'altra applicazione del flusso di dati Kinesis.

Vantaggi dell'utilizzo di Kinesis Data Streams

Anche se è possibile utilizzare il flusso di dati Kinesis per risolvere una serie di problemi per lo streaming dei dati, un utilizzo comune è l'aggregazione di dati in tempo reale seguita dal caricamento di dati aggregati in un data warehouse o cluster di riduzione della mappa.

I dati vengono inviati in flussi di dati Kinesis e ciò garantisce durabilità ed elasticità. Il ritardo tra il momento in cui un record viene inserito nello stream e il momento in cui può essere recuperato (put-to-get ritardo) è in genere inferiore a 1 secondo. In altre parole, un'applicazione del flusso di dati Kinesis può iniziare a consumare i dati dal flusso quasi immediatamente dopo che i dati vengono aggiunti. L'aspetto di servizio gestito del flusso di dati Kinesis ti allevia dall'onere operativo di creare ed eseguire una pipeline di assunzione di dati. Puoi creare applicazioni di streaming map-reduce–type. L'elasticità del flusso di dati Kinesis consente di aumentare o diminuire lo streaming, in modo da non perdere mai record di dati prima della loro scadenza.

Diverse applicazioni del flusso di dati Kinesis possono utilizzare i dati da un flusso in modo che più azioni, come l'archiviazione e l'elaborazione, possano essere eseguite simultaneamente e in modo indipendente. Ad esempio, due applicazioni possono leggere dati dallo stesso flusso. La prima applicazione calcola aggregati in esecuzione e aggiorna una tabella Amazon DynamoDB mentre la seconda applicazione comprime e archivia i dati in un datastore come Amazon Simple Storage Service (Amazon S3). La tabella DynamoDB con gli aggregati in esecuzione viene quindi letta da un dashboard per i report. up-to-the-minute

La Kinesis Client Library consente il consumo di dati da flussi tolleranti ai guasti e fornisce supporto di dimensionamento per le applicazioni del flusso di dati Kinesis.

Per informazioni sull'utilizzo EMR dei cluster Amazon per leggere ed elaborare direttamente i flussi di dati Kinesis, consulta Kinesis Connector.