Crea un flusso di dati - Flusso di dati Amazon Kinesis

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Crea un flusso di dati

Nella prima fase del Tutorial: elabora i dati di borsa in tempo reale utilizzando KPL e KCL 1.x, è necessario creare il flusso da utilizzare nelle fasi successive.

Per creare un flusso
  1. Accedi AWS Management Console e apri la console Kinesis all'indirizzo https://console.aws.amazon.com /kinesis.

  2. Nel riquadro di navigazione, selezionare Data Streams (Flussi di dati).

  3. Nella barra di navigazione, espandere il selettore delle regioni e selezionare una regione.

  4. Selezionare Create Kinesis stream (Crea flusso Kinesis).

  5. Inserire un nome per il flusso (ad esempio, StockTradeStream).

  6. Inserisci 1 il numero di frammenti, ma continua a Stimare il numero di frammenti che ti serviranno compressi.

  7. Selezionare Create Kinesis stream (Crea flusso Kinesis).

Nella pagina dell'elenco Flussi Kinesis, lo stato del flusso mentre viene creato è CREATING. Quando il flusso è pronto per essere utilizzato, lo stato diventa ACTIVE. Seleziona il nome del flusso. Nella pagina che viene visualizzata, la scheda Details (Dettagli) mostra un riepilogo della configurazione del flusso. La sezione Monitoring (Monitoraggio) mostra le informazioni di monitoraggio per il flusso.

Informazioni aggiuntive sui frammenti

Quando inizi a utilizzare il flusso di dati Kinesis al di fuori di questo tutorial, potresti dover pianificare il processo di creazione di un flusso più attentamente. Dovresti effettuare una stima della domanda massima quando esegui il provisioning degli shard. Utilizzando questo scenario come esempio, il numero di scambi nel mercato azionario statunitense raggiunge il picco durante il giorno (fuso orario EST) e le stime della domanda dovrebbero essere effettuate per quell'ora del giorno. A questo punto, puoi scegliere di effettuare il provisioning per la domanda massima attesa o incrementare o ridurre il flusso in risposta alle fluttuazioni della domanda.

Uno shard è un'unità di capacità di throughput. Nella pagina Crea flusso Kinesis, espandi Calcola il numero di partizioni necessarie. Inserisci le dimensioni medie dei record, il numero massimo di record scritti al secondo e il numero di applicazioni in uso attenendoti alle seguenti indicazioni:

Dimensione media record

Una stima delle dimensioni medie calcolate dei record. Se non conosci questo valore, utilizza le dimensioni massime stimate dei record.

Numero massimo di record scritti

Considerate il numero di entità che forniscono dati e il numero approssimativo di record al secondo prodotti da ciascuna di esse. Ad esempio, se ottieni dati sulle negoziazioni da 20 server di trading e ognuno di essi genera 250 scambi al secondo, il numero totale di scambi (record) è di 5.000 al secondo.

Numero di applicazioni in uso

Il numero di applicazioni che in modo indipendente effettuano la lettura dal flusso per elaborarlo in modo diverso e produrre un output diverso. Ciascuna applicazione può avere più istanze in esecuzione su macchine diverse (esecuzione in cluster) in modo da poter tenere il passo con un flusso di volume elevato.

Se il numero stimato di shard mostrato supera il limite attuale di shard, potresti dover inviare una richiesta per aumentare tale limite prima di poter creare un flusso con quel numero di shard. Per richiedere un aumento del limite di partizioni, utilizza il modulo dei limiti del flusso di dati Kinesis. Per ulteriori informazioni sui flussi e sulle partizioni, consulta Crea e gestisci flussi di dati Kinesis.

Passaggi successivi

Crea una IAM policy e un utente