Creazione di un notebook Studio con il flusso di dati Kinesis

Creazione di una tabella

1. Accedi a AWS Management Console e apri la AWS Glue console all'indirizzo https://console.aws.amazon.com/glue/.

2. Se non disponi già di un AWS Glue database, scegli Database dalla barra di navigazione a sinistra. Scegli Aggiungi database. Nella finestra Aggiungi database, inserisci default per Nome database. Scegli Create (Crea) .

3. Nella barra di navigazione a sinistra, seleziona Tabelle. Nella pagina Tabelle, scegli Aggiungi tabelle > Aggiungi tabella manualmente.

4. Nella pagina Imposta le proprietà della tabella, inserisci stock per Nome tabella. Assicurati di selezionare il database creato in precedenza. Scegli Next (Successivo).

5. Nella pagina Aggiungi un datastore, scegli Kinesis. Per Nome del flusso, inserisci ExampleInputStream. Per il codice sorgente Kinesis URL, scegli invio. https://kinesis.us-east-1.amazonaws.com Se copi e incolli il sorgente Kinesis URL, assicurati di eliminare tutti gli spazi iniziali o finali. Scegli Next (Successivo).

6. Nella pagina Classificazione, scegli. JSON Scegli Next (Successivo).

7. Nella pagina Definisci uno schema, scegli Aggiungi colonna per aggiungere una colonna. Aggiungi colonne con le seguenti proprietà:

   Nome colonna	Tipo di dati
   ticker	string
   price	double

   Scegli Next (Successivo).

8. Nella pagina successiva, verifica le impostazioni e scegli Fine.

9. Scegli la tabella appena creata dall'elenco delle tabelle.

10. Scegli Modifica tabella e aggiungi una proprietà con la chiave managed-flink.proctime e il valore proctime.

11. Scegli Applica.

1. Aprire la console Managed Service for Apache Flink a casa https://console.aws.amazon.com/managed-flink/? region=us-east-1#/applicazioni/dashboard.

2. Nella pagina Applicazioni del servizio gestito per Apache Flink, scegli la scheda Studio. Scegli Crea notebook Studio.

   Nota

   Puoi anche creare un notebook Studio dalle console Amazon MSK o Kinesis Data Streams selezionando il cluster MSK Amazon di input o il flusso di dati Kinesis e scegliendo Elabora dati in tempo reale.

3. Nella pagina Crea notebook Studio, immetti le seguenti informazioni:

   • Inserisci MyNotebook per il nome del notebook.

   • Scegli l'impostazione predefinita per il database AWS Glue.

   Scegli Crea notebook Studio.

4. Nella MyNotebookpagina, scegli Esegui. Attendi che lo stato mostri In esecuzione. Si applicano costi quando il notebook è in funzione.

1. Verifica l'ID del tuo account. Questo valore è necessario per creare l'applicazione.

2. Crea il ruolo arn:aws:iam::AccountID:role/ZeppelinRole e aggiungi le seguenti autorizzazioni al ruolo creato automaticamente dalla console.

   "kinesis:GetShardIterator",

   "kinesis:GetRecords",

   "kinesis:ListShards"

3. Crea un file denominato create.json con i seguenti contenuti. Sostituisci i valori segnaposto con le tue informazioni.

   {
       "ApplicationName": "MyNotebook",
       "RuntimeEnvironment": "ZEPPELIN-FLINK-3_0",
       "ApplicationMode": "INTERACTIVE",
       "ServiceExecutionRole": "arn:aws:iam::AccountID:role/ZeppelinRole",
       "ApplicationConfiguration": {
           "ApplicationSnapshotConfiguration": {
               "SnapshotsEnabled": false
           },
           "ZeppelinApplicationConfiguration": {
               "CatalogConfiguration": {
                   "GlueDataCatalogConfiguration": {
                       "DatabaseARN": "arn:aws:glue:us-east-1:AccountID:database/default"
                   }
               }
           }
       }
   }
   

4. Per creare l'applicazione, esegui il comando riportato di seguito:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create.json 
   

5. Una volta completata l'esecuzione del comando, visualizzerai un output che mostra i dettagli per il nuovo notebook Studio. Di seguito è riportato un esempio di output.

   {
       "ApplicationDetail": {
           "ApplicationARN": "arn:aws:kinesisanalyticsus-east-1:012345678901:application/MyNotebook",
           "ApplicationName": "MyNotebook",
           "RuntimeEnvironment": "ZEPPELIN-FLINK-3_0",
           "ApplicationMode": "INTERACTIVE",
           "ServiceExecutionRole": "arn:aws:iam::012345678901:role/ZeppelinRole",
   ...
   

6. Per avviare l'applicazione, esegui il comando riportato di seguito. Sostituisci il valore di esempio con il tuo ID account.

   aws kinesisanalyticsv2 start-application --application-arn arn:aws:kinesisanalyticsus-east-1:012345678901:application/MyNotebook\
   

1. Apri Kinesis Data Generator.

2. Scegli Crea un utente Cognito con. CloudFormation

3. La AWS CloudFormation console si apre con il modello Kinesis Data Generator. Scegli Next (Successivo).

4. Nella pagina Specifica i dettagli dello stack, inserisci il nome utente e la password per l'utente Cognito. Scegli Next (Successivo).

5. Nella pagina Configura opzioni dello stack, scegli Successivo.

6. Nella pagina Review Kinesis-Data-Generator-Cognito-User, scegli l'opzione Riconosco che potrebbe creare risorse. AWS CloudFormation IAM casella di controllo. Scegli Crea stack.

7. Attendi che lo AWS CloudFormation stack finisca di essere creato. Una volta completato lo stack, apri lo stack Kinesis-Data-Generator-Cognito-User nella console e scegli la scheda Output. AWS CloudFormation URLApri KinesisDataGeneratorUrll'elenco per il valore di output.

8. Nella pagina Amazon Kinesis Data Generator, accedi con le credenziali create nel passaggio 4.

9. Nella pagina successiva, specifica i seguenti valori:

   Region	us-east-1
   Stream/Flusso Firehose	ExampleInputStream
   Record al secondo	1

   Per Modello di record, incolla il seguente codice:

   {
       "ticker": "{{random.arrayElement(
           ["AMZN","MSFT","GOOG"]
       )}}",
       "price": {{random.number(
           {
               "min":10,
               "max":150
           }
       )}}
   }
   

10. Scegli Invia dati.

11. Il generatore invierà dati al flusso di dati Kinesis.

    Lascia il generatore in esecuzione mentre completi la sezione successiva.

1. Aprire la console Managed Service for Apache Flink a casa https://console.aws.amazon.com/managed-flink/? region=us-east-1#/applicazioni/dashboard.

2. Nella pagina Applicazioni del servizio gestito per Apache Flink, scegli la scheda Notebook Studio. Scegli. MyNotebook

3. Nella MyNotebookpagina, scegli Apri in Apache Zeppelin.

   L'interfaccia Apache Zeppelin viene aperta in una nuova scheda.

4. Nella sezione Ti diamo il benvenuto su Zeppelin!, scegli Nota Zeppelin.

5. Nella pagina Nota Zeppelin, inserisci la seguente query in una nuova nota:

   %flink.ssql(type=update)
   select * from stock

   Seleziona l'icona dell'esecuzione.

   Dopo un breve periodo, la nota visualizza i dati del flusso di dati Kinesis.