Creación de un cuaderno de Studio con Kinesis Data Streams

Crear una tabla

1. Inicie sesión en AWS Management Console y abra la AWS Glue consola en https://console.aws.amazon.com/glue/.

2. Si aún no tiene una AWS Glue base de datos, elija Bases de datos en la barra de navegación izquierda. Elija Agregar una base de datos. En la ventana Añadir base de datos, introduzca default en el nombre de la base de datos. Seleccione Crear.

3. En la barra de navegación izquierda, seleccione Tablas. En la página Tablas, seleccione Añadir tablas y Añadir tabla manualmente.

4. En la página Configurar las propiedades de la tabla, introduzca stock como Nombre de la tabla. Asegúrese de seleccionar la base de datos que creó anteriormente. Elija Next (Siguiente).

5. En la página Añadir un almacén de datos, elija Kinesis. Para el Nombre del flujo, introduzcaExampleInputStream. Para Kinesis source URL, seleccione enter. https://kinesis.us-east-1.amazonaws.com Si copia y pega la fuente de Kinesis URL, asegúrese de eliminar los espacios iniciales o finales. Elija Next (Siguiente).

6. En la página de clasificación, elija. JSON Elija Next (Siguiente).

7. En la página Definir un esquema, elija Añadir columna para añadir una. Añada columnas con las siguientes propiedades:

   Nombre de la columna	Tipo de datos
   ticker	string
   price	double

   Elija Next (Siguiente).

8. En la página siguiente, verifique su configuración y seleccione Finalizar.

9. Elija la tabla recién creada de la lista de tablas.

10. Elija Editar tabla y añada una propiedad con la clave managed-flink.proctime y el valor proctime.

11. Seleccione Aplicar.

1. ¿Abrir la consola Managed Service for Apache Flink en https://console.aws.amazon.com/managed-flink/casa? region=us-east-1#/applications/panel de control.

2. En la página de Aplicaciones de Managed Service para Apache Flink, seleccione la pestaña Studio. Seleccione Crear cuaderno de Studio.

   nota

   También puede crear un bloc de notas de Studio desde las consolas Amazon MSK o Kinesis Data Streams seleccionando el clúster de MSK Amazon o el flujo de datos de Kinesis de entrada y eligiendo Procesar datos en tiempo real.

3. En la página Crear cuaderno de Studio, proporcione la siguiente información:

   • Introduzca MyNotebook como nombre del cuaderno.

   • Elija el valor predeterminado para la Base de datos de Glue de AWS .

   Seleccione Crear cuaderno de Studio.

4. En la MyNotebookpágina, selecciona Ejecutar. Espere a que el Estado muestre En ejecución. Se aplican cargos cuando el cuaderno se está ejecutando.

1. Verifique su ID de cuenta. Necesitará este valor para crear su aplicación.

2. Cree el rol arn:aws:iam::AccountID:role/ZeppelinRole y añada los siguientes permisos al rol creado automáticamente por consola.

   "kinesis:GetShardIterator",

   "kinesis:GetRecords",

   "kinesis:ListShards"

3. Cree un archivo denominado create.json con el siguiente contenido. Reemplace los valores de marcador de posición con su información.

   {
       "ApplicationName": "MyNotebook",
       "RuntimeEnvironment": "ZEPPELIN-FLINK-3_0",
       "ApplicationMode": "INTERACTIVE",
       "ServiceExecutionRole": "arn:aws:iam::AccountID:role/ZeppelinRole",
       "ApplicationConfiguration": {
           "ApplicationSnapshotConfiguration": {
               "SnapshotsEnabled": false
           },
           "ZeppelinApplicationConfiguration": {
               "CatalogConfiguration": {
                   "GlueDataCatalogConfiguration": {
                       "DatabaseARN": "arn:aws:glue:us-east-1:AccountID:database/default"
                   }
               }
           }
       }
   }
   

4. Para crear su aplicación, ejecute el siguiente comando:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create.json 
   

5. Una vez completado el comando, verá un resultado que muestra los detalles de su nuevo cuaderno de Studio. A continuación se muestra un ejemplo de la salida.

   {
       "ApplicationDetail": {
           "ApplicationARN": "arn:aws:kinesisanalyticsus-east-1:012345678901:application/MyNotebook",
           "ApplicationName": "MyNotebook",
           "RuntimeEnvironment": "ZEPPELIN-FLINK-3_0",
           "ApplicationMode": "INTERACTIVE",
           "ServiceExecutionRole": "arn:aws:iam::012345678901:role/ZeppelinRole",
   ...
   

6. Para iniciar su aplicación, ejecute el siguiente comando. Sustituya los valores de muestra por su ID de la cuenta.

   aws kinesisanalyticsv2 start-application --application-arn arn:aws:kinesisanalyticsus-east-1:012345678901:application/MyNotebook\
   

1. Abra el Kinesis Data Generator.

2. Elija Crear un usuario de Cognito con. CloudFormation

3. La AWS CloudFormation consola se abre con la plantilla Kinesis Data Generator. Elija Next (Siguiente).

4. En la página Especificar detalles de pila, ingrese el nombre y la contraseña de su usuario de Cognito. Elija Next (Siguiente).

5. En la página Configurar opciones de pila, elija Siguiente.

6. En la página Revisar Kinesis-Data-Generator-Cognito-User, elija Acepto que podría crear recursos. AWS CloudFormation IAM casilla de verificación. Elija Crear pila.

7. Espera a que la AWS CloudFormation pila termine de crearse. Una vez completada la pila, abra la pila Kinesis-Data-Generator-Cognito-User en la consola y seleccione la pestaña Salidas. AWS CloudFormation URLAbra KinesisDataGeneratorUrlla lista para el valor de salida.

8. En la página de Amazon Kinesis Data Generator, inicie sesión con las credenciales que creó en el paso 4.

9. En la siguiente página , especifique los valores siguientes:

   Region	us-east-1
   Stream/Firehose Stream	ExampleInputStream
   Registros por segundo	1

   En Plantilla de registro, pegue el siguiente código:

   {
       "ticker": "{{random.arrayElement(
           ["AMZN","MSFT","GOOG"]
       )}}",
       "price": {{random.number(
           {
               "min":10,
               "max":150
           }
       )}}
   }
   

10. Elija Enviar datos.

11. El generador enviará los datos a su flujo de datos de Kinesis.

    Deje el generador ejecutándose mientras completa la siguiente sección.

1. ¿Abrir la consola Managed Service for Apache Flink en https://console.aws.amazon.com/managed-flink/casa? region=us-east-1#/applications/panel de control.

2. En la página de Aplicaciones de Managed Service para Apache Flink, seleccione la pestaña Cuaderno de Studio. Elige. MyNotebook

3. En la MyNotebookpágina, elija Abrir en Apache Zeppelin.

   La interfaz de Apache Zeppelin se abre en una pestaña nueva.

4. En la página ¡Bienvenido a Zeppelin!, elija la Zeppelin Note.

5. En la página Zeppelin Note, introduzca la siguiente consulta en una nota nueva:

   %flink.ssql(type=update)
   select * from stock

   Seleccione el icono de reproducción.

   Al cabo de poco tiempo, el cuaderno muestra los datos de la flujo de datos de Kinesis.