Exportar flujos de datos a la Nube de AWS (consola)

Descargue el SDK de AWS IoT Greengrass Core para Python versión 1.5.0 o posteriores.

Descomprima el paquete descargado para obtener el SDK. El SDK es la carpeta greengrasssdk.

Instale dependencias de paquetes para incluirlas con el SDK en su paquete de implementación de funciones de Lambda.

Guarde la siguiente función de código de Python en un archivo local llamado "transfer_stream.py".

import asyncio
import logging
import random
import time

from greengrasssdk.stream_manager import (
    ExportDefinition,
    KinesisConfig,
    MessageStreamDefinition,
    ReadMessagesOptions,
    ResourceNotFoundException,
    StrategyOnFull,
    StreamManagerClient,
)


# This example creates a local stream named "SomeStream".
# It starts writing data into that stream and then stream manager automatically exports  
# the data to a customer-created Kinesis data stream named "MyKinesisStream". 
# This example runs forever until the program is stopped.

# The size of the local stream on disk will not exceed the default (which is 256 MB).
# Any data appended after the stream reaches the size limit continues to be appended, and
# stream manager deletes the oldest data until the total stream size is back under 256 MB.
# The Kinesis data stream in the cloud has no such bound, so all the data from this script is
# uploaded to Kinesis and you will be charged for that usage.


def main(logger):
    try:
        stream_name = "SomeStream"
        kinesis_stream_name = "MyKinesisStream"

        # Create a client for the StreamManager
        client = StreamManagerClient()

        # Try deleting the stream (if it exists) so that we have a fresh start
        try:
            client.delete_message_stream(stream_name=stream_name)
        except ResourceNotFoundException:
            pass

        exports = ExportDefinition(
            kinesis=[KinesisConfig(identifier="KinesisExport" + stream_name, kinesis_stream_name=kinesis_stream_name)]
        )
        client.create_message_stream(
            MessageStreamDefinition(
                name=stream_name, strategy_on_full=StrategyOnFull.OverwriteOldestData, export_definition=exports
            )
        )

        # Append two messages and print their sequence numbers
        logger.info(
            "Successfully appended message to stream with sequence number %d",
            client.append_message(stream_name, "ABCDEFGHIJKLMNO".encode("utf-8")),
        )
        logger.info(
            "Successfully appended message to stream with sequence number %d",
            client.append_message(stream_name, "PQRSTUVWXYZ".encode("utf-8")),
        )

        # Try reading the two messages we just appended and print them out
        logger.info(
            "Successfully read 2 messages: %s",
            client.read_messages(stream_name, ReadMessagesOptions(min_message_count=2, read_timeout_millis=1000)),
        )

        logger.info("Now going to start writing random integers between 0 and 1000 to the stream")
        # Now start putting in random data between 0 and 1000 to emulate device sensor input
        while True:
            logger.debug("Appending new random integer to stream")
            client.append_message(stream_name, random.randint(0, 1000).to_bytes(length=4, signed=True, byteorder="big"))
            time.sleep(1)

    except asyncio.TimeoutError:
        logger.exception("Timed out while executing")
    except Exception:
        logger.exception("Exception while running")


def function_handler(event, context):
    return


logging.basicConfig(level=logging.INFO)
# Start up this sample code
main(logger=logging.getLogger())

Comprima en un archivo ZIP los siguientes elementos en un archivo denominado "transfer_stream_python.zip". Este es el paquete de implementación de la función de Lambda.

Al crear el archivo de zip, incluya solo estos elementos, no la carpeta que los contiene.

Primero, cree una función de Lambda.

1. En la AWS Management Console, elija Services (Servicios) y abra la consola de AWS Lambda.

2. Elija Crear función, y, a continuación, Autor desde cero.

3. En la sección Basic information (Información básica), utilice los siguientes valores:

   • En Function name (Nombre de la función), introduzca TransferStream.

   • En Runtime (Tiempo de ejecución), elija Python 3.7.

   • En Permisos, mantenga la configuración predeterminada. Esto crea un rol de ejecución que otorga permisos Lambda básicos. AWS IoT Greengrass no utiliza este rol.

4. En la parte inferior de la página, elija Create function.

A continuación, registre el controlador y cargue el paquete de implementación de la función de Lambda.

1. En la pestaña Código, en Código fuente, seleccione Cargar desde. En el menú desplegable, seleccione un archivo .zip.

   

2. Seleccione Cargar y, a continuación, elija su paquete de implementación transfer_stream_python.zip. A continuación, elija Save (Guardar).

3. En la pestaña Código de la función, en Configuración de tiempo de ejecución, elija Editar y, a continuación, introduzca los siguientes valores.

   • En Runtime (Tiempo de ejecución), elija Python 3.7.

   • En Handler (Controlador), escriba transfer_stream.function_handler.

4. Seleccione Save.

   nota

   El botón de prueba de la consola de AWS Lambda no funciona con esta función. El SDK AWS IoT Greengrass Core no contiene los módulos necesarios para ejecutar las funciones de Lambda de Greengrass de forma independiente en la consola AWS Lambda. Estos módulos (por ejemplo, greengrass_common) se suministran a las funciones una vez desplegados en el núcleo de Greengrass.

Ahora, publique la primera versión de su función de Lambda y cree un alias para la versión.

1. En el menú Actions, elija Publish new version.

2. En Version description (Descripción de versión), escriba First version y, a continuación, elija Publish (Publicar).

3. En la página de configuración de TransferStream: 1, en el menú Actions (Acciones), elija Create alias (Crear alias).

4. En la página Create a new alias, utilice los valores siguientes:

   • En Name (Nombre), ingrese GG_TransferStream.

   • En Version (Versión), elija 1.

   nota

   AWS IoT Greengrass no admite alias de Lambda; para versiones de $LATEST.

5. Seleccione Create (Crear).

En el panel de navegación de la consola AWS IoT, en Administrar, expanda los dispositivos Greengrass y, a continuación, elija Grupos (V1).

Seleccione el grupo de destino.

En la página de configuración del grupo, elija la pestaña Funciones de lambda.

En la sección Mis funciones de Lambda, seleccione Añadir.

En la página Agregar función de Lambda, seleccione función de Lambda para su función de lambda.

Para la versión de Lambda, seleccione Alias:GG_TransferStream.

Ahora, configure las propiedades que determinan el comportamiento de la función de Lambda en el grupo Greengrass.

En la sección de configuración de la función de Lambda, realice los siguientes cambios:

Elija Añadir función de Lambda.

En la página de configuración del grupo, elija la pestaña Funciones de lambda.

En Funciones de Lambda del sistema, seleccione el administrador de secuencias y luego verifique el estado. Si está deshabilitado, elija Edit (Editar). A continuación, elija Enable (Activar) y Save (Guardar). Puede utilizar la configuración de parámetros predeterminada para este tutorial. Para obtener más información, consulte Configurar el administrador de secuencias de AWS IoT Greengrass.

En Local logs configuration (Configuración de registros locales), compruebe si el registro local está configurado.

Si los registros no están configurados para componentes del sistema Greengrass o para funciones de Lambda definidas por el usuario, seleccione Editar.

Elija el nivel de registro de funciones de Lambda del usuario y el nivel de registro del sistema Greengrass.

Conserve los valores predeterminados para el nivel de registro y el límite de espacio en disco y, a continuación, elija Guardar.

Asegúrese de que el núcleo de AWS IoT Greengrass se está ejecutando. Ejecute los siguientes comandos en el terminal de Raspberry Pi según sea necesario.

1. Para comprobar si el demonio está en ejecución:

   ps aux | grep -E 'greengrass.*daemon'

   Si la salida contiene una entrada root para /greengrass/ggc/packages/ggc-version/bin/daemon, el demonio está en ejecución.

   nota

   La versión que figura en la ruta depende de la versión del software AWS IoT Greengrass Core que esté instalada en el dispositivo del núcleo.

2. Iniciar el daemon:

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

En la página de configuración de grupo, elija Implementar.

1. En la pestaña Funciones de Lambda, en la sección Funciones de Lambda del sistema, seleccione Detector IP y elija Editar.

2. En el cuadro de diálogo Editar configuración del detector IP, seleccione Detectar y anular automáticamente los puntos de conexión del agente MQTT.

3. Seleccione Save.

   Esto permite a los dispositivos adquirir automáticamente la información de conexión del dispositivo principal, como la dirección IP, el DNS y el número de puerto. Se recomienda la detección automática, pero AWS IoT Greengrass también es compatible con puntos de enlace especificados manualmente. Solo se le solicitará el método de detección la primera vez que se implemente el grupo.

   nota

   Si se le solicita, conceda permiso para crear el rol de servicio de Greengrass y asócielo a su Cuenta de AWS en el Región de AWS actual. Este rol permite a AWS IoT Greengrass acceder a los servicios de AWS.

   En la página Deployments (Implementaciones), se muestra la marca temporal, el ID de versión y el estado de la implementación. Una vez terminada, la implementación debería mostrar el estado Completado.

   Para obtener ayuda sobre la resolución de problemas, consulte Solución de problemas de AWS IoT Greengrass.

En la consola de Amazon Kinesis , bajo las Secuencias de datos de Kinesis, seleccione MyKinesisStream.

En la página MyKinesisStream, seleccione Monitoring (Supervisión). Si la prueba se realiza correctamente, debería ver los datos en los gráficos Put Records. En función de la conexión, es posible que tarde un minuto en mostrar los datos.

cd /greengrass/ggc/core/
sudo ./greengrassd stop

Elimine la función de Lambda TransferStream del núcleo.

1. En el panel de navegación de la consola AWS IoT, en Administrar, expanda los dispositivos Greengrass y, a continuación, elija Grupos (V1).

2. En Grupos de Greengrass, elija su grupo.

3. En la página Lambdas seleccione los puntos suspensivos (...) para la función de TransferStream y, a continuación, seleccione Remove function (Eliminar función).

4. En Actions (Acciones), seleccione Deploy (Implementar).