Cómo configurar la inferencia de machine learning optimizado mediante AWS Management Console

Instale las actualizaciones en Raspbian.

sudo apt-get update
sudo apt-get dist-upgrade

Instale la interfaz picamera del módulo de cámara y las demás bibliotecas de Python que sean necesarias para este tutorial.

sudo apt-get install -y python3-dev python3-setuptools python3-pip python3-picamera

Valide la instalación:

Reinicie el Raspberry Pi.

sudo reboot

Abra la herramienta de configuración de Raspberry Pi.

sudo raspi-config

Utilice las teclas de flecha para abrir Interfacing Options (Opciones de interfaz) y habilitar la interfaz de la cámara. Si se le solicita, permita que el dispositivo se reinicie.

Utilice el siguiente comando para probar la configuración de la cámara.

raspistill -v -o test.jpg

Se abre una ventana de vista previa en el Raspberry Pi, se guarda una imagen denominada test.jpg en el directorio actual y se muestra información sobre la cámara en el terminal de Raspberry Pi.

Inicie sesión en su Raspberry Pi de forma remota.

ssh pi@your-device-ip-address

Abra la documentación del DLR, abra Installing DLR y busque la URL del wheel para los dispositivos Raspberry Pi. A continuación, siga las instrucciones para instalar DLR en su dispositivo. Por ejemplo, puede utilizar pip:

pip3 install rasp3b-wheel-url

Después de instalar el DLR, valide la siguiente configuración:

En su equipo, descargue el ejemplo del DLR para Raspberry Pi de Ejemplos de aprendizaje automático.

Descomprima el archivo dlr-py3-armv7l.tar.gz descargado.

cd path-to-downloaded-sample
tar -xvzf dlr-py3-armv7l.tar.gz

El directorio examples del paquete de ejemplo extraído contiene el código de la función y las dependencias.

Comprima el contenido del directorio examples en un archivo llamado optimizedImageClassification.zip. Este es el paquete de implementación.

cd path-to-downloaded-sample/dlr-py3-armv7l/examples
zip -r optimizedImageClassification.zip .

El paquete de implementación contiene el código de la característica y las dependencias. Esto incluye el código que invoca Python, el motor de ejecución de aprendizaje profundo de Neo, APIs para realizar inferencias con los modelos de compilador de aprendizaje profundo de Neo.

Ahora, añada función de Lambda al grupo de Greengrass.

Seleccione Funciones de la página de la consola de Lambda y elija Crear función.

Elija Autor desde cero y utilice los siguientes valores para crear su función:

En Permisos, mantenga la configuración predeterminada. Esto crea un rol de ejecución que otorga permisos Lambda básicos. Esta función no la utiliza. AWS IoT Greengrass

Elija Crear función.

En la pestaña Código, en Código fuente, seleccione Cargar desde. En el menú desplegable, seleccione un archivo .zip.

Elija su paquete de implementación optimizedImageClassification.zip y, a continuación, seleccione Guardar.

En la pestaña Código de la función, en Configuración de tiempo de ejecución, elija Editar y, a continuación, introduzca los siguientes valores.

Seleccione Guardar.

En el menú Actions, elija Publish new version.

En Version description (Descripción de versión), escriba First version y, a continuación, elija Publish (Publicar).

En la página de configuración optimizedImageClassification: 1, en el menú Acciones, selecciona Crear alias.

En la página Create a new alias, utilice los valores siguientes:

Seleccione Crear.

Ahora, añada función de Lambda al grupo de Greengrass.

En el panel de navegación de la AWS IoT consola, en Administrar, expanda los dispositivos Greengrass y, a continuación, elija Grupos (V1).

En la página de configuración de grupos, elija la pestaña Funciones de Lambda y seleccione Añadir.

Elija la función Lambda y seleccione. optimizedImageClassification

En la versión de la función de Lambda, elija el alias de la versión que publicó.

En la sección de Configuración de la función de Lambda, realice las siguientes actualizaciones.

1. Para ejecutar sin creación de contenedores:

   • En Usuario y grupo del sistema, elija Another user ID/group ID. En ID de usuario del sistema, introduzca 0. Para el ID de grupo del sistema, introduzca 0.

     Esto permite que la función de Lambda se ejecute como raíz. Para obtener más información sobre cómo ejecutar como raíz, consulte Configuración de la identidad de acceso predeterminada para las funciones de Lambda de un grupo.

     sugerencia

     También debe actualizar el archivo config.json para conceder acceso raíz a la función de Lambda. Para el procedimiento, consulte Ejecución de una función de Lambda como raíz.

   • Para la Creación de contenedores de la función de Lambda, elija Sin contenedor.

     Para obtener más información sobre la ejecución sin creación de contenedores, consulte Consideraciones a la hora de elegir la creación de contenedores de la función de Lambda..

   • En Tiempo de espera, escriba 10 seconds.

   • En Ancladas, elija Verdadero

     Para obtener más información, consulte Configuración del ciclo de vida de las funciones de Lambda de Greengrass.

   • En Parámetro adicional, para Acceso de lectura al directorio /sys, elija Activado.

2. Para ejecutarlo en modo contenerizado, en su lugar:

   nota

   No recomendamos ejecutarlo en modo contenerizado a menos que su modelo de negocio lo requiera.

   • En Usuario y grupo del sistema, seleccione Usar grupo predeterminado.

   • Para la Creación de contenedores de funciones de Lambda, elija Usar grupo por defecto.

   • En Límite de memoria, escriba 1024 MB.

   • En Tiempo de espera, escriba 10 seconds.

   • En Ancladas, elija Verdadero

     Para obtener más información, consulte Configuración del ciclo de vida de las funciones de Lambda de Greengrass.

   • En Parámetros adicionales, para Acceso de lectura al directorio /sys, elija Activado.

Elija Añadir función de Lambda.

En el equipo, desplácese hasta el directorio resnet50 del paquete de ejemplo en el que descomprimió Paso 3: Creación de una función de Lambda de inferencia.

cd path-to-downloaded-sample/dlr-py3-armv7l/models/resnet50

Este directorio contiene artefactos de modelos compilados previamente para un modelo de clasificación de imágenes entrenado con Resnet-50.

Comprima los archivos que están en el directorio resnet50 en un archivo llamado resnet50.zip.

zip -r resnet50.zip .

En la página de configuración de grupo de su AWS IoT Greengrass grupo, elija la pestaña Recursos. Vaya a la sección Machine Learning y elija Añadir recurso de machine learning. En la página Crear un recurso de machine learning, en Nombre del recurso, escriba resnet50_model.

En Origen del modelo, elija Usar un modelo almacenado en S3, como un modelo optimizado mediante el Compilador de Aprendizaje Profundo.

En URI de S3, elija Browse S3.

Elija Upload a model (Cargar un modelo).

En la pestaña de la consola de Amazon S3 cargue su archivo zip en un bucket de Amazon S3. Para obtener información, consulte ¿Cómo puedo cargar archivos y carpetas en un bucket de S3? en la Guía del usuario de Amazon Simple Storage Service.

En la pestaña de la AWS IoT Greengrass consola, busca y elige tu bucket de Amazon S3. Localice y cargue el archivo resnet50.zip y elija Select (Seleccionar). Es posible que tenga que actualizar la página para actualizar la lista de buckets y archivos disponibles.

En Ruta de destino, escriba /ml_model.

Este es el destino para el modelo local en el espacio de nombres del tiempo de ejecución de Lambda. Al implementar el grupo, AWS IoT Greengrass recupera el paquete del modelo fuente y, a continuación, extrae el contenido al directorio especificado.

Si se ejecuta en modo contenerizado:

1. En Propietario del grupo del sistema y permisos de acceso a archivos, seleccione Especificar grupo del sistema y permisos.

2. Elija Acceso de solo lectura y, a continuación, elija Agregar recurso.

En la página de configuración del grupo, elija la pestaña Recursos.

En la pestaña Recursos locales, elija Añadir recurso local.

En la página Añadir un recurso local, utilice los siguientes valores:

En la parte inferior de la página, elija Añadir recurso.

En la pestaña Recursos, cree otro recurso local seleccionando Agregar y use los siguientes valores:

Seleccione Add resource (Añadir recurso).

En la página de configuración del grupo, elija la pestaña Suscripciones y, a continuación, elija Añadir suscripción.

En la página Crear una suscripción, configure el origen y el destino de la siguiente manera:

1. En Tipo de fuente, elija Función Lambda y, a continuación, elija. optimizedImageClassification

2. En Tipo de destino, elija Servicio y, a continuación, Nube de IoT.

3. En Filtro por temas, introduzca /resnet-50/predictions y, a continuación, seleccione Crear suscripción.

Añadir una segunda suscripción. Seleccione la pestaña Suscripciones, elija Agregar suscripción y configure el origen y el destino de la siguiente manera:

1. En la sección Tipo de origen, elija Servicios y luego elija Nube de IoT.

2. En Tipo de destino, elija Función Lambda y, a continuación, elija. optimizedImageClassification

3. En Filtro por temas, introduzca /resnet-50/test y, a continuación, seleccione Crear suscripción.

Asegúrese de que el AWS IoT Greengrass núcleo esté funcionando. Ejecute los siguientes comandos en el terminal de Raspberry Pi según sea necesario.

1. Para comprobar si el daemon está en ejecución:

   ps aux | grep -E 'greengrass.*daemon'

   Si la salida contiene una entrada root para /greengrass/ggc/packages/latest-core-version/bin/daemon, el daemon está en ejecución.

2. Inicio de daemon:

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

En la página de configuración de grupo, elija Implementar.

En la pestaña Funciones de Lambda, seleccione Detector IP y elija Editar.

En el cuadro de diálogo Editar configuración del detector IP, seleccione Detectar y anular automáticamente los puntos de conexión del agente MQTT y elija Guardar.

Esto permite a los dispositivos adquirir automáticamente la información de conexión del dispositivo principal, como la dirección IP, el DNS y el número de puerto. Se recomienda la detección automática, pero AWS IoT Greengrass también admite puntos finales especificados manualmente. Solo se le solicitará el método de detección la primera vez que se implemente el grupo.

En la página Deployments (Implementaciones), se muestra la marca temporal, el ID de versión y el estado de la implementación. Una vez terminada, la implementación debería mostrar el estado Completado.

Para obtener más información sobre las implementaciones, consulte Implementación de grupos de AWS IoT Greengrass en un núcleo de AWS IoT Greengrass. Para obtener ayuda sobre la resolución de problemas, consulte Solución de problemas de AWS IoT Greengrass.

En la página de inicio de la AWS IoT consola, en Prueba, elija el cliente de prueba MQTT.

Para Suscripciones, seleccione Suscribirse a un tema. Use los siguientes valores. No cambie los valores predeterminados de las opciones restantes.

Elija Subscribe.

Elija Publicar en un tema, introduzca /resnet-50/test como Nombre del tema y seleccione Publicar.

Si la prueba se realiza correctamente, el mensaje publicado hace que la cámara de Raspberry Pi capture una imagen. Un mensaje de la función de Lambda aparece en la parte inferior de la página. Este mensaje contiene el resultado de predicción de la imagen, con este formato: nombre de la clase predicha, probabilidad y uso máximo de memoria.

Descargue imágenes PNG o JPG estáticas para la función de Lambda que se va a utilizar para la clasificación de imágenes. El ejemplo funciona mejor con archivos de imágenes pequeños.

Guarde los archivos de imágenes en el directorio que contiene el archivo inference.py (o en un subdirectorio de este directorio). Se encuentra en el paquete de implementación de la función de Lambda que cargó en Paso 3: Creación de una función de Lambda de inferencia.

Edite la configuración de la función de Lambda. Siga el procedimiento indicado en Paso 4: Adición de la función de Lambda al grupo de Greengrass.

1. Para ejecutar sin creación de contenedores:

   • En Usuario y grupo del sistema, elija Another user ID/group ID. En ID de usuario del sistema, introduzca 0. Para el ID de grupo del sistema, introduzca 0.

     Esto permite que la función de Lambda se ejecute como raíz. Para obtener más información sobre cómo ejecutar como raíz, consulte Configuración de la identidad de acceso predeterminada para las funciones de Lambda de un grupo.

     sugerencia

     También debe actualizar el archivo config.json para conceder acceso raíz a la función de Lambda. Para el procedimiento, consulte Ejecución de una función de Lambda como raíz.

   • Para la Creación de contenedores de la función de Lambda, elija Sin contenedor.

     Para obtener más información sobre la ejecución sin creación de contenedores, consulte Consideraciones a la hora de elegir la creación de contenedores de la función de Lambda..

   • Aumente el valor de Timeout (Tiempo de espera) a 2 minutos. De este modo, se asegurará de que la solicitud no supere el tiempo de inactividad demasiado pronto. La configuración tarda unos minutos en ejecutar la inferencia.

   • En Ancladas, elija Verdadero

   • En Parámetros adicionales, para Acceso de lectura al directorio /sys, elija Activado.

2. Para ejecutarlo en modo contenerizado, en su lugar:

   nota

   No recomendamos ejecutarlo en modo contenerizado a menos que su modelo de negocio lo requiera.

   • Aumente el valor de Memory limit (Límite de memoria) a 3000 MB.

   • Aumente el valor de Timeout (Tiempo de espera) a 2 minutos. De este modo, se asegurará de que la solicitud no supere el tiempo de inactividad demasiado pronto. La configuración tarda unos minutos en ejecutar la inferencia.

   • En Ancladas, elija Verdadero

   • En Parámetros adicionales, para Acceso de lectura al directorio /sys, elija Activado.

Agregar al grupo un recurso del modelo optimizado para Neo Cargue los recursos del modelo en el directorio resnet50 del paquete de ejemplo en el que descomprimió Paso 3: Creación de una función de Lambda de inferencia. Este directorio contiene artefactos de modelos compilados previamente para un modelo de clasificación de imágenes entrenado con Resnet-50. Utilice el procedimiento que se describe en Paso 5: Añadir un recurso de modelo optimizado para SageMaker IA Neo al grupo Greengrass con las siguientes actualizaciones.

Si se ejecuta en modo contenerizado, añada el recurso de dispositivo local necesario para conceder acceso a su GPU de dispositivo.

1. En la página de configuración del grupo, elija la pestaña Recursos.

2. En la sección Recursos locales, elija Añadir recurso local.

3. Defina el recurso:

   • En Nombre del recurso, escriba renderD128.

   • En Tipo de recurso, elija Dispositivo.

   • En Ruta del dispositivo local, escriba /dev/dri/renderD128.

   • En Propietario del grupo del sistema y permisos de acceso a archivos, seleccione Añadir automáticamente permisos del sistema de archivos del grupo del sistema propietario del recurso.

Asegúrese de que su dispositivo Jetson esté configurado para poder instalar el software AWS IoT Greengrass Core y utilizar la GPU para realizar inferencias. Para obtener más información sobre la configuración del proyecto, consulte Configuración de otros dispositivos. Para usar la GPU como inferencia en una NVIDIA Jetson TX2, debes instalar CUDA 10.0 y cuDNN 7.0 en tu dispositivo al crear imágenes de tu placa con Jetpack 4.3.

Descargue imágenes PNG o JPG estáticas para la función de Lambda que se va a utilizar para la clasificación de imágenes. El ejemplo funciona mejor con archivos de imágenes pequeños.

Guarde los archivos de la imagen en la carpeta que contiene el archivo inference.py. También puede guardarlos en un subdirectorio de esta carpeta. Este directorio está en el paquete de implementación de funciones de Lambda que ha cargado en Paso 3: Creación de una función de Lambda de inferencia.

Edite la configuración de la función de Lambda. Siga el procedimiento indicado en Paso 4: Adición de la función de Lambda al grupo de Greengrass.

1. Para ejecutar sin creación de contenedores:

   • En Ejecutar como, elija Another user ID/group ID. En UID, escriba 0. En GUID, escriba 0.

     Esto permite que la función de Lambda se ejecute como raíz. Para obtener más información sobre cómo ejecutar como raíz, consulte Configuración de la identidad de acceso predeterminada para las funciones de Lambda de un grupo.

     sugerencia

     También debe actualizar el archivo config.json para conceder acceso raíz a la función de Lambda. Para el procedimiento, consulte Ejecución de una función de Lambda como raíz.

   • Para la Creación de contenedores de la función de Lambda, elija Sin contenedor.

     Para obtener más información sobre la ejecución sin creación de contenedores, consulte Consideraciones a la hora de elegir la creación de contenedores de la función de Lambda..

   • Aumente el valor de Timeout (Tiempo de espera) a 5 minutos. De este modo, se asegurará de que la solicitud no supere el tiempo de inactividad demasiado pronto. La configuración tarda unos minutos en ejecutar la inferencia.

   • En Ancladas, elija Verdadero

   • En Parámetros adicionales, para Acceso de lectura al directorio /sys, elija Activado.

2. Para ejecutarlo en modo contenerizado, en su lugar:

   nota

   No recomendamos ejecutarlo en modo contenerizado a menos que su modelo de negocio lo requiera.

   • Aumente el valor de Memory limit (Límite de memoria). Para utilizar el modelo proporcionado en modo de GPU, utilice 2000 MB.

   • Aumente el valor de Timeout (Tiempo de espera) a 5 minutos. De este modo, se asegurará de que la solicitud no supere el tiempo de inactividad demasiado pronto. La configuración tarda unos minutos en ejecutar la inferencia.

   • En Ancladas, elija Verdadero

   • En Parámetros adicionales, para Acceso de lectura al directorio /sys, elija Activado.

Agregar al grupo un recurso del modelo optimizado para Neo Cargue los recursos del modelo en el directorio resnet18 del paquete de ejemplo en el que descomprimió Paso 3: Creación de una función de Lambda de inferencia. Este directorio contiene artefactos precompilados de un modelo de clasificación de imágenes entrenado con Resnet-18. Utilice el procedimiento que se describe en Paso 5: Añadir un recurso de modelo optimizado para SageMaker IA Neo al grupo Greengrass con las siguientes actualizaciones.

Si se ejecuta en modo contenerizado, añada los recursos de dispositivos locales necesarios para conceder acceso a su GPU de dispositivo.

1. En la página de configuración del grupo, elija la pestaña Recursos.

2. En la sección Recursos locales, elija Añadir recurso local.

3. Defina cada recurso:

   • En Resource name (Nombre de recurso) y Device path (Ruta del dispositivo), utilice los valores en la siguiente tabla. Cree un recurso de dispositivo para cada fila de la tabla.

   • En Tipo de recurso, elija Dispositivo.

   • En Propietario del grupo del sistema y permisos de acceso a archivos, seleccione Añadir automáticamente permisos del sistema de archivos del grupo del sistema propietario del recurso.

      

     Nombre	Ruta del dispositivo
     nvhost-ctrl	/dev/nvhost-ctrl
     nvhost-gpu	/dev/nvhost-gpu
     nvhost-ctrl-gpu	/dev/ nvhost-ctrl-gpu
     nvhost-dbg-gpu	/dev/ nvhost-dbg-gpu
     nvhost-prof-gpu	/dev/ nvhost-prof-gpu
     nvmap	/dev/nvmap
     nvhost-vic	/dev/nvhost-vic
     tegra_dc_ctrl	/dev/tegra_dc_ctrl

Si se ejecuta en modo contenerizado, añada el siguiente recurso de volumen local para conceder acceso a la cámara de su dispositivo. Siga el procedimiento indicado en Paso 5: Añadir un recurso de modelo optimizado para SageMaker IA Neo al grupo Greengrass.

Actualice las suscripciones del grupo para utilizar el directorio correcto. Utilice el procedimiento que se describe en Paso 7: Agregar suscripciones al grupo de Greengrass con las siguientes actualizaciones.

Actualice las suscripciones de prueba para utilizar el directorio correcto. Utilice el procedimiento que se describe en Prueba del ejemplo de inferencia con las siguientes actualizaciones.

Cambie al usuario raíz y vaya al directorio log. El acceso a AWS IoT Greengrass los registros requiere permisos de root.

sudo su
cd /greengrass/ggc/var/log

Compruebe runtime.log para ver si hay errores.

cat system/runtime.log | grep 'ERROR'

También puede consultar el registro de la función de Lambda definida por el usuario para ver si hay errores:

cat user/your-region/your-account-id/lambda-function-name.log | grep 'ERROR'

Para obtener más información, consulte Solución de problemas con los registros.

Muestre el contenido de la Lambda implementada en el directorio de /lambda. Reemplace los valores de los marcadores de posición antes de ejecutar el comando .

cd /greengrass/ggc/deployment/lambda/arn:aws:lambda:region:account:function:function-name:function-version
ls -la

Compruebe que el directorio contiene el mismo contenido que el paquete de implementación optimizedImageClassification.zip que cargó en el Paso 3: Creación de una función de Lambda de inferencia.

Asegúrese también de que los archivos .py y las dependencias se encuentran en la raíz del directorio.

Busque el número de identificación de proceso (PID) del proceso de tiempo de ejecución de Lambda:

ps aux | grep lambda-function-name

En el resultado, el PID aparece en la segunda columna de la línea correspondiente al proceso de tiempo de ejecución de Lambda.

Entre en el espacio de nombres del tiempo de ejecución de Lambda. Asegúrese de reemplazar el pid valor del marcador de posición antes de ejecutar el comando.

sudo nsenter -t pid -m /bin/bash

Muestre el contenido del directorio local que ha especificado para el recurso de machine learning.

cd /ml_model
ls -ls

Debería ver los siguientes archivos:

    56 -rw-r--r-- 1 ggc_user ggc_group     56703 Oct 29 20:07 model.json
196152 -rw-r--r-- 1 ggc_user ggc_group 200855043 Oct 29 20:08 model.params
   256 -rw-r--r-- 1 ggc_user ggc_group    261848 Oct 29 20:07 model.so
    32 -rw-r--r-- 1 ggc_user ggc_group     30564 Oct 29 20:08 synset.txt