Configuration de l'inférence Machine Learning optimisée à l'aide d'AWS Management Console

Installez les mises à jour sur Raspbian.

sudo apt-get update
sudo apt-get dist-upgrade

Installez l'interface picamera pour le module caméra, ainsi que les autres bibliothèques Python requises pour ce didacticiel.

sudo apt-get install -y python3-dev python3-setuptools python3-pip python3-picamera

Valider l'installation :

Redémarrez l'appareil Raspberry Pi.

sudo reboot

Ouvrez l'outil de configuration du Raspberry Pi.

sudo raspi-config

Utilisez les touches flèches pour ouvrir les Options d'interface et activer l'interface de la caméra. Si vous y êtes invité, autorisez le redémarrage de l'appareil.

Utilisez la commande suivante pour tester la configuration de la caméra.

raspistill -v -o test.jpg

Elle ouvre une fenêtre d'aperçu sur le Raspberry Pi, enregistre une image nommée test.jpg dans votre répertoire actuel et affiche des informations sur la caméra dans la fenêtre de terminal du Raspberry Pi.

Connectez-vous à votre Raspberry Pi à distance.

ssh pi@your-device-ip-address

Ouvrez la documentation DLR, ouvrez Installation du DLR et recherchez l'URL du Wheel des appareils Raspberry Pi. Suivez ensuite les instructions d'installation du DLR sur votre appareil. Par exemple, vous pouvez utiliser pip :

pip3 install rasp3b-wheel-url

Après avoir installé le DLR, validez la configuration suivante :

Sur votre ordinateur, téléchargez l'exemple DLR pour Raspberry Pi à partir de Exemples de machine learning.

Décompressez le fichier dlr-py3-armv7l.tar.gz téléchargé.

cd path-to-downloaded-sample
tar -xvzf dlr-py3-armv7l.tar.gz

Le répertoire examples de l'exemple de package extrait contient le code de fonction et les dépendances.

Compressez le contenu du répertoire examples dans un fichier nommé optimizedImageClassification.zip. Vous obtiendrez alors votre package de déploiement.

cd path-to-downloaded-sample/dlr-py3-armv7l/examples
zip -r optimizedImageClassification.zip .

Le package de déploiement contient votre code de fonction et vos dépendances. Cela inclut le code qui appelle les API Python du moteur d'exécution Deep Learning afin d'effectuer des inférences avec les modèles de compilation Neo Deep Learning.

Ajoutez maintenant la fonction Lambda à votre groupe Greengrass.

Sur la page de la console Lambda, choisissezFonctionset choisissezCréation de fonction.

ChoisissezCréer à partir de zéroet utilisez les valeurs suivantes pour créer votre fonction :

PourAutorisations, conservez le paramètre par défaut. Cela crée un rôle d'exécution qui accorde des autorisations Lambda de base. Ce rôle n'est pas utilisé parAWS IoT Greengrass.

Sélectionnez Create function (Créer une fonction).

Dans la pageCodeonglet, sousCode source, choisissezChargement à partir de. Dans le menu déroulant, choisissezfichier .zip.

Choisissez votreoptimizedImageClassification.zippackage de déploiement, puis choisissezEnregistrer.

Dans la pageCodepour la fonction, sousParamètres d'exécution, choisissezModifier, puis entrez les valeurs suivantes.

Choisissez Save (Enregistrer).

Dans le menu Actions, sélectionnez Publier une nouvelle version.

Dans Description de la version, saisissez First version, puis choisissez Publish.

Dans la pageoptimizedImageClassification : 1page de configuration, depuis la pageActions, choisissezCréer un alias.

Sur la page Create a new alias, utilisez les valeurs suivantes :

Sélectionnez Create (Créer).

Ajoutez maintenant la fonction Lambda à votre groupe Greengrass.

DansAWS IoTVolet de navigation de la console sousGérer, développezAppareils Greengrasset choisissezGroupes (V1).

Sur la page de configuration de groupe, choisissez leFonctions Lambdaonglet, puis choisissezAddition.

Cliquez sur l'ongletFonction Lambdaet sélectionnezoptimizedImageClassification.

Dans la pageVersion de la fonction Lambda, choisissez l'alias de la version que vous avez publiée.

DansConfiguration des fonctions Lambda, effectuez les mises à jour suivantes.

1. Pour exécuter sans conteneurisation :

   • PourUtilisateur et groupe du système, choisissezAnother user ID/group ID. PourID utilisateur du système, saisissez0. PourID du groupe du système, saisissez0.

     Cela permet à votre fonction Lambda de s'exécuter en tant que root. Pour plus d'informations sur l'exécution en tant que root, veuillez consulterDéfinition de l'identité d'accès par défaut pour les fonctions Lambda dans un groupe.

     Astuce

     Vous devez également mettre à jour votreconfig.jsonpour accorder à l'accès root à votre fonction Lambda. Pour la procédure, veuillez consulterExécution d'une fonction Lambda en tant que root.

   • PourConteneurisation de fonction Lambda, choisissezAucun conteneur.

     Pour de plus amples informations sur l'exécution sans conteneurisation, veuillez consulterConsidérations à prendre en compte lors du choix de la conteneurisation des fonctions Lambda.

   • Pour Expiration, entrez 10 seconds.

   • PourPinned, choisissezVrai.

     Pour plus d'informations, consultez Configuration du cycle de vie pour les fonctions Greengrass Lambda.

   • UNParamètre supplémentaire, pourAccès en lecture au répertoire /sys, choisissezActivé.

2. Pour exécuter plutôt en mode conteneurisé :

   Note

   Nous ne recommandons pas une exécution en mode conteneurisé, à moins que votre cas d'utilisation ne l'exige.

   • PourUtilisateur et groupe du système, choisissezUtiliser le groupe par défaut.

   • PourConteneurisation de fonction Lambda, choisissezUtiliser le groupe par défaut.

   • Pour Limite de mémoire, entrez 1024 MB.

   • Pour Expiration, entrez 10 seconds.

   • PourPinned, choisissezVrai.

     Pour plus d'informations, consultez Configuration du cycle de vie pour les fonctions Greengrass Lambda.

   • UNParamètres supplémentaires, pourAccès en lecture au répertoire /sys, choisissezActivé.

ChoisissezAjout d'une fonction Lambda.

Sur votre ordinateur, accédez au répertoire resnet50 de l'exemple de package que vous avez décompressé dans Étape 3 : Créer une fonction Lambda d'inférence.

cd path-to-downloaded-sample/dlr-py3-armv7l/models/resnet50

Ce répertoire contient des artefacts de modèles précompilés pour un modèle de classification d'images avec Resnet-50.

Compressez les fichiers du répertoire resnet50 dans un fichier nommé resnet50.zip.

zip -r resnet50.zip .

Sur la page de configuration de groupe de votreAWS IoT Greengrass, choisissez leRessourcesonglet. Accédez à la section Machine Learning, choisissez Ajouter une ressource de Machine Learning. Sur la page Créer une ressource de Machine Learning, pour Nom de la ressource, entrez resnet50_model.

PourSource du modèle, choisissezUtilisez un modèle stocké dans S3, tel qu'un modèle optimisé via Deep Learning Compiler.

UNURI S3, choisissezParcourir S3.

Choisissez Charger un modèle.

Dans l'onglet de la console Amazon S3, chargez le fichier zip dans un compartiment Amazon S3. Pour plus d'informations, consultezComment charger des fichiers ou des dossiers dans un compartiment S3 ?dans leManuel de l'utilisateur Amazon Simple Service.

DansAWS IoT Greengrassonglet de la console, localisez puis choisissez le compartiment Amazon S3. Localisez votre fichier chargé resnet50.zip, puis choisissez Sélectionner. Vous devrez peut-être actualiser la page pour mettre à jour la liste des compartiments et des fichiers disponibles.

DansChemin de destination, saisissez/ml_model.

Il s'agit de la destination pour le modèle local dans l'espace de noms d'exécution Lambda. Lorsque vous déployez le groupe, AWS IoT Greengrass permet de récupérer le package de modèle source, puis d'extraire le contenu dans le répertoire spécifié.

En cas d'exécution en mode conteneurisé :

1. UNPropriétaire du groupe système et autorisations d'accès aux fichiers, choisissezSpécifier le groupe système et les autorisations.

2. ChoisissezAccès en lecture seule, puis.Ajout d'une ressource.

Sur la page de configuration de groupe, choisissez leRessourcesonglet.

Sur leDes ressources locales, choisissezAjout d'une ressource locale.

Dans la pageAjout d'une ressource locale, utilisez les valeurs suivantes :

Au bas de la page, choisissezAjout d'une ressource.

À partir de laRessources, créez une autre ressource locale en choisissantAdditionet utilisez les valeurs suivantes :

Choisissez Add resource (Ajouter ressource).

Sur la page de configuration de groupe, choisissez leSubscriptions, puisAjouter un abonnement.

Dans la pageCréer un abonnement, configurez la source et la cible comme suit :

1. DansType de source, choisissezFonction Lambdaet choisissezoptimizedImageClassification.

2. DansTarget type (Type de cible), choisissezServiceet choisissezCloud IoT.

3. DansFiltre de rubriques, saisissez/resnet-50/predictionset choisissezCréer un abonnement.

Ajoutez un second abonnement. Cliquez sur l'ongletSubscriptions, choisissezAjouter un abonnementet configurez la source et la cible comme suit :

1. DansType de source, choisissezServiceset choisissezCloud IoT.

2. DansTarget type (Type de cible), choisissezFonction Lambdaet choisissezoptimizedImageClassification.

3. DansFiltre de rubriques, saisissez/resnet-50/testet choisissezCréer un abonnement.

Vérifiez les éléments suivants :AWS IoT Greengrasscore est en cours d'exécution. Dans la fenêtre de terminal de votre Raspberry Pi, exécutez les commandes suivantes, si nécessaire.

1. Pour vérifier si le démon est en cours d'exécution :

   ps aux | grep -E 'greengrass.*daemon'

   Si la sortie contient une entrée root pour /greengrass/ggc/packages/latest-core-version/bin/daemon, le démon est en cours d'exécution.

2. Pour démarrer le démon :

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

Sur la page de configuration de groupe, choisissezDéploiement.

Dans la pageFonctions Lambdaonglet, sélectionnezDétecteur IPet choisissezModifier.

À partir de laModifier les paramètres du détecteur IPboîte de dialogue, sélectionnezDétecter et remplacer automatiquement les points de terminaison des courtiers MQTTet choisissezEnregistrer.

Les appareils peuvent ainsi acquérir automatiquement des informations de connectivité pour le noyau, telles que l'adresse IP, le DNS et le numéro de port. La détection automatique est recommandée, mais AWS IoT Greengrass prend également en charge les points de terminaison spécifiés manuellement. Vous êtes uniquement invité à indiquer la méthode de découverte lors du déploiement initial du groupe.

La page Déploiements indique l'horodatage, l'ID de version et l'état du déploiement. Une fois terminé, le statut affiché pour le déploiement doit êtreTerminé.

Pour de plus amples informations sur les déploiements, veuillez consulterDéploiement de groupes AWS IoT Greengrass sur un noyau AWS IoT Greengrass Core. Pour bénéficier d'une aide à la résolution des problèmes, consultez Résolution des problèmes de AWS IoT Greengrass.

Dans la pageAWS IoTpage d'accueil de la console, sousTest, choisissezClient de test MQTT.

PourSubscriptions, choisissezAbonnement à une rubrique. Utilisez les valeurs suivantes. Conservez les valeurs par défaut des autres options.

Choisissez Subscribe.

ChoisissezPublier dans une rubrique, saisissez/resnet-50/testen tant queNom de la rubrique, et choisissezPublier.

Si le test réussit, le message publié provoque la capture d'une image par la caméra Raspberry Pi. Un message provenant de la fonction Lambda s'affiche en bas de la page. Ce message contient le résultat des prédictions de l'image en utilisant le format suivant : nom de classe prédite, probabilité et utilisation de la mémoire.

Téléchargez les images statiques PNG ou JPG pour la fonction Lambda à utiliser pour la classification d'images. L'exemple fonctionne mieux avec des fichiers image de petite taille.

Enregistrez vos fichiers image dans le répertoire qui contient le fichier inference.py (ou dans un sous-répertoire de ce répertoire). Cela fait partie du package de déploiement de fonction Lambda que vous chargez dansÉtape 3 : Créer une fonction Lambda d'inférence.

Modifiez la configuration de la fonction Lambda. Suivez la procédure décrite dans Étape 4 : Ajouter la fonction Lambda au groupe Greengrass.

1. Pour exécuter sans conteneurisation :

   • PourUtilisateur et groupe du système, choisissezAnother user ID/group ID. PourID utilisateur du système, saisissez0. PourID de groupe système, saisissez0.

     Cela permet à votre fonction Lambda de s'exécuter en tant que root. Pour plus d'informations sur l'exécution en tant que root, veuillez consulterDéfinition de l'identité d'accès par défaut pour les fonctions Lambda dans un groupe.

     Astuce

     Vous devez également mettre à jour votreconfig.jsonpour accorder à l'accès root à votre fonction Lambda. Pour la procédure, veuillez consulterExécution d'une fonction Lambda en tant que root.

   • PourConteneurisation de fonction Lambda, choisissezAucun conteneur.

     Pour de plus amples informations sur l'exécution sans conteneurisation, veuillez consulterConsidérations à prendre en compte lors du choix de la conteneurisation des fonctions Lambda.

   • Augmentez la valeur Expiration en la faisant passer à 2 minutes. Cela permet de s'assurer que la demande n'expire pas trop tôt. L'exécution de l'inférence nécessite quelques minutes après la configuration.

   • PourPinned, choisissezVrai.

   • UNParamètres supplémentaires, pourAccès en lecture au répertoire /sys, choisissezActivé.

2. Pour exécuter plutôt en mode conteneurisé :

   Note

   Nous ne recommandons pas une exécution en mode conteneurisé, à moins que votre cas d'utilisation ne l'exige.

   • Augmentez la valeur Limite de mémoire en la faisant passer à 3 000 Mo.

   • Augmentez la valeur Expiration en la faisant passer à 2 minutes. Cela permet de s'assurer que la demande n'expire pas trop tôt. L'exécution de l'inférence nécessite quelques minutes après la configuration.

   • PourPinned, choisissezVrai.

   • UNParamètres supplémentaires, pourAccès en lecture au répertoire /sys, choisissezActivé.

Ajoutez une ressource de modèle optimisé pour Neo au groupe. Téléchargez les ressources du modèle dans le répertoire resnet50 de l'exemple de package que vous avez décompressé dans Étape 3 : Créer une fonction Lambda d'inférence. Ce répertoire contient des artefacts de modèles précompilés pour un modèle de classification d'images avec Resnet-50. Exécutez la procédure décrite dans Étape 5 : Ajout d'un SageMaker Ressources de modèle optimisé pour le groupe Greengrass en appliquant les mises à jour qui suivent :

En cas d'exécution en mode conteneurisé, ajoutez la ressource locale requise pour autoriser l'accès au GPU de votre appareil.

1. Sur la page de configuration de groupe, choisissez leRessourcesonglet.

2. DansDes ressources localessection, choisissezAjout d'une ressource locale.

3. Définissez la ressource :

   • Sous Resource Name (Nom de la ressource), entrez renderD128.

   • Pour Type de ressource, choisissez Appareil.

   • PourChemin de l'appareil local, saisissez/dev/dri/renderD128.

   • PourPropriétaire du groupe système et autorisations d'accès aux fichiers, choisissezAjouter automatiquement les autorisations de système de fichiers du groupe de fichiers du groupe de système de fichiers du groupe.

Assurez-vous que votre appareil Jetson est configuré pour que vous puissiez installer le logiciel AWS IoT Greengrass Core et utiliser le processeur graphique pour inférence. Pour de plus amples informations sur la configuration de votre appareil, veuillez consulter Configuration d'autres appareils. Pour utiliser le processeur graphique pour inférence sur un NVIDIA Jetson TX2, vous devez installer CUDA 10.0 et cuDNN 7.0 sur votre appareil lorsque vous créez l'image de votre carte avec Jetpack 4.3.

Téléchargez les images statiques PNG ou JPG pour la fonction Lambda à utiliser pour la classification d'images. L'exemple fonctionne mieux avec des fichiers image de petite taille.

Enregistrez vos fichiers image dans le répertoire contenant le fichier inference.py. Vous pouvez également les enregistrer dans un sous-répertoire de ce répertoire. Ce répertoire fait partie du package de déploiement de fonction Lambda que vous chargez dansÉtape 3 : Créer une fonction Lambda d'inférence.

Modifiez la configuration de la fonction Lambda. Suivez la procédure décrite dans Étape 4 : Ajouter la fonction Lambda au groupe Greengrass.

1. Pour exécuter sans conteneurisation :

   • PourExécuter en tant que, choisissezAnother user ID/group ID. PourUID, saisissez0. PourGUID, saisissez0.

     Cela permet à votre fonction Lambda de s'exécuter en tant que root. Pour plus d'informations sur l'exécution en tant que root, veuillez consulterDéfinition de l'identité d'accès par défaut pour les fonctions Lambda dans un groupe.

     Astuce

     Vous devez également mettre à jour votreconfig.jsonpour accorder à l'accès root à votre fonction Lambda. Pour la procédure, veuillez consulterExécution d'une fonction Lambda en tant que root.

   • PourConteneurisation de fonction Lambda, choisissezAucun conteneur.

     Pour de plus amples informations sur l'exécution sans conteneurisation, veuillez consulterConsidérations à prendre en compte lors du choix de la conteneurisation des fonctions Lambda.

   • Augmentez la valeur Expiration en la faisant passer à 5 minutes. Cela permet de s'assurer que la demande n'expire pas trop tôt. L'exécution de l'inférence nécessite quelques minutes après la configuration.

   • PourPinned, choisissezVrai.

   • UNParamètres supplémentaires, pourAccès en lecture au répertoire /sys, choisissezActivé.

2. Pour exécuter plutôt en mode conteneurisé :

   Note

   Nous ne recommandons pas une exécution en mode conteneurisé, à moins que votre cas d'utilisation ne l'exige.

   • Augmentez la valeur Limite de mémoire. Pour utiliser le modèle fourni en mode GPU (processeur graphique), utilisez au moins 2000 Mo.

   • Augmentez la valeur Expiration en la faisant passer à 5 minutes. Cela permet de s'assurer que la demande n'expire pas trop tôt. L'exécution de l'inférence nécessite quelques minutes après la configuration.

   • PourPinned, choisissezVrai.

   • UNParamètres supplémentaires, pourAccès en lecture au répertoire /sys, choisissezActivé.

Ajoutez une ressource de modèle optimisé pour Neo au groupe. Téléchargez les ressources du modèle dans le répertoire resnet18 de l'exemple de package que vous avez décompressé dans Étape 3 : Créer une fonction Lambda d'inférence. Ce répertoire contient des artefacts de modèles précompilés pour un modèle de classification d'images entraîné avec Resnet-18. Exécutez la procédure décrite dans Étape 5 : Ajout d'un SageMaker Ressources de modèle optimisé pour le groupe Greengrass en appliquant les mises à jour qui suivent :

En cas d'exécution en mode conteneurisé, ajoutez les ressources locales requises pour autoriser l'accès au GPU de votre appareil.

1. Sur la page de configuration de groupe, choisissez leRessourcesonglet.

2. DansDes ressources localessection, choisissezAjout d'une ressource locale.

3. Définissez chaque ressource :

   • Pour Resource name (Nom de la ressource ) et Device path, (Chemin de l'appareil), utilisez les valeurs du tableau suivant. Créez une ressource de périphérique pour chaque ligne de la table.

   • Pour Type de ressource, choisissez Appareil.

   • PourPropriétaire du groupe système et autorisations d'accès aux fichiers, choisissezAjouter automatiquement les autorisations de système de fichiers du groupe de fichiers du groupe de système de fichiers du groupe.

      

     Nom	Chemin de l'appareil
     nvhost-ctrl	/dev/nvhost-ctrl
     nvhost-gpu	/dev/nvhost-gpu
     nvhost-ctrl-gpu	/dev/nvhost-ctrl-gpu
     nvhost-dbg-gpu	/dev/nvhost-dbg-gpu
     nvhost-prof-gpu	/dev/nvhost-prof-gpu
     nvmap	/dev/nvmap
     nvhost-vic	/dev/nvhost-vic
     tegra_dc_ctrl	/dev/tegra_dc_ctrl

En cas d'exécution en mode conteneurisé, ajoutez la ressource de volume local suivante pour autoriser l'accès à l'appareil photo de votre appareil. Suivez la procédure décrite dans Étape 5 : Ajout d'un SageMaker Ressources de modèle optimisé pour le groupe Greengrass.

Mettez à jour vos abonnements de groupe pour utiliser le répertoire correct. Exécutez la procédure décrite dans Étape 7 : Ajouter des abonnements au groupe Greengrass en appliquant les mises à jour qui suivent :

Mettez à jour vos abonnements de test pour utiliser le répertoire correct. Exécutez la procédure décrite dans Tester l'exemple d'inférence en appliquant les mises à jour qui suivent :

Connectez-vous en tant qu'utilisateur racine et accédez au répertoire log. L'accès aux journaux AWS IoT Greengrass nécessite les autorisations racines.

sudo su
cd /greengrass/ggc/var/log

Checkruntime.logpour toutes erreurs.

cat system/runtime.log | grep 'ERROR'

Vous pouvez également rechercher les éventuelles erreurs dans le journal des fonctions Lambda définies par l'utilisateur :

cat user/your-region/your-account-id/lambda-function-name.log | grep 'ERROR'

Pour plus d'informations, consultez Résolution des problèmes liés aux journaux.

Affichez le contenu de Lambda déployé dans le/lambdaannuaire. Remplacez les valeurs d'espace réservé avant d'exécuter la commande.

cd /greengrass/ggc/deployment/lambda/arn:aws:lambda:region:account:function:function-name:function-version
ls -la

Vérifiez que le répertoire contient le même contenu que le package de déploiement optimizedImageClassification.zip que vous avez chargé dans Étape 3 : Créer une fonction Lambda d'inférence.

Assurez-vous que les fichiers .py et les dépendances se trouvent dans la racine du répertoire.

Trouvez le numéro d'identification de processus (PID) du processus d'exécution Lambda :

ps aux | grep lambda-function-name

Dans la sortie, le PID s'affiche dans la deuxième colonne de la ligne pour le processus d'exécution Lambda.

Saisissez l'espace de noms d'exécution Lambda. Veillez à remplacer la valeur d'espace réservé pid avant d'exécuter la commande.

sudo nsenter -t pid -m /bin/bash

Affichez le contenu du répertoire local que vous avez spécifié comme ressource de ML.

cd /ml_model
ls -ls

Vous devriez voir les fichiers suivants :

    56 -rw-r--r-- 1 ggc_user ggc_group     56703 Oct 29 20:07 model.json
196152 -rw-r--r-- 1 ggc_user ggc_group 200855043 Oct 29 20:08 model.params
   256 -rw-r--r-- 1 ggc_user ggc_group    261848 Oct 29 20:07 model.so
    32 -rw-r--r-- 1 ggc_user ggc_group     30564 Oct 29 20:08 synset.txt