Comment configurer l'inférence optimisée pour l'apprentissage automatique à l'aide du Console de gestion AWS

Installez les mises à jour sur Raspbian.

sudo apt-get update
sudo apt-get dist-upgrade

Installez l'interface picamera pour le module caméra, ainsi que les autres bibliothèques Python requises pour ce didacticiel.

sudo apt-get install -y python3-dev python3-setuptools python3-pip python3-picamera

Valider l'installation :

Redémarrez l'appareil Raspberry Pi.

sudo reboot

Ouvrez l'outil de configuration du Raspberry Pi.

sudo raspi-config

Utilisez les touches flèches pour ouvrir les Options d'interface et activer l'interface de la caméra. Si vous y êtes invité, autorisez le redémarrage de l'appareil.

Utilisez la commande suivante pour tester la configuration de la caméra.

raspistill -v -o test.jpg

Elle ouvre une fenêtre d'aperçu sur le Raspberry Pi, enregistre une image nommée test.jpg dans votre répertoire actuel et affiche des informations sur la caméra dans la fenêtre de terminal du Raspberry Pi.

Connectez-vous à votre Raspberry Pi à distance.

ssh pi@your-device-ip-address

Ouvrez la documentation DLR, ouvrez Installation du DLR et recherchez l'URL du Wheel des appareils Raspberry Pi. Suivez ensuite les instructions d'installation du DLR sur votre appareil. Par exemple, vous pouvez utiliser pip :

pip3 install rasp3b-wheel-url

Après avoir installé le DLR, validez la configuration suivante :

Sur votre ordinateur, téléchargez l'exemple DLR pour Raspberry Pi à partir de Exemples de machine learning.

Décompressez le fichier dlr-py3-armv7l.tar.gz téléchargé.

cd path-to-downloaded-sample
tar -xvzf dlr-py3-armv7l.tar.gz

Le répertoire examples de l'exemple de package extrait contient le code de fonction et les dépendances.

Compressez le contenu du répertoire examples dans un fichier nommé optimizedImageClassification.zip. Vous obtiendrez alors votre package de déploiement.

cd path-to-downloaded-sample/dlr-py3-armv7l/examples
zip -r optimizedImageClassification.zip .

Le package de déploiement contient votre code de fonction et vos dépendances. Cela inclut le code qui invoque les API Python de l'environnement d'exécution Neo Deep Learning pour effectuer une inférence avec les modèles de compilateur Neo Deep Learning.

Ajoutez maintenant la fonction Lambda à votre groupe Greengrass.

Sur la page de la console Lambda, choisissez Fonctions, puis sélectionnez Créer une fonction.

Choisissez Author à partir de zéro et utilisez les valeurs suivantes pour créer votre fonction :

Pour les autorisations, conservez le paramètre par défaut. Cela crée un rôle d'exécution qui accorde des autorisations Lambda de base. Ce rôle n'est pas utilisé par AWS IoT Greengrass.

Choisissez Créer une fonction.

Dans l'onglet Code, sous Source du code, choisissez Télécharger depuis. Dans la liste déroulante, choisissez le fichier .zip.

Choisissez votre package de optimizedImageClassification.zip déploiement, puis cliquez sur Enregistrer.

Dans l'onglet Code de la fonction, sous Paramètres d'exécution, choisissez Modifier, puis entrez les valeurs suivantes.

Choisissez Enregistrer.

Dans le menu Actions, sélectionnez Publier une nouvelle version.

Dans Description de la version, saisissez First version, puis choisissez Publish.

Sur la page de configuration optimisée ImageClassification : 1, dans le menu Actions, choisissez Créer un alias.

Sur la page Create a new alias, utilisez les valeurs suivantes :

Choisissez Créer.

Ajoutez maintenant la fonction Lambda à votre groupe Greengrass.

Dans le volet de navigation de la AWS IoT console, sous Gérer, développez les appareils Greengrass, puis choisissez Groupes (V1).

Sur la page de configuration des groupes, choisissez l'onglet Fonctions Lambda, puis sélectionnez Ajouter.

Choisissez la fonction Lambda et sélectionnez optimisé ImageClassification.

Dans la version de la fonction Lambda, choisissez l'alias de la version que vous avez publiée.

Dans la section Configuration de la fonction Lambda, effectuez les mises à jour suivantes.

1. Pour fonctionner sans conteneurisation :

   • Pour Utilisateur et groupe du système, choisissezAnother user ID/group ID. Dans le champ ID utilisateur du système, entrez0. Dans le champ ID du groupe système, entrez0.

     Cela permet à votre fonction Lambda de s'exécuter en tant que root. Pour plus d'informations sur l'exécution en tant que root, consultezDéfinition de l'identité d'accès par défaut pour les fonctions Lambda dans un groupe.

     Astuce

     Vous devez également mettre à jour votre config.json fichier pour accorder un accès root à votre fonction Lambda. Pour la procédure, voirExécution d'une fonction Lambda en tant que root.

   • Pour la conteneurisation de la fonction Lambda, choisissez Aucun conteneur.

     Pour plus d'informations sur l'exécution sans conteneurisation, consultez. Considérations à prendre en compte lors du choix de la conteneurisation des fonctions Lambda

   • Pour Expiration, entrez 10 seconds.

   • Pour Pinned, choisissez True.

     Pour de plus amples informations, veuillez consulter Configuration du cycle de vie pour les fonctions Greengrass Lambda.

   • Sous Paramètre supplémentaire, pour accéder en lecture au répertoire /sys, choisissez Activé.

2. Pour exécuter en mode conteneurisé à la place, procédez comme suit :

   Note

   Nous ne recommandons pas de fonctionner en mode conteneurisé, sauf si votre analyse de rentabilisation l'exige.

   • Pour Utilisateur et groupe du système, choisissez Utiliser le groupe par défaut.

   • Pour la conteneurisation des fonctions Lambda, choisissez Utiliser le groupe par défaut.

   • Pour Limite de mémoire, entrez 1024 MB.

   • Pour Expiration, entrez 10 seconds.

   • Pour Pinned, choisissez True.

     Pour de plus amples informations, veuillez consulter Configuration du cycle de vie pour les fonctions Greengrass Lambda.

   • Sous Paramètres supplémentaires, pour accéder en lecture au répertoire /sys, choisissez Activé.

Choisissez Ajouter une fonction Lambda.

Sur votre ordinateur, accédez au répertoire resnet50 de l'exemple de package que vous avez décompressé dans Étape 3 : Création d'une fonction Lambda d'inférence.

cd path-to-downloaded-sample/dlr-py3-armv7l/models/resnet50

Ce répertoire contient des artefacts de modèle précompilés pour un modèle de classification d'images avec Resnet-50 lequel vous avez été entraîné.

Compressez les fichiers du répertoire resnet50 dans un fichier nommé resnet50.zip.

zip -r resnet50.zip .

Sur la page de configuration de votre AWS IoT Greengrass groupe, choisissez l'onglet Ressources. Accédez à la section Machine Learning, choisissez Ajouter une ressource de Machine Learning. Sur la page Créer une ressource de Machine Learning, pour Nom de la ressource, entrez resnet50_model.

Pour Source du modèle, choisissez Utiliser un modèle stocké dans S3, tel qu'un modèle optimisé via Deep Learning Compiler.

Sous S3 URI, choisissez Browse S3.

Choisissez Charger un modèle.

Dans l'onglet de la console Amazon S3, chargez votre fichier zip dans un compartiment Amazon S3. Pour plus d'informations, voir Comment charger des fichiers et des dossiers vers un compartiment S3 ? dans le guide de l'utilisateur d'Amazon Simple Storage Service.

Dans l'onglet de la AWS IoT Greengrass console, localisez et choisissez votre compartiment Amazon S3. Localisez votre fichier chargé resnet50.zip, puis choisissez Sélectionner. Vous devrez peut-être actualiser la page pour mettre à jour la liste des compartiments et des fichiers disponibles.

Dans Chemin de destination, entrez/ml_model.

Il s'agit de la destination du modèle local dans l'espace de noms d'exécution Lambda. Lorsque vous déployez le groupe, il AWS IoT Greengrass récupère le package du modèle source, puis en extrait le contenu dans le répertoire spécifié.

En cas d'exécution en mode conteneurisé :

1. Sous Propriétaire du groupe système et autorisations d'accès aux fichiers, choisissez Spécifier le groupe système et les autorisations.

2. Choisissez Read-only Accès, puis sélectionnez Ajouter une ressource.

Sur la page de configuration du groupe, choisissez l'onglet Ressources.

Dans l'onglet Ressources locales, choisissez Ajouter une ressource locale.

Sur la page Ajouter une ressource locale, utilisez les valeurs suivantes :

Au bas de la page, choisissez Ajouter une ressource.

Dans l'onglet Ressources, créez une autre ressource locale en choisissant Ajouter et utilisez les valeurs suivantes :

Choisissez Add resource (Ajouter ressource).

Sur la page de configuration du groupe, choisissez l'onglet Abonnements, puis choisissez Ajouter un abonnement.

Sur la page Créer un abonnement, configurez la source et la cible comme suit :

1. Dans Type de source, choisissez Fonction Lambda, puis choisissez optimisé ImageClassification.

2. Dans Type de cible, choisissez Service, puis IoT Cloud.

3. Dans le filtre thématique, saisissez/resnet-50/predictions, puis choisissez Créer un abonnement.

Ajoutez un second abonnement. Choisissez l'onglet Abonnements, choisissez Ajouter un abonnement et configurez la source et la cible comme suit :

1. Dans Type de source, choisissez Services, puis IoT Cloud.

2. Dans Type de cible, choisissez Fonction Lambda, puis choisissez optimisé ImageClassification.

3. Dans le filtre thématique, saisissez/resnet-50/test, puis choisissez Créer un abonnement.

Assurez-vous que le AWS IoT Greengrass noyau fonctionne. Dans la fenêtre de terminal de votre Raspberry Pi, exécutez les commandes suivantes, si nécessaire.

1. Pour vérifier si le démon est en cours d'exécution :

   ps aux | grep -E 'greengrass.*daemon'

   Si la sortie contient une entrée root pour /greengrass/ggc/packages/latest-core-version/bin/daemon, le démon est en cours d'exécution.

2. Pour démarrer le démon :

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

Sur la page de configuration du groupe, choisissez Déployer.

Dans l'onglet Fonctions Lambda, sélectionnez Détecteur IP, puis sélectionnez Modifier.

Dans la boîte de dialogue Modifier les paramètres du détecteur IP, sélectionnez Détecter et remplacer automatiquement les points de terminaison du courtier MQTT et choisissez Enregistrer.

Les appareils peuvent ainsi acquérir automatiquement des informations de connectivité pour le noyau, telles que l'adresse IP, le DNS et le numéro de port. La détection automatique est recommandée, mais elle prend AWS IoT Greengrass également en charge les points de terminaison spécifiés manuellement. Vous êtes uniquement invité à indiquer la méthode de découverte lors du déploiement initial du groupe.

La page Déploiements indique l'horodatage, l'ID de version et l'état du déploiement. Une fois terminé, le statut affiché pour le déploiement doit être Terminé.

Pour de plus amples informations sur les déploiements, veuillez consulter Déploiement AWS IoT Greengrass groupes vers un AWS IoT Greengrass principal. Pour bénéficier d'une aide à la résolution des problèmes, consultez Résolution des problèmes AWS IoT Greengrass.

Sur la page d'accueil de la AWS IoT console, sous Test, choisissez le client de test MQTT.

Pour les abonnements, choisissez S'abonner à une rubrique. Utilisez les valeurs suivantes. Conservez les valeurs par défaut des autres options.

Choisissez Abonner.

Choisissez Publier dans une rubrique, entrez le /resnet-50/test nom de la rubrique, puis choisissez Publier.

Si le test réussit, le message publié provoque la capture d'une image par la caméra Raspberry Pi. Un message provenant de la fonction Lambda apparaît en bas de la page. Ce message contient le résultat des prédictions de l'image en utilisant le format suivant : nom de classe prédite, probabilité et utilisation de la mémoire.

Téléchargez des images statiques PNG ou JPG pour la fonction Lambda à utiliser pour la classification des images. L'exemple fonctionne mieux avec des fichiers image de petite taille.

Enregistrez vos fichiers image dans le répertoire qui contient le fichier inference.py (ou dans un sous-répertoire de ce répertoire). Cela se trouve dans le package de déploiement de la fonction Lambda que vous chargez. Étape 3 : Création d'une fonction Lambda d'inférence

Modifiez la configuration de la fonction Lambda. Suivez la procédure décrite dans Étape 4 : ajouter la fonction Lambda au groupe Greengrass.

1. Pour fonctionner sans conteneurisation :

   • Pour Utilisateur et groupe du système, choisissezAnother user ID/group ID. Dans le champ ID utilisateur du système, entrez0. Dans le champ ID du groupe système, entrez0.

     Cela permet à votre fonction Lambda de s'exécuter en tant que root. Pour plus d'informations sur l'exécution en tant que root, consultezDéfinition de l'identité d'accès par défaut pour les fonctions Lambda dans un groupe.

     Astuce

     Vous devez également mettre à jour votre config.json fichier pour accorder un accès root à votre fonction Lambda. Pour la procédure, voirExécution d'une fonction Lambda en tant que root.

   • Pour la conteneurisation de la fonction Lambda, choisissez Aucun conteneur.

     Pour plus d'informations sur l'exécution sans conteneurisation, consultez. Considérations à prendre en compte lors du choix de la conteneurisation des fonctions Lambda

   • Augmentez la valeur Expiration en la faisant passer à 2 minutes. Cela permet de s'assurer que la demande n'expire pas trop tôt. L'exécution de l'inférence nécessite quelques minutes après la configuration.

   • Pour Pinned, choisissez True.

   • Sous Paramètres supplémentaires, pour accéder en lecture au répertoire /sys, choisissez Activé.

2. Pour exécuter en mode conteneurisé à la place, procédez comme suit :

   Note

   Nous ne recommandons pas de fonctionner en mode conteneurisé, sauf si votre analyse de rentabilisation l'exige.

   • Augmentez la valeur Limite de mémoire en la faisant passer à 3 000 Mo.

   • Augmentez la valeur Expiration en la faisant passer à 2 minutes. Cela permet de s'assurer que la demande n'expire pas trop tôt. L'exécution de l'inférence nécessite quelques minutes après la configuration.

   • Pour Pinned, choisissez True.

   • Sous Paramètres supplémentaires, pour accéder en lecture au répertoire /sys, choisissez Activé.

Ajoutez votre ressource Neo-optimized modèle au groupe. Téléchargez les ressources du modèle dans le répertoire resnet50 de l'exemple de package que vous avez décompressé dans Étape 3 : Création d'une fonction Lambda d'inférence. Ce répertoire contient des artefacts de modèle précompilés pour un modèle de classification d'images avec Resnet-50 lequel vous avez été entraîné. Exécutez la procédure décrite dans Étape 5 : Ajouter une ressource de Neo-optimized modèle d' SageMaker IA au groupe Greengrass en appliquant les mises à jour qui suivent :

Si vous utilisez le mode conteneurisé, ajoutez la ressource d'appareil locale requise pour autoriser l'accès au GPU de votre appareil.

1. Sur la page de configuration du groupe, choisissez l'onglet Ressources.

2. Dans la section Ressources locales, choisissez Ajouter une ressource locale.

3. Définissez la ressource :

   • Sous Resource Name (Nom de la ressource), entrez renderD128.

   • Pour Type de ressource, choisissez Appareil.

   • Dans le champ Local device path, entrez/dev/dri/renderD128.

   • Pour le propriétaire du groupe de systèmes et les autorisations d'accès aux fichiers, choisissez Ajouter automatiquement les autorisations de système de fichiers du groupe système propriétaire de la ressource.

Assurez-vous que votre appareil Jetson est configuré pour pouvoir installer le logiciel AWS IoT Greengrass Core et utiliser le GPU à des fins d'inférence. Pour de plus amples informations sur la configuration de votre appareil, veuillez consulter Configuration d'autres appareils. Pour utiliser le GPU à des fins d'inférence sur une NVIDIA Jetson TX2, vous devez installer CUDA 10.0 et cuDNN 7.0 sur votre appareil lorsque vous créez une image de votre carte avec Jetpack 4.3.

Téléchargez des images statiques PNG ou JPG pour la fonction Lambda à utiliser pour la classification des images. L'exemple fonctionne mieux avec des fichiers image de petite taille.

Enregistrez vos fichiers image dans le répertoire contenant le fichier inference.py. Vous pouvez également les enregistrer dans un sous-répertoire de ce répertoire. Ce répertoire se trouve dans le package de déploiement de la fonction Lambda que vous chargez. Étape 3 : Création d'une fonction Lambda d'inférence

Modifiez la configuration de la fonction Lambda. Suivez la procédure décrite dans Étape 4 : ajouter la fonction Lambda au groupe Greengrass.

1. Pour fonctionner sans conteneurisation :

   • Pour Exécuter en tant que, choisissezAnother user ID/group ID. Dans le champ UID, entrez0. Dans le champ GUID, entrez0.

     Cela permet à votre fonction Lambda de s'exécuter en tant que root. Pour plus d'informations sur l'exécution en tant que root, consultezDéfinition de l'identité d'accès par défaut pour les fonctions Lambda dans un groupe.

     Astuce

     Vous devez également mettre à jour votre config.json fichier pour accorder un accès root à votre fonction Lambda. Pour la procédure, voirExécution d'une fonction Lambda en tant que root.

   • Pour la conteneurisation de la fonction Lambda, choisissez Aucun conteneur.

     Pour plus d'informations sur l'exécution sans conteneurisation, consultez. Considérations à prendre en compte lors du choix de la conteneurisation des fonctions Lambda

   • Augmentez la valeur Expiration en la faisant passer à 5 minutes. Cela permet de s'assurer que la demande n'expire pas trop tôt. L'exécution de l'inférence nécessite quelques minutes après la configuration.

   • Pour Pinned, choisissez True.

   • Sous Paramètres supplémentaires, pour accéder en lecture au répertoire /sys, choisissez Activé.

2. Pour exécuter en mode conteneurisé à la place, procédez comme suit :

   Note

   Nous ne recommandons pas de fonctionner en mode conteneurisé, sauf si votre analyse de rentabilisation l'exige.

   • Augmentez la valeur Limite de mémoire. Pour utiliser le modèle fourni en mode GPU (processeur graphique), utilisez au moins 2000 Mo.

   • Augmentez la valeur Expiration en la faisant passer à 5 minutes. Cela permet de s'assurer que la demande n'expire pas trop tôt. L'exécution de l'inférence nécessite quelques minutes après la configuration.

   • Pour Pinned, choisissez True.

   • Sous Paramètres supplémentaires, pour accéder en lecture au répertoire /sys, choisissez Activé.

Ajoutez votre ressource Neo-optimized modèle au groupe. Téléchargez les ressources du modèle dans le répertoire resnet18 de l'exemple de package que vous avez décompressé dans Étape 3 : Création d'une fonction Lambda d'inférence. Ce répertoire contient des artefacts de modèle précompilés pour un modèle de classification d'images avec Resnet-18 lequel vous avez été entraîné. Exécutez la procédure décrite dans Étape 5 : Ajouter une ressource de Neo-optimized modèle d' SageMaker IA au groupe Greengrass en appliquant les mises à jour qui suivent :

Si vous utilisez le mode conteneurisé, ajoutez les ressources locales requises pour autoriser l'accès au GPU de votre appareil.

1. Sur la page de configuration du groupe, choisissez l'onglet Ressources.

2. Dans la section Ressources locales, choisissez Ajouter une ressource locale.

3. Définissez chaque ressource :

   • Pour Resource name (Nom de la ressource ) et Device path, (Chemin de l'appareil), utilisez les valeurs du tableau suivant. Créez une ressource de périphérique pour chaque ligne de la table.

   • Pour Type de ressource, choisissez Appareil.

   • Pour le propriétaire du groupe de systèmes et les autorisations d'accès aux fichiers, choisissez Ajouter automatiquement les autorisations de système de fichiers du groupe système propriétaire de la ressource.

      

     Nom	Chemin de l'appareil
     nvhost-ctrl	/dev/nvhost-ctrl
     nvhost-gpu	/dev/nvhost-processeur graphique
     nvhost-ctrl-gpu	/dev/nvhost-ctrl-gpu
     nvhost-dbg-gpu	/dev/nvhost-dbg-gpu
     nvhost-prof-gpu	/dev/nvhost-prof-gpu
     nvmap	/dev/nvmap
     nvhost-vic	/dev/nvhost-victime
     tegra_dc_ctrl	/dev/tegra_dc_ctrl

Si vous utilisez le mode conteneurisé, ajoutez la ressource de volume locale suivante pour autoriser l'accès à la caméra de votre appareil. Suivez la procédure décrite dans Étape 5 : Ajouter une ressource de Neo-optimized modèle d' SageMaker IA au groupe Greengrass.

Mettez à jour vos abonnements de groupe pour utiliser le répertoire correct. Exécutez la procédure décrite dans Étape 7 : Ajouter des abonnements au groupe Greengrass en appliquant les mises à jour qui suivent :

Mettez à jour vos abonnements de test pour utiliser le répertoire correct. Exécutez la procédure décrite dans Tester l'exemple d'inférence en appliquant les mises à jour qui suivent :

Connectez-vous en tant qu'utilisateur racine et accédez au répertoire log. L'accès aux AWS IoT Greengrass journaux nécessite des autorisations root.

sudo su
cd /greengrass/ggc/var/log

Vérifiez s'il runtime.log y a des erreurs.

cat system/runtime.log | grep 'ERROR'

Vous pouvez également rechercher d'éventuelles erreurs dans le journal de la fonction Lambda défini par l'utilisateur :

cat user/your-region/your-account-id/lambda-function-name.log | grep 'ERROR'

Pour de plus amples informations, veuillez consulter Résolution des problèmes liés aux journaux.

Répertoriez le contenu du Lambda déployé dans le /lambda répertoire. Remplacez les valeurs d'espace réservé avant d'exécuter la commande.

cd /greengrass/ggc/deployment/lambda/arn:aws:lambda:region:account:function:function-name:function-version
ls -la

Vérifiez que le répertoire contient le même contenu que le package de déploiement optimizedImageClassification.zip que vous avez chargé dans Étape 3 : Création d'une fonction Lambda d'inférence.

Assurez-vous que les fichiers .py et les dépendances se trouvent dans la racine du répertoire.

Trouvez le numéro d'identification du processus (PID) du processus d'exécution Lambda :

ps aux | grep lambda-function-name

Dans la sortie, le PID apparaît dans la deuxième colonne de la ligne du processus d'exécution Lambda.

Entrez l'espace de noms d'exécution Lambda. Veillez à remplacer la pid valeur de l'espace réservé avant d'exécuter la commande.

sudo nsenter -t pid -m /bin/bash

Affichez le contenu du répertoire local que vous avez spécifié comme ressource de ML.

cd /ml_model
ls -ls

Vous devriez voir les fichiers suivants :

    56 -rw-r--r-- 1 ggc_user ggc_group     56703 Oct 29 20:07 model.json
196152 -rw-r--r-- 1 ggc_user ggc_group 200855043 Oct 29 20:08 model.params
   256 -rw-r--r-- 1 ggc_user ggc_group    261848 Oct 29 20:07 model.so
    32 -rw-r--r-- 1 ggc_user ggc_group     30564 Oct 29 20:08 synset.txt