Connecteur de détection d'objets ML

Les connecteurs ML Object Detection fournissent un service d'inférence d'apprentissage automatique (ML) qui s'exécute sur le AWS IoT Greengrass cœur. Ce service d'inférence local effectue la détection d'objets à l'aide d'un modèle de détection d'objets compilé par le compilateur d'apprentissage profond SageMaker AI Neo. Deux types de modèles de détection d'objets sont pris en charge : Single Shot Multibox Detector (SSD) et You Only Look Once (YOLO) v3. Pour plus d'informations, consultez Exigences du modèle de détection d'objets.

Les fonctions Lambda définies par l'utilisateur utilisent le SDK Machine AWS IoT Greengrass Learning pour envoyer des demandes d'inférence au service d'inférence local. Le service effectue l'inférence locale sur une image d'entrée et renvoie une liste de prédictions pour chaque objet détecté dans l'image. Chaque prédiction contient une catégorie d'objet, un score de fiabilité de prédiction et des coordonnées en pixels qui spécifient un cadre de délimitation autour de l'objet prédit.

AWS IoT Greengrass fournit des connecteurs de détection d'objets ML pour plusieurs plateformes :

Prérequis

Ces connecteurs possèdent les exigences suivantes :

Exigences du modèle de détection d'objets

Les connecteurs ML Object Detection prennent en charge les modèles de détection d'objets Single Shot multibox Detector (SSD) et You Only Look Once (YOLO) v3. Vous pouvez utiliser les composants de détection d'objets fournis par GluonCV pour former le modèle avec votre propre ensemble de données. Vous pouvez également utiliser des modèles préformés depuis GluonCV Model Zoo :

Votre modèle de détection d'objets doit être formé avec 512 x 512 images d'entrée. Les modèles préformés du GluonCV Model Zoo répondent déjà à cette exigence.

Les modèles de détection d'objets entraînés doivent être compilés avec le compilateur d'apprentissage profond SageMaker AI Neo. Lors de la compilation, assurez-vous que le matériel cible correspond au matériel de votre appareil Greengrass principal. Pour plus d'informations, consultez SageMaker AI Neo dans le manuel Amazon SageMaker AI Developer Guide.

Le modèle compilé doit être ajouté en tant que ressource ML (source du modèle Amazon S3) au même groupe Greengrass que le connecteur.

Paramètres du connecteur

Ces connecteurs fournissent les paramètres suivants.

Exemple de création de connecteur (AWS CLI)

La commande CLI suivante crée un ConnectorDefinition avec une version initiale contenant un connecteur de détection d'objets ML. Cet exemple crée une instance du ARMv7l connecteur ML Object Detection.

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

Dans la AWS IoT Greengrass console, vous pouvez ajouter un connecteur depuis la page Connecteurs du groupe. Pour de plus amples informations, veuillez consulter Mise en route avec les connecteurs Greengrass (console).

Données d'entrée

Ces connecteurs acceptent un fichier image comme entrée. Les fichiers image d'entrée doivent être au format jpeg ou png. Pour de plus amples informations, veuillez consulter Exemple d'utilisation.

Ces connecteurs n'acceptent pas les messages MQTT comme données d'entrée.

Données de sortie

Ces connecteurs renvoient une liste formatée des résultats de prédiction pour les objets identifiés dans l'image d'entrée :

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

Chaque prédiction de la liste est contenue entre crochets et contient six valeurs :

Ces connecteurs ne publient pas les messages MQTT sous forme de données de sortie.

Exemple d'utilisation

L'exemple de fonction Lambda suivant utilise le SDK AWS IoT Greengrass Machine Learning pour interagir avec un connecteur ML Object Detection.

L'exemple initialise un client de kit de développement logiciel et appelle de façon synchrone la fonction invoke_inference_service du SDK pour appeler le service d'inférence local. Il transmet le type d'algorithme, le nom de service, le type d'image et le contenu de l'image. Ensuite, l'exemple analyse la réponse du service pour obtenir les résultats probables (prédictions).

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

La invoke_inference_service fonction du SDK AWS IoT Greengrass Machine Learning accepte les arguments suivants.

Installation des dépendances du runtime Neo Deep Learning sur le AWS IoT Greengrass noyau

Les connecteurs ML Object Detection sont fournis avec le moteur d'apprentissage profond (DLR) SageMaker AI Neo. Les connecteurs utilisent le runtime pour servir le modèle d'apprentissage-machine. Pour utiliser ces connecteurs, vous devez installer les dépendances pour le DLR sur votre appareil principal.

Avant d'installer les dépendances MXNet, assurez-vous que les bibliothèques système requises (avec les versions minimales spécifiées) sont présentes sur l'appareil.

Journalisation et résolution des problèmes

Selon les paramètres de votre groupe, les journaux d'événements et d'erreurs sont écrits dans CloudWatch Logs, dans le système de fichiers local, ou dans les deux. Les journaux de ce connecteur utilisent le préfixe LocalInferenceServiceName. Si le connecteur se comporte de manière inattendue, vérifiez les journaux du connecteur. Ces derniers contiennent généralement des informations de débogage utiles, telles que les dépendances de bibliothèque ML manquantes ou la cause d'une panne de démarrage d'un connecteur.

Si le AWS IoT Greengrass groupe est configuré pour écrire des journaux locaux, le connecteur écrit des fichiers journaux dansgreengrass-root/ggc/var/log/user/region/aws/. Pour plus d'informations sur la journalisation de Greengrass, consultez. Surveillance à l'aide de AWS IoT Greengrass journaux

Utilisez les informations suivantes pour résoudre les problèmes liés aux connecteurs ML Object Detection.

Bibliothèques système requises

Les onglets suivants répertorient les bibliothèques système requises pour chaque connecteur ML Object Detection.

Problèmes

sudo ln /dev/null /dev/raw1394

Licences

Les connecteurs ML Object Detection incluent les logiciels/licences tiers suivants :

Ce connecteur est publié dans le cadre du contrat de licence logicielle Greengrass Core.

Consultez aussi