Connettore ML Object Detection

I connettori ML Object Detection forniscono un servizio di inferenza di machine learning (ML) che viene eseguito sul core. AWS IoT Greengrass Questo servizio di inferenza locale esegue il rilevamento degli oggetti utilizzando un modello di rilevamento degli oggetti compilato dal compilatore di deep learning SageMaker AI Neo. Sono supportati due tipi di modelli di rilevamento dell'oggetto: Single Shot Multibox Detector (SSD) e You Only Look Once (YOLO) v3. Per ulteriori informazioni, consulta la sezione relativa ai requisiti del modello di rilevamento dell'oggetto.

Le funzioni Lambda definite dall'utente utilizzano il Machine AWS IoT Greengrass Learning SDK per inviare richieste di inferenza al servizio di inferenza locale. Il servizio esegue l'inferenza locale su un'immagine di input e restituisce un elenco di previsioni per ogni oggetto rilevato nell'immagine. Ogni previsione contiene una categoria dell'oggetto, un punteggio di affidabilità della previsione e le coordinate dei pixel che specificano un riquadro di delimitazione intorno all'oggetto previsto.

AWS IoT Greengrass fornisce connettori ML Object Detection per più piattaforme:

Requisiti

Questi connettori presentano i seguenti requisiti:

Requisiti del modello di rilevamento dell'oggetto

I connettori ML Object Detection supportano i modelli di rilevamento di oggetti Single Shot multibox Detector (SSD) e You Only Look Once (YOLO) v3. Puoi utilizzare i componenti di rilevamento dell'oggetto forniti da GluonCV per eseguire il training del modello con il tuo set di dati. In alternativa, puoi utilizzare modelli pre-formati da GluonCV Model Zoo:

Il training del modello di rilevamento dell'oggetto deve essere eseguito con immagini di input 512 x 512. I modelli pre-formati da GluonCV Model Zoo soddisfano già questo requisito.

I modelli di rilevamento di oggetti addestrati devono essere compilati con il compilatore di deep learning AI Neo. SageMaker Durante la compilazione, assicurati che l'hardware di destinazione corrisponda all'hardware del dispositivo core Greengrass. Per ulteriori informazioni, consulta SageMaker AI Neo nella Amazon SageMaker AI Developer Guide.

Il modello compilato deve essere aggiunto come risorsa ML (origine del modello Amazon S3) allo stesso gruppo Greengrass del connettore.

Parametri del connettore

Questi connettori forniscono i seguenti parametri.

Esempio di creazione di un connettore (AWS CLI)

Il seguente comando CLI crea una ConnectorDefinition versione iniziale che contiene un connettore ML Object Detection. Questo esempio crea un'istanza del ARMv7l connettore ML Object Detection.

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

Nella AWS IoT Greengrass console, puoi aggiungere un connettore dalla pagina Connettori del gruppo. Per ulteriori informazioni, consulta Nozioni di base sui connettori Greengrass (console).

Dati di input

Questi connettori accettano un file di immagine come input. I file di immagine di input devono essere in formato png o jpeg. Per ulteriori informazioni, consulta Esempio di utilizzo.

Questi connettori non accettano messaggi MQTT come dati di input.

Dati di output

Questi connettori restituiscono un elenco formattato di risultati delle previsioni per gli oggetti identificati nell'immagine di input:

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

Ogni previsione nell'elenco è contenuta tra parentesi quadre e contiene sei valori:

Questi connettori non pubblicano messaggi MQTT come dati di output.

Esempio di utilizzo

L'esempio seguente della funzione Lambda utilizza il AWS IoT Greengrass Machine Learning SDK per interagire con un connettore ML Object Detection.

In questo esempio viene inizializzato un client SDK e viene chiamata in modo sincrono la funzione invoke_inference_service di SDK per richiamare il servizio di inferenza locale. Trasferisce il tipo di algoritmo, il nome del servizio, il tipo di immagine e il contenuto dell'immagine. Quindi, l'esempio analizza la risposta del servizio per ottenere i risultati di probabilità (previsioni).

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

La invoke_inference_service funzione nel AWS IoT Greengrass Machine Learning SDK accetta i seguenti argomenti.

Installazione delle dipendenze del runtime di Neo Deep Learning sul core AWS IoT Greengrass

I connettori ML Object Detection sono forniti in bundle con il deep learning runtime (DLR) SageMaker AI Neo. I connettori utilizzano il runtime per servire il modello ML. Per utilizzare questi connettori, devi installare le dipendenze per il DLR sul dispositivo core.

Prima di installare le dipendenze DLR, assicurati che le librerie di sistema richieste (nelle versioni minime specificate) siano presenti sul dispositivo.

Registrazione e risoluzione dei problemi

A seconda delle impostazioni del gruppo, i registri degli eventi e degli errori vengono scritti CloudWatch nei registri, nel file system locale o in entrambi. I log di questo connettore utilizzano il prefisso LocalInferenceServiceName. Se il connettore si comporta inaspettatamente, controlla i log del connettore. Questi di solito contengono utili informazioni di debug, ad esempio una dipendenza della libreria ML mancante o la causa di un errore di avvio del connettore.

Se il AWS IoT Greengrass gruppo è configurato per scrivere registri locali, il connettore scrive i file di registro su. greengrass-root/ggc/var/log/user/region/aws/ Per ulteriori informazioni sulla registrazione di Greengrass, vedere. Monitoraggio con i log AWS IoT Greengrass

Utilizzate le seguenti informazioni per risolvere i problemi relativi ai connettori ML Object Detection.

Librerie di sistema richieste

Le seguenti schede elencano le librerie di sistema necessarie per ogni connettore ML Object Detection.

Problemi

sudo ln /dev/null /dev/raw1394

Licenze

I connettori ML Object Detection includono i seguenti software/licenze di terze parti:

Questo connettore è rilasciato ai sensi del contratto di licenza del software Greengrass Core.

Consulta anche