Come configurare l'inferenza di Machine Learning ottimizzata mediante la AWS Management Console

Installare gli aggiornamenti in Raspbian.

sudo apt-get update
sudo apt-get dist-upgrade

Installare l'interfaccia picamera per il modulo della telecamera e le altre librerie Python necessarie per questo tutorial.

sudo apt-get install -y python3-dev python3-setuptools python3-pip python3-picamera

Convalidare l'installazione:

Riavvia il dispositivo Raspberry Pi.

sudo reboot

Apri lo strumento di configurazione di Raspberry Pi.

sudo raspi-config

Utilizza i tasti freccia per aprire Interfacing Options (Opzioni di interfaccia) e abilita l'interfaccia della telecamera. Se richiesto, consenti il riavvio del dispositivo.

Utilizza il seguente comando per eseguire il test della configurazione della telecamera.

raspistill -v -o test.jpg

Viene visualizzata una finestra di anteprima sul dispositivo Raspberry Pi, viene salvata un'immagine denominata test.jpg nella directory corrente e vengono visualizzati informazioni sulla telecamera nel terminale Raspberry Pi.

Accedere al Raspberry Pi da remoto.

ssh pi@your-device-ip-address

Aprire la documentazione DLR, aprire Installazione DLR e individuare il wheel URL dei dispositivi Raspberry Pi. Seguire quindi le istruzioni per installare il DLR sul dispositivo. Ad esempio, è possibile utilizzare pip:

pip3 install rasp3b-wheel-url

Dopo aver installato il DLR, convalidare la seguente configurazione:

Sul computer, scaricare l'esempio DLR per Raspberry Pi da Esempi di Machine Learning.

Decomprimere il file dlr-py3-armv7l.tar.gz scaricato.

cd path-to-downloaded-sample
tar -xvzf dlr-py3-armv7l.tar.gz

La directory examples nel pacchetto di esempio estratto contiene il codice di funzione e le dipendenze.

Comprimere il contenuto della directory examples in un file denominato optimizedImageClassification.zip. Questo è il pacchetto di distribuzione.

cd path-to-downloaded-sample/dlr-py3-armv7l/examples
zip -r optimizedImageClassification.zip .

Il pacchetto di distribuzione contiene il codice di funzione e le dipendenze. Ciò include il codice che richiama il runtime di Neo deep learning Python APIs per eseguire inferenze con i modelli del compilatore Neo deep learning.

Ora aggiungete la funzione Lambda al vostro gruppo Greengrass.

Dalla pagina della console Lambda, scegli Funzioni e scegli Crea funzione.

Scegli Author da zero e usa i seguenti valori per creare la tua funzione:

Per le autorizzazioni, mantieni l'impostazione predefinita. Questo crea un ruolo di esecuzione che concede le autorizzazioni Lambda di base. Questo ruolo non viene utilizzato da. AWS IoT Greengrass

Scegli Crea funzione.

Nella scheda Codice, in Codice sorgente, scegli Carica da. Dal menu a discesa, scegli un file.zip.

Scegli il pacchetto optimizedImageClassification.zip di distribuzione, quindi scegli Salva.

Nella scheda Codice della funzione, in Impostazioni di runtime, scegli Modifica, quindi inserisci i seguenti valori.

Seleziona Salva.

Nel menu Actions (Operazioni), seleziona Publish new version (Pubblica nuova versione).

Per Version description (Descrizione versione), immettere First version, quindi scegliere Publish (Pubblica).

Nella pagina di configurazione optimizedImageClassification: 1, dal menu Azioni, scegli Crea alias.

Nella pagina Create a new alias (Crea un nuovo alias), utilizza i seguenti valori:

Scegli Create (Crea) .

Ora aggiungete la funzione Lambda al vostro gruppo Greengrass.

Nel riquadro di navigazione della AWS IoT console, in Gestione, espandi i dispositivi Greengrass, quindi scegli Gruppi (V1).

Nella pagina di configurazione dei gruppi, scegli la scheda Funzioni Lambda e scegli Aggiungi.

Scegli la funzione Lambda e seleziona. optimizedImageClassification

Nella versione della funzione Lambda, scegli l'alias della versione che hai pubblicato.

Nella sezione di configurazione della funzione Lambda, apporta i seguenti aggiornamenti.

1. Per eseguire senza containerizzazione:

   • Per Utente e gruppo di sistema, scegli. Another user ID/group ID Per ID utente di sistema, immettere0. Per ID del gruppo di sistema, immettere0.

     Ciò consente alla funzione Lambda di funzionare come root. Per ulteriori informazioni sull'esecuzione come root, consultaImpostazione dell'identità di accesso predefinita per le funzioni Lambda in un gruppo.

     Suggerimento

     È inoltre necessario aggiornare il config.json file per concedere l'accesso root alla funzione Lambda. Per la procedura, vediEsecuzione di una funzione Lambda come utente root.

   • Per la containerizzazione della funzione Lambda, scegli Nessun contenitore.

     Per ulteriori informazioni sull'esecuzione senza containerizzazione, consulta. Considerazioni sulla scelta della containerizzazione delle funzioni Lambda

   • Per Timeout, immettere 10 seconds.

   • Per Pinned, scegli True.

     Per ulteriori informazioni, consulta Configurazione del ciclo di vita per le funzioni Greengrass Lambda.

   • In Parametro aggiuntivo, per Accesso in lettura alla directory /sys, scegli Abilitato.

2. Per eseguire invece in modalità containerizzata:

   Nota

   Si sconsiglia l'esecuzione in modalità containerizzata a meno che il business case non lo richieda.

   • Per Utente e gruppo di sistema, scegli Usa i valori predefiniti del gruppo.

   • Per la containerizzazione delle funzioni Lambda, scegli Usa default di gruppo.

   • Per Memory limit (Limite memoria), immettere 1024 MB.

   • Per Timeout, immettere 10 seconds.

   • Per Pinned, scegli True.

     Per ulteriori informazioni, consulta Configurazione del ciclo di vita per le funzioni Greengrass Lambda.

   • In Parametri aggiuntivi, per Accesso in lettura alla directory /sys, scegli Abilitato.

Scegli Aggiungi funzione Lambda.

Nel computer, passare alla directory resnet50 nel pacchetto di esempio decompresso in Fase 3: Creare una funzione Lambda di inferenza.

cd path-to-downloaded-sample/dlr-py3-armv7l/models/resnet50

Questa directory contiene artefatti di modelli precompilati di un modello di classificazione delle immagini basato su Resnet-50.

Comprimere i file all'interno della directory resnet50 in un file denominato resnet50.zip.

zip -r resnet50.zip .

Nella pagina di configurazione del AWS IoT Greengrass gruppo, scegli la scheda Risorse. Accedi alla sezione Machine Learning e scegli Add Machine Learning resource (Aggiungi risorsa Machine Learning). Nella pagina Create a Machine Learning resource (Crea una risorsa Machine Learning), per Resource name (Nome risorsa), immetti resnet50_model.

Per Model source, scegli Usa un modello archiviato in S3, ad esempio un modello ottimizzato tramite Deep Learning Compiler.

In URI S3, scegli Browse S3.

Scegli Upload a model (Carica un modello).

Nella scheda della console Amazon S3, carica il file zip in un bucket Amazon S3. Per informazioni, vedi Come faccio a caricare file e cartelle in un bucket S3? nella Guida per l'utente di Amazon Simple Storage Service.

Nella scheda AWS IoT Greengrass console, individua e scegli il tuo bucket Amazon S3. Individuare e il file resnet50.zip caricato e scegliere Select (Seleziona). Potrebbe essere necessario aggiornare la pagina per aggiornare l'elenco dei bucket e dei file disponibili.

In Percorso di destinazione, inserisci. /ml_model

Questa è la destinazione del modello locale nello spazio dei nomi di runtime Lambda. Quando distribuisci il gruppo, AWS IoT Greengrass recupera il pacchetto del modello sorgente e quindi estrae il contenuto nella directory specificata.

Se è in esecuzione in modalità containerizzata:

1. In Proprietario del gruppo di sistema e autorizzazioni di accesso ai file, scegli Specificare il gruppo di sistema e le autorizzazioni.

2. Scegli Accesso in sola lettura, quindi scegli Aggiungi risorsa.

Nella pagina di configurazione del gruppo, scegli la scheda Risorse.

Nella scheda Risorse locali, scegli Aggiungi risorsa locale.

Nella pagina Aggiungi una risorsa locale, utilizza i seguenti valori:

Nella parte inferiore della pagina, scegli Aggiungi risorsa.

Dalla scheda Risorse, crea un'altra risorsa locale scegliendo Aggiungi e utilizza i seguenti valori:

Scegliere Add resource (Aggiungi risorsa).

Nella pagina di configurazione del gruppo, scegli la scheda Abbonamenti, quindi scegli Aggiungi abbonamento.

Nella pagina Crea un abbonamento, configura l'origine e la destinazione come segue:

1. In Tipo di sorgente, scegli Funzione Lambda, quindi scegli. optimizedImageClassification

2. Nel tipo di Target, scegli Servizio, quindi scegli IoT Cloud.

3. Nel filtro Argomento/resnet-50/predictions, inserisci, quindi scegli Crea abbonamento.

Aggiungere un secondo abbonamento. Scegli la scheda Abbonamenti, scegli Aggiungi abbonamento e configura l'origine e la destinazione come segue:

1. In Tipo di origine, scegli Servizi, quindi scegli IoT Cloud.

2. In Tipo di destinazione, scegli Funzione Lambda, quindi scegli. optimizedImageClassification

3. Nel filtro Argomento, inserisci/resnet-50/test, quindi scegli Crea abbonamento.

Assicurati che il AWS IoT Greengrass core sia in esecuzione. Esegui i seguenti comandi nel terminale di Raspberry Pi in base alle esigenze.

1. Per controllare se il daemon è in esecuzione:

   ps aux | grep -E 'greengrass.*daemon'

   Se l'output contiene una voce root per /greengrass/ggc/packages/latest-core-version/bin/daemon, allora il daemon è in esecuzione.

2. Per avviare il demone:

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

Nella pagina di configurazione del gruppo, scegli Deploy.

Nella scheda Funzioni Lambda, seleziona Rilevatore IP e scegli Modifica.

Nella finestra di dialogo Modifica impostazioni del rilevatore IP, seleziona Rileva automaticamente e sostituisci gli endpoint del broker MQTT e scegli Salva.

Questo consente ai dispositivi di acquisire automaticamente informazioni di base sulla connettività, come, ad esempio indirizzo IP, DNS e numero della porta. Il rilevamento automatico è consigliato, ma supporta AWS IoT Greengrass anche gli endpoint specificati manualmente. Ti viene chiesto il metodo di individuazione solo la prima volta che il gruppo viene distribuito.

Nella pagina Deployments (Distribuzioni) vengono visualizzati il timestamp della distribuzione, l'ID versione e lo stato. Una volta completata, lo stato visualizzato per la distribuzione dovrebbe essere Completato.

Per ulteriori informazioni sulle implementazioni, consulta Distribuzione di gruppi AWS IoT Greengrass in un AWS IoT Greengrass Core. Per la risoluzione dei problemi, consultare Risoluzione dei problemi relativi a AWS IoT Greengrass.

Nella home page della AWS IoT console, in Test, scegli MQTT test client.

Per gli abbonamenti, scegliete Iscriviti a un argomento. Utilizzare i seguenti valori. Non modificare i valori predefiniti delle altre opzioni:

Scegliere Subscribe (Effettua sottoscrizione).

Scegliete Pubblica su un argomento, immettetelo /resnet-50/test come nome dell'argomento e scegliete Pubblica.

Se il test viene completato senza errori, il messaggio pubblicato richiederà a Raspberry Pi di acquisire un'immagine. Nella parte inferiore della pagina viene visualizzato un messaggio della funzione Lambda. Questo messaggio contiene il risultato predittivo dell'immagine nel formato: nome classe prevista, probabilità e picco di utilizzo della memoria.

Scarica immagini PNG o JPG statiche per la funzione Lambda da utilizzare per la classificazione delle immagini. L'esempio funziona in modo ottimale con file immagine di dimensioni ridotte.

Salva i file immagine nella directory contenente il file inference.py (o in una sottodirectory di questa directory). Si trova nel pacchetto di distribuzione della funzione Lambda in cui carichi. Fase 3: Creare una funzione Lambda di inferenza

Modifica la configurazione della funzione Lambda. Segui la procedura riportata in Fase 4: Aggiungere la funzione Lambda al gruppo Greengrass.

1. Per eseguire senza containerizzazione:

   • Per Utente e gruppo di sistema, scegli. Another user ID/group ID Per ID utente di sistema, immettere0. Per ID del gruppo di sistema, immettere0.

     Ciò consente alla funzione Lambda di funzionare come root. Per ulteriori informazioni sull'esecuzione come root, consultaImpostazione dell'identità di accesso predefinita per le funzioni Lambda in un gruppo.

     Suggerimento

     È inoltre necessario aggiornare il config.json file per concedere l'accesso root alla funzione Lambda. Per la procedura, vediEsecuzione di una funzione Lambda come utente root.

   • Per la containerizzazione della funzione Lambda, scegli Nessun contenitore.

     Per ulteriori informazioni sull'esecuzione senza containerizzazione, consulta. Considerazioni sulla scelta della containerizzazione delle funzioni Lambda

   • Aumenta il valore di Timeout a 2 minuti. In questo modo, il timeout della richiesta non viene eseguito troppo presto. L'esecuzione dell'inferenza richiede alcuni minuti dopo la configurazione.

   • Per Pinned, scegli True.

   • In Parametri aggiuntivi, per Accesso in lettura alla directory /sys, scegli Abilitato.

2. Per eseguire invece in modalità containerizzata:

   Nota

   Si sconsiglia l'esecuzione in modalità containerizzata a meno che il business case non lo richieda.

   • Aumenta il valore di Memory limit (Limite memoria) a 3000 MB.

   • Aumenta il valore di Timeout a 2 minuti. In questo modo, il timeout della richiesta non viene eseguito troppo presto. L'esecuzione dell'inferenza richiede alcuni minuti dopo la configurazione.

   • Per Pinned, scegli True.

   • In Parametri aggiuntivi, per Accesso in lettura alla directory /sys, scegli Abilitato.

Aggiungere la risorsa del modello ottimizzato Neo al gruppo Caricare le risorse del modello nella directory resnet50 del pacchetto di esempio decompresso in Fase 3: Creare una funzione Lambda di inferenza. Questa directory contiene artefatti di modelli precompilati di un modello di classificazione delle immagini basato su Resnet-50. Segui la procedura descritta in Passaggio 5: aggiungere una risorsa modello ottimizzata per SageMaker AI NEO al gruppo Greengrass, con i seguenti aggiornamenti:

Se è in esecuzione in modalità containerizzata, aggiungi la risorsa del dispositivo locale richiesta per concedere l'accesso alla GPU del dispositivo.

1. Nella pagina di configurazione del gruppo, scegli la scheda Risorse.

2. Nella sezione Risorse locali, scegli Aggiungi risorsa locale.

3. Definisci la risorsa:

   • Per Resource Name (Nome risorsa) immetti renderD128.

   • Per Resource type (Tipo di risorsa), scegli Device (Dispositivo).

   • Per Percorso del dispositivo locale, immettere/dev/dri/renderD128.

   • Per il proprietario del gruppo di sistema e le autorizzazioni di accesso ai file, scegli Aggiungi automaticamente le autorizzazioni del file system del gruppo di sistema proprietario della risorsa.

Assicurati che il tuo dispositivo Jetson sia configurato in modo da poter installare il software AWS IoT Greengrass Core e utilizzare la GPU per l'inferenza. Per ulteriori informazioni sulla configurazione del dispositivo, consulta Configurazione di altri dispositivi. Per utilizzare la GPU per l'inferenza su un NVIDIA Jetson TX2, devi installare CUDA 10.0 e cuDNN 7.0 sul tuo dispositivo quando immagini la tua scheda con Jetpack 4.3.

Scarica immagini PNG o JPG statiche per la funzione Lambda da utilizzare per la classificazione delle immagini. L'esempio funziona in modo ottimale con file immagine di dimensioni ridotte.

Salvare i file immagine nella directory contenente il file inference.py. È possibile salvarli anche in una sottodirectory di questa directory. Questa directory si trova nel pacchetto di distribuzione della funzione Lambda in cui carichi. Fase 3: Creare una funzione Lambda di inferenza

Modifica la configurazione della funzione Lambda. Segui la procedura riportata in Fase 4: Aggiungere la funzione Lambda al gruppo Greengrass.

1. Per eseguire senza containerizzazione:

   • Per Esegui come, scegli. Another user ID/group ID Per UID, inserisci0. Per GUID, immettere. 0

     Ciò consente alla funzione Lambda di funzionare come root. Per ulteriori informazioni sull'esecuzione come root, consultaImpostazione dell'identità di accesso predefinita per le funzioni Lambda in un gruppo.

     Suggerimento

     È inoltre necessario aggiornare il config.json file per concedere l'accesso root alla funzione Lambda. Per la procedura, vediEsecuzione di una funzione Lambda come utente root.

   • Per la containerizzazione della funzione Lambda, scegli Nessun contenitore.

     Per ulteriori informazioni sull'esecuzione senza containerizzazione, consulta. Considerazioni sulla scelta della containerizzazione delle funzioni Lambda

   • Aumenta il valore Timeout a 5 minuti. In questo modo, il timeout della richiesta non viene eseguito troppo presto. L'esecuzione dell'inferenza richiede alcuni minuti dopo la configurazione.

   • Per Pinned, scegli True.

   • In Parametri aggiuntivi, per Accesso in lettura alla directory /sys, scegli Abilitato.

2. Per eseguire invece in modalità containerizzata:

   Nota

   Si sconsiglia l'esecuzione in modalità containerizzata a meno che il business case non lo richieda.

   • Aumenta il valore di Memory limit (Limite memoria). Per utilizzare il modello fornito in modalità GPU, utilizza almeno 2000 MB.

   • Aumenta il valore Timeout a 5 minuti. In questo modo, il timeout della richiesta non viene eseguito troppo presto. L'esecuzione dell'inferenza richiede alcuni minuti dopo la configurazione.

   • Per Pinned, scegli True.

   • In Parametri aggiuntivi, per Accesso in lettura alla directory /sys, scegli Abilitato.

Aggiungere la risorsa del modello ottimizzato Neo al gruppo Caricare le risorse del modello nella directory resnet18 del pacchetto di esempio decompresso in Fase 3: Creare una funzione Lambda di inferenza. Questa directory contiene artefatti di modelli precompilati di un modello di classificazione delle immagini basato su Resnet-18. Segui la procedura descritta in Passaggio 5: aggiungere una risorsa modello ottimizzata per SageMaker AI NEO al gruppo Greengrass, con i seguenti aggiornamenti:

Se è in esecuzione in modalità containerizzata, aggiungi le risorse del dispositivo locale necessarie per concedere l'accesso alla GPU del dispositivo.

1. Nella pagina di configurazione del gruppo, scegli la scheda Risorse.

2. Nella sezione Risorse locali, scegli Aggiungi risorsa locale.

3. Definisci ogni risorsa:

   • Per Resource name (Nome risorsa) e Device path (Percorso dispositivo), utilizza i valori nella tabella seguente. Crea una risorsa del dispositivo per ogni riga nella tabella.

   • Per Resource type (Tipo di risorsa), scegli Device (Dispositivo).

   • Per il proprietario del gruppo di sistema e le autorizzazioni di accesso ai file, scegli Aggiungi automaticamente le autorizzazioni del file system del gruppo di sistema proprietario della risorsa.

      

     Nome	Percorso dispositivo
     nvhost-ctrl	/dev/nvhost-ctrl
     nvhost-gpu	/dev/nvhost-gpu
     nvhost-ctrl-gpu	/dev/ nvhost-ctrl-gpu
     nvhost-dbg-gpu	/dev/ nvhost-dbg-gpu
     nvhost-prof-gpu	/dev/ nvhost-prof-gpu
     nvmap	/dev/nvmap
     nvhost-vic	/dev/nvhost-vic
     tegra_dc_ctrl	/dev/tegra_dc_ctrl

Se è in esecuzione in modalità containerizzata, aggiungi la seguente risorsa di volume locale per concedere l'accesso alla fotocamera del tuo dispositivo. Segui la procedura riportata in Passaggio 5: aggiungere una risorsa modello ottimizzata per SageMaker AI NEO al gruppo Greengrass.

Aggiornare le sottoscrizioni di gruppo per utilizzare la directory corretta. Segui la procedura descritta in Fase 7: aggiunta di sottoscrizioni al gruppo Greengrass, con i seguenti aggiornamenti:

Aggiornare le sottoscrizioni di test per utilizzare la directory corretta. Segui la procedura descritta in Esecuzione del test dell'esempio di inferenza, con i seguenti aggiornamenti:

Passare all'utente root e navigare alla directory log. L'accesso ai AWS IoT Greengrass log richiede i permessi di root.

sudo su
cd /greengrass/ggc/var/log

Verifica la presenza runtime.log di eventuali errori.

cat system/runtime.log | grep 'ERROR'

Puoi anche cercare eventuali errori nel registro delle funzioni Lambda definito dall'utente:

cat user/your-region/your-account-id/lambda-function-name.log | grep 'ERROR'

Per ulteriori informazioni, consulta Risoluzione dei problemi con i log.

Elenca il contenuto della Lambda distribuita nella /lambda directory. Prima di eseguire il comando, sostituisci i valori dei segnaposti.

cd /greengrass/ggc/deployment/lambda/arn:aws:lambda:region:account:function:function-name:function-version
ls -la

Verifica che la directory contenga gli stessi file inclusi nel pacchetto di distribuzione optimizedImageClassification.zip caricato in Fase 3: Creare una funzione Lambda di inferenza.

Assicurati inoltre che i file .py e le dipendenze si trovino nella root della directory.

Trova il numero di identificazione del processo (PID) del processo di runtime Lambda:

ps aux | grep lambda-function-name

Nell'output, il PID appare nella seconda colonna della riga per il processo di runtime Lambda.

Inserisci lo spazio dei nomi di runtime Lambda. Assicurati di sostituire il pid valore segnaposto prima di eseguire il comando.

sudo nsenter -t pid -m /bin/bash

Elenca i contenuti della directory locale specificata per la risorsa ML.

cd /ml_model
ls -ls

Dovrebbero essere visualizzati i seguenti file:

    56 -rw-r--r-- 1 ggc_user ggc_group     56703 Oct 29 20:07 model.json
196152 -rw-r--r-- 1 ggc_user ggc_group 200855043 Oct 29 20:08 model.params
   256 -rw-r--r-- 1 ggc_user ggc_group    261848 Oct 29 20:07 model.so
    32 -rw-r--r-- 1 ggc_user ggc_group     30564 Oct 29 20:08 synset.txt