Implementa modelli all'edge con Edge Manager SageMaker - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementa modelli all'edge con Edge Manager SageMaker

avvertimento

SageMaker Edge Manager verrà interrotto il 26 aprile 2024. Per ulteriori informazioni su come continuare a implementare i modelli sui dispositivi edge, vedere SageMaker Fine del ciclo di vita di Edge Manager.

Amazon SageMaker Edge Manager fornisce la gestione dei modelli per i dispositivi edge in modo da ottimizzare, proteggere, monitorare e mantenere modelli di machine learning su flotte di dispositivi edge come telecamere intelligenti, robot, personal computer e dispositivi mobili.

Perché usare Edge Manager?

Molti casi d'uso di machine learning (ML) richiedono l'esecuzione di modelli ML su un parco di dispositivi edge, il che consente di ottenere previsioni in real-time, preserva la privacy degli utenti finali e riduce il costo della connettività di rete. Con la crescente disponibilità di hardware edge a basso consumo progettati per il machine learning, è ora possibile eseguire più modelli di rete neurale complessi su dispositivi edge.

Tuttavia, utilizzare modelli di ML su dispositivi edge è difficile, perché i dispositivi, a differenza delle istanze cloud, hanno capacità di elaborazione, memoria e connettività limitate. Una volta distribuito il modello, è necessario monitorarlo continuamente, poiché la sua deviazione può causare un deterioramento della qualità del modello nel tempo. Il monitoraggio dei modelli su tutti i parchi dispositivi è difficile perché è necessario scrivere codice personalizzati per raccogliere campioni di dati dal dispositivo e riconoscere l'asimmetria nelle previsioni. Inoltre, i modelli sono spesso codificati nell'applicazione. Per aggiornare il modello, è necessario ricostruire e aggiornare l'intero firmware dell'applicazione o del dispositivo, il che può interrompere le operazioni.

Con SageMaker Edge Manager, puoi ottimizzare, eseguire, monitorare e aggiornare i modelli di machine learning su flotte di dispositivi periferici.

Come funziona?

Ad alto livello, ci sono cinque componenti principali nel flusso di lavoro di SageMaker Edge Manager: compilazione di modelli con SageMaker Neo, creazione di pacchetti di modelli NEO-compilati, distribuzione di modelli sui dispositivi, esecuzione di modelli sul motore di SageMaker inferenza (agente Edge Manager) e manutenzione dei modelli sui dispositivi.

I cinque componenti principali del flusso di lavoro di Edge Manager. SageMaker

SageMaker Edge Manager utilizza SageMaker Neo per ottimizzare i modelli per l'hardware di destinazione con un clic, quindi per firmare crittograficamente i modelli prima della distribuzione. Utilizzando SageMaker Edge Manager, è possibile campionare i dati di input e output dei modelli dai dispositivi edge e inviarli al cloud per il monitoraggio e l'analisi, e visualizzare una dashboard che traccia e riporta visivamente il funzionamento dei modelli distribuiti all'interno della console. SageMaker

SageMaker Edge Manager estende le funzionalità che in precedenza erano disponibili solo nel cloud all'edge, in modo che gli sviluppatori possano migliorare continuamente la qualità dei modelli utilizzando Amazon SageMaker Model Monitor per il rilevamento delle deviazioni, quindi rietichettare i dati con SageMaker Ground Truth e riaddestrare i modelli. SageMaker

Come posso usare SageMaker Edge Manager?

Se utilizzi SageMaker Edge Manager per la prima volta, ti consigliamo di fare quanto segue:

  1. Leggi la sezione Nozioni di base: questa sezione ti spiega come configurare il tuo primo processo di creazione di pacchetti edge e creare il tuo primo parco.

  2. Esplora gli esempi di notebook Jupyter di Edge Manager: i taccuini di esempio sono archiviati nel repository nella cartella sagemaker_edge_manager. amazon-sagemaker-examples GitHub