Durchführen von Machine Learning-Inferenzen - AWS IoT Greengrass

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Durchführen von Machine Learning-Inferenzen

Mit AWS IoT Greengrass können Sie mithilfe von Cloud-trainierten Modellen Inferenzen für maschinelles Lernen (ML) auf Ihren Edge-Geräten anhand lokal generierter Daten durchführen. Sie können von der niedrigen Latenz und Kosteneinsparungen der Ausführung von lokaler Inferenz profitieren und trotzdem die Cloud-Rechenleistung für Schulungsmodelle und komplexe Verarbeitung nutzen.

AWS IoT Greengrass macht die zur Durchführung von Inferenzen erforderlichen Schritte effizienter. Sie können Ihre Inferenzmodelle überall trainieren und sie lokal als Komponenten für maschinelles Lernen einsetzen. Sie können beispielsweise Deep-Learning-Modelle in Amazon SageMaker AI oder Computer Vision-Modelle in Amazon Lookout for Vision erstellen und trainieren. Anschließend können Sie diese Modelle in einem Amazon S3 S3-Bucket speichern, sodass Sie diese Modelle als Artefakte in Ihren Komponenten verwenden können, um Inferenzen auf Ihren Kerngeräten durchzuführen.

Wie funktioniert AWS IoT Greengrass ML-Inferenz

AWS bietet Komponenten für maschinelles Lernen, mit denen Sie Bereitstellungen in einem Schritt erstellen können, um Inferenzen für maschinelles Lernen auf Ihrem Gerät durchzuführen. Sie können diese Komponenten auch als Vorlagen verwenden, um benutzerdefinierte Komponenten zu erstellen, die Ihren spezifischen Anforderungen entsprechen.

AWS bietet die folgenden Kategorien von Komponenten für maschinelles Lernen:

  • Modellkomponente — Enthält Modelle für maschinelles Lernen als Greengrass-Artefakte.

  • Runtime-Komponente — Enthält das Skript, das das Machine Learning-Framework und seine Abhängigkeiten auf dem Greengrass-Core-Gerät installiert.

  • Inferenzkomponente — Enthält den Inferenzcode und enthält Komponentenabhängigkeiten zur Installation des Frameworks für maschinelles Lernen und zum Herunterladen vorab trainierter Modelle für maschinelles Lernen.

Jede Bereitstellung, die Sie für die Durchführung von Inferenzen für maschinelles Lernen erstellen, besteht aus mindestens einer Komponente, die Ihre Inferenzanwendung ausführt, das Framework für maschinelles Lernen installiert und Ihre Modelle für maschinelles Lernen herunterlädt. Um eine Beispielinferenz mit von AWS-bereitgestellten Komponenten durchzuführen, stellen Sie eine Inferenzkomponente auf Ihrem Kerngerät bereit, die automatisch das entsprechende Modell und die Laufzeitkomponenten als Abhängigkeiten enthält. Um Ihre Bereitstellungen anzupassen, können Sie die Beispielmodellkomponenten durch benutzerdefinierte Modellkomponenten ergänzen oder austauschen oder Sie können die Komponentenrezepte für die AWS bereitgestellten Komponenten als Vorlagen verwenden, um Ihre eigenen benutzerdefinierten Inferenz-, Modell- und Laufzeitkomponenten zu erstellen.

So führen Sie mithilfe benutzerdefinierter Komponenten Inferenzen für maschinelles Lernen durch:

  1. Erstellen Sie eine Modellkomponente. Diese Komponente enthält die Modelle für maschinelles Lernen, die Sie für die Durchführung von Inferenzen verwenden möchten. AWS bietet vortrainierte DLR und TensorFlow Lite-Beispielmodelle. Um ein benutzerdefiniertes Modell zu verwenden, erstellen Sie Ihre eigene Modellkomponente.

  2. Erstellen Sie eine Runtime-Komponente. Diese Komponente enthält die Skripts, die zur Installation der Laufzeit für maschinelles Lernen für Ihre Modelle erforderlich sind. AWS bietet Beispiel-Laufzeitkomponenten für Deep Learning Runtime (DLR) und TensorFlow Lite. Um andere Laufzeiten mit Ihren benutzerdefinierten Modellen und Ihrem Inferenzcode zu verwenden, erstellen Sie Ihre eigenen Laufzeitkomponenten.

  3. Erstellen Sie eine Inferenzkomponente. Diese Komponente enthält Ihren Inferenzcode sowie Ihre Modell- und Laufzeitkomponenten als Abhängigkeiten. AWS bietet Beispiele für Inferenzkomponenten für die Bildklassifizierung und Objekterkennung mit DLR und TensorFlow Lite. Um andere Arten von Inferenz durchzuführen oder benutzerdefinierte Modelle und Laufzeiten zu verwenden, erstellen Sie Ihre eigene Inferenzkomponente.

  4. Stellen Sie die Inferenzkomponente bereit. Wenn Sie diese Komponente bereitstellen, stellt sie AWS IoT Greengrass auch automatisch die Modell- und Laufzeitkomponentenabhängigkeiten bereit.

Informationen zu den ersten Schritten mit den von AWS-bereitgestellten Komponenten finden Sie unter. Tutorial: Durchführen einer Inferenz bei der Bildklassifizierung mit TensorFlow Lite

Informationen zum Erstellen benutzerdefinierter Komponenten für maschinelles Lernen finden Sie unterPassen Sie Ihre Komponenten für maschinelles Lernen an.

Was ist in AWS IoT Greengrass Version 2 anders?

AWS IoT Greengrass konsolidiert Funktionseinheiten für maschinelles Lernen — wie Modelle, Laufzeiten und Inferenzcode — in Komponenten, mit denen Sie in einem einzigen Schritt die Machine Learning-Runtime installieren, Ihre trainierten Modelle herunterladen und Inferenzen auf Ihrem Gerät durchführen können.

Durch die Verwendung der AWS bereitgestellten Komponenten für maschinelles Lernen haben Sie die Flexibilität, mit der Durchführung von Inferenzen für maschinelles Lernen mit Beispiel-Inferenzcode und vortrainierten Modellen zu beginnen. Sie können benutzerdefinierte Modellkomponenten einbinden, um Ihre eigenen, speziell trainierten Modelle mit den Inferenz- und Laufzeitkomponenten zu verwenden, die das bietet. AWS Für eine vollständig angepasste Lösung für maschinelles Lernen können Sie die öffentlichen Komponenten als Vorlagen verwenden, um benutzerdefinierte Komponenten zu erstellen und jeden beliebigen Laufzeit-, Modell- oder Inferenztyp zu verwenden.

Voraussetzungen

Um Komponenten für maschinelles Lernen zu erstellen und zu verwenden, benötigen Sie Folgendes:

  • Ein Greengrass-Core-Gerät. Falls Sie noch keines haben, beachten Sie die Informationen unter Tutorial: Erste Schritte mit AWS IoT Greengrass V2.

  • Mindestens 500 MB lokaler Speicherplatz für die Verwendung der AWS bereitgestellten Beispielkomponenten für maschinelles Lernen.

Unterstützte Modellquellen

AWS IoT Greengrass unterstützt die Verwendung von individuell trainierten Modellen für maschinelles Lernen, die in Amazon S3 gespeichert sind. Sie können Amazon SageMaker AI Edge Packaging Jobs auch verwenden, um direkt Modellkomponenten für Ihre mit SageMaker KI NEO kompilierten Modelle zu erstellen. Informationen zur Verwendung von SageMaker AI Edge Manager mit finden Sie AWS IoT Greengrass unterVerwenden Sie Amazon SageMaker AI Edge Manager auf Greengrass-Kerngeräten. Sie können auch Amazon Lookout for Vision Vision-Modellverpackungsaufträge verwenden, um Modellkomponenten für Ihre Lookout for Vision Vision-Modelle zu erstellen. Weitere Informationen zur Verwendung von Lookout for Vision mit finden Sie AWS IoT Greengrass unterAmazon Lookout for Vision.

Die S3-Buckets, die Ihre Modelle enthalten, müssen die folgenden Anforderungen erfüllen:

  • Sie dürfen nicht mit SSE -C verschlüsselt werden. Für Buckets, die serverseitige Verschlüsselung verwenden, unterstützt die AWS IoT Greengrass maschinelle Lerninferenz derzeit nur die Verschlüsselungsoptionen SSE -S3 oder SSE -. KMS Weitere Informationen zu serverseitigen Verschlüsselungsoptionen finden Sie unter Schützen von Daten mithilfe serverseitiger Verschlüsselung im Amazon Simple Storage Service-Benutzerhandbuch.

  • Ihre Namen dürfen keine Punkte () . enthalten. Weitere Informationen finden Sie SSL in der Regel zur Verwendung von Buckets im virtuellen Hosted-Stil unter Regeln für die Bucket-Benennung im Amazon Simple Storage Service-Benutzerhandbuch.

  • Die S3-Buckets, in denen Ihre Modellquellen gespeichert sind, müssen sich im selben AWS-Konto und AWS-Region wie Ihre maschinellen Lernkomponenten befinden.

  • AWS IoT Greengrass muss über eine read Genehmigung für die Modellquelle verfügen. Um den Zugriff auf die S3-Buckets AWS IoT Greengrass zu ermöglichen, muss die Greengrass-Geräterolle die s3:GetObject Aktion zulassen. Weitere Informationen zur Geräterolle finden Sie unter. Autorisieren Sie Kerngeräte für die Interaktion mit Diensten AWS

Unterstützte Laufzeiten für maschinelles Lernen

AWS IoT Greengrass ermöglicht es Ihnen, benutzerdefinierte Komponenten zu erstellen, um eine beliebige Laufzeit für maschinelles Lernen Ihrer Wahl zu verwenden, um mit Ihren individuell trainierten Modellen Inferenzen für maschinelles Lernen durchzuführen. Informationen zum Erstellen benutzerdefinierter Komponenten für maschinelles Lernen finden Sie unter. Passen Sie Ihre Komponenten für maschinelles Lernen an

Um den Einstieg in maschinelles Lernen effizienter zu gestalten, AWS IoT Greengrass bietet dieser Artikel Beispiele für Inferenz-, Modell- und Laufzeitkomponenten, die die folgenden Laufzeiten für maschinelles Lernen verwenden:

AWS-bereitgestellte Komponenten für maschinelles Lernen

In der folgenden Tabelle sind die von AWS-bereitgestellten Komponenten aufgeführt, die für maschinelles Lernen verwendet werden.

Anmerkung

Einige der AWS bereitgestellten Komponenten hängen von bestimmten Nebenversionen des Greengrass-Kerns ab. Aufgrund dieser Abhängigkeit müssen Sie diese Komponenten aktualisieren, wenn Sie den Greengrass Nucleus auf eine neue Nebenversion aktualisieren. Informationen zu den spezifischen Versionen von Nucleus, von denen jede Komponente abhängt, finden Sie im entsprechenden Komponententhema. Weitere Informationen zur Aktualisierung des Nucleus finden Sie unterAktualisieren der AWS IoT Greengrass Core-Software (OTA).

Komponente Beschreibung Art der Komponente Unterstützes Betriebssystem Open-Source
Lookout für Vision Edge Agent Stellt Amazon Lookout for Vision Runtime auf dem Greengrass-Core-Gerät bereit, sodass Sie Computer Vision verwenden können, um Fehler an Industrieprodukten zu finden. Generisch Linux Nein
SageMaker KI-Edge-Manager Stellt den Amazon SageMaker AI Edge Manager-Agenten auf dem Greengrass-Core-Gerät bereit. Generisch Linux, Windows Nein
DLR-Bildklassifizierung Inferenzkomponente, die den Speicher für das DLR Bildklassifizierungsmodell und die DLR Laufzeitkomponente als Abhängigkeiten verwendet, um Beispielmodelle für die Bildklassifizierung zu installierenDLR, herunterzuladen und die Inferenz für die Bildklassifizierung auf unterstützten Geräten durchzuführen. Generisch Linux, Windows Nein
DLR-Objekterkennung Inferenzkomponente, die den DLR Objekterkennungsmodellspeicher und die DLR Laufzeitkomponente als Abhängigkeiten verwendetDLR, um Beispielmodelle zur Objekterkennung zu installieren, herunterzuladen und Objekterkennungsinferenzen auf unterstützten Geräten durchzuführen. Generisch Linux, Windows Nein
DLRModellspeicher für Bildklassifizierung Modellkomponente, die Stichprobe ResNet -50 Bildklassifizierungsmodelle als Greengrass-Artefakte enthält. Generisch Linux, Windows Nein
DLRModellspeicher für Objekterkennung Modellkomponente, die Beispielmodelle zur YOLOv3 Objekterkennung als Greengrass-Artefakte enthält. Generisch Linux, Windows Nein
DLR-Laufzeit Runtime-Komponente, die ein Installationsskript enthält, das für die Installation DLR und deren Abhängigkeiten auf dem Greengrass-Core-Gerät verwendet wird. Generisch Linux, Windows Nein
TensorFlow Lite-Bildklassifizierung Inferenzkomponente, die den TensorFlow Lite-Bildklassifizierungsmodellspeicher und die TensorFlow Lite-Runtime-Komponente als Abhängigkeiten verwendet, um TensorFlow Lite zu installieren, Beispielmodelle für die Bildklassifizierung herunterzuladen und Inferenzen zur Bildklassifizierung auf unterstützten Geräten durchzuführen. Generisch Linux, Windows Nein
TensorFlow Lite-Objekterkennung Inferenzkomponente, die den TensorFlow Lite-Objekterkennungsmodellspeicher und die TensorFlow Lite-Laufzeitkomponente als Abhängigkeiten verwendet, um TensorFlow Lite zu installieren, Beispielmodelle für die Objekterkennung herunterzuladen und Objekterkennungsinferenzen auf unterstützten Geräten durchzuführen. Generisch Linux, Windows Nein
TensorFlow Modellspeicher für Lite-Bildklassifizierung Modellkomponente, die ein Beispiel für ein MobileNet v1-Modell als Greengrass-Artefakt enthält. Generisch Linux, Windows Nein
TensorFlow Modellspeicher für Lite-Objekterkennung Modellkomponente, die ein Beispiel für ein Single Shot Detection (SSD) MobileNet -Modell als Greengrass-Artefakt enthält. Generisch Linux, Windows Nein
TensorFlow Lite-Laufzeit Runtime-Komponente, die ein Installationsskript enthält, das zur Installation von TensorFlow Lite und seinen Abhängigkeiten auf dem Greengrass-Core-Gerät verwendet wird. Generisch Linux, Windows Nein