Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bereitstellen von Modellen

Sie können das Rechenmodul auf Edge-Geräten mit begrenzten Ressourcen bereitstellen, indem Sie: das kompilierte Modell von Amazon S3 auf Ihr Gerät herunterladen und DLR verwenden, oder Sie können AWS IoT Greengrass verwenden.

Bevor Sie fortfahren, stellen Sie sicher, dass Ihr Edge-Gerät von SageMaker Neo unterstützt werden muss. Unter Unterstützte Frameworks, Geräte, Systeme und Architekturen erfahren Sie, welche Edge-Geräte unterstützt werden. Stellen Sie sicher, dass Sie Ihr Ziel-Edge-Gerät angegeben haben, als Sie den Kompilierungsauftrag eingereicht haben. Weitere Informationen finden Sie unter Verwenden von Neo zum Kompilieren eines Modells.

Bereitstellen eines mit Neo kompilierten Modells (DLR)

DLR ist eine kompakte, gemeinsame Laufzeit für Deep-Learning-Modelle und Entscheidungsbaummodelle. DLR verwendet die TVM Runtime, Treelite Runtime und NVIDIA TensorRT™ und kann auch andere hardwarespezifische Laufzeiten enthalten. Das DLR bietet vereinheitlichte Python/C++-APIs zum Laden und Ausführen kompilierter Modelle auf verschiedenen Geräten.

Sie können die neueste Version des DLR-Pakets mit dem folgenden Pip-Befehl installieren:

pip install dlr

Informationen zur Installation von DLR auf GPU-Zielen oder Nicht-x86-Edge-Geräten finden Sie unter Versionen für vorgefertigte Binärdateien oder DLR installieren um DLR aus der Quelle zu erstellen. Um beispielsweise DLR für Raspberry Pi 3 zu installieren, können Sie Folgendes verwenden:

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

Ein Modell bereitstellen (AWS IoT Greengrass)

AWS IoT Greengrass erweitert Cloud-Funktionen auf lokale Geräte. Greengrass ermöglicht es Geräten, Daten näher an der Informationsquelle zu erfassen und zu analysieren, selbstständig auf lokale Ereignisse zu reagieren und in lokalen Netzwerken sicher untereinander zu kommunizieren. Mit AWS IoT Greengrass können Sie mithilfe von Cloud-trainierten Modellen Machine-Learning-Inferenzen am Edge für lokal generierte Daten durchführen. Derzeit können Sie Modelle auf allen AWS IoT-Greengrass-Geräten bereitstellen, die auf Prozessoren der Serie ARM Cortex-A, Intel Atom und Nvidia Jetson basieren. Weitere Informationen zur Bereitstellung einer Lambda-Inferenzanwendung zum Ausführen von Machine-Learning-Inferenzen mit AWS IoT Greengrass finden Sie unter So konfigurieren Sie eine optimierte Machine-Learning-Inferenz mit der - AWS Managementkonsole.