Optional: Konfigurieren des Geräts für die ML-Qualifizierung

Integrieren Sie SSH in Ihr Gerät.

Führen Sie die folgenden Skripts aus, um zu überprüfen, ob die Abhängigkeiten korrekt installiert sind.

sudo python3.7 -c "import mxnet; print(mxnet.__version__)"

sudo python3.7 -c "import numpy; print(numpy.__version__)"

Die Ausgabe gibt die Versionsnummer aus und das Skript sollte fehlerfrei beendet werden.

Stellen Sie sicher, dass device.json für die ML-Qualifizierung konfiguriert ist. Weitere Informationen finden Sie unter Konfigurieren von device.json für die ML-Qualifizierung.

Führen Sie den Abhängigkeitstest für das Framework aus.

devicetester_[linux | mac | win_x86-64] run-suite --group-id mldependencies --test-id mxnet_dependency_check

In der Testzusammenfassung wird das Ergebnis PASSED für mldependencies angezeigt.

Integrieren Sie SSH in Ihr Gerät.

Führen Sie das folgende Skript aus, um zu überprüfen, ob die Abhängigkeit korrekt installiert ist.

sudo python3.7 -c "import tensorflow; print(tensorflow.__version__)"

Die Ausgabe gibt die Versionsnummer aus und das Skript sollte fehlerfrei beendet werden.

Stellen Sie sicher, dass device.json für die ML-Qualifizierung konfiguriert ist. Weitere Informationen finden Sie unter Konfigurieren von device.json für die ML-Qualifizierung.

Führen Sie den Abhängigkeitstest für das Framework aus.

devicetester_[linux | mac | win_x86-64] run-suite --group-id mldependencies --test-id tensorflow_dependency_check

In der Testzusammenfassung wird das Ergebnis PASSED für mldependencies angezeigt.

Integrieren Sie SSH in Ihr Gerät.

Führen Sie die folgenden Skripts aus, um zu überprüfen, ob die Abhängigkeiten korrekt installiert sind.

sudo python3.7 -c "import dlr; print(dlr.__version__)"

sudo python3.7 -c "import numpy; print(numpy.__version__)"

Die Ausgabe gibt die Versionsnummer aus und das Skript sollte fehlerfrei beendet werden.

Stellen Sie sicher, dass device.json für die ML-Qualifizierung konfiguriert ist. Weitere Informationen finden Sie unter Konfigurieren von device.json für die ML-Qualifizierung.

Führen Sie den Abhängigkeitstest für das Framework aus.

devicetester_[linux | mac | win_x86-64] run-suite --group-id mldependencies --test-id dlr_dependency_check

In der Testzusammenfassung wird das Ergebnis PASSED für mldependencies angezeigt.

Vergewissern Sie sich, dass Ihr Gerät von SageMaker unterstützt wird. Weitere Informationen finden Sie im .Optionen des ZielgerätsdieAmazon SageMaker -API-Referenzaus. Wenn Ihr Gerätetyp derzeit nicht von SageMaker unterstützt wird, führen Sie die Schritte unter ausOption 2: Kompilieren des DLR-Modells mithilfe von TVMaus.

Laden Sie die Tarball-Datei herunter, die das unkompilierte, vorgeschulte MXNet-Modell für DLR enthält:

Extrahieren Sie die Tarball-Datei. Dieser Befehl generiert die folgende Verzeichnisstruktur.

Verschieben Sie synset.txt aus dem Verzeichnis resnet18 weg. Notieren Sie sich den neuen Speicherort. Sie kopieren diese Datei später in das kompilierte Modellverzeichnis.

Komprimieren Sie den Inhalt des Verzeichnisses resnet18.

tar cvfz model.tar.gz resnet18v1-symbol.json resnet18v1-0000.params

Hochladen der komprimierten Datei in einen Amazon S3 S3-Bucket in IhremAWS-Kontound führen Sie anschließend die Schritte in ausKompilieren eines Modells (Konsole)um einen Kompilierungsauftrag zu erstellen.

1. Verwenden Sie für Input configuration (Eingabekonfiguration) die folgenden Werte:

   • Geben Sie für Data input configuration (Dateneingabekonfiguration) den Wert {"data": [1, 3, 224, 224]} ein.

   • Wählen Sie für Machine Learning Framework (Machine-Learning-Framework) die Option MXNet.

2. Verwenden Sie für Output configuration (Ausgabekonfiguration) die folgenden Werte:

   • FürS3 Output location locationgeben Sie den Pfad zum Amazon S3 S3-Bucket oder Ordner ein, in dem das kompilierte Modell gespeichert werden soll.

   • Wählen Sie für Target device (Zielgerät) Ihren Gerätetyp.

Laden Sie das kompilierte Modell vom angegebenen Ausgabespeicherort herunter und entpacken Sie die Datei.

Kopieren Sie synset.txt in das kompilierte Modellverzeichnis.

Ändern Sie den Namen des kompilierten Modellverzeichnisses in resnet18.

Das kompilierte Modellverzeichnis muss die folgende Verzeichnisstruktur aufweisen.

Laden Sie die Tarball-Datei herunter, die das unkompilierte, vorgeschulte MXNet-Modell für DLR enthält:

Extrahieren Sie die Tarball-Datei. Dieser Befehl generiert die folgende Verzeichnisstruktur.

Befolgen Sie die Anweisungen in der TVM-Dokumentation, um TVM aus der Quelle für Ihre Plattform zu erstellen und zu installieren.

Führen Sie nach der Erstellung von TVM die TVM-Kompilierung für das Modell resnet18 aus. Die folgenden Schritte basieren auf dem Quick Start Tutorial for Compiling Deep Learning Models in der TVM-Dokumentation.

1. Öffnen Sie die Datei relay_quick_start.py aus dem geklonten TVM-Repository.

2. Aktualisieren Sie den Code, der ein neuronales Netzwerk im Relais definiert. Verwenden Sie eine der folgenden Optionen:

   • Option 1: Verwenden vonmxnet.gluon.model_zoo.vision.get_modelum das Relaismodul und die Parameter zu erhalten:

     from mxnet.gluon.model_zoo.vision import get_model
     block = get_model('resnet18_v1', pretrained=True)
     mod, params = relay.frontend.from_mxnet(block, {"data": data_shape})

   • Option 2: Kopieren Sie aus dem nicht kompilierten Modell, das Sie in Schritt 1 heruntergeladen haben, die folgenden Dateien in das gleiche Verzeichnis wierelay_quick_start.pyfile. Diese Dateien enthalten das Relaismodul und die Parameter.

     • resnet18v1-symbol.json

     • resnet18v1-0000.params

3. Aktualisieren Sie den Code, der das kompilierte Modul speichert und lädt, sodass der folgende Code verwendet wird.

   from tvm.contrib import util
   path_lib = "deploy_lib.so"
   #  Export the model library based on your device architecture
   lib.export_library("deploy_lib.so", cc="aarch64-linux-gnu-g++")
   with open("deploy_graph.json", "w") as fo:
       fo.write(graph)
   with open("deploy_param.params", "wb") as fo:
       fo.write(relay.save_param_dict(params))

4. Erstellen Sie das Modell:

   python3 tutorials/relay_quick_start.py --build-dir ./model

   Dieser Befehl generiert die folgenden Dateien.

   • deploy_graph.json

   • deploy_lib.so

   • deploy_param.params

Kopieren Sie die generierten Modelldateien in ein Verzeichnis mit dem Namen resnet18. Dies ist Ihr kompiliertes Modellverzeichnis.

Kopieren Sie das kompilierte Modellverzeichnis auf Ihren Hostcomputer. Kopieren Sie dann synset.txt aus dem nicht kompilierten Modell, das Sie in Schritt 1 heruntergeladen haben, in das kompilierte Modellverzeichnis.

Das kompilierte Modellverzeichnis muss die folgende Verzeichnisstruktur aufweisen.