View a markdown version of this page

TorchServe - AWS Deep Learning AMIs

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

TorchServe

TorchServe ist ein flexibles Tool zur Bereitstellung von Deep-Learning-Modellen, die aus exportiert wurden PyTorch. TorchServe ist mit dem Deep Learning AMI mit Conda vorinstalliert.

Für weitere Informationen zur Verwendung TorchServe, siehe Modellserver für PyTorch Dokumentation.

Topics

Stellen Sie ein Bildklassifizierungsmodell bereit auf TorchServe

Dieses Tutorial zeigt, wie Sie ein Bildklassifizierungsmodell bereitstellen mit TorchServe. Es verwendet eine DenseNet-161 Modell zur Verfügung gestellt von PyTorch. Sobald der Server läuft, wartet er auf Prognoseanfragen. Wenn Sie ein Bild hochladen, in diesem Fall ein Bild eines Kätzchens, gibt der Server eine Vorhersage der fünf Klassen zurück, die am besten zu den Klassen passen, an denen das Modell trainiert wurde.

Um ein Beispiel für ein Bildklassifizierungsmodell bereitzustellen TorchServe
  1. Stellen Sie mit Conda v34 oder höher eine Verbindung zu einer Amazon Elastic Compute Cloud (Amazon EC2) -Instanz mit Deep Learning AMI her.

  2. Aktivieren Sie das pytorch_p310 Umwelt.

    source activate pytorch_p310
  3. Klonen Sie die TorchServe Repository und erstellen Sie dann ein Verzeichnis zum Speichern Ihrer Modelle. 

    git clone https://github.com/pytorch/serve.git mkdir model_store
  4. Archivieren Sie das Modell mit dem Modellarchivierer. Der extra-files param verwendet eine Datei aus dem TorchServe Repo, also aktualisiere den Pfad, falls nötig. Weitere Informationen zum Modellarchivierer finden Sie unter Torch Model Archiver für TorchServe.

    wget https://download.pytorch.org/models/densenet161-8d451a50.pth torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier
  5. Lauf TorchServe um einen Endpunkt zu starten. Hinzufügen > /dev/null verstummt die Log-Ausgabe.

    torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null
  6. Laden Sie ein Bild von einem Kätzchen herunter und senden Sie es an TorchServe Endpunkt vorhersagen:

    curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg

    Der Prognoseendpunkt gibt eine Vorhersage im JSON-Format zurück, die den folgenden fünf Top-Vorhersagen ähnelt, wobei das Bild mit einer Wahrscheinlichkeit von 47% eine ägyptische Katze enthält, gefolgt von einer Wahrscheinlichkeit von 46%, dass es sich um eine Tabby-Katze handelt.

    { "tiger_cat": 0.46933576464653015, "tabby": 0.463387668132782, "Egyptian_cat": 0.0645613968372345, "lynx": 0.0012828196631744504, "plastic_bag": 0.00023323058849200606 }
  7. Wenn Sie mit dem Testen fertig sind, stoppen Sie den Server:

    torchserve --stop

Andere Beispiele

TorchServe hat eine Vielzahl von Beispielen, die Sie auf Ihrer DLAMI-Instance ausführen können. Sie können sie ansehen auf die TorchServe Seite mit Projekt-Repository-Beispielen.

Mehr Infos

Für mehr TorchServe Dokumentation, einschließlich der Einrichtung TorchServe mit Docker und den neuesten TorchServe Funktionen, siehe die TorchServe Projektseiteauf GitHub.