Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
TorchServe
TorchServe ist ein flexibles Tool zur Bereitstellung von Deep-Learning-Modellen, die aus exportiert wurden PyTorch. TorchServe ist mit dem Deep Learning AMI mit Conda vorinstalliert.
Für weitere Informationen zur Verwendung TorchServe, siehe Modellserver für PyTorch Dokumentation
Topics
Stellen Sie ein Bildklassifizierungsmodell bereit auf TorchServe
Dieses Tutorial zeigt, wie Sie ein Bildklassifizierungsmodell bereitstellen mit TorchServe. Es verwendet eine DenseNet-161 Modell zur Verfügung gestellt von PyTorch. Sobald der Server läuft, wartet er auf Prognoseanfragen. Wenn Sie ein Bild hochladen, in diesem Fall ein Bild eines Kätzchens, gibt der Server eine Vorhersage der fünf Klassen zurück, die am besten zu den Klassen passen, an denen das Modell trainiert wurde.
Um ein Beispiel für ein Bildklassifizierungsmodell bereitzustellen TorchServe
-
Stellen Sie mit Conda v34 oder höher eine Verbindung zu einer Amazon Elastic Compute Cloud (Amazon EC2) -Instanz mit Deep Learning AMI her.
-
Aktivieren Sie das
pytorch_p310Umwelt.source activate pytorch_p310 -
Klonen Sie die TorchServe Repository und erstellen Sie dann ein Verzeichnis zum Speichern Ihrer Modelle.
git clone https://github.com/pytorch/serve.git mkdir model_store -
Archivieren Sie das Modell mit dem Modellarchivierer. Der
extra-filesparam verwendet eine Datei aus demTorchServeRepo, also aktualisiere den Pfad, falls nötig. Weitere Informationen zum Modellarchivierer finden Sie unter Torch Model Archiver für TorchServe.wget https://download.pytorch.org/models/densenet161-8d451a50.pth torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier -
Lauf TorchServe um einen Endpunkt zu starten. Hinzufügen
> /dev/nullverstummt die Log-Ausgabe.torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null -
Laden Sie ein Bild von einem Kätzchen herunter und senden Sie es an TorchServe Endpunkt vorhersagen:
curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpgDer Prognoseendpunkt gibt eine Vorhersage im JSON-Format zurück, die den folgenden fünf Top-Vorhersagen ähnelt, wobei das Bild mit einer Wahrscheinlichkeit von 47% eine ägyptische Katze enthält, gefolgt von einer Wahrscheinlichkeit von 46%, dass es sich um eine Tabby-Katze handelt.
{ "tiger_cat": 0.46933576464653015, "tabby": 0.463387668132782, "Egyptian_cat": 0.0645613968372345, "lynx": 0.0012828196631744504, "plastic_bag": 0.00023323058849200606 } -
Wenn Sie mit dem Testen fertig sind, stoppen Sie den Server:
torchserve --stop
Andere Beispiele
TorchServe hat eine Vielzahl von Beispielen, die Sie auf Ihrer DLAMI-Instance ausführen können. Sie können sie ansehen auf die TorchServe Seite mit Projekt-Repository-Beispielen
Mehr Infos
Für mehr TorchServe Dokumentation, einschließlich der Einrichtung TorchServe mit Docker und den neuesten TorchServe Funktionen, siehe die TorchServe Projektseite