View a markdown version of this page

TorchServe - AWS Deep Learning AMIs
Stellen Sie ein Bildklassifizierungsmodell bereit unter TorchServe

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

TorchServe

TorchServe ist ein flexibles Tool für die Bereitstellung von Deep-Learning-Modellen, aus denen exportiert wurden PyTorch. TorchServe ist mit dem Deep-Learning-AMI mit Conda vorinstalliert.

Weitere Informationen zur Verwendung TorchServe finden Sie unter Model Server für die PyTorch Dokumentation.

Topics

Stellen Sie ein Bildklassifizierungsmodell bereit unter TorchServe

Dieses Tutorial zeigt, wie Sie ein Bildklassifizierungsmodell mit bereitstellen TorchServe. Es verwendet ein DenseNet-161 Modell, das von bereitgestellt wird PyTorch. Sobald der Server läuft, wartet er auf Prognoseanfragen. Wenn Sie ein Bild hochladen, in diesem Fall ein Bild eines Kätzchens, gibt der Server eine Vorhersage der fünf Klassen zurück, die am besten zu den Klassen passen, an denen das Modell trainiert wurde.

Um ein Beispiel für ein Bildklassifizierungsmodell bereitzustellen TorchServe

  1. Stellen Sie mit Conda v34 oder höher eine Verbindung zu einer Amazon Elastic Compute Cloud (Amazon EC2) -Instanz mit Deep Learning AMI her.

  2. Aktivieren Sie die Umgebung. pytorch_p310 

    source activate pytorch_p310

  3. Klonen Sie das TorchServe Repository und erstellen Sie dann ein Verzeichnis zum Speichern Ihrer Modelle.  

    git clone https://github.com/pytorch/serve.git
mkdir model_store

  4. Archivieren Sie das Modell mit dem Modellarchivierer. Der extra-files Parameter verwendet eine Datei aus dem TorchServe Repo. Aktualisieren Sie daher den Pfad, falls erforderlich. Weitere Informationen zum Modellarchivierer finden Sie unter Torch Model Archiver für. TorchServe 

    wget https://download.pytorch.org/models/densenet161-8d451a50.pth
torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

  5. Führen Sie aus TorchServe , um einen Endpunkt zu starten. Durch Hinzufügen > /dev/null wird die Protokollausgabe unterbrochen. 

    torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null

  6. Laden Sie ein Bild eines Kätzchens herunter und senden Sie es an den TorchServe Vorhersage-Endpunkt: 

    curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg

    Der Prognoseendpunkt gibt eine Vorhersage in JSON zurück, die den folgenden Top-5-Vorhersagen ähnelt. Dabei hat das Bild eine Wahrscheinlichkeit von 47%, dass es sich um eine ägyptische Katze handelt, gefolgt von einer Wahrscheinlichkeit von 46%, dass es sich um eine Tabbykatze handelt. 

    {
 "tiger_cat": 0.46933576464653015,
 "tabby": 0.463387668132782,
 "Egyptian_cat": 0.0645613968372345,
 "lynx": 0.0012828196631744504,
 "plastic_bag": 0.00023323058849200606
}

  7. Wenn Sie mit dem Testen fertig sind, stoppen Sie den Server: 

    torchserve --stop

Andere Beispiele

TorchServe hat eine Vielzahl von Beispielen, die Sie auf Ihrer DLAMI-Instance ausführen können. Sie können sie auf der Seite mit den Beispielen für das TorchServe Projekt-Repository einsehen.

Mehr Informationen

Weitere TorchServe Dokumentation, einschließlich der Einrichtung TorchServe mit Docker und den neuesten TorchServe Funktionen, finden Sie auf GitHub der TorchServe Projektseite unter.