TorchServe

でサンプルイメージ分類モデルを提供するには TorchServe

1. Deep Learning AMI with Conda v34 以降を使用して Amazon Elastic Compute Cloud (Amazon EC2) インスタンスに接続します。

2. pytorch_p310 環境をアクティブ化します。

   source activate pytorch_p310

3. TorchServe リポジトリのクローンを作成し、モデルを保存するディレクトリを作成します。 

   git clone https://github.com/pytorch/serve.git
   mkdir model_store    

4. モデルアーカイバを使用してモデルをアーカイブします。extra-files パラメータはTorchServeリポジトリの ファイルを使用するため、必要に応じてパスを更新します。モデルアーカイブの詳細については、「 のトーチモデルアーカイブ」を参照してください TorchServe。

   wget https://download.pytorch.org/models/densenet161-8d451a50.pth
   torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

5. TorchServe を実行してエンドポイントを起動します。> /dev/null を追加すると、ログ出力が抑止されます。

   torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null

6. 子猫のイメージをダウンロードし、予測エンドポイントに送信します TorchServe。

   curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
   curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg

   予測エンドポイントは、次の上位 5 つの予測JSONと同様に、 の予測を返します。この場合、イメージにはエジプトの猫が含まれている確率が 47%、その後にタブ猫が含まれている確率が 46% です。

   {
    "tiger_cat": 0.46933576464653015,
    "tabby": 0.463387668132782,
    "Egyptian_cat": 0.0645613968372345,
    "lynx": 0.0012828196631744504,
    "plastic_bag": 0.00023323058849200606
   }

7. テストが完了したら、以下のようにサーバーを停止します。

   torchserve --stop