TorchServe

에서 예제 이미지 분류 모델을 제공하려면 TorchServe

1. Conda v34 이상의 Deep Learning을 사용하여 Amazon Elastic Compute Cloud(AmazonEC2) 인스턴스AMI에 연결합니다.

2. pytorch_p310 환경을 활성화합니다.

   source activate pytorch_p310

3. TorchServe 리포지토리를 복제한 다음 모델을 저장할 디렉터리를 생성합니다. 

   git clone https://github.com/pytorch/serve.git
   mkdir model_store    

4. 모델 아카이버를 사용하여 모델을 보관합니다. extra-files 파라미터는 TorchServe 리포지토리의 파일을 사용하므로 필요한 경우 경로를 업데이트합니다. 모델 아카이버에 대한 자세한 내용은 의 Torch 모델 아카이버를 참조하세요 TorchServe.

   wget https://download.pytorch.org/models/densenet161-8d451a50.pth
   torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

5. 를 실행 TorchServe 하여 엔드포인트를 시작합니다. > /dev/null을 추가하면 로그 출력이 중지됩니다.

   torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null

6. 키튼 이미지를 다운로드하여 예측 엔드포인트로 TorchServe 보냅니다.

   curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
   curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg

   예측 엔드포인트는 다음과 같은 상위 5개의 예측과 JSON 유사하게 예측을 반환합니다. 이 예측에서 이미지는 이집트 고양이를 포함할 확률이 47%이고, 이후 탭 고양이를 포함할 확률이 46%입니다.

   {
    "tiger_cat": 0.46933576464653015,
    "tabby": 0.463387668132782,
    "Egyptian_cat": 0.0645613968372345,
    "lynx": 0.0012828196631744504,
    "plastic_bag": 0.00023323058849200606
   }

7. 테스트를 마친 후 서버를 중단합니다.

   torchserve --stop