TensorFlow 서비스

Inception 모델을 사용하여 추론 제공 및 테스트

1. 이 모델을 다운로드합니다.

   $ curl -O https://s3-us-west-2.amazonaws.com/tf-test-models/INCEPTION.zip

2. 이 모델의 압축을 해제합니다.

   $ unzip INCEPTION.zip

3. 허스키 그림을 다운로드합니다.

   $ curl -O https://upload.wikimedia.org/wikipedia/commons/b/b5/Siberian_Husky_bi-eyed_Flickr.jpg

4. 서버를 시작합니다. Amazon Linux의 경우 model_base_path에 사용되는 디렉터리를 /home/ubuntu에서 /home/ec2-user로 변경해야 합니다.

   $ tensorflow_model_server --model_name=INCEPTION --model_base_path=/home/ubuntu/examples/tensorflow-serving/INCEPTION/INCEPTION --port=9000

5. 서버가 포그라운드에서 실행 중일 때 계속하려면 다른 터미널 세션을 시작해야 합니다. 새 터미널을 열고 TensorFlow 로 활성화합니다source activate tensorflow2_p310. 그런 다음 원하는 텍스트 편집기를 사용하여 다음 내용이 들어 있는 스크립트를 생성합니다. 이름을 inception_client.py로 지정합니다. 이 스크립트는 이미지 파일 이름을 파라미터로 받아서 사전 교육 모델에서 예측 결과를 가져옵니다.

   from __future__ import print_function
   
   import grpc
   import tensorflow as tf
   import argparse
   
   from tensorflow_serving.apis import predict_pb2
   from tensorflow_serving.apis import prediction_service_pb2_grpc
   
   parser = argparse.ArgumentParser(
       description='TF Serving Test',
       formatter_class=argparse.ArgumentDefaultsHelpFormatter
   )
   parser.add_argument('--server_address', default='localhost:9000',
                       help='Tenforflow Model Server Address')
   parser.add_argument('--image', default='Siberian_Husky_bi-eyed_Flickr.jpg',
                       help='Path to the image')
   args = parser.parse_args()
   
   
   def main():
     channel = grpc.insecure_channel(args.server_address)
     stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
     # Send request
     with open(args.image, 'rb') as f:
       # See prediction_service.proto for gRPC request/response details.
       request = predict_pb2.PredictRequest()
       request.model_spec.name = 'INCEPTION'
       request.model_spec.signature_name = 'predict_images'
   
       input_name = 'images'
       input_shape = [1]
       input_data = f.read()
       request.inputs[input_name].CopyFrom(
         tf.make_tensor_proto(input_data, shape=input_shape))
   
       result = stub.Predict(request, 10.0)  # 10 secs timeout
       print(result)
   
     print("Inception Client Passed")
   
   
   if __name__ == '__main__':
     main()

6. 이제 서버 위치, 포트 및 허스키 사진의 파일 이름을 파라미터로 전달하는 스크립트를 실행합니다.

   $ python3 inception_client.py --server=localhost:9000 --image Siberian_Husky_bi-eyed_Flickr.jpg