TensorFlow サービス

インセプションモデルによる推論の提供とテスト

1. モデルをダウンロードします。

   $ curl -O https://s3-us-west-2.amazonaws.com/tf-test-models/INCEPTION.zip

2. モデルを展開します。

   $ unzip INCEPTION.zip

3. ハスキーの画像をダウンロードします。

   $ curl -O https://upload.wikimedia.org/wikipedia/commons/b/b5/Siberian_Husky_bi-eyed_Flickr.jpg

4. サーバーを起動します。Amazon Linux の場合、model_base_path に使用されるディレクトリを /home/ubuntu から /home/ec2-user に変更する必要があります。

   $ tensorflow_model_server --model_name=INCEPTION --model_base_path=/home/ubuntu/examples/tensorflow-serving/INCEPTION/INCEPTION --port=9000

5. サーバーをフォアグラウンドで実行している場合、続行するには別のターミナルセッションを開始する必要があります。新しいターミナルを開き、 TensorFlow でアクティブ化しますsource activate tensorflow2_p310。次に、任意のテキストエディタを使用して、以下の内容のスクリプトを作成します。このスクリプトに inception_client.py という名前を付けます。このスクリプトは画像のファイル名をパラメータとして受け取り、事前トレーニング済みモデルから予測結果を取得します。

   from __future__ import print_function
   
   import grpc
   import tensorflow as tf
   import argparse
   
   from tensorflow_serving.apis import predict_pb2
   from tensorflow_serving.apis import prediction_service_pb2_grpc
   
   parser = argparse.ArgumentParser(
       description='TF Serving Test',
       formatter_class=argparse.ArgumentDefaultsHelpFormatter
   )
   parser.add_argument('--server_address', default='localhost:9000',
                       help='Tenforflow Model Server Address')
   parser.add_argument('--image', default='Siberian_Husky_bi-eyed_Flickr.jpg',
                       help='Path to the image')
   args = parser.parse_args()
   
   
   def main():
     channel = grpc.insecure_channel(args.server_address)
     stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
     # Send request
     with open(args.image, 'rb') as f:
       # See prediction_service.proto for gRPC request/response details.
       request = predict_pb2.PredictRequest()
       request.model_spec.name = 'INCEPTION'
       request.model_spec.signature_name = 'predict_images'
   
       input_name = 'images'
       input_shape = [1]
       input_data = f.read()
       request.inputs[input_name].CopyFrom(
         tf.make_tensor_proto(input_data, shape=input_shape))
   
       result = stub.Predict(request, 10.0)  # 10 secs timeout
       print(result)
   
     print("Inception Client Passed")
   
   
   if __name__ == '__main__':
     main()

6. サーバーの場所、ポート、ハスキーの写真のファイル名をパラメータとして渡してスクリプトを実行します。

   $ python3 inception_client.py --server=localhost:9000 --image Siberian_Husky_bi-eyed_Flickr.jpg