Demander des inférences à partir d'un service déployé (Amazon SageMaker SDK)

Utilisez les exemples de code suivants pour demander des inférences à partir de votre service déployé en fonction du cadre que vous avez utilisé pour entraîner votre modèle. Les exemples de code sont similaires pour les différents cadres. La principale différence est que le type de contenu est TensorFlow requisapplication/json.

PyTorch et MXNet

Si vous utilisez la version PyTorch 1.4 ou une version ultérieure ou la MXNet version 1.7.0 ou une version ultérieure et que vous disposez d'un point de terminaison Amazon SageMaker AIInService, vous pouvez effectuer des demandes d'inférence à l'aide predictor du package du SDK SageMaker AI pour Python.

L'exemple de code suivant montre comment les utiliser pour envoyer une image APIs à des fins d'inférence :

from sagemaker.predictor import RealTimePredictor

endpoint = 'insert name of your endpoint here'

# Read image into memory
payload = None
with open("image.jpg", 'rb') as f:
    payload = f.read()

predictor = RealTimePredictor(endpoint=endpoint, content_type='application/x-image')
inference_response = predictor.predict(data=payload)
print (inference_response)

TensorFlow

L'exemple de code suivant montre comment utiliser l'API du SDK SageMaker Python pour envoyer une image à des fins d'inférence :

from sagemaker.predictor import Predictor
from PIL import Image
import numpy as np
import json

endpoint = 'insert the name of your endpoint here'

# Read image into memory
image = Image.open(input_file)
batch_size = 1
image = np.asarray(image.resize((224, 224)))
image = image / 128 - 1
image = np.concatenate([image[np.newaxis, :, :]] * batch_size)
body = json.dumps({"instances": image.tolist()})
    
predictor = Predictor(endpoint)
inference_response = predictor.predict(data=body)
print(inference_response)