Solicitar inferências de um serviço implantado (Amazon) SageMaker SDK - Amazon SageMaker

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Solicitar inferências de um serviço implantado (Amazon) SageMaker SDK

Use os exemplos de código a seguir para solicitar inferências do seu serviço implantado com base na estrutura que você usou para treinar seu modelo. Os exemplos de código para as diferentes estruturas são semelhantes. A principal diferença é que TensorFlow exige application/json o tipo de conteúdo.

PyTorch e MXNet

Se você estiver usando a PyTorch versão 1.4 ou posterior ou a MXNet1.7.0 ou posterior e tiver um SageMaker endpoint da AmazonInService, poderá fazer solicitações de inferência usando o pacote predictor do for Python. SageMaker SDK

nota

Isso API varia de acordo com a SageMaker SDK versão para Python:

O exemplo de código a seguir mostra como usá-los APIs para enviar uma imagem para inferência:

SageMaker Python SDK v1.x
from sagemaker.predictor import RealTimePredictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = RealTimePredictor(endpoint=endpoint, content_type='application/x-image') inference_response = predictor.predict(data=payload) print (inference_response)
SageMaker Python SDK v2.x
from sagemaker.predictor import Predictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = Predictor(endpoint) inference_response = predictor.predict(data=payload) print (inference_response)

TensorFlow

O exemplo de código a seguir mostra como usar o SageMaker Python SDK API para enviar uma imagem para inferência:

from sagemaker.predictor import Predictor from PIL import Image import numpy as np import json endpoint = 'insert the name of your endpoint here' # Read image into memory image = Image.open(input_file) batch_size = 1 image = np.asarray(image.resize((224, 224))) image = image / 128 - 1 image = np.concatenate([image[np.newaxis, :, :]] * batch_size) body = json.dumps({"instances": image.tolist()}) predictor = Predictor(endpoint) inference_response = predictor.predict(data=body) print(inference_response)