Solicitar inferencias desde un servicio implementado (Amazon SageMaker SDK) - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solicitar inferencias desde un servicio implementado (Amazon SageMaker SDK)

Utilice los siguientes ejemplos de código para solicitar inferencias del servicio implementado en función del marco que haya utilizado para formar su modelo. Los ejemplos de código para los distintos marcos son similares. La principal diferencia es que TensorFlow el tipo application/json de contenido es obligatorio.

PyTorch y MXNet

Si utiliza la PyTorch versión 1.4 o posterior o la MXNet 1.7.0 o posterior y tiene un punto de conexión Amazon SageMaker AIInService, puede realizar solicitudes de inferencia mediante el predictor paquete del SDK de SageMaker IA para Python.

nota

La API varía según la versión de SageMaker AI SDK para Python:

El siguiente ejemplo de código muestra cómo utilizarlos APIs para enviar una imagen con fines de inferencia:

SageMaker Python SDK v1.x
from sagemaker.predictor import RealTimePredictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = RealTimePredictor(endpoint=endpoint, content_type='application/x-image') inference_response = predictor.predict(data=payload) print (inference_response)
SageMaker Python SDK v2.x
from sagemaker.predictor import Predictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = Predictor(endpoint) inference_response = predictor.predict(data=payload) print (inference_response)

TensorFlow

El siguiente ejemplo de código muestra cómo usar la API del SDK de SageMaker Python para enviar una imagen con fines de inferencia:

from sagemaker.predictor import Predictor from PIL import Image import numpy as np import json endpoint = 'insert the name of your endpoint here' # Read image into memory image = Image.open(input_file) batch_size = 1 image = np.asarray(image.resize((224, 224))) image = image / 128 - 1 image = np.concatenate([image[np.newaxis, :, :]] * batch_size) body = json.dumps({"instances": image.tolist()}) predictor = Predictor(endpoint) inference_response = predictor.predict(data=body) print(inference_response)