從部署的服務請求推論 (Amazon SageMaker SDK) - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

從部署的服務請求推論 (Amazon SageMaker SDK)

使用下列程式碼範例,根據您用來訓練模型的架構,從部署的服務請求推論。不同架構的程式碼範例都很類似。主要差異是 TensorFlow 需要 application/json作為內容類型。

PyTorch 和 MXNet

如果您使用的是 PyTorch v1.4 或更新版本,或是 MXNet 1.7.0 或更新版本,而且您有 Amazon SageMaker 端點 InService,則可以使用 SageMaker SDK適用於 Python 的 predictor套件提出推論請求。

注意

會根據適用於 Python 版本的 API SageMaker SDK而有所不同:

下列程式碼範例示範如何使用這些程式碼APIs傳送影像以進行推論:

SageMaker Python SDK v1.x
from sagemaker.predictor import RealTimePredictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = RealTimePredictor(endpoint=endpoint, content_type='application/x-image') inference_response = predictor.predict(data=payload) print (inference_response)
SageMaker Python SDK v2.x
from sagemaker.predictor import Predictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = Predictor(endpoint) inference_response = predictor.predict(data=payload) print (inference_response)

TensorFlow

下列程式碼範例示範如何使用 SageMaker Python SDKAPI傳送影像以進行推論:

from sagemaker.predictor import Predictor from PIL import Image import numpy as np import json endpoint = 'insert the name of your endpoint here' # Read image into memory image = Image.open(input_file) batch_size = 1 image = np.asarray(image.resize((224, 224))) image = image / 128 - 1 image = np.concatenate([image[np.newaxis, :, :]] * batch_size) body = json.dumps({"instances": image.tolist()}) predictor = Predictor(endpoint) inference_response = predictor.predict(data=body) print(inference_response)