Meminta Inferensi dari Layanan yang Diterapkan (Amazon SageMaker SDK)

Gunakan contoh kode berikut untuk meminta kesimpulan dari layanan yang Anda gunakan berdasarkan kerangka kerja yang Anda gunakan untuk melatih model Anda. Contoh kode untuk kerangka kerja yang berbeda serupa. Perbedaan utama adalah bahwa TensorFlow membutuhkan application/json sebagai jenis konten.

PyTorch dan MXNet

Jika Anda menggunakan PyTorch v1.4 atau versi lebih baru atau MXNet 1.7.0 atau yang lebih baru dan Anda memiliki titik akhir Amazon SageMaker AIInService, Anda dapat membuat permintaan inferensi menggunakan predictor paket AI SageMaker SDK untuk Python.

Contoh kode berikut menunjukkan cara menggunakan ini APIs untuk mengirim gambar untuk inferensi:

from sagemaker.predictor import RealTimePredictor

endpoint = 'insert name of your endpoint here'

# Read image into memory
payload = None
with open("image.jpg", 'rb') as f:
    payload = f.read()

predictor = RealTimePredictor(endpoint=endpoint, content_type='application/x-image')
inference_response = predictor.predict(data=payload)
print (inference_response)

TensorFlow

Contoh kode berikut menunjukkan cara menggunakan SageMaker Python SDK API untuk mengirim gambar untuk inferensi:

from sagemaker.predictor import Predictor
from PIL import Image
import numpy as np
import json

endpoint = 'insert the name of your endpoint here'

# Read image into memory
image = Image.open(input_file)
batch_size = 1
image = np.asarray(image.resize((224, 224)))
image = image / 128 - 1
image = np.concatenate([image[np.newaxis, :, :]] * batch_size)
body = json.dumps({"instances": image.tolist()})
    
predictor = Predictor(endpoint)
inference_response = predictor.predict(data=body)
print(inference_response)