Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Meminta Inferensi dari Layanan yang Didistribusikan (Amazon SageMaker SDK)
Gunakan contoh kode berikut untuk meminta kesimpulan dari layanan yang Anda gunakan berdasarkan kerangka kerja yang Anda gunakan untuk melatih model Anda. Contoh kode untuk kerangka kerja yang berbeda serupa. Perbedaan utama adalah bahwa TensorFlow membutuhkan application/json sebagai jenis konten.
PyTorch dan MXnet
Jika Anda menggunakan PyTorch v1.4 atau yang lebih baru atau MXnet 1.7.0 atau yang lebih baru dan Anda memiliki titik akhir Amazon SageMaker AIInService, Anda dapat membuat permintaan inferensi menggunakan predictor paket Python SDK. SageMaker
catatan
API bervariasi berdasarkan versi SageMaker Python SDK:
-
Untuk versi 1.x, gunakan
RealTimePredictordan PredictAPI.
Contoh kode berikut menunjukkan cara menggunakan API ini untuk mengirim gambar untuk inferensi:
from sagemaker.core.resources import Endpoint endpoint_name ='insert name of your endpoint here'# Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() endpoint = Endpoint(endpoint_name=endpoint_name) inference_response = endpoint.invoke(body=payload, content_type='application/x-image') print(inference_response.body.read().decode('utf-8'))
TensorFlow
Contoh kode berikut menunjukkan cara menggunakan SageMaker Python SDK API untuk mengirim gambar untuk inferensi:
from sagemaker.core.resources import Endpoint from PIL import Image import numpy as np import json endpoint_name ='insert the name of your endpoint here'# Read image into memory image = Image.open(input_file) batch_size = 1 image = np.asarray(image.resize((224, 224))) image = image / 128 - 1 image = np.concatenate([image[np.newaxis, :, :]] * batch_size) body = json.dumps({"instances": image.tolist()}) endpoint = Endpoint(endpoint_name=endpoint_name) inference_response = endpoint.invoke(body=body, content_type='application/json') print(inference_response)