디바이스에서 추론하기 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

디바이스에서 추론하기

이 예시에서는 Boto3를 사용하여 컴파일 작업의 출력을 엣지 디바이스에 다운로드합니다. 그런 다음 를 가져오고DLR, 데이터 세트에서 예제 이미지를 다운로드하고, 모델의 원래 입력과 일치하도록 이 이미지의 크기를 조정한 다음 예측합니다.

  1. Amazon S3에서 컴파일된 모델을 디바이스로 다운로드하고 압축된 tarfile에서 추출합니다.

    # Download compiled model locally to edge device
object_path = f'output/{model_name}-{target_device}.tar.gz'
neo_compiled_model = f'compiled-{model_name}.tar.gz'
s3_client.download_file(bucket_name, object_path, neo_compiled_model)

# Extract model from .tar.gz so DLR can use it
!mkdir ./dlr_model # make a directory to store your model (optional)
!tar -xzvf ./compiled-detect.tar.gz --directory ./dlr_model

  2. DLR 및 초기화된 DLRModel 객체를 가져옵니다.

    import dlr

device = 'cpu'
model = dlr.DLRModel('./dlr_model', device)

  3. 추론할 이미지를 다운로드하고 모델이 훈련된 방식에 따라 형식을 지정합니다.

    예를 coco_ssd_mobilenet 들어 데이터 COCO 세트에서 이미지를 다운로드한 다음 이미지를 로 재구성할 수 있습니다300x300.

    from PIL import Image

# Download an image for model to make a prediction
input_image_filename = './input_image.jpg'
!curl https://farm9.staticflickr.com/8325/8077197378_79efb4805e_z.jpg --output {input_image_filename}

# Format image so model can make predictions
resized_image = image.resize((300, 300))

# Model is quantized, so convert the image to uint8
x = np.array(resized_image).astype('uint8')

  4. DLR 를 사용하여 추론합니다.

    마지막으로 DLR를 사용하여 방금 다운로드한 이미지를 예측할 수 있습니다.

    out = model.run(x)

DLR 를 사용하여 엣지 디바이스의 Neo 컴파일 모델에서 추론하는 자세한 예는 neo-ai-dlr Github 리포지토리를 참조하세요.