Fai inferenze sul tuo dispositivo - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Fai inferenze sul tuo dispositivo

In questo esempio, utilizzerai Boto3 per scaricare l'output del tuo processo di compilazione sul tuo dispositivo edge. Quindi importeraiDLR, scaricherai un'immagine di esempio dal set di dati, ridimensionerai questa immagine in modo che corrisponda all'input originale del modello e quindi farai una previsione.

  1. Scarica il modello compilato da Amazon S3 sul tuo dispositivo ed estrailo dal file tar compresso.

    # Download compiled model locally to edge device object_path = f'output/{model_name}-{target_device}.tar.gz' neo_compiled_model = f'compiled-{model_name}.tar.gz' s3_client.download_file(bucket_name, object_path, neo_compiled_model) # Extract model from .tar.gz so DLR can use it !mkdir ./dlr_model # make a directory to store your model (optional) !tar -xzvf ./compiled-detect.tar.gz --directory ./dlr_model
  2. Importazione DLR e inizializzazione di un oggetto. DLRModel

    import dlr device = 'cpu' model = dlr.DLRModel('./dlr_model', device)
  3. Scarica un'immagine per inferenza e formattala in base a come è stato addestrato il modello.

    coco_ssd_mobilenetAd esempio, puoi scaricare un'immagine dal COCOset di dati e quindi riformarla in: 300x300

    from PIL import Image # Download an image for model to make a prediction input_image_filename = './input_image.jpg' !curl https://farm9.staticflickr.com/8325/8077197378_79efb4805e_z.jpg --output {input_image_filename} # Format image so model can make predictions resized_image = image.resize((300, 300)) # Model is quantized, so convert the image to uint8 x = np.array(resized_image).astype('uint8')
  4. DLRUsare per fare inferenze.

    Infine, puoi usare DLR per fare una previsione sull'immagine che hai appena scaricato:

    out = model.run(x)

Per altri esempi di utilizzo per DLR fare inferenze da un modello compilato con NEO su un dispositivo edge, consulta il repository Github. neo-ai-dlr