konektor Deteksi Objek ML

Konektor Deteksi Objek ML menyediakan layanan inferensi pembelajaran mesin (ML) yang berjalan pada AWS IoT Greengrass inti. Layanan inferensi lokal ini melakukan deteksi objek menggunakan model deteksi objek yang dikompilasi oleh kompiler pembelajaran mendalam SageMaker AI Neo. Dua jenis model pendeteksian objek didukung: Single Shot Multibox Detector (SSD) dan You Only Look Once (YOLO) v3. Untuk informasi lebih lanjut, lihat Persyaratan Model Deteksi Objek.

Fungsi Lambda yang ditentukan pengguna menggunakan Machine Learning AWS IoT Greengrass SDK untuk mengirimkan permintaan inferensi ke layanan inferensi lokal. Layanan ini melakukan inferensi lokal pada gambar input dan mengembalikan daftar prediksi untuk setiap objek yang terdeteksi dalam gambar. Setiap prediksi berisi kategori objek, skor kepercayaan prediksi, dan koordinat piksel yang menentukan kotak batas dalam sekitar objek yang diprediksi.

AWS IoT Greengrass menyediakan konektor Deteksi Objek MLuntuk berbagai platform:

Persyaratan

Konektor-konektor ini memiliki persyaratan sebagai berikut:

Persyaratan model deteksi objek

Konektor Deteksi Objek ML mendukung Single Shot multibox Detector (SSD) dan You Only Look Once (YOLO) v3 jenis model deteksi objek. Anda dapat menggunakan komponen deteksi objek yang disediakan oleh GluonCV untuk melatih model dengan dataset Anda sendiri. Atau, Anda bisa menggunakan model pra-terlatih dari GluonCV Model Zoo:

Model deteksi objek Anda harus dilatih dengan gambar input 512 x 512. Model pra-terlatih dari GluonCV Model Zoo sudah memenuhi persyaratan ini.

Model deteksi objek yang terlatih harus dikompilasi dengan kompiler pembelajaran mendalam SageMaker AI Neo. Ketika mengkompilasi, pastikan perangkat keras target cocok dengan perangkat keras perangkat core Greengrass Anda. Untuk informasi selengkapnya, lihat SageMaker AI Neo di Panduan Pengembang Amazon SageMaker AI.

Model dikompilasi harus ditambahkan sebagai sumber daya ML (sumber daya model Amazon S3) ke grup Greengrass yang sama dengan konektor.

Parameter Konektor

Konektor-konektor ini menyediakan parameter berikut.

Buat Contoh Konektor (AWS CLI)

Perintah CLI berikut membuat ConnectorDefinition dengan versi awal yang berisi konektor Deteksi Objek ML. Contoh ini menciptakan sebuah instance dari ARMv7l konektor Deteksi Objek ML.

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

Di AWS IoT Greengrass konsol, Anda dapat menambahkan konektor dari halaman Konektor grup. Untuk informasi selengkapnya, lihat Memulai dengan konektor Greengrass (konsol).

Data input

Konektor ini menerima file gambar sebagai input. Input file gambar harus dalam jpeg atau png format. Untuk informasi selengkapnya, lihat Contoh Penggunaan.

Konektor-konektor ini tidak menerima pesan MQTT sebagai data input.

Data output

Konektor ini kembali daftar diformat hasil prediksi untuk objek diidentifikasi dalam gambar input:

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

Setiap prediksi dalam daftar terkandung dalam bucket kotak dan berisi enam nilai:

Konektor ini tidak menerbitkan pesan MQTT sebagai data output.

Contoh Penggunaan

contoh fungsi Lambda berikut menggunakan AWS IoT Greengrass Machine Learning SDK untuk berinteraksi dengan konektor Deteksi Objek ML.

Contoh menginisialisasi klien SDK dan serentak menghubungi fungsi SDK invoke_inference_service untuk memanggil layanan inferensi lokal. Ini melewati jenis algoritme, nama layanan, jenis citra, dan konten citra. Kemudian, contoh mengurai respon layanan untuk mendapatkan hasil probabilitas (prediksi).

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

invoke_inference_serviceFungsi dalam AWS IoT Greengrass Machine Learning SDK menerima argumen berikut.

Menginstal dependensi runtime pembelajaran mendalam Neo pada inti AWS IoT Greengrass

Konektor Deteksi Objek ML dibundel dengan SageMaker AI Neo deep learning runtime (DLR). Konektor menggunakan waktu aktif untuk melayani model ML. Untuk menggunakan konektor ini, Anda harus menginstal dependensi untuk DLR pada perangkat core Anda.

Sebelum Anda menginstal dependensi DLR, pastikan bahwa sistem perpustakaan yang diperlukan (dengan versi minimum yang ditentukan) ada pada perangkat.

Pencatatan dan pemecahan masalah

Bergantung pada pengaturan grup Anda, log peristiwa dan kesalahan ditulis ke CloudWatch Log, sistem file lokal, atau keduanya. Catatan dari konektor ini menggunakan prefix LocalInferenceServiceName. Jika konektor berperilaku tidak terduga, periksa log konektor. Ini biasanya berisi informasi debugging yang berguna, seperti dependensi perpustakaan ML yang hilang atau penyebab kegagalan startup konektor.

Jika AWS IoT Greengrass grup dikonfigurasi untuk menulis log lokal, konektor akan menulis file log kegreengrass-root/ggc/var/log/user/region/aws/. Untuk informasi lebih lanjut tentang Greengrass pencatatan, lihat Pemantauan dengan AWS IoT Greengrass log.

Gunakan informasi berikut untuk membantu memecahkan masalah dengan Deteksi Objek ML konektor.

Pustaka sistem yang diperlukan

Tab berikut mencantumkan perpustakaan sistem yang diperlukan untuk setiap konektor Deteksi Objek ML.

Masalah

sudo ln /dev/null /dev/raw1394

Lisensi

Konektor Deteksi Objek ML termasuk perangkat lunak/lisensi pihak ketiga berikut:

Konektor ini dirilis di bawah Perjanjian Lisensi Perangkat lunak core Greengrass.

Lihat juga