Classificazione degli oggetti in una nuvola di punti 3D con il rilevamento degli oggetti - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Classificazione degli oggetti in una nuvola di punti 3D con il rilevamento degli oggetti

Utilizza questo tipo di attività quando i worker devono classificare gli oggetti in una nuvola di punti 3D disegnando cuboidi 3D attorno agli oggetti. Ad esempio, puoi utilizzare questo tipo di attività per chiedere ai worker di identificare in una nuvola di punti diversi tipi di oggetti, ad esempio automobili, biciclette e pedoni. La pagina seguente fornisce informazioni importanti sul lavoro di etichettatura, nonché i passaggi per crearne uno.

Per questo tipo di attività, l'oggetto dati etichettato dai worker è un singolo frame nuvola di punti. Ground Truth esegue il rendering di una nuvola di punti 3D utilizzando i dati della nuvola di punti forniti dall'utente. Puoi inoltre fornire i dati della telecamera per offrire ai worker maggiori informazioni visive sulle scene nel frame e per aiutare i worker a disegnare i cuboidi 3D attorno agli oggetti.

Ground Truth fornisce ai worker gli strumenti per annotare gli oggetti con 9 gradi di libertà (x, y, z, rx, ry, rz, l, w, h) in tre dimensioni sia nelle visualizzazioni di scena 3D che nelle visualizzazioni laterali proiettate (superiore, laterale e posteriore). Se specifichi le informazioni sulla fusione dei sensori (come i dati della telecamera), quando un worker aggiunge un cuboide per identificare un oggetto nella nuvola di punti 3D, il cuboide viene visualizzato e può essere modificato nelle immagini 2D. Dopo l'aggiunta di un cuboide, tutte le modifiche apportate a quel cuboide nella scena 2D o 3D vengono proiettate nell'altra visualizzazione.

Puoi creare un processo per adattare le annotazioni create in un processo di etichettatura di rilevamento di oggetti della nuvola di punti 3D utilizzando il tipo di attività di adattamento del rilevamento di oggetti della nuvola di punti 3D.

Se non hai familiarità con la modalità di etichettatura della nuvola di punti 3D Ground Truth, ti consigliamo di leggere Panoramica dei lavori di etichettatura con nuvole di punti 3D. Questa modalità di etichettatura è diversa da altri tipi di attività Ground Truth e in questa pagina viene fornita una panoramica dei dettagli importanti di cui devi essere consapevole quando crei un processo di etichettatura della nuvola di punti 3D.

Visualizza l’interfaccia dell’attività del worker

Ground Truth fornisce ai worker un portale Web e gli strumenti per completare le attività di annotazione del rilevamento di oggetti della nuvola di punti 3D. Quando crei il processo di etichettatura, fornisci il nome della risorsa Amazon (ARN) per un'interfaccia utente di lavoro Ground Truth predefinita nel parametro HumanTaskUiArn. Quando crei un processo di etichettatura utilizzando questo tipo di attività nella console, l'interfaccia utente di lavoro viene utilizzata automaticamente. Puoi visualizzare in anteprima e interagire con l'interfaccia utente del worker quando crei un processo di etichettatura nella console. Se sei un nuovo utente, ti consigliamo di creare un processo di etichettatura utilizzando la console per assicurarti che gli attributi di etichetta, i frame della nuvola di punti e, se applicabile, le immagini vengano visualizzati come previsto.

Di seguito è riportata una GIF dell'interfaccia delle attività del worker di rilevamento di oggetti della nuvola di punti 3D. Se specifichi i dati della telecamera per la fusione dei sensori nel sistema di coordinate globale, le immagini vengono abbinate a scene nel frame della nuvola di punti. Queste immagini vengono visualizzate nel portale dei worker, come illustrato nella seguente GIF.

Gif che mostra come un lavoratore può annotare una nuvola di punti 3D nel portale dei lavoratori di Ground Truth.

Il worker può navigare nella scena 3D utilizzando la tastiera e il mouse. In particolare, può:

  • Fare doppio clic su oggetti specifici nella nuvola di punti per ingrandirli.

  • Usare la rotella del mouse o un trackpad per ingrandire e ridurre la nuvola di punti.

  • Usa entrambi i tasti freccia della tastiera e i tasti Q, E, A e D per spostarsi Su, Giù, Sinistra, Destra. Usa i tasti della tastiera W e S per ingrandire e ridurre.

Una volta che un worker posiziona un cuboide nella scena 3D, viene mostrata una visualizzazione laterale con le tre visualizzazioni laterali proiettate: superiore, laterale e posteriore. Queste visualizzazioni laterali mostrano i punti all'interno e attorno al cuboide posizionato e consentono ai worker di perfezionare i limiti del cuboide in quell'area. I worker possono ingrandire e ridurre ciascuna di queste visualizzazioni laterali utilizzando il mouse.

Il video seguente mostra i movimenti intorno alla nuvola di punti 3D e nella visualizzazione laterale.

Gif che mostra i movimenti attorno alla nuvola di punti 3D e alla vista laterale.

Altre opzioni di visualizzazione e caratteristiche sono disponibili nel menu Visualizza dell'interfaccia utente del worker. Consulta la pagina delle istruzioni per il worker per una panoramica completa dell'interfaccia utente del worker.

Strumenti di etichettatura assistita

Ground Truth consente ai worker di annotare le nuvole di punti 3D in modo più rapido e accurato utilizzando strumenti di etichettatura assistita basati sul machine learning e strumenti di etichettatura assistita basati sulla visione artificiale per le attività di monitoraggio di oggetti della nuvola di punti 3D. Per questo tipo di attività sono disponibili i seguenti strumenti di etichettatura assistita:

  • Aggancio: i worker possono aggiungere un cuboide attorno a un oggetto e utilizzare un tasto di scelta rapida o un'opzione di menu per fare in modo che lo strumento di autofit di Ground Truth agganci saldamente il cuboide attorno all'oggetto.

  • Aggancio a terra : dopo che un worker aggiunge un cuboide alla scena 3D può automaticamente agganciare il cuboide al terreno. Ad esempio, il worker può utilizzare questa caratteristica per agganciare un cuboide sulla strada o sul marciapiede nella scena.

  • Etichettatura di più visualizzazioni: dopo che un worker aggiunge un cuboide 3D alla scena 3D, un pannello laterale visualizza le prospettive frontali, laterali e superiori per aiutare il worker ad adattare il cuboide attorno all'oggetto. In tutte queste visualizzazioni, il cuboide include una freccia che indica l'orientamento o l'intestazione dell'oggetto. Quando il worker adatta il cuboide, l'adattamento apparirà in tempo reale su tutte le visualizzazioni (ovvero 3D, superiore, laterale e anteriore).

  • Fusione dei sensori: se fornisci i dati per la fusione dei sensori, i worker possono adattare nelle scene 3D e nelle immagini 2D le annotazioni che quindi verranno proiettate nell'altra visualizzazione in tempo reale. Inoltre, i worker hanno la possibilità di visualizzare la direzione in cui la telecamera è rivolta e il frustum della telecamera.

  • Opzioni di visualizzazione : consente ai worker di nascondere o visualizzare facilmente i cuboidi, il testo dell'etichetta, una maglia a terra e altri attributi di punto come il colore o l'intensità. I worker possono anche scegliere tra proiezioni prospettiche e ortogonali.

Creazione di un processo di etichettatura per il rilevamento di oggetti 3D della nuvola di punti

È possibile creare un lavoro di etichettatura di nuvole di punti 3D utilizzando la console SageMaker AI o il funzionamento dell'API,. CreateLabelingJob Per creare un processo di etichettatura per questo tipo di attività è necessario quanto segue:

Inoltre, assicurati di aver esaminato e applicato quanto descritto in Assegnare le autorizzazioni IAM per utilizzare Ground Truth.

Le sezioni seguenti forniscono informazioni su come creare un processo di etichettatura utilizzando la console o un'API.

Creazione di un processo di etichettatura (console)

Puoi seguire le istruzioni Creazione di un processo di etichettatura (console) per imparare a creare un lavoro di etichettatura di oggetti per il rilevamento di nuvole di punti 3D nella console SageMaker AI. Durante la creazione del processo di etichettatura, tieni presente quanto segue:

  • Il file manifest di input deve essere un file manifest a frame singolo. Per ulteriori informazioni, consulta Creazione di un file manifest di input del frame di nuvola di punti.

  • Facoltativamente puoi fornire la categoria di etichetta e gli attributi frame. I worker possono assegnare uno o più di questi attributi alle annotazioni per fornire ulteriori informazioni sull'oggetto. Ad esempio, puoi utilizzare l'attributo occluded per consentire ai worker di individuare quando un oggetto è parzialmente ostruito.

  • L'etichettatura automatizzata dei dati e il consolidamento dell'annotazione non sono supportati per le attività di etichettatura della nuvola di punti 3D.

  • I processi di etichettatura di rilevamento di oggetti della nuvola di punti 3D possono richiedere diverse ore per essere completati. Puoi specificare un limite di tempo più lungo per questi processi di etichettatura quando selezioni il team di lavoro (fino a 7 giorni o 604800 secondi).

Creazione di un processo di etichettatura (API)

Questa sezione descrive i dettagli che è necessario conoscere quando si crea un lavoro di etichettatura utilizzando l'operazione SageMaker API. CreateLabelingJob Questa API definisce questa operazione per tutti AWS SDKs. Per visualizzare un elenco delle lingue specifiche SDKs supportate per questa operazione, consulta la sezione Vedere anche di. CreateLabelingJob

Creazione di un processo di etichettatura (API), fornisce una panoramica dell'operazione CreateLabelingJob. Segui queste istruzioni ed effettua le seguenti operazioni durante la configurazione della richiesta:

  • Immetti un ARN per HumanTaskUiArn. Utilizza arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectDetection. Sostituisci <region> con la Regione AWS in cui stai creando il processo di etichettatura.

    Non inserire una voce per il parametro UiTemplateS3Uri.

  • Il file manifest di input deve essere un file manifest a frame singolo. Per ulteriori informazioni, consulta Creazione di un file manifest di input del frame di nuvola di punti.

  • Specifica le etichette, la categoria di etichette e gli attributi frame, e le istruzioni per il worker in un file di configurazione della categoria di etichetta. Per informazioni su come creare questo file, consulta File di configurazione della categoria di etichettatura con riferimento alla categoria dell'etichetta e agli attributi del frame.

  • È necessario fornire funzioni Lambda predefinite ARNs per le funzioni Lambda di pre-annotazione e post-annotazione (ACS). Queste ARNs sono specifiche della AWS regione che utilizzi per creare il tuo lavoro di etichettatura.

    • Per trovare l'ARN Lambda di pre-annotazione, fai riferimento a PreHumanTaskLambdaArn. Utilizza la Regione in cui stai creando il processo di etichettatura per trovare l'ARN corretto. Ad esempio, se stai creando il processo di etichettatura in us-east-1, l'ARN sarà arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudObjectDetection.

    • Per trovare l'ARN Lambda di postannotazione, fai riferimento a AnnotationConsolidationLambdaArn. Utilizza la Regione in cui stai creando il processo di etichettatura per trovare l'ARN corretto. Ad esempio, se stai creando il processo di etichettatura in us-east-1, l'ARN sarà arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudObjectDetection.

  • Il numero di worker specificato in NumberOfHumanWorkersPerDataObject deve essere 1.

  • L'etichettatura automatizzata dei dati non è supportata per i processi di etichettatura della nuvola di punti 3D. Non è necessario specificare i valori per i parametri in LabelingJobAlgorithmsConfig.

  • I processi di etichettatura di rilevamento di oggetti della nuvola di punti 3D possono richiedere diverse ore per essere completati. Puoi specificare un limite di tempo più lungo per questi processi di etichettatura in TaskTimeLimitInSeconds (fino a 7 giorni o 604.800 secondi).

Creazione di un processo di rilevamento di oggetti della nuvola di punti 3D o di etichettatura di verifica

Puoi creare un processo di regolazione o di etichettatura di verifica dell'etichetta utilizzando la console Ground Truth o l'API CreateLabelingJob. Per ulteriori informazioni sui processi di etichettatura di regolazione e di etichettatura di verifica e per scoprire come crearne uno, consulta Verifica e aggiustamento delle etichette.

Quando crei un processo di etichettatura di regolazione, i dati di input per il processo di etichettatura possono includere etichette e misurazioni di imbardata, rollio e beccheggio tratte da un precedente processo di etichettatura o da un’origine esterna. Nel processo di regolazione, beccheggio e rollio verranno visualizzati nell'interfaccia utente del worker, ma non possono essere modificati. L'imbardata è regolabile.

Ground Truth utilizza gli angoli di Tait-Bryan con le seguenti rotazioni intrinseche per visualizzare imbardata, beccheggio e rollio nell'interfaccia utente del worker. Innanzitutto, la rotazione viene applicata al veicolo in base all'asse z (imbardata). Successivamente, il veicolo ruotato viene ruotato secondo l'asse y intrinseco (beccheggio). Infine, il veicolo viene ruotato secondo l'asse x intrinseco (rollio).

Formato dei dati di output

Quando crei un processo di etichettatura di rilevamento di oggetti della nuvola di punti 3D, le attività vengono inviate ai worker. Quando questi worker completano le attività, le etichette vengono scritte nel bucket Amazon S3 specificato al momento della creazione del processo di etichettatura. Il formato dei dati di output determina ciò che vedi nel tuo bucket Amazon S3 quando lo stato del processo di etichettatura () è. LabelingJobStatusCompleted

Se non hai familiarità con Ground Truth, consulta Etichettatura dei dati di output del lavoro per ulteriori informazioni sul formato dei dati di output in Ground Truth. Per informazioni sul formato dei dati di output del rilevamento di oggetti della nuvola di punti 3D, consulta Output di rilevamento di oggetti con nuvole di punti 3D.