Tracciamento di oggetti della nuvola di punti 3D - Amazon SageMaker
Visualizzazione dell'interfaccia delle attività del workerCreazione di un processo di etichettatura per il tracciamento di oggetti 3D della nuvola di puntiCreazione di un processo di regolazione del monitoraggio di oggetti della nuvola di punti 3D o di etichettatura di verificaFormato dei dati di output

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Tracciamento di oggetti della nuvola di punti 3D

Utilizza questo tipo di attività quando desideri che i worker aggiungano e adattino cuboidi 3D attorno agli oggetti per tenere traccia del loro movimento tra frame di nuvole di punti 3D. Ad esempio, è possibile utilizzare questo tipo di attività per chiedere ai worker di tenere traccia dello spostamento dei veicoli attraverso più frame di nuvole di punti.

Per questo tipo di attività, l'oggetto dati etichettato dai worker è una sequenza di frame della nuvola di punti. Una sequenza è definita come una serie temporale di frame di nuvole di punti. Ground Truth esegue il rendering di una serie di visualizzazioni di nuvole di punti 3D utilizzando una sequenza fornita e i worker possono passare da questi frame di nuvole di punti 3D nell'interfaccia delle attività del worker.

Ground Truth fornisce ai worker gli strumenti per annotare gli oggetti con 9 gradi di libertà: (x, y, z, rx, ry, rz, l, w, h) in tre dimensioni sia nelle visualizzazioni di scena 3D che nelle visualizzazioni laterali proiettate (superiore, laterale e posteriore). Quando un worker disegna un cuboide attorno a un oggetto, a tale cuboide viene assegnato un ID univoco, ad esempio Car:1 per un'auto nella sequenza e Car:2 per un'altra. I worker utilizzano tale ID per etichettare lo stesso oggetto in più frame.

Puoi inoltre fornire i dati della telecamera per offrire ai worker maggiori informazioni visive sulle scene nel frame e per aiutare i worker a disegnare i cuboidi 3D attorno agli oggetti. Quando un worker aggiunge un cuboide 3D per identificare un oggetto nell'immagine 2D o nel cloud di punti 3D e il cuboide viene visualizzato nell'altra vista.

Puoi adattare le annotazioni create in un processo di etichettatura di rilevamento di oggetti della nuvola di punti 3D utilizzando il tipo di attività di adattamento del tracciamento dell'oggetto della nuvola di punti 3D.

Se non hai familiarità con la modalità di etichettatura della nuvola di punti Ground Truth 3D, ti consigliamo di consultare Panoramica sui processi di etichettatura cloud di punti 3D. Questa modalità di etichettatura è diversa da altri tipi di attività Ground Truth e in questa pagina viene fornita una panoramica dei dettagli importanti di cui devi essere consapevole quando crei un processo di etichettatura della nuvola di punti 3D.

Visualizzazione dell'interfaccia delle attività del worker

Ground Truth fornisce ai worker un portale Web e gli strumenti per completare le attività di annotazione del tracciamento di oggetti della nuvola di punti 3D. Quando crei il processo di etichettatura, fornisci nel parametro Amazon Resource Name (ARN) per un'interfaccia utente Ground Truth predefinita. HumanTaskUiArn Quando crei un processo di etichettatura utilizzando questo tipo di attività nella console, l'interfaccia utente viene utilizzata automaticamente. Puoi visualizzare in anteprima e interagire con l'interfaccia utente del worker quando crei un processo di etichettatura nella console. Se sei un nuovo utente, ti consigliamo di creare un processo di etichettatura utilizzando la console per assicurarti che gli attributi di etichetta, i frame della nuvola di punti e, se applicabile, le immagini vengano visualizzati come previsto.

Di seguito è riportata una GIF delle interfacce operative di 3D Point Cloud Object Tracking Worker e dimostra come l'operatore può navigare tra i frame della nuvola di punti della sequenza. Gli strumenti di annotazione fanno parte dell'interfaccia dell’attività del worker. Non sono disponibili per l'interfaccia in anteprima.

Gif che mostra come l'operatore può navigare tra i frame della nuvola di punti nella sequenza.

Una volta che i worker aggiungono un singolo cuboide, tale cuboide viene replicato in tutti i frame della sequenza con lo stesso ID. Una volta che i worker regolano il cuboide in un altro frame, Ground Truth interpolerà il movimento di quell'oggetto e regolerà tutti i cuboidi tra i frame regolati manualmente. Di seguito viene GIF illustrata questa funzionalità di interpolazione. Nella barra di navigazione in basso a sinistra, le aree rosse indicano i frame regolati manualmente.

Gif che mostra come viene dedotta la posizione di un parallelepipedo tra i frame.

Se specifichi i dati della telecamera per la fusione dei sensori, le immagini vengono abbinate a scene nel frame della nuvola di punti. Queste immagini vengono visualizzate nel Worker Portal come illustrato di seguito. GIF

Il worker può navigare nella scena 3D utilizzando la tastiera e il mouse. In particolare, può:

  • Fare doppio clic su oggetti specifici nella nuvola di punti per ingrandirli.

  • Usare la rotella del mouse o un trackpad per ingrandire e ridurre la nuvola di punti.

  • Usa entrambi i tasti freccia della tastiera e i tasti Q, E, A e D per spostarsi Su, Giù, Sinistra, Destra. Usa i tasti della tastiera W e S per ingrandire e ridurre.

Una volta che un worker posiziona un cuboide nella scena 3D, viene mostrata una visualizzazione laterale con le tre visualizzazioni laterali proiettate: superiore, laterale e posteriore. Queste visualizzazioni laterali mostrano i punti all'interno e attorno al cuboide posizionato e consentono ai worker di perfezionare i limiti del cuboide in quell'area. I worker possono ingrandire e ridurre ciascuna di queste visualizzazioni laterali utilizzando il mouse.

Il video seguente mostra i movimenti intorno alla nuvola di punti 3D e nella visualizzazione laterale.

GIF che mostra i movimenti attorno alla nuvola di punti 3D che mostra una scena di strada.

Sono disponibili ulteriori opzioni di visualizzazione e caratteristiche. Consulta la pagina delle istruzioni per il worker per una panoramica completa dell'interfaccia utente di lavoro.

Strumenti di lavoro

I worker possono navigare nella nuvola di punti 3D eseguendo lo zoom avanti e indietro e spostandosi in tutte le direzioni intorno alla nuvola utilizzando le scelte rapide del mouse e della tastiera. Se i worker fanno clic su un punto nella nuvola di punti, l'interfaccia utente esegue automaticamente lo zoom in quell'area. I worker possono utilizzare vari strumenti per disegnare un cuboide 3D attorno agli oggetti. Per ulteriori informazioni, seleziona Strumenti di etichettatura assistita.

Dopo che i worker hanno inserito un cuboide 3D nella nuvola di punti, possono regolare questi cuboidi per adattarsi perfettamente alle auto utilizzando una varietà di viste: direttamente nel cuboide 3D, in una vista laterale con tre prospettive ingrandite della nuvola di punti attorno alla casella e, se si includono immagini per la fusione dei sensori, direttamente nell'immagine 2D.

Opzioni di visualizzazione che consentono ai worker di nascondere o visualizzare facilmente il testo dell'etichetta, una maglia a terra e altri attributi di punto. I worker possono anche scegliere tra proiezioni prospettiche e ortogonali.

Strumenti di etichettatura assistita

Ground Truth consente ai worker di annotare le nuvole di punti 3D in modo più rapido e accurato utilizzando UX, gli strumenti di etichettatura assistita basati sul Machine Learning e gli strumenti di etichettatura assistita basati sulla visione artificiale per le attività di tracciamento di oggetti della nuvola di punti 3D. Per questo tipo di attività sono disponibili i seguenti strumenti di etichettatura assistita:

  • Compilazione automatica delle etichette: quando un worker aggiunge un cuboide a un frame, un cuboide con le stesse dimensioni e orientamento viene aggiunto automaticamente a tutti i frame della sequenza.

  • Interpolazione delle etichette: dopo che un worker ha etichettato un singolo oggetto in due frame, Ground Truth utilizza tali annotazioni per interpolare il movimento dell'oggetto tra i due frame. L'interpolazione delle etichette può essere attivata e disattivata.

  • Gestione in blocco di etichette e attributi: i worker possono aggiungere, eliminare e rinominare annotazioni, attributi delle categorie di etichette e attributi dei frame in blocco.

    • I worker possono eliminare manualmente le annotazioni per un determinato oggetto prima o dopo un frame. Ad esempio, un worker può eliminare tutte le etichette per un oggetto dopo il frame 10 se tale oggetto non si trova più nella scena successiva al frame.

    • Se un worker elimina accidentalmente tutte le annotazioni relative a un oggetto, può aggiungerle nuovamente. Ad esempio, se un worker elimina tutte le annotazioni per un oggetto prima del frame 100, può aggiungerle in blocco a tali frame.

    • I worker possono rinominare un'etichetta in un frame e tutti i cuboidi 3D assegnati a tale etichetta vengono aggiornati con il nuovo nome in tutti i frame.

    • I worker possono utilizzare la modifica in blocco per aggiungere o modificare gli attributi delle categorie di etichette e gli attributi dei frame in più frame.

  • Aggancio: i worker possono aggiungere un cuboide attorno a un oggetto e utilizzare un tasto di scelta rapida o un'opzione di menu per fare in modo che lo strumento di autofit di Ground Truth agganci saldamente il cuboide attorno ai bordi dell'oggetto.

  • Adatta a terra: dopo che un worker aggiunge un cuboide alla scena 3D, il worker può automaticamente agganciare il cuboide al terreno. Ad esempio, il worker può utilizzare questa caratteristica per agganciare un cuboide sulla strada o sul marciapiede nella scena.

  • Etichettatura di più visualizzazioni: dopo che un worker aggiunge un cuboide 3D alla scena 3D, un pannello laterale visualizza le prospettive frontali e a due vie per aiutare il worker ad adattare il cuboide attorno all'oggetto. I worker possono annotare il cloud di punti 3D, il pannello laterale e le regolazioni appaiono nelle altre viste in tempo reale.

  • Fusione dei sensori: se fornisci i dati per la fusione dei sensori, i worker possono adattare nelle scene 3D e nelle immagini 2D le annotazioni che quindi verranno proiettate nell'altra visualizzazione in tempo reale.

  • Fusione automatica dei cuboidi: i worker possono unire automaticamente due cuboidi in tutti i frame se determinano che i cuboidi con etichette diverse rappresentano effettivamente un singolo oggetto.

  • Opzioni di visualizzazione: consente ai worker di nascondere o visualizzare facilmente il testo dell'etichetta, una mesh di terra e altri attributi puntuali come il colore o l'intensità. I worker possono anche scegliere tra proiezioni prospettiche e ortogonali.

Creazione di un processo di etichettatura per il tracciamento di oggetti 3D della nuvola di punti

È possibile creare un lavoro di etichettatura con nuvole di punti 3D utilizzando la SageMaker console o l'APIoperazione,. CreateLabelingJob Per creare un processo di etichettatura per questo tipo di attività è necessario quanto segue:

Inoltre, assicurati di aver esaminato e applicato quanto descritto in Assegna IAM le autorizzazioni per utilizzare Ground Truth.

Per informazioni su come creare un lavoro di etichettatura utilizzando la console o unAPI, consulta le seguenti sezioni.

Creare un Labeling Job () API

Questa sezione descrive i dettagli che è necessario conoscere quando si crea un lavoro di etichettatura utilizzando l' SageMaker APIoperazione. CreateLabelingJob Questo API definisce questa operazione per tutti AWS SDKs. Per visualizzare un elenco delle lingue specifiche SDKs supportate per questa operazione, consultate la sezione Vedere anche di. CreateLabelingJob

Creazione di un processo di etichettatura (API) fornisce una panoramica dell'operazione CreateLabelingJob. Segui queste istruzioni ed effettua le seguenti operazioni durante la configurazione della richiesta:

  • È necessario inserire un modulo. ARN HumanTaskUiArn Utilizza arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectTracking. Sostituisci <region> con la Regione AWS in cui stai creando il processo di etichettatura.

    Non inserire una voce per il parametro UiTemplateS3Uri.

  • Il tuo LabelAttributeName deve finire con -ref. Ad esempio ot-labels-ref.

  • Il file manifest di input deve essere un file manifest della sequenza di frame della nuvola di punti. Per ulteriori informazioni, consulta Creazione di un file manifest di input della sequenza di nuvole di punti.

  • Specifica le etichette, la categoria di etichette e gli attributi frame, e le istruzioni per il worker in un file di configurazione della categoria di etichetta. Per ulteriori informazioni su come creare questo file, consulta Creazione di un file di configurazione della categoria di etichettatura con gli attributi Categoria di etichette e Attributi frame.

  • È necessario fornire valori predefiniti ARNs per le funzioni Lambda pre-annotation e post-annotation ()ACS. Queste ARNs sono specifiche della AWS regione che utilizzi per creare il tuo lavoro di etichettatura.

    • Per trovare la pre-annotazione LambdaARN, fare riferimento a. PreHumanTaskLambdaArn Usa la regione in cui stai creando il tuo lavoro di etichettatura per trovare quella corretta ARN con cui terminare. PRE-3DPointCloudObjectTracking

    • Per trovare la Lambda ARN post-annotazione, fare riferimento a. AnnotationConsolidationLambdaArn Usa la regione in cui stai creando il tuo lavoro di etichettatura per trovare quella corretta ARN con cui terminare. ACS-3DPointCloudObjectTracking

  • Il numero di worker specificato in NumberOfHumanWorkersPerDataObject deve essere 1.

  • L'etichettatura automatizzata dei dati non è supportata per i processi di etichettatura della nuvola di punti 3D. Non è necessario specificare i valori per i parametri in LabelingJobAlgorithmsConfig.

  • I processi di etichettatura per il tracciamento degli oggetti della nuvola di punti 3D possono richiedere più ore per il completamento. Puoi specificare un limite di tempo più lungo per questi processi di etichettatura in TaskTimeLimitInSeconds (fino a 7 giorni o 604.800 secondi).

Creazione di un processo di etichettatura (console)

Puoi seguire le istruzioni Creazione di un processo di etichettatura (console) per imparare a creare un lavoro di etichettatura di oggetti con nuvole di punti 3D per il tracciamento di oggetti nella SageMaker console. Durante la creazione del processo di etichettatura, tieni presente quanto segue:

  • Il file manifest di input deve essere un file manifest di sequenza. Per ulteriori informazioni, consulta Creazione di un file manifest di input della sequenza di nuvole di punti.

  • Facoltativamente puoi fornire gli attributi di categoria di etichetta. I worker possono assegnare uno o più di questi attributi alle annotazioni per fornire ulteriori informazioni sull'oggetto. Ad esempio, puoi utilizzare l'attributo occluded per consentire ai worker di individuare quando un oggetto è parzialmente ostruito.

  • L'etichettatura automatizzata dei dati e il consolidamento dell'annotazione non sono supportati per le attività di etichettatura della nuvola di punti 3D.

  • I processi di etichettatura per il tracciamento degli oggetti della nuvola di punti 3D possono richiedere più ore per il completamento. Puoi specificare un limite di tempo più lungo per questi processi di etichettatura quando selezioni il team di lavoro (fino a 7 giorni o 604800 secondi).

Creazione di un processo di regolazione del monitoraggio di oggetti della nuvola di punti 3D o di etichettatura di verifica

Puoi creare un lavoro di etichettatura di regolazione e verifica utilizzando la console Ground Truth o CreateLabelingJobAPI. Per ulteriori informazioni sui processi di etichettatura di regolazione e di etichettatura di verifica e per scoprire come crearne uno, consulta Verifica e regolazione delle etichette.

Quando crei un processo di etichettatura di regolazione, i dati di input per il processo di etichettatura possono includere etichette e misurazioni di imbardata, rollio e beccheggio tratte da un precedente processo di etichettatura o da un’origine esterna. Nel processo di regolazione, beccheggio e rollio verranno visualizzati nell'interfaccia utente del worker, ma non possono essere modificati. L'imbardata è regolabile.

Ground Truth utilizza gli angoli di Tait-Bryan con le seguenti rotazioni intrinseche per visualizzare imbardata, beccheggio e rollio nell'interfaccia utente del worker. Innanzitutto, la rotazione viene applicata al veicolo in base all'asse z (imbardata). Successivamente, il veicolo ruotato viene ruotato secondo l'asse y intrinseco (beccheggio). Infine, il veicolo viene ruotato secondo l'asse x intrinseco (rollio).

Formato dei dati di output

Quando crei un processo di etichettatura di tracciamento di oggetti della nuvola di punti 3D, le attività vengono inviate ai worker. Quando questi worker completano le attività, le relative annotazioni vengono scritte nel bucket Amazon S3 specificato al momento della creazione del processo di etichettatura. Il formato dei dati di output determina ciò che vedi nel tuo bucket Amazon S3 quando lo stato del processo di etichettatura () è. LabelingJobStatusCompleted

Se non hai familiarità con Ground Truth, consulta Dati di output per ulteriori informazioni sul formato dei dati di output in Ground Truth. Per informazioni sul formato dei dati di output del tracciamento di oggetti della nuvola di punti 3D, consulta Output del monitoraggio di oggetti della nuvola di punti 3D.