Segmentazione semantica della nuvola di punti 3D - Amazon SageMaker
Visualizzazione dell'interfaccia delle attività del workerCreazione di un processo di etichettatura di segmentazione semantica della nuvola di punti 3DCreazione di un processo di etichettatura di regolazione o verifica della segmentazione semantica della nuvola di punti 3DFormato dei dati di output

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Segmentazione semantica della nuvola di punti 3D

La segmentazione semantica comporta la classificazione dei singoli punti di una nuvola di punti 3D in categorie predefinite. Utilizza questo tipo di attività quando i worker devono creare una maschera di segmentazione semantica a livello di punto per le nuvole di punti 3D. Ad esempio, se specifichi le classi car, pedestrian e bike, i worker selezionano una classe alla volta e colorano tutti i punti che questa classe applica allo stesso colore nella nuvola di punti.

Per questo tipo di attività, l'oggetto dati etichettato dai worker è un singolo frame della nuvola di punti. Ground Truth genera una visualizzazione di una nuvola di punti 3D utilizzando i dati della nuvola di punti forniti dall'utente. Puoi inoltre fornire i dati della telecamera per offrire ai worker maggiori informazioni visive sulle scene nel frame e per aiutare i worker a dipingere gli oggetti. Quando un worker dipinge un oggetto nell'immagine 2D o nella nuvola di punti 3D, il disegno viene visualizzato nell'altra visualizzazione.

Puoi adattare le annotazioni create in un processo di etichettatura di rilevamento di oggetti della nuvola di punti 3D utilizzando il tipo di attività di adattamento della segmentazione semantica della nuvola di punti 3D.

Se non hai familiarità con la modalità di etichettatura della nuvola di punti Ground Truth 3D, ti consigliamo di consultare Panoramica sui processi di etichettatura cloud di punti 3D. Questa modalità di etichettatura è diversa da altri tipi di attività Ground Truth e in questo argomento viene fornita una panoramica dei dettagli importanti di cui devi essere consapevole quando crei un processo di etichettatura della nuvola di punti 3D.

Visualizzazione dell'interfaccia delle attività del worker

Ground Truth fornisce ai worker un portale Web e gli strumenti per completare le attività di annotazione della segmentazione semantica della nuvola di punti 3D. Quando crei il processo di etichettatura, fornisci nel parametro Amazon Resource Name (ARN) per un'interfaccia utente Ground Truth predefinita. HumanTaskUiArn Quando crei un processo di etichettatura utilizzando questo tipo di attività nella console, l'interfaccia utente viene utilizzata automaticamente. Puoi visualizzare in anteprima e interagire con l'interfaccia utente del worker quando crei un processo di etichettatura nella console. Se sei un nuovo utente, ti consigliamo di creare un processo di etichettatura utilizzando la console per assicurarti che gli attributi di etichetta, i frame della nuvola di punti e, se applicabile, le immagini vengano visualizzati come previsto.

Quella che segue è una GIF delle interfacce di lavoro di segmentazione semantica della nuvola di punti 3D. Se specifichi i dati della telecamera per la fusione dei sensori, le immagini vengono abbinate a scene nel frame della nuvola di punti. I worker possono dipingere oggetti nella nuvola di punti 3D o nell'immagine 2D e l'oggetto dipinto viene visualizzato nella posizione corrispondente nell'altro supporto. Queste immagini vengono visualizzate nel portale di lavoro come illustrato di seguito. GIF

Gif che mostra come i lavoratori possono utilizzare insieme la nuvola di punti 3D e l'immagine 2D per dipingere oggetti.

Il worker può navigare nella scena 3D utilizzando la tastiera e il mouse. In particolare, può:

  • Fare doppio clic su oggetti specifici nella nuvola di punti per ingrandirli.

  • Usare la rotella del mouse o un trackpad per ingrandire e ridurre la nuvola di punti.

  • Usa entrambi i tasti freccia della tastiera e i tasti Q, E, A e D per spostarsi Su, Giù, Sinistra, Destra. Usare i tasti della tastiera W e S per ingrandire e ridurre.

Il video seguente mostra i movimenti attorno alla nuvola di punti 3D. I worker possono comprimere ed espandere nuovamente tutte le visualizzazioni laterali e i menu. In questa versioneGIF, le viste laterali e i menu sono stati compressi.

Gif che mostra come i lavoratori possono spostarsi all'interno della nuvola di punti 3D.

Di seguito GIF viene illustrato come un lavoratore può etichettare rapidamente più oggetti, rifinire gli oggetti dipinti utilizzando l'opzione Unpaint e quindi visualizzare solo i punti che sono stati dipinti.

Gif che mostra come un lavoratore può etichettare più oggetti.

Sono disponibili ulteriori opzioni di visualizzazione e caratteristiche. Consulta la pagina delle istruzioni per il worker per una panoramica completa dell'interfaccia utente di lavoro.

Strumenti di lavoro

I worker possono navigare nella nuvola di punti 3D eseguendo lo zoom avanti e indietro e spostandosi in tutte le direzioni intorno alla nuvola utilizzando le scelte rapide del mouse e della tastiera. Quando crei un processo di segmentazione semantica, i worker dispongono dei seguenti strumenti:

  • Un pennello per dipingere e sverniciare oggetti. I worker dipingono gli oggetti selezionando una categoria di etichetta e quindi dipingendo nella nuvola di punti 3D. I worker sverniciano gli oggetti selezionando l'opzione Svernicia dal menu della categoria di etichetta e utilizzando il pennello per togliere la vernice.

  • Uno strumento poligono che i worker possono utilizzare per selezionare e dipingere un'area nella nuvola di punti.

  • Uno strumento di pittura per lo sfondo, che consente ai worker di dipingere dietro gli oggetti che hanno già annotato senza alterare le annotazioni originali. Ad esempio, i worker possono utilizzare questo strumento per dipingere la strada dopo aver dipinto tutte le auto sulla strada.

  • Opzioni di visualizzazione che consentono ai worker di nascondere o visualizzare facilmente il testo dell'etichetta, una maglia a terra e altri attributi di punto come il colore o l'intensità. I worker possono anche scegliere tra proiezioni prospettiche e ortogonali.

Creazione di un processo di etichettatura di segmentazione semantica della nuvola di punti 3D

È possibile creare un lavoro di etichettatura con nuvole di punti 3D utilizzando la SageMaker console o l'APIoperazione,. CreateLabelingJob Per creare un processo di etichettatura per questo tipo di attività è necessario quanto segue:

Inoltre, assicurati di aver esaminato e applicato quanto descritto in Assegna IAM le autorizzazioni per utilizzare Ground Truth.

Utilizza una delle seguenti sezioni per imparare a creare un lavoro di etichettatura utilizzando la console o un. API

Creazione di un processo di etichettatura (console)

Puoi seguire le istruzioni Creazione di un processo di etichettatura (console) per imparare a creare un lavoro di etichettatura semantica con nuvole di punti 3D nella console. SageMaker Durante la creazione del processo di etichettatura, tieni presente quanto segue:

  • Il file manifest di input deve essere un file manifest a frame singolo. Per ulteriori informazioni, consulta Creazione di un file manifest di input del frame di nuvola di punti.

  • L'etichettatura automatizzata dei dati e il consolidamento dell'annotazione non sono supportati per le attività di etichettatura della nuvola di punti 3D.

  • I processi di etichettatura di segmentazione semantica della nuvola di punti 3D possono richiedere più ore per essere completati. Puoi specificare un limite di tempo più lungo per questi processi di etichettatura quando selezioni il team di lavoro (fino a 7 giorni o 604800 secondi).

Creare un Labeling Job () API

Questa sezione descrive i dettagli che è necessario conoscere quando si crea un lavoro di etichettatura utilizzando l' SageMaker APIoperazione. CreateLabelingJob Questo API definisce questa operazione per tutti AWS SDKs. Per visualizzare un elenco delle lingue specifiche SDKs supportate per questa operazione, consultate la sezione Vedere anche di. CreateLabelingJob

La pagina Creazione di un processo di etichettatura (API) fornisce una panoramica dell'operazione CreateLabelingJob. Segui queste istruzioni ed effettua le seguenti operazioni durante la configurazione della richiesta:

  • È necessario inserire un modulo. ARN HumanTaskUiArn Utilizza arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudSemanticSegmentation. Sostituisci <region> con la Regione AWS in cui stai creando il processo di etichettatura.

    Non inserire una voce per il parametro UiTemplateS3Uri.

  • Il tuo LabelAttributeName deve finire con -ref. Ad esempio ss-labels-ref.

  • Il file manifest di input deve essere un file manifest a frame singolo. Per ulteriori informazioni, consulta Creazione di un file manifest di input del frame di nuvola di punti.

  • Specifica le etichette e le istruzioni per il worker in un file di configurazione della categoria di etichetta. Consulta Creazione di un file di configurazione della categoria di etichettatura con gli attributi Categoria di etichette e Attributi frame per le istruzioni per creare questo file.

  • È necessario fornire un valore predefinito ARNs per le funzioni Lambda pre-annotation e post-annotation ()ACS. Queste ARNs sono specifiche della AWS regione che utilizzi per creare il tuo lavoro di etichettatura.

    • Per trovare la pre-annotazione LambdaARN, fare riferimento a. PreHumanTaskLambdaArn Usa la regione in cui stai creando il tuo lavoro di etichettatura per trovare quello corretto. ARN Ad esempio, se stai creando il tuo lavoro di etichettatura in us-east-1, lo sarà. ARN arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudSemanticSegmentation

    • Per trovare la Lambda ARN post-annotazione, fare riferimento a. AnnotationConsolidationLambdaArn Usa la regione in cui stai creando il tuo lavoro di etichettatura per trovare quello corretto. ARN Ad esempio, se stai creando il tuo lavoro di etichettatura in us-east-1, lo sarà. ARN arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudSemanticSegmentation

  • Il numero di worker specificato in NumberOfHumanWorkersPerDataObject deve essere 1.

  • L'etichettatura automatizzata dei dati non è supportata per i processi di etichettatura della nuvola di punti 3D. Non è necessario specificare i valori per i parametri in LabelingJobAlgorithmsConfig.

  • I processi di etichettatura di segmentazione semantica della nuvola di punti 3D possono richiedere più ore per essere completati. Puoi specificare un limite di tempo più lungo per questi processi di etichettatura in TaskTimeLimitInSeconds (fino a 7 giorni o 604800 secondi).

Creazione di un processo di etichettatura di regolazione o verifica della segmentazione semantica della nuvola di punti 3D

Puoi creare un lavoro di etichettatura di regolazione e verifica utilizzando la console Ground Truth o CreateLabelingJobAPI. Per ulteriori informazioni sui processi di etichettatura di regolazione e di etichettatura di verifica e per scoprire come crearne uno, consulta Verifica e regolazione delle etichette.

Formato dei dati di output

Quando crei un processo di etichettatura di segmentazione semantica della nuvola di punti 3D, le attività vengono inviate ai worker. Quando questi worker completano le attività, le relative annotazioni vengono scritte nel bucket Amazon S3 specificato al momento della creazione del processo di etichettatura. Il formato dei dati di output determina ciò che vedi nel tuo bucket Amazon S3 quando lo stato del processo di etichettatura () è. LabelingJobStatusCompleted

Se non hai familiarità con Ground Truth, consulta Dati di output per ulteriori informazioni sul formato dei dati di output in Ground Truth. Per informazioni sul formato dei dati di output del rilevamento di oggetti della nuvola di punti 3D, consulta Output della segmentazione semantica con nuvole di punti 3D.