Segmentación semántica de nube de puntos 3D - Amazon SageMaker

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Segmentación semántica de nube de puntos 3D

La segmentación semántica implica clasificar puntos individuales de una nube de puntos 3D en categorías previamente especificadas. Utilice este tipo de tarea cuando desee que los trabajadores creen una máscara de segmentación semántica de nivel de punto para nubes de puntos 3D. Por ejemplo, si especifica las clases car, pedestrian y bike, los trabajadores seleccionan una clase a la vez y colorean todos los puntos que esta clase aplica al mismo color en la nube de puntos.

Para este tipo de tarea, el objeto de datos que los trabajadores etiquetan es un solo fotograma de nube de puntos. Ground Truth genera una visualización de nube de puntos 3D con los datos de nubes de puntos que usted proporciona. También puede proporcionar datos de la cámara para ofrecer a los trabajadores más información visual sobre las escenas del fotograma y ayudarles a pintar objetos. Cuando un trabajador pinta un objeto en la imagen 2D o en la nube de puntos 3D, la pintura aparece en la otra vista.

Puede ajustar las anotaciones creadas en un trabajo de etiquetado de detección de objetos de nube de puntos 3D mediante el tipo de tarea de ajuste de segmentación semántica de nubes de puntos 3D.

Si no tiene experiencia con la modalidad de etiquetado en nubes de puntos 3D de Ground Truth, le recomendamos que consulte Introducción a los trabajos de etiquetado en nubes de puntos 3D. Esta modalidad de etiquetado es diferente de otros tipos de tareas de Ground Truth. En este tema, se proporciona información general de los detalles importantes que debe tener en cuenta al crear un trabajo de etiquetado de nube de puntos 3D.

Vista de la interfaz de tareas del trabajador

Ground Truth ofrece a los trabajadores un portal web y herramientas para realizar las tareas de anotación de segmentación semántica de nube de puntos 3D. Al crear el trabajo de etiquetado, se proporciona en el HumanTaskUiArn parámetro el nombre del recurso de Amazon (ARN) para una interfaz de usuario de Ground Truth prediseñada. Al crear un trabajo de etiquetado con este tipo de tareas en la consola, se utiliza automáticamente esta interfaz de usuario. Es posible obtener una vista previa e interactuar con la interfaz de usuario del trabajador al crear un trabajo de etiquetado en la consola. Si no tiene experiencia, es recomendable crear un trabajo de etiquetado con la consola para garantizar que los atributos de etiqueta, los fotogramas de nube de puntos y, en su caso, las imágenes, aparezcan como es debido.

La siguiente es una interfaz GIF de tareas de segmentación semántica de nubes de puntos 3D. Si proporciona datos de la cámara para la fusión de sensores, las imágenes se asocian con escenas en el fotograma de la nube de puntos. Los trabajadores pueden pintar objetos en la nube de puntos 3D o en la imagen 2D; la pintura aparece en la ubicación correspondiente en el otro medio. Estas imágenes aparecen en el portal del trabajador, tal y como se muestra a continuación. GIF

Gif que muestra cómo los trabajadores pueden usar la nube de puntos 3D y la imagen 2D juntas para pintar objetos.

El trabajador puede recorrer la escena 3D con el teclado y el ratón. Puede realizar lo siguiente:

  • Hacer doble clic en objetos específicos de la nube de puntos para ampliarlos.

  • Utilizar un desplazamiento del ratón o un panel táctil para acercar y alejar la nube de puntos.

  • Utilizar las teclas de flecha del teclado y las teclas Q, E, A y D para moverse hacia arriba, abajo, izquierda y derecha. Utilizar las teclas del teclado W y S para acercar y alejar.

El siguiente vídeo muestra los movimientos alrededor de la nube de puntos 3D. Los trabajadores pueden ocultar y volver a ampliar todos los menús y vistas laterales. En este casoGIF, las vistas laterales y los menús están colapsados.

Gif que muestra cómo los trabajadores pueden moverse por la nube de puntos 3D.

A continuación se GIF muestra cómo un trabajador puede etiquetar varios objetos rápidamente, refinar los objetos pintados con la opción Despintar y, a continuación, ver solo los puntos que se han pintado.

GIF que muestra cómo un trabajador puede etiquetar varios objetos.

Hay opciones de visualización y características adicionales. Consulte la página de instrucciones de trabajo para obtener una amplia descripción general de la interfaz de usuario del trabajador.

Herramientas de trabajo

Los trabajadores pueden navegar a través de la nube de puntos 3D acercando y alejando, y moviéndose en todas las direcciones alrededor de la nube utilizando el ratón y los atajos de teclado. Para crear un trabajo de segmentación semántica, los trabajadores tienen a su disposición las siguientes herramientas:

  • Un pincel para pintar y despintar objetos. Para pintar objetos, los trabajadores seleccionan una categoría de etiqueta y, a continuación, pintan en la nube de puntos 3D. Para despintar objetos, los trabajadores seleccionando la opción Despintar en el menú de categoría de etiqueta y utilizan el pincel para borrar la pintura.

  • Una herramienta poligonal que los trabajadores pueden utilizar para seleccionar y pintar un área en la nube de puntos.

  • Una herramienta de pintura de fondo que permite a los trabajadores pintar detrás de objetos que ya han anotado sin alterar las anotaciones originales. Por ejemplo, es posible utilizar esta herramienta para pintar la carretera después de pintar todos los vehículos en la carretera.

  • Opciones de visualización que permiten a los trabajadores ocultar o ver fácilmente texto de etiqueta, una malla de suelo y atributos de punto adicionales, como el color o la intensidad. Los trabajadores también pueden elegir entre proyecciones de perspectiva y ortogonales.

Creación de un trabajo de etiquetado de segmentación semántica de nube de puntos 3D

Puede crear un trabajo de etiquetado de nubes de puntos en 3D mediante la SageMaker consola o la API operación, CreateLabelingJob. Para crear un trabajo de etiquetado para este tipo de tarea, necesita lo siguiente:

Además, asegúrese de consultar y cumplir Asigne IAM permisos para usar Ground Truth.

Utilice una de las siguientes secciones para aprender a crear un trabajo de etiquetado mediante la consola o unAPI.

Crear un trabajo de etiquetado (consola)

Siga las instrucciones Crear un trabajo de etiquetado (consola) para aprender a crear un trabajo de etiquetado de segmentación semántica de nubes de puntos 3D en la SageMaker consola. Al crear el trabajo de etiquetado, tenga en cuenta lo siguiente:

  • El archivo de manifiesto de entrada debe ser un archivo de manifiesto de un solo fotograma. Para obtener más información, consulte Crear un archivo de manifiesto de entrada de fotograma de nube de puntos.

  • La consolidación de anotaciones y el etiquetado de datos automatizado no son compatibles con las tareas de etiquetado en nubes de puntos 3D.

  • Los trabajos de etiquetado de segmentación semántica de nube de puntos 3D pueden tardar varias horas en completarse. Puede especificar un límite de tiempo más largo para estos trabajos de etiquetado al seleccionar el equipo de trabajo (hasta 7 días o 604 800 segundos).

Crear un trabajo de etiquetado (API)

En esta sección se describen los detalles que debe conocer al crear un trabajo de etiquetado mediante la SageMaker API operaciónCreateLabelingJob. Esto API define esta operación para todos AWS SDKs. Para ver una lista de los idiomas específicos SDKs compatibles con esta operación, consulte la sección Vea también de. CreateLabelingJob

La página, Crear un trabajo de etiquetado (API), proporciona una visión general de la operación CreateLabelingJob. Siga estas instrucciones y haga lo siguiente mientras configura su solicitud:

  • Debe introducir un ARN formulario. HumanTaskUiArn Utilice arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudSemanticSegmentation. Sustituya <region> por la región de AWS en la que va a crear el trabajo de etiquetado.

    No debe haber una entrada para el parámetro UiTemplateS3Uri.

  • El LabelAttributeName debe terminar en -ref. Por ejemplo, ss-labels-ref.

  • El archivo de manifiesto de entrada debe ser un archivo de manifiesto de un solo fotograma. Para obtener más información, consulte Crear un archivo de manifiesto de entrada de fotograma de nube de puntos.

  • Especifique las instrucciones del trabajador y las etiquetas en un archivo de configuración de categoría de etiqueta. Consulte Crear un archivo de configuración de categorías de etiquetado con atributos de categorías de etiquetas y fotogramas para obtener información sobre cómo crear este archivo.

  • Debe proporcionar una función Lambda predefinida ARNs para las funciones Lambda previa y posterior a la anotación ()ACS. ARNsSon específicas de la AWS región que utilice para crear su trabajo de etiquetado.

    • Para encontrar la Lambda ARN previa a la anotación, consulte. PreHumanTaskLambdaArn Utilice la región en la que va a crear el trabajo de etiquetado para encontrar el correcto. ARN Por ejemplo, si está creando su trabajo de etiquetado en us-east-1, ARN será. arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudSemanticSegmentation

    • Para encontrar la Lambda ARN posterior a la anotación, consulte. AnnotationConsolidationLambdaArn Utilice la región en la que va a crear el trabajo de etiquetado para encontrar el correcto. ARN Por ejemplo, si está creando su trabajo de etiquetado en us-east-1, ARN será. arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudSemanticSegmentation

  • El número de trabajadores especificado en NumberOfHumanWorkersPerDataObject debe ser 1.

  • El etiquetado de datos automatizado no es compatible con los trabajos de etiquetado en nubes de puntos 3D. No debe especificar valores para los parámetros en LabelingJobAlgorithmsConfig.

  • Los trabajos de etiquetado de segmentación semántica de nube de puntos 3D pueden tardar varias horas en completarse. Puede especificar un límite de tiempo más largo para estos trabajos de etiquetado en TaskTimeLimitInSeconds (hasta 7 días o 604 800 segundos).

Cree un trabajo de etiquetado de ajuste o verificación de segmentación semántica de nube de puntos 3D

Puede crear un trabajo de etiquetado de ajuste y verificación utilizando la consola Ground Truth o CreateLabelingJobAPI. Para obtener más información sobre los trabajos de etiquetado de ajuste y verificación y cómo crear uno, consulte Verificar y ajustar etiquetas.

Formato de los datos de salida

Cuando crea un trabajo de etiquetado de segmentación semántica de nube de puntos 3D, las tareas se envían a los trabajadores. Cuando los trabajadores completan las tareas, sus anotaciones se escriben en el bucket de Amazon S3 especificado al crear el trabajo de etiquetado. El formato de los datos de salida determina lo que ve en su bucket de Amazon S3 cuando se encuentra el estado de su tarea de etiquetado (LabelingJobStatus)Completed.

Si no tiene experiencia con Ground Truth, consulte Datos de salida para obtener más información sobre el formato de datos de salida de Ground Truth. Para obtener información sobre el formato de datos de salida de detección de objetos en nubes de puntos 3D, consulte Salida de segmentación semántica de nube de puntos 3D.