Detección de objetos en nubes de puntos 3D - Amazon SageMaker

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Detección de objetos en nubes de puntos 3D

Utilice este tipo de tarea cuando desee que los trabajadores clasifiquen objetos en una nube de puntos 3D mediante el dibujo de cuboides 3D alrededor de los objetos. Por ejemplo, puede utilizar este tipo de tarea para pedir a los trabajadores que identifiquen diferentes tipos de objetos en una nube de puntos, como automóviles, bicicletas y peatones.

Para este tipo de tarea, el objeto de datos que los trabajadores etiquetan es un solo fotograma de nube de puntos. Ground Truth representa una nube de puntos 3D con los datos de nubes de puntos que usted proporciona. También puede proporcionar datos de la cámara para ofrecer a los trabajadores más información visual sobre las escenas del fotograma y ayudarles a dibujar cuboides 3D alrededor de los objetos.

Ground Truth ofrece a los trabajadores herramientas para anotar objetos con 9 grados de libertad (x, y, z, rx, ry, rz, l, w, h) en tres dimensiones tanto en escenas 3D como en vistas laterales proyectadas (superior, lateral y posterior). Si proporciona información de fusión de sensores (como datos de la cámara), cuando un trabajador agrega un cuboide para identificar un objeto en la nube de puntos 3D, el cuboide aparece y se puede modificar en las imágenes 2D. Después de agregar un cuboide, todas las ediciones realizadas en ese cuboide en la escena 2D o 3D se proyectan en la otra vista.

Puede crear un trabajo para ajustar las anotaciones creadas en un trabajo de etiquetado de detección de objetos en nubes de puntos 3D mediante el tipo de tarea de ajuste de detección de objetos en nubes de puntos 3D.

Si no tiene experiencia con la modalidad de etiquetado en nubes de puntos 3D de Ground Truth, le recomendamos que consulte Introducción a los trabajos de etiquetado en nubes de puntos 3D. Esta modalidad de etiquetado es diferente de otros tipos de tareas de Ground Truth. Esta página proporciona una visión general de los detalles importantes que debe tener en cuenta al crear un trabajo de etiquetado en nubes de puntos 3D.

Vista de la interfaz de tareas del trabajador

Ground Truth ofrece a los trabajadores un portal web y herramientas para completar las tareas de anotación de detección de objetos en nubes de puntos 3D. Al crear el trabajo de etiquetado, proporciona en el HumanTaskUiArn parámetro el nombre del recurso de Amazon (ARN) para una interfaz de usuario de Ground Truth Worker prediseñada. Al crear un trabajo de etiquetado con este tipo de tarea en la consola, se utiliza automáticamente esta interfaz de usuario del trabajador. Es posible obtener una vista previa e interactuar con la interfaz de usuario del trabajador al crear un trabajo de etiquetado en la consola. Si no tiene experiencia, es recomendable crear un trabajo de etiquetado con la consola para garantizar que los atributos de etiqueta, los fotogramas de nube de puntos y, en su caso, las imágenes, aparezcan como es debido.

La siguiente es una interfaz GIF de tareas para trabajadores de detección de objetos con nubes de puntos en 3D. Si proporciona datos de la cámara para la fusión de sensores en el sistema de coordenadas mundiales, las imágenes se asocian a escenas en el fotograma de nube de puntos. Estas imágenes aparecen en el portal del trabajador, tal y como se muestra a continuaciónGIF.

Gif que muestra cómo un trabajador puede anotar una nube de puntos 3D en el portal para trabajadores de Ground Truth.

El trabajador puede recorrer la escena 3D con el teclado y el ratón. Puede realizar lo siguiente:

  • Hacer doble clic en objetos específicos de la nube de puntos para ampliarlos.

  • Utilizar un desplazamiento del ratón o un panel táctil para acercar y alejar la nube de puntos.

  • Utilizar las teclas de flecha del teclado y las teclas Q, E, A y D para moverse hacia arriba, abajo, izquierda y derecha. Utilizar las teclas del teclado W y S para acercar y alejar.

Una vez que un trabajador coloca un cuboide en la escena 3D, aparecerá una vista lateral con las tres vistas laterales proyectadas: superior, lateral y posterior. Estas vistas laterales muestran puntos dentro y alrededor del cuboide colocado y ayudan a los trabajadores a ajustar con precisión los límites del cuboide en esa área. Los trabajadores pueden acercar y alejar cada una de esas vistas laterales con el ratón.

El siguiente vídeo muestra los movimientos alrededor de la nube de puntos 3D y en la vista lateral.

Gif que muestra los movimientos alrededor de la nube de puntos 3D y la vista lateral.

Hay características y opciones de visualización adicionales en el menú Ver de la interfaz de usuario del trabajador. Consulte la página de instrucciones de trabajo para obtener una amplia descripción general de la interfaz de usuario del trabajador.

Herramientas de etiquetado de apoyo

Ground Truth ayuda a los trabajadores a anotar nubes de puntos 3D de forma más rápida y precisa mediante herramientas de etiquetado de ayuda de machine learning y visión por ordenador para tareas de seguimiento de objetos en nubes de puntos 3D. Estas son las herramientas de etiquetado de apoyo disponibles para este tipo de tareas:

  • Ajuste: los trabajadores pueden añadir un cuboide alrededor de un objeto y utilizar un atajo de teclado o una opción del menú para que la herramienta de ajuste automático de Ground Truth ajuste el cuboide con precisión alrededor del objeto.

  • Apto para suelo: cuando un trabajador añade un cuboide a la escena 3D, puede ajustarlo automáticamente al suelo. Por ejemplo, el trabajador puede utilizar esta característica para ajustar un cuboide a la carretera o a la acera de la escena.

  • Etiquetado multivista: cuando un trabajador añade un cuboide 3D a la escena 3D, un panel lateral muestra las perspectivas frontal, lateral y superior para ayudar a ajustar el cuboide de forma precisa alrededor del objeto. En todas estas vistas, el cuboide incluye una flecha que indica la orientación o la dirección del objeto. Cuando el trabajador ajusta el cuboide, el ajuste aparecerá en tiempo real en todas las vistas (es decir, 3D, superior, lateral y frontal).

  • Fusión de sensores: si proporciona datos para la fusión de sensores, los trabajadores pueden ajustar las anotaciones en las escenas 3D y en las imágenes en 2D, y las anotaciones se proyectarán en la otra vista en tiempo real. Además, los trabajadores tendrán la opción de ver la dirección en la que está orientada la cámara y el tronco de la cámara.

  • Opciones de visualización: permiten a los trabajadores ocultar o ver fácilmente cuboides, texto de etiqueta, una malla de suelo y atributos de punto adicionales, como el color o la intensidad. Los trabajadores también pueden elegir entre proyecciones de perspectiva y ortogonales.

Crear un trabajo de etiquetado de detección de objetos en nubes de puntos 3D

Puede crear un trabajo de etiquetado de nubes de puntos en 3D mediante la SageMaker consola o la API operación, CreateLabelingJob. Para crear un trabajo de etiquetado para este tipo de tarea, necesita lo siguiente:

Además, asegúrese de consultar y cumplir Asigne IAM permisos para usar Ground Truth.

Utilice una de las siguientes secciones para aprender a crear un trabajo de etiquetado mediante la consola o unAPI.

Crear un trabajo de etiquetado (consola)

Puede seguir las instrucciones Crear un trabajo de etiquetado (consola) para aprender a crear un trabajo de etiquetado por detección de objetos con nubes de puntos en 3D en la SageMaker consola. Al crear el trabajo de etiquetado, tenga en cuenta lo siguiente:

  • El archivo de manifiesto de entrada debe ser un archivo de manifiesto de un solo fotograma. Para obtener más información, consulte Crear un archivo de manifiesto de entrada de fotograma de nube de puntos.

  • Opcionalmente, puede proporcionar atributos de categorías de etiquetas y de fotogramas. Los trabajadores pueden asignar uno o más de estos atributos a las anotaciones para proporcionar más información sobre ese objeto. Por ejemplo, quizá convenga utilizar el atributo ocluido para que los trabajadores identifiquen cuando un objeto está parcialmente obstruido.

  • La consolidación de anotaciones y el etiquetado de datos automatizado no son compatibles con las tareas de etiquetado en nubes de puntos 3D.

  • Los trabajos de etiquetado de detección de objetos en nubes de puntos 3D pueden tardar varias horas en completarse. Puede especificar un límite de tiempo más largo para estos trabajos de etiquetado al seleccionar el equipo de trabajo (hasta 7 días o 604 800 segundos).

Crear un trabajo de etiquetado (API)

En esta sección se describen los detalles que debe conocer al crear un trabajo de etiquetado mediante la SageMaker API operaciónCreateLabelingJob. Esto API define esta operación para todos AWS SDKs. Para ver una lista de los idiomas específicos SDKs compatibles con esta operación, consulte la sección Vea también de. CreateLabelingJob

Crear un trabajo de etiquetado (API) proporciona una visión general de la operación CreateLabelingJob. Siga estas instrucciones y haga lo siguiente mientras configura su solicitud:

  • Debe introducir un ARN formulario. HumanTaskUiArn Utilice arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectDetection. Sustituya <region> por la región de AWS en la que va a crear el trabajo de etiquetado.

    No debe haber una entrada para el parámetro UiTemplateS3Uri.

  • El archivo de manifiesto de entrada debe ser un archivo de manifiesto de un solo fotograma. Para obtener más información, consulte Crear un archivo de manifiesto de entrada de fotograma de nube de puntos.

  • Especifique las etiquetas, los atributos de fotograma y de categoría de etiqueta y las instrucciones de trabajo en un archivo de configuración de categorías de etiquetas. Para obtener información sobre cómo crear este archivo, consulte Crear un archivo de configuración de categorías de etiquetado con atributos de categorías de etiquetas y fotogramas.

  • Debe proporcionar funciones Lambda predefinidas ARNs para la anotación previa y posterior a la anotación ()ACS. ARNsSon específicas de la AWS región que utilice para crear su trabajo de etiquetado.

    • Para encontrar la Lambda ARN previa a la anotación, consulte. PreHumanTaskLambdaArn Utilice la región en la que va a crear el trabajo de etiquetado para encontrar el correcto. ARN Por ejemplo, si está creando su trabajo de etiquetado en us-east-1, ARN será. arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudObjectDetection

    • Para encontrar la Lambda ARN posterior a la anotación, consulte. AnnotationConsolidationLambdaArn Utilice la región en la que va a crear el trabajo de etiquetado para encontrar el correcto. ARN Por ejemplo, si está creando su trabajo de etiquetado en us-east-1, ARN será. arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudObjectDetection

  • El número de trabajadores especificado en NumberOfHumanWorkersPerDataObject debe ser 1.

  • El etiquetado de datos automatizado no es compatible con los trabajos de etiquetado en nubes de puntos 3D. No debe especificar valores para los parámetros en LabelingJobAlgorithmsConfig.

  • Los trabajos de etiquetado de detección de objetos en nubes de puntos 3D pueden tardar varias horas en completarse. Puede especificar un límite de tiempo más largo para estos trabajos de etiquetado en TaskTimeLimitInSeconds (hasta 7 días o 604 800 segundos).

Crear un trabajo de etiquetado de ajuste o verificación de detección de objetos en nubes de puntos 3D

Puede crear un trabajo de etiquetado de ajuste o verificación utilizando la consola Ground Truth o CreateLabelingJobAPI. Para obtener más información sobre los trabajos de etiquetado de ajuste y verificación y cómo crear uno, consulte Verificar y ajustar etiquetas.

Al crear un trabajo de etiquetado de ajuste, los datos de entrada para el trabajo de etiquetado pueden incluir etiquetas y medidas de guiñada, inclinación y balanceo de un trabajo de etiquetado anterior o de un origen externo. En el trabajo de ajuste, la inclinación y el balanceo se visualizarán en la interfaz de usuario del trabajador, pero no se pueden modificar. La guiñada es ajustable.

Ground Truth utiliza los ángulos de Tait-Bryan con las siguientes rotaciones intrínsecas para visualizar la guiñada, la inclinación y el balanceo en la interfaz de usuario del trabajador. En primer lugar se aplica la rotación al vehículo de acuerdo con el eje z (guiñada). A continuación, el vehículo girado gira de acuerdo con el eje y intrínseco (inclinación). A continuación, el vehículo gira de acuerdo con el eje x intrínseco (balanceo).

Formato de los datos de salida

Cuando crea un trabajo de etiquetado de detección de objetos en nubes de puntos 3D, las tareas se envían a los trabajadores. Cuando los trabajadores completan las tareas, las etiquetas se escriben en el bucket de Amazon S3 especificado al crear el trabajo de etiquetado. El formato de los datos de salida determina lo que ve en su bucket de Amazon S3 cuando se encuentra el estado de su tarea de etiquetado (LabelingJobStatus)Completed.

Si no tiene experiencia con Ground Truth, consulte Datos de salida para obtener más información sobre el formato de datos de salida de Ground Truth. Para obtener información sobre el formato de datos de salida de detección de objetos en nubes de puntos 3D, consulte Salida de detección de objetos en nubes de puntos 3D.