Identifique objetos mediante la detección de objetos de fotogramas de vídeo - Amazon SageMaker

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Identifique objetos mediante la detección de objetos de fotogramas de vídeo

Puede utilizar el tipo de tarea de detección de objetos en fotogramas de vídeo para que los trabajadores identifiquen y localicen los objetos de una secuencia de fotogramas de vídeo (imágenes extraídas de un vídeo) mediante cuadros delimitadores, polilíneas, polígonos o herramientas de anotación de puntos clave. La herramienta que elija definirá el tipo de tarea de fotogramas de vídeo que creará. Por ejemplo, puede utilizar una tarea de detección de objetos en fotogramas de vídeo con cuadro delimitador para identificar y localizar diversos objetos en una serie de fotogramas de vídeo, como automóviles, bicicletas y peatones. Puede crear un trabajo de etiquetado por detección de objetos de fotogramas de vídeo utilizando la consola Amazon SageMaker Ground Truth SageMaker API, y en un idioma específico AWS SDKs. Para obtener más información, consulte Crear un trabajo de etiquetado de detección de objetos en fotogramas de vídeo y seleccione su método preferido. Consulte Tipos de tareas para obtener más información sobre las herramientas de anotación que puede elegir al crear un trabajo de etiquetado.

Ground Truth proporciona una interfaz de usuario del trabajador y herramientas para completar las tareas de etiquetado: Obtener una vista previa de la interfaz de usuario del trabajador.

Puede crear un trabajo para ajustar las anotaciones creadas en un trabajo de etiquetado de detección de objetos en vídeo mediante el tipo de tarea de ajuste de detección de objetos en vídeo. Para obtener más información, consulte Crear un trabajo de etiquetado de ajuste o verificación de detección de objetos en fotogramas de vídeo.

Obtener una vista previa de la interfaz de usuario del trabajador

Ground Truth proporciona a los trabajadores una interfaz de usuario (IU) web para completar tareas de anotación de detección de objetos en fotogramas de vídeo. Es posible obtener una vista previa e interactuar con la interfaz de usuario del trabajador al crear un trabajo de etiquetado en la consola. Si no tiene experiencia, le recomendamos que cree un trabajo de etiquetado a través de la consola utilizando un pequeño conjunto de datos de entrada para obtener una vista previa de la interfaz de usuario del trabajador y asegurarse de que los fotogramas de vídeo, las etiquetas y los atributos de etiqueta tengan el aspecto esperado.

La interfaz de usuario proporciona a los trabajadores las siguientes herramientas de etiquetado de asistencia para completar las tareas de detección de objetos:

  • Para todas las tareas, los trabajadores pueden utilizar las características Copiar en siguiente y Copiar en todos para copiar una anotación en el siguiente fotograma o en todos los fotogramas siguientes, respectivamente.

  • Para las tareas que incluyen las herramientas de cuadros delimitadores, los trabajadores pueden utilizar la característica Predecir siguiente para dibujar un cuadro delimitador en un solo fotograma y, a continuación, predecir con Ground Truth la ubicación de los cuadros con la misma etiqueta en todos los demás fotogramas. A continuación, los trabajadores pueden realizar ajustes para corregir las ubicaciones previstas de los cuadros.

El siguiente vídeo muestra cómo puede utilizar un trabajador la interfaz de usuario con la herramienta de cuadro delimitador para completar las tareas de detección de objetos.

Gif que muestra cómo un trabajador puede utilizar la herramienta de recuadro delimitador para sus tareas de detección de objetos.

Crear un trabajo de etiquetado de detección de objetos en fotogramas de vídeo

Puede crear un fotograma de vídeo para detectar objetos y etiquetar utilizando la SageMaker consola o la CreateLabelingJobAPIoperación.

En esta sección se da por sentado que ha consultado Referencia de trabajo de etiquetado de fotogramas de vídeo y elegido el tipo de datos de entrada y la conexión del conjunto de datos de entrada que está utilizando.

Crear un trabajo de etiquetado (consola)

Puede seguir las instrucciones que se indican en la SageMaker consola Crear un trabajo de etiquetado (consola) para aprender a crear un trabajo de rastreo de objetos de fotogramas de vídeo. En el paso 10, seleccione Vídeo: detección de objetos en la lista desplegable Categoría de tareas. Seleccione el tipo de tarea deseado seleccionando una de las tarjetas de Selección de tareas.

Gif que muestra cómo crear un trabajo de seguimiento de objetos de fotogramas de vídeo en la SageMaker consola.

Crear un trabajo de etiquetado (API)

Para crear un trabajo de etiquetado por detección de objetos, utilice la SageMaker API operaciónCreateLabelingJob. Esto API define esta operación para todos AWS SDKs. Para ver una lista de los idiomas específicos SDKs compatibles con esta operación, consulte la sección Vea también de. CreateLabelingJob

Crear un trabajo de etiquetado (API) proporciona una visión general de la operación CreateLabelingJob. Siga estas instrucciones y haga lo siguiente mientras configura su solicitud:

  • Debe introducir un ARN formulario. HumanTaskUiArn Utilice arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectDetection. Sustituya <region> por la región de AWS en la que está creando el trabajo de etiquetado.

    No incluya una entrada para el parámetro UiTemplateS3Uri.

  • El LabelAttributeName debe terminar en -ref. Por ejemplo, video-od-labels-ref.

  • El archivo de manifiesto de entrada debe ser un archivo de manifiesto de secuencia de fotogramas de vídeo. Puede crear este archivo de manifiesto mediante la SageMaker consola o crearlo manualmente y cargarlo en Amazon S3. Para obtener más información, consulte Configuración de los datos de entrada.

  • Solo puede utilizar equipos de trabajo privados o de proveedores para crear trabajos de etiquetado de detección de objetos en fotogramas de vídeo.

  • Especifique las etiquetas, los atributos de fotograma y de categoría de etiqueta, el tipo de tarea y las instrucciones de trabajo en un archivo de configuración de categorías de etiqueta. Especifique el tipo de tarea (cuadros delimitadores, polilíneas, polígonos o puntos clave) utilizando annotationType en el archivo de configuración de categorías de etiquetas. Para obtener más información, consulte Archivo de configuración de categorías de etiquetado con referencia de categorías de etiquetas y atributos de marco para aprender a crear este archivo.

  • Debe proporcionar funciones Lambda predefinidas ARNs para la anotación previa y posterior a la anotación ()ACS. ARNsSon específicas de la AWS región que utilice para crear su trabajo de etiquetado.

    • Para encontrar la Lambda ARN previa a la anotación, consulte. PreHumanTaskLambdaArn Utilice la región en la que va a crear el trabajo de etiquetado para encontrar la correcta con la ARN que termina. PRE-VideoObjectDetection

    • Para encontrar la Lambda ARN posterior a la anotación, consulte. AnnotationConsolidationLambdaArn Utilice la región en la que va a crear el trabajo de etiquetado para encontrar la correcta con la ARN que termina. ACS-VideoObjectDetection

  • El número de trabajadores especificado en NumberOfHumanWorkersPerDataObject debe ser 1.

  • El etiquetado de datos automatizado no es compatible con los trabajos de etiquetado de fotogramas de vídeo. No especifique valores para los parámetros en LabelingJobAlgorithmsConfig.

  • Los trabajos de etiquetado de seguimiento de objetos en fotogramas de vídeo pueden tardar varias horas en completarse. Puede especificar un límite de tiempo más largo para estos trabajos de etiquetado en TaskTimeLimitInSeconds (hasta 7 días o 604 800 segundos).

El siguiente es un ejemplo de una solicitud de AWS Python SDK (Boto3) para crear un trabajo de etiquetado en la región EE.UU. Este (Norte de Virginia).

response = client.create_labeling_job( LabelingJobName='example-video-od-labeling-job, LabelAttributeName='label', InputConfig={ 'DataSource': { 'S3DataSource': { 'ManifestS3Uri': 's3://amzn-s3-demo-bucket/path/video-frame-sequence-input-manifest.json' } }, 'DataAttributes': { 'ContentClassifiers': [ 'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent', ] } }, OutputConfig={ 'S3OutputPath': 's3://amzn-s3-demo-bucket/prefix/file-to-store-output-data', 'KmsKeyId': 'string' }, RoleArn='arn:aws:iam::*:role/*, LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json', StoppingConditions={ 'MaxHumanLabeledObjectCount': 123, 'MaxPercentageOfInputDatasetLabeled': 123 }, HumanTaskConfig={ 'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*', 'UiConfig': { 'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectDetection' }, 'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectDetection', 'TaskKeywords': [ 'Video Frame Object Detection', ], 'TaskTitle': 'Video frame object detection task', 'TaskDescription': 'Classify and identify the location of objects and people in video frames', 'NumberOfHumanWorkersPerDataObject': 123, 'TaskTimeLimitInSeconds': 123, 'TaskAvailabilityLifetimeInSeconds': 123, 'MaxConcurrentTaskCount': 123, 'AnnotationConsolidationConfig': { 'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectDetection' }, Tags=[ { 'Key': 'string', 'Value': 'string' }, ] )

Crear un trabajo de etiquetado de ajuste o verificación de detección de objetos en fotogramas de vídeo

Puede crear un trabajo de etiquetado de ajuste y verificación utilizando la consola Ground Truth o CreateLabelingJobAPI. Para obtener más información sobre los trabajos de etiquetado de ajuste y verificación y cómo crear uno, consulte Verificación y ajuste de etiquetas.

Formato de los datos de salida

Cuando crea un trabajo de etiquetado de detección de objetos en fotogramas de vídeo, las tareas se envían a los trabajadores. Cuando los trabajadores completan las tareas, las etiquetas se escriben en la ubicación de salida de Amazon S3 especificada al crear el trabajo de etiquetado. Para obtener información sobre el formato de datos de salida de detección de objetos en fotogramas de vídeo, consulte Salida de detección de objetos de fotogramas de vídeo. Si no tiene experiencia con Ground Truth, consulte Etiquetar los datos de salida del trabajo para obtener más información sobre el formato de datos de salida de Ground Truth.