Rastreamento de objetos de quadros de vídeo - Amazon SageMaker

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Rastreamento de objetos de quadros de vídeo

É possível usar o tipo de tarefa de rastreamento de objetos de quadros de vídeo para que os operadores rastreiem o movimento de objetos em uma sequência de quadros de vídeo (imagens extraídas de um vídeo) usando caixas delimitadoras, linhas poligonais, polígonos ou ferramentas de anotação de pontos principais. A ferramenta escolhida define o tipo de tarefa de quadro de vídeo que você cria. Por exemplo, você pode usar um tipo de tarefa de rastreamento de objetos com quadro de vídeo com caixa delimitadora para pedir aos operadores que rastreiem o movimento de objetos, como carros, bicicletas e pedestres, desenhando caixas ao redor deles.

Você fornece uma lista de categorias, e cada anotação que um operador adiciona a um quadro de vídeo é identificada como uma instância dessa categoria usando um ID da instância. Por exemplo, se você fornecer o carro da categoria de rótulo, o primeiro carro que um operador anotar terá a ID de instância carro:1. O segundo carro que o operador anotar terá o ID da instância carro:2. Para rastrear o movimento de um objeto, o operador adiciona anotações associadas à mesma ID da instância ao redor do objeto em todos os quadros.

Você pode criar um trabalho de rotulagem de rastreamento de objetos de quadro de vídeo usando o console Amazon SageMaker Ground Truth, o SageMaker API, e um idioma específico AWS SDKs. Para saber mais, consulte Criar um trabalho de rotulagem de detecção de objetos de quadro de vídeo e selecione o método preferido. Consulte Tipos de tarefa para saber mais sobre as ferramentas de anotações que você pode escolher ao criar um trabalho de rotulagem.

O Ground Truth fornece uma interface de usuário e ferramentas de trabalho para concluir os trabalhos de rotulagem: Visualize a interface do usuário do operador.

É possível criar um trabalho para ajustar anotações criadas em um trabalho de rotulagem de detecção de objetos de vídeo usando o tipo de tarefa de ajuste de detecção de objetos de vídeo. Para saber mais, consulte Crie um trabalho de ajuste de detecção de objetos de quadros de vídeo ou rotulagem de verificação.

Visualize a interface do usuário do operador

O Ground Truth fornece aos operadores uma interface de usuário (IU) da web para concluir as tarefas de anotação de rastreamento de objetos de quadro de vídeo. É possível visualizar e interagir com a interface do usuário do operador ao criar um trabalho de rotulagem no console. Se você for um novo usuário, recomendamos criar um trabalho de rotulagem por meio do console usando um pequeno conjunto de dados de entrada para visualizar a interface do usuário do operador e garantir que os quadros de vídeo, rótulos e atributos de rótulo apareçam conforme o esperado.

A interface do usuário fornece aos operadores as seguintes ferramentas auxiliares de rotulagem para concluir as tarefas de rastreamento de objetos:

  • Para todas as tarefas, os operadores podem usar os recursos Copiar para o próximo e Copiar para todos para copiar uma anotação com o mesmo ID exclusivo para o próximo quadro ou para todos os quadros subsequentes, respectivamente.

  • Para tarefas que incluem as ferramentas da caixa delimitadora, os operadores podem usar o recurso Prever o próximo para desenhar uma caixa delimitadora em um único quadro e, em seguida, fazer com que a Ground Truth preveja a localização das caixas com o mesmo ID exclusivo em todos os outros quadros. Os operadores podem então fazer ajustes para corrigir os locais previstos das caixas.

O vídeo a seguir mostra como um operador pode usar a interface do usuário do operador com a ferramenta de caixa delimitadora para concluir as tarefas de rastreamento de objetos.

GIF mostrando como um trabalhador pode usar a ferramenta de caixa delimitadora com o recurso de previsão do próximo.

Criar um trabalho de rotulagem de rastreamento de objetos de quadro de vídeo

Você pode criar um trabalho de rotulagem de rastreamento de objetos de quadro de vídeo usando o SageMaker console ou a CreateLabelingJobAPIoperação.

Esta seção pressupõe que você tenha revisado o Visão geral do trabalho de rotulagem de quadros de vídeo e escolhido o tipo de dados de entrada e a conexão do conjunto de dados de entrada que está usando.

Criar um trabalho de rotulagem (console)

Você pode seguir as instruções Criar um trabalho de rotulagem (console) para aprender como criar uma tarefa de rastreamento de objetos de quadro de vídeo no SageMaker console. Na etapa 10, escolha Vídeo - Rastreamento de objetos na lista suspensa da Categoria da tarefa. Selecione o tipo de tarefa que você deseja selecionando um dos cartões em Seleção de tarefas.

Gif mostrando como criar um trabalho de rastreamento de objetos de quadro de vídeo no SageMaker console.

Criar um Labeling Job (API)

Você cria um trabalho de etiquetagem de rastreamento de objetos usando a SageMaker API operaçãoCreateLabelingJob. Isso API define essa operação para todos AWS SDKs. Para ver uma lista de idiomas específicos com SDKs suporte para essa operação, consulte a seção Consulte também do. CreateLabelingJob

Criar um trabalho de rotulagem (API) fornece uma visão geral da operação CreateLabelingJob. Siga estas instruções e faça o seguinte enquanto configura a solicitação:

  • Você deve inserir um ARN formulárioHumanTaskUiArn. Usar arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectTracking. Substitua <region> pela região da AWS na qual você está criando o trabalho de rotulagem.

    Não inclua uma entrada para o parâmetro UiTemplateS3Uri.

  • O LabelAttributeName deve terminar em -ref. Por exemplo, ot-labels-ref.

  • O arquivo manifesto de entrada deve ser um arquivo manifesto de sequência de quadros de vídeo. Você pode criar esse arquivo de manifesto usando o SageMaker console ou criá-lo manualmente e carregá-lo no Amazon S3. Para obter mais informações, consulte Configuração de dados de entrada. Se você criar um trabalho de rotulagem de streaming, o arquivo manifesto de entrada será opcional.

  • Você só pode usar equipes de trabalho privadas ou de fornecedores para criar trabalhos de rotulagem de detecção de objetos de quadro de vídeo.

  • Especifique os rótulos, as categorias de rótulo, os atributos de quadro, tipo de tarefa e as instruções do operador em um arquivo de configuração da categoria de rótulo. Especifique o tipo de tarefa (caixas delimitadoras, linhas poligonais, polígonos ou ponto principal) usando annotationType no arquivo de configuração de categoria de rótulo. Para obter mais informações, consulte Criar um arquivo de configuração de categoria de rotulagem com atributos de categoria e quadro de rótulo para saber como criar esse arquivo.

  • Você precisa fornecer funções Lambda predefinidas ARNs para pré-anotação e pós-anotação (). ACS Eles ARNs são específicos para a AWS região que você usa para criar seu trabalho de etiquetagem.

    • Para encontrar a pré-anotação ARN Lambda, consulte. PreHumanTaskLambdaArn Use a região na qual você está criando seu trabalho de etiquetagem para encontrar a correta ARN que termina comPRE-VideoObjectTracking.

    • Para encontrar a pós-anotação ARN Lambda, consulte. AnnotationConsolidationLambdaArn Use a região na qual você está criando seu trabalho de etiquetagem para encontrar a correta ARN que termina comACS-VideoObjectTracking.

  • O número de operadores especificado em NumberOfHumanWorkersPerDataObject deve ser 1.

  • A rotulagem automatizada de dados não é compatível com trabalhos de rotulagem de quadros de vídeo. Você não deve especificar valores para parâmetros em LabelingJobAlgorithmsConfig.

  • Os trabalhos de rotulagem de rastreamento de objetos de quadros de vídeo podem levar várias horas para serem concluídos. É possível especificar um limite de tempo mais longo para esses trabalhos de rotulagem em TaskTimeLimitInSeconds (até 7 dias ou 604.800 segundos).

Veja a seguir um exemplo de uma solicitação em AWS Python SDK (Boto3) para criar um trabalho de etiquetagem na região Leste dos EUA (Norte da Virgínia).

response = client.create_labeling_job( LabelingJobName='example-video-ot-labeling-job, LabelAttributeName='label', InputConfig={ 'DataSource': { 'S3DataSource': { 'ManifestS3Uri': 's3://amzn-s3-demo-bucket/path/video-frame-sequence-input-manifest.json' } }, 'DataAttributes': { 'ContentClassifiers': [ 'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent', ] } }, OutputConfig={ 'S3OutputPath': 's3://amzn-s3-demo-bucket/prefix/file-to-store-output-data', 'KmsKeyId': 'string' }, RoleArn='arn:aws:iam::*:role/*, LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json', StoppingConditions={ 'MaxHumanLabeledObjectCount': 123, 'MaxPercentageOfInputDatasetLabeled': 123 }, HumanTaskConfig={ 'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*', 'UiConfig': { 'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectTracking' }, 'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectTracking', 'TaskKeywords': [ 'Video Frame Object Tracking, ], 'TaskTitle': 'Video frame object tracking task', 'TaskDescription': Tracking the location of objects and people across video frames', 'NumberOfHumanWorkersPerDataObject': 123, 'TaskTimeLimitInSeconds': 123, 'TaskAvailabilityLifetimeInSeconds': 123, 'MaxConcurrentTaskCount': 123, 'AnnotationConsolidationConfig': { 'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectTracking' }, Tags=[ { 'Key': 'string', 'Value': 'string' }, ] )

Criar um trabalho de rotulagem de ajuste de rastreamento de objetos de quadros de vídeo ou de rotulagem de verificação

Você pode criar um trabalho de rotulagem de ajuste e verificação usando o console Ground Truth ou CreateLabelingJobAPI. Para saber mais sobre trabalhos de ajuste e rotulagem de verificação e como criar um, consulte Verificar e ajustar rótulos.

Formato dos dados de saída

Ao criar um trabalho de rotulagem de rastreamento de objetos de quadros de vídeo, as tarefas são enviadas aos operadores. Quando esses operadores concluem as tarefas, os rótulos são gravados no local de saída do Amazon S3 especificado durante a criação do trabalho de rotulagem. Para saber mais sobre o formato dos dados de saída de rastreamento de objeto de quadros de vídeo, consulte Saída de rastreamento de objetos de quadro de vídeo. Se você for um usuário novo do Ground Truth, consulte Dados de saída para saber mais sobre o formato dos dados de saída do Ground Truth.