Detectando segmentos de vídeo em vídeo armazenado - Amazon Rekognition

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Detectando segmentos de vídeo em vídeo armazenado

O Amazon Rekognition Video fornece uma API que identifica segmentos úteis de vídeo, como quadros pretos e créditos finais.

Os espectadores estão assistindo a mais conteúdo do que nunca. Em particular, as plataformas conteúdo Over-The-Top (OTT) e de vídeo sob demanda (VOD) fornecem uma ampla seleção de opções de conteúdo a qualquer momento, em qualquer lugar e em qualquer tela. Com o aumento dos volumes de conteúdo, as empresas de mídia estão enfrentando desafios na preparação e no gerenciamento de seu conteúdo. Isso é crucial para proporcionar uma experiência de visualização de alta qualidade e melhor monetização do conteúdo. Atualmente, as empresas usam grandes equipes com forças de trabalho humanas treinadas para executar tarefas como as seguintes:

  • Descobrir onde estão os créditos iniciais e finais em um conteúdo

  • Escolher os locais certos para inserir anúncios, como em sequências silenciosas de molduras pretas

  • Dividindo vídeos em clipes menores para uma melhor indexação

Esses processos manuais são caros, lentos e não podem ser dimensionados para acompanhar o volume de conteúdo produzido, licenciado e recuperado dos arquivos diariamente.

Você pode usar o Amazon Rekognition Video para automatizar tarefas operacionais de análise de mídia usando APIs de detecção de segmentos de vídeo totalmente gerenciadas e criadas especificamente com tecnologia de machine learning (ML). Ao usar as APIs de segmento do Amazon Rekognition Video, você pode analisar facilmente grandes volumes de vídeos e detectar marcadores como molduras pretas ou alterações na captura. Você obtém códigos de tempo, carimbos de data/hora e números de quadros da SMPTE (Society of Motion Picture and Television Engineers) de cada detecção. Nenhuma experiência em ML é necessária.

O Amazon Rekognition Video analisa vídeos armazenados em um bucket do Amazon Simple Storage Service (Amazon S3). Os timecodes SMPTE retornados têm precisão de quadros — o Amazon Rekognition Video fornece o número exato de quadros de um segmento de vídeo detectado e processa vários formatos de taxa de quadros de vídeo automaticamente. Você pode usar os metadados com precisão de quadros do Amazon Rekognition Video para automatizar completamente determinadas tarefas ou reduzir significativamente a workload de revisão de operadores humanos treinados, para que eles possam se concentrar em um trabalho mais criativo. Você pode realizar tarefas como preparar conteúdo, inserir anúncios e adicionar "marcadores compulsivos" ao conteúdo em grande escala na nuvem.

Para obter informações sobre preços, consulte os preços do Amazon Rekognition.

A detecção de segmentos do Amazon Rekognition Video oferece suporte a dois tipos de tarefas de segmentação: detecção Dicas técnicas e Detecção de captura.

Dicas técnicas

Uma dica técnica identifica molduras pretas, barras coloridas, créditos de abertura, créditos finais, logotipos de estúdio e conteúdo principal do programa em um vídeo.

Molduras pretas

Os vídeos geralmente contêm molduras pretas vazias sem áudio que são usadas como sinais para inserir anúncios ou marcar o final de um segmento do programa, como uma cena ou créditos de abertura. Com o Amazon Rekognition Video, você pode detectar sequências de quadros pretos para automatizar a inserção de anúncios, empacotar conteúdo para VOD e demarcar vários segmentos ou cenas do programa. Os quadros pretos com áudio (como desaparecimentos graduais ou narrações) são considerados como conteúdo e não são retornados.

Créditos

O Amazon Rekognition Video pode identificar automaticamente os quadros exatos em que os créditos de abertura e encerramento de um filme ou programa de TV começam e terminam. Com essas informações, você pode gerar "marcadores compulsivos" ou solicitações interativas para o espectador, como "Próximo episódio" ou "Skip Intro", em aplicativos de vídeo sob demanda (VOD). Você também pode detectar o primeiro e o último quadro do conteúdo do programa em um vídeo. O Amazon Rekognition Video é treinado para lidar com uma grande variedade de estilos de crédito inicial e final, desde créditos contínuos simples até créditos mais desafiadores junto com o conteúdo.

Barras de cores

O Amazon Rekognition Video permite que você detecte seções de vídeo que exibem barras de cores SMPTE, que são um conjunto de cores exibido em padrões específicos para garantir que a cor seja calibrada corretamente em monitores de transmissão, programas e câmeras. Para obter mais informações sobre barras de cores SMPTE, consulte Barra de cores SMPTE. Esses metadados são úteis para preparar o conteúdo para aplicativos de VOD, removendo segmentos da barra de cores do conteúdo ou para detectar problemas como perda de sinais de transmissão em uma gravação, quando as barras de cores são mostradas continuamente como um sinal padrão em vez de conteúdo.

Barreiras

As barreiras são seções do vídeo, geralmente próximas ao início, que contêm metadados de texto sobre o episódio, o estúdio, o formato do vídeo, os canais de áudio e muito mais. O Amazon Rekognition Video pode identificar o início e o fim das listas, facilitando o uso dos metadados de texto ou a remoção da chapa ao preparar o conteúdo para visualização final.

Logotipos de estúdio

Os logotipos do estúdio são sequências que mostram os logotipos ou emblemas do estúdio de produção envolvido na criação do programa. O Amazon Rekognition Video pode detectar essas sequências para que os usuários possam analisá-las para identificar estúdios.

Conteúdo

O conteúdo são as partes do programa de TV ou filme que contêm o programa ou elementos relacionados. Molduras pretas, créditos, barras coloridas, ardósias e logotipos de estúdio não são considerados conteúdo. O Amazon Rekognition Video pode detectar o início e o fim de cada segmento de conteúdo no vídeo, para que você possa encontrar o tempo de execução do programa ou segmentos específicos.

Os segmentos de conteúdo incluem, mas não estão limitados ao seguinte:

  • Programe cenas entre dois intervalos publicitários

  • Uma rápida recapitulação do episódio anterior no início do vídeo

  • Conteúdo bônus pós-crédito

  • Conteúdo "sem texto", como um conjunto de todas as cenas do programa que originalmente continham texto sobreposto, mas em que o texto foi removido para oferecer suporte à tradução para outros idiomas.

Depois que o Amazon Rekognition Video terminar de detectar todos os segmentos de conteúdo, você poderá aplicar o conhecimento do domínio ou enviá-los para análise humana para categorizar ainda mais cada segmento. Por exemplo, se você usa vídeos que sempre começam com uma recapitulação, você pode categorizar o primeiro segmento de conteúdo como uma recapitulação.

O diagrama a seguir mostra segmentos de dicas técnicas na linha do tempo de um programa ou filme. Observe as barras coloridas e os créditos de abertura, os segmentos de conteúdo, como o resumo e o programa principal, as molduras pretas em todo o vídeo e os créditos finais.

Barras coloridas, segmento de recapitulação, dois segmentos de conteúdo do programa e molduras pretas representando a linha do tempo de um programa ou filme.

Detecção de captura

Uma tomada é uma série de fotos consecutivas inter-relacionadas, tiradas de forma contígua por uma única câmera e representando uma ação contínua no tempo e no espaço. Com o Amazon Rekognition Video, você pode detectar o início, o fim e a duração de cada captura, bem como a contagem de todas as fotos em um conteúdo. É possível usar metadados de tomada para tarefas como as seguintes:

  • Criar vídeos promocionais usando tomadas selecionadas.

  • Inserir anúncios em locais que não atrapalhem a experiência do espectador, como no meio de uma tomada quando alguém estiver falando.

  • Gerar um conjunto de miniaturas de visualização que evitem o conteúdo de transição entre as tomadas.

Uma detecção de tomada é marcada no quadro exato em que há um corte definido para uma câmera diferente. Se houver uma transição suave de uma câmera para outra, o Amazon Rekognition Video omite a transição. Isso garante que os momentos de início e término da tomada não incluam seções sem conteúdo real.

O diagrama a seguir ilustra segmentos de detecção de tomada em um filme cinematográfico. Observe que cada tomada é identificada por um corte de um ângulo ou localização da câmera para o próximo.

Sete fotos numeradas mostrando ruas da cidade, painel do carro, caminho na floresta, uma criança, um pintinho, lago ao pôr do sol com silhueta de fotógrafo.

Sobre a API de detecção de segmentos do Amazon Rekognition Video

Para segmentar um vídeo armazenado, você usa as operações assíncronas StartSegmentDetectione de GetSegmentDetectionAPI para iniciar um trabalho de segmentação e buscar os resultados. A detecção de segmentos aceita vídeos armazenados em um bucket do Amazon S3 e retorna uma saída JSON. Você pode optar por detectar somente sinais técnicos, somente alterações de captura ou ambas juntas configurando a solicitação da API StartSegmentdetection. Também é possível filtrar segmentos detectados definindo limites para uma confiança mínima de previsão. Para ter mais informações, consulte Usar a API Amazon Rekognition Segment . Para ver um código demonstrativo, consulte Exemplo: Detectando segmentos em um vídeo armazenado.