检测存储视频中的视频分段 - Amazon Rekognition

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

检测存储视频中的视频分段

Amazon Rekognition Video 提供了一个 API,用于识别视频的有用分段,例如黑帧和片尾字幕。

现在,观众观看的内容远超从前。特别是,机顶盒 (OTT) 和视频点播 (VOD) 平台可随时随地在任何屏幕上提供丰富的内容选择。随着内容量的急速增长,媒体公司面临着制作和管理其内容的挑战。这对于提供高质量的观看体验和更好的盈利内容至关重要。如今,公司使用大量经过训练的人力资源来执行下列任务。

  • 查找片头和片尾字幕在一段内容中的位置

  • 选择合适的位置来插入广告,例如在无声的黑帧序列中

  • 将视频分解为较小的剪辑以更好地编制索引

这些手动过程费用昂贵、速度缓慢、无法扩展,不能满足每天制作、授予许可以及从存档中检索内容量需求。

您可以使用 Amazon Rekognition Video,使用由机器学习 (ML) 提供支持的完全托管、专门构建的视频分段检测 API 来自动执行媒体分析任务。通过使用 Amazon Rekognition Video 分段 API,您可以轻松分析大量视频并检测黑帧或镜头变化等标记。在每次检测时,您可以获取 SMPTE(美国电影电视工程师协会)时间码、时间戳和帧数。无需机器学习经验。

Amazon Rekognition Video 会分析存储在 Amazon Simple Storage Service (Amazon S3) 存储桶中的视频。返回的 SMPTE 时间码是精确到帧 — Amazon Rekognition Video 提供检测到的视频分段的确切帧数,并自动处理各种视频帧率格式。您可以使用来自 Amazon Rekognition Video 的精确到帧的元数据自动完成特定任务,从而完全或大幅减少受培训人工操作员的审核工作量,让他们专注于更具创造力的工作。您可以执行编制内容、插入广告等任务,以及在云中大规模添加“狂欢标记”到内容中。

有关定价的信息,请参阅 Amazon Rekognition 定价

Amazon Rekognition Video 分段检测支持两种类型的分段任务 — 技术提示 检测和镜头检测

技术提示

技术提示可以识别视频中的黑帧、彩条、片头字幕、片尾字幕、工作室徽标和主要节目内容。

黑帧

视频通常包含不含音频的黑帧,用作插入广告或界定节目段结尾(例如场景或开场字幕)。借助 Amazon Rekognition Video,您可以检测到黑帧序列,以自动插入广告、为 VOD 打包内容以及界定各种节目段或场景。带有音频的黑色帧(例如淡出或画外音)被视为内容且不会返回。

服务抵扣金额

Amazon Rekognition Video 可自动识别电影或电视节目的开头字幕和片尾字幕的开头和结尾的确切帧。利用这些信息,您可以在视频点播 (VOD) 应用程序中生成“狂欢标记”或交互式观看者提示,例如“下一集”或“跳过简介”。您还可以检测视频中节目内容的第一帧和最后一帧。Amazon Rekognition Video 经过培训,可以处理各种片头和片尾字幕风格,从简单的滚动字幕到更具挑战性的字幕以及内容。

彩条

Amazon Rekognition Video 允许您检测显示 SMPTE 彩条的视频部分,SMPTE 彩条是以特定模式显示的一组颜色,可确保在广播监视器、节目和相机上正确校准颜色。有关 SMPTE 彩条的更多信息,请参阅 SMPTE 彩条。当彩条连续显示为默认信号而不是内容时,此元数据可用于通过从内容中删除彩条段来为 VOD 应用程序准备内容,也可用于检测录音中的广播信号丢失等问题。

画面

画面是视频中通常接近开头的部分,其中包含有关剧集、工作室、视频格式、音频频道等的文本元数据。Amazon Rekognition Video 可以识别画面的开头和结尾,从而在准备内容以供最终观看时轻松使用文本元数据或移除画面。

工作室徽标

工作室徽标是显示参与制作该节目的制作工作室徽标或标志的序列。Amazon Rekognition Video 可以检测到这些序列,以便用户可以查看它们以识别工作室。

内容

内容是电视节目或电影中包含节目或相关元素的部分。黑帧、字幕、彩条、画面和工作室徽标不被视为内容。Amazon Rekognition Video 可以检测视频中每个内容分段的开始和结尾,因此您可以找到节目的运行时间或特定分段。

内容分段包括但不限于以下内容:

  • 在两个广告时段之间的节目场景

  • 在视频开头对上一集进行的快速回顾

  • 字幕后的彩蛋内容

  • “无文本”内容,例如一组所有节目场景,这些场景最初包含叠加的文本,但为了支持翻译成其他语言,文本已被删除。

在 Amazon Rekognition Video 完成对所有内容分段的检测后,您可以应用领域知识或将其发送给人工审核,以进一步对每个分段进行分类。例如,如果您使用的视频总是以回顾开头,则可以将第一个内容分段归类为回顾。

下图说明了节目或影片时间线上的技术提示分段。请注意彩条和开场字幕、内容分段(例如回顾和主节目)、整个视频中的黑帧以及片尾字幕。

色条、回顾片段、两个节目内容片段以及代表节目或电影时间轴的黑框。

镜头检测

镜头是由一台相机连续拍摄的一系列相互关联的连续照片,表示在时间和空间上的连续动作。借助 Amazon Rekognition Video,您可以检测每个镜头的开始、结束和持续时间,并且可以计数内容分段中的所有镜头。您可以将镜头元数据用于以下任务。

  • 使用选定的镜头创建宣传视频。

  • 在不影响观众体验的位置插入广告,例如镜头中间有人说话时。

  • 生成一组预览缩略图,避开镜头之间的过渡内容。

镜头检测在硬切换到另一个镜头的确切帧上进行标记。如果存在从一个镜头向另一个镜头的软过渡,则 Amazon Rekognition Video 忽略过渡。这可确保镜头的开始和结束时间不包括没有实际内容的部分。

下图说明了一段胶片上的镜头检测段。请注意,每个镜头都是由从一个镜头角度或位置到下一个镜头的切换来识别的。

七张带编号的照片显示了城市街道、汽车仪表板、森林小径、一个孩子、一只小鸡、带有摄影师剪影的日落湖。

关于 Amazon Rekognition Video 分段检测 API

要对存储的视频进行分段,您可以使用异步StartSegmentDetectionGetSegmentDetectionAPI 操作来启动分段作业并获取结果。分段检测接受存储在 Amazon S3 存储桶中的视频并返回 JSON 输出。通过配置 StartSegmentdetection API 请求,您可以选择仅检测技术提示、仅检测镜头变化或检测技术提示和镜头变化。您还可以为最低预测置信度设置阈值来筛选检测到的分段。有关更多信息,请参阅 使用 Amazon Rekognition 分段 API 。有关代码示例,请参阅 示例:检测存储视频中的分段