一种家庭视频摘要生成的新方法_2006

—226— 一种家庭视频摘要生成的新方法智 敏1,2，蔡安妮1(1. 北京邮电大学电信工程学院，北京100876；2. 内蒙古师范大学计算机系，呼和浩特010020)摘 要: 计算机硬件的发展使家用计算机具有处理和存储视频资料的能力，而家用数字摄像设备的普及使家庭视频的数量越来越多，家庭用户对视频摘要技术的需求也越来越强烈。

在回顾现有视频摘要相关的概念、分类和技术，以及分析家庭视频的特征基础上，给出了家庭视频摘要的特点，并提出了一个面向家庭视频的视频摘要算法。

关键词: 家庭视频；特征；视频摘要；视频总结A New Method for Home Video AbstractZHI Min 1, 2, CAI Anni 1(1. School of Telecommunications Engineering, Beijing University of Posts and Telecommunications, Beijing 100876;2. Department of Computer, Inner Mongolia Normal University, Huhehaote 010020)【Abstract 】With the computer’s hardware developing, personal computer has the capabilities of management and storage for digital video. And because of digital photograph’s popularization and the quantity of the home video, the need for video abstract technology become intensity. In this paper, on the basis of considering concept and classification and technology about video abstract and analyzing characters of home video, a video abstract method for home video is presented.【Key words 】Home video; Character; Video abstract; Video summary计 算 机 工 程Computer Engineering 第32卷 第6期Vol. 32 № 6 2006年3月March 2006·多媒体技术及应用·文章编号：1000—3428(2006)06—0226—02文献标识码：A中图分类号：TP371概述基于内容的视频分析技术的快速发展产生了很多新的应用和新的技术。

在这些新兴的研究领域中，有一类应用和研究所针对的问题是如何利用对视频内容的分析来减小视频存储、分类和索引的代价，以及如何提高视频的使用效率、可用性和访问性，这就是视频摘要技术。

视频摘要顾名思义就是对一长段视频内容的简短总结。

更明确一点来说，视频摘要就是一连串静止或运动的图像，它们用精简的方式代表了原视频的内容，保留了原视频内容的要点。

视频摘要还可根据是静止图像，还是运动图像序列分为视频摘要(Videosummary)和缩略视频(Video skimming)两大类，视频摘要是从原始视频中提取或生成的一小部分静止图像的集合，生成静态图像摘要的主要任务就是准确、高效地提取关键帧。

缩略视频是运动图像序列，根据介绍内容的不同，缩略视频又分为总结摘要和亮点摘要两种。

而亮点摘要则介绍了最吸引人的部分，比如电影的宣传片，它呈现了许多电影中的精彩场面而并不揭示故事的结局；总结摘要是一些视频片段的序列, 用户可以通过播放这些相对短小的视频片段来了解整个视频的内容。

视频摘要在很多领域得到应用，其中家庭娱乐的应用已经成为很主要的分支。

计算机硬件的发展使家用计算机具有处理和存储视频资料的能力，而家用数字摄像设备的普及使家庭用户可以很容易地摄制一段视频并把它们以数字方式存入电脑，这些都为家庭视频摘要技术的发展提供了基础。

家庭用户拥有的视频资料不断增加和家庭视频多数还是以原始的、未经编辑存放的矛盾，使得家庭用户对视频的浏览和欣赏极为不便。

家庭用户迫切需要一种考虑到家庭视频特点、针对家庭用户的视频摘要系统来满足他们的需要。

Liehart [1]提出的家庭视频摘要方法是首先基于视频被摄制的日期和时间，将所有的镜头聚类为4种不同层次；然后把长的镜头均匀地分成2min 长的片断；最后根据音频信号的声音强度选择需要的片断，得到视频摘要。

但是此方法忽略了视频的图像内容。

Jananonea [2]等提出的家庭视频摘要方法是首先根据镜头长度和镜头活动度，计算提取关键帧的个数；然后根据用户的反馈，把提取的关键帧作为SVM (Support Vector Machine algorithm)的输入，重新分类生成摘要。

在此方法中用户只能在关键帧层次上进行反馈，而不能从总体上反馈。

同时由这两种方法生成的视频摘要，不能预先设定长度。

在本文中，将首先提取关键帧，其次根据预先给定的视频摘要长度以及所提取的关键帧个数，从镜头中抽取图像帧生成初步摘要；最后根据用户对初步摘要的反馈，删除多余的镜头，生成最终摘要。

2 家庭视频摘要的特点家庭视频是指家庭用户使用家用数字摄像机所拍摄的数字视频。

由于拍摄者、拍摄工具、拍摄内容和拍摄手段的限制，以及家庭视频处理上的要求，形成了家庭视频摘要特有的特点。

（1）家庭视频的存在形式多数是原始的、未经编辑的形式，所以家庭视频中有大量无用、有缺陷及冗余的内容。

家庭视频的原始存在形式提出了对总结摘要的需求，用户需要总结摘要来快速浏览整个视频的内容。

（2）家庭视频主要记录了人们的生活，它没有人为设计基金项目：国家自然科学基金资助项目（60462001） 作者简介：智 敏（1972－），女，博士生，主研方向：视频信息处理与检索，多媒体技术等；蔡安妮，教授、博导收稿日期：2005-03-02 E-mail ：zhiminc@—227—的故事情节或是特定的结构特征。

由于家庭视频没有明显的结构特征，每个镜头应该处在同等地位，因此视频摘要算法可以直接以镜头为基础来生成。

（3）家庭视频的拍摄过程决定了它们只能由通过突变切换连接的镜头组成。

这个特征给镜头检测算法带来了很大的方便，而且使得镜头检测成功率很高。

（4）家庭视频的观众不是针对大众，而是仅限于家人、朋友、客人等一小部分人。

这部分人要么是直接参与了视频中的事件，要么对视频的内容有相当的了解。

他们的意见对最终视频摘要的效果有决定性的作用。

3 家庭视频摘要的算法根据家庭视频摘要的特点，我们所生成的视频摘要是半自动化的镜头层次上的总结摘要。

家庭视频总结摘要算法的流程如图1所示。

图1 家庭视频总结摘要算法流程（1）检测镜头家庭视频是由突变切换连接的镜头组成的，这个特征给镜头检测算法带来了很大的方便。

现在无论在压缩域还是在非压缩域突变的检测率都很高。

我们采用双阈值[3]方法，基于视频压缩数据DC 图像序列，计算DC 图的颜色直方图，通过比较相邻帧的距离检测镜头边界。

帧I 和J 的距离D 为1(,)ni i l D I J I J ==−∑ （1）（2）提取关键帧我们利用图的描述与视频结构的相似性来提取关键帧。

在图论中，图中心理论可以解决在一个连通的无向图中设置服务点的问题。

设G=[V ，E]是一个连通的无向图，每一条边有一个非负的长度，现在任取一个结点V i ，然后考虑这个结点与G 的所有点之间的最短路径的长度：d(V i ,V 1), d(V i ,V 2),…, d(V i ,V n )，这n 个距离中的最大值称为最大服务距离，记作e(V i )。

即如果把服务点设在V i ，那么这个服务点与最远的服务距离至少是e(V i )。

在所有结点中，使e(V i )达到最小的结点叫做图G 的中心。

当设置服务点好坏标准设定为最远的结点与服务点的距离应尽可能小的准则时，那么服务点以设在图中心为最好。

进一步来说，如果不是设置一个服务点，而设置多个服务点，还是规定结点对最大服务距离愈小愈好，则使e(Vi ,V i+1,…,V i+p-1)达到最小的结点集被称为图的P 中心。

目前根据视频镜头的低级特征（如颜色、亮度等）来选择关键帧集，例如以颜色直方图为特征，提取的关键帧集应该与其它所有帧在颜色上最接近，即关键帧与所有其它帧的颜色差距应尽可能的小。

这样服务点设置与关键帧提取问题本质上就一样了。

因此把一个镜头看作一个图、把镜头中的每个帧看作图中的结点、把帧差看作结点之间的距离时，求关键帧问题就转化为求图的中心和图的中位点的问题。

基于图中心提取的关键帧具有如下优点：关键帧数量是由镜头内容的变化来决定的，而且提取的关键帧集能够表示镜头的主要内容。

图的中心为1111(,,,)max {min(,)}i i p k j i k i p j n i e V V V d V V ++−≤≤+−≤≤=L(2)（3）生成初步摘要在一个镜头中提取的关键帧多，说明该镜头的活动度高且包含的信息量大，在生成视频摘要时该镜头提取的帧就应该多。

假设预先给定的视频摘要长度为Ts ，帧率为n 帧/s ，镜头i 中提取的图像帧个数N i ：i N T n =××该镜头的关键帧个数总的关键帧个数4 实验结果和结论我们把实验分成两步来完成：第一步没有用户的参与，生成初步摘要。

在生成初步摘要时，考虑了视频摘要的长度和每个镜头的关键帧个数，因此活动度高、信息量大的镜头在初步摘要中存在尽可能多的帧，同时较短的镜头也不会丢失，这样初步摘要就包含了大量内容。

但是它同时也包含了有缺陷及冗余的内容。

第二步用户参与，生成最终视频摘要。

用户的参与不但可以删除有缺陷和冗余的内容，同时可以删除不重要的内容，因此生成的视频摘要更符合用户的需求。

我们所生成的视频摘要是半自动化的镜头层次上总结摘要。

首先利用计算机对原始的、未经编辑的视频段进行处理，生成初步的视频摘要。

这样既保障了用户能够了解到原始视频中的所有的镜头，又避免了用户长时间的观看原始视频。

其次用户与计算机交互操作，用户通过浏览生成的初步摘要，把冗余的、残缺的或不需要的镜头挑出，计算机再次对剩余的镜头进行操作。

还有用户可以根据情况生成不同长度的视频摘要。

现在本算法对用户的要求只能做简单的删除，而对某个镜头内容进行增减的操作将是下一步要完成的工作。

参考文献1 Lienhart. Dynamic Video Summarization of Home Video [C]. Proc. SPIE: Storage and Retrieval for Media Databases, 2000, 3972: 378-389.2 Jananonea, Auethavekiatb, Aizawaa. Home Video Summarization by Shot Characteristics and User’s Feedback[C]. Proc. SPIE: Storage and Retrieval Methods and Applications for Multimedia, 2004, 5307: 388-395.3 Zhang H, Kankanhalli, Smoliarsw A. Automatic Partitioning of Full Motion Video [J]. Multimedia System, 1993,1(1): 10-28.。