基于视频指纹的视频片段检索方法

第３６卷　

ＶｏＬ３６　第７期　

Ｎｏ．７　计算机工程　

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　２０１０年４月　

Ａｐｒｉｌ　２０１０　

・多媒体技术及应用・　文章编号：．１０ｏ０＿－　４２８（２０ｌ０）０７—＿＿０２３９—Ｉ１３　文献标识码：Ａ　中图分类号：ＴＰ３７　

基于视频指纹的视频片段检索方法　

李泽洲　，欧阳建权　，张敏　，刘炜　，　

（１．湘潭大学智能计算与信息处理教育部重点实验室，湘潭４１１１０５；２．湘潭大学信息工程学院，湘潭４ｌ１１Ｏ５）　

摘要：提出一种基于视频指纹的视频片段检索方法，通过视频指纹的相似性匹配对视频片段进行检索。通过改进的Ｈａｒｒｉｓ检测计算ＤＣ　

图像的角点信息，去掉视频图像边缘提取视频运动特征，根据图像特征相似度和运动特征相似度的调和因子得到视频片段总的相似度。实　

验结果表明，与现有方法相比，该方法能准确检测视频片段，具有较强的鲁棒性，满足视频检索的实时要求。　

关健词：视频指纹；Ｈａｒｒｉｓ检测；视频检索　

Ｖｉｄｅｏ　Ｓｅｇｍｅｎｔ　Ｒｅｔｒｉｅｖａｌ　Ｍｅｔｈｏｄ　Ｂａｓｅｄ　０ｎ　Ｖｉｄｅｏ　Ｆｉｎｇｅｒｐｒｉｎｔ　

ＬＩ　Ｚｅ—ｚｈｏｕ　．一，ＯＵＹＡＮＧ　Ｊｉａｎ．ｑｕａｎ　，ＺＨＡＮＧ　Ｍｉｎ　，．，ＬＩＵ　ｗ　

（１．ＫｅｙＬａｂｏｒａｔｏｒｙ　ｏｆＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｉｎｇ＆Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，Ｍｉｎｉｓｔｒｙ　ｏｆＥｄｕｃａｔｉｏｎ，ＸｉａｎｇｔａｎＵｎｉｖｅｒｓｉｔｙ，Ｘｉａｎｇｔａｎ　４１１１０５；　２．Ｃｏｌｌｅｇｅ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉａｎｇｔａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉａｎｇｔａｎ　４　１　１　Ｉ　ｏ５）　

［Ａｂｓｔｒａｃｔ］Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｏｄｕｃｅｓ　ｔｈｅ　ｆｉｎｇｅｒｐｒｉｎｔ　ｂｙ　ｃｏｍｂｉｎｉｎｇ　ｂｏｔｈ　ｔｈｅ　ｉｍａｇｅ　ｆｅａｔｕｒｅ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｉｍｐｒｏｖｅｄ　Ｈａｒｒｉｓ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｔｈｅ　ｍｏｔｉｏｎ　ｆｅａｔｕｒｅ　

ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｄｉｆｆｅｒｅｎｃｅｓ　ｂｅｔｗｅｅｎ　ｔｈｃ　ａｄｊａｃｅｎｔ　ｖｉｄｅｏ　ｆｌａｍｅｓ，ａｎｄ　ｒｅｔｒｉｅｖａｌ　ｖｉｄｅｏ　ｓｅｇｍｅｎｔ　ｔｈｒｏｕｇｈ　ｓｉｍｉｌａｒｉｔｙ　ｍａｔｃｈ　ｏｆ　ｔｈｅ　ｖｉｄｅｏ　ｆｉｎｇｅｒｐｒｉｎｔ．Ｔｈｅ　ｃｏｍｅｒ　ｄｅｓｃｒｉｐｔｏｒ　ｏｆ　ｔｈｅ　ＤＣ　ｉｍａｇｅ　ｉｓ　ｇｅｎｅｒａｔｅｄ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｉｍｐｒｏｖｅｄ　Ｈａｒｒｉｓ　ｍｅｔｈｏｄ．Ｍｏｒｅｏｖｅｒ，ｔｈｅ　ｍｏｔｉｏｎ　ｆｅａｔｕｍ　ｉｓ　ｅｘｔｒａｃｔｅｄ　ｂｙ　ｔｒｉｍｍｉｎｇ　ｔｈｅ　

ｉｍａｇｅ　ｅｄｇｅ　ｏｆ　ｔｈｅ　ｖｉｄｅｏ．Ｔｈｅ　ｆｕｓｉｏｎ　ｆａｃｔｏｒ　ｗｈｉｃｈ　ｃｏｍｂｉｎｅｓ　ｔｈｅ　ｓｉｍｉｌａｒｉｔｙ　ｏｆ　ｉｍａｇｅ　ｆｅａｔｕｒｅ　ａｎｄ　ｍｏｔｉｏｎ　ｆｅａｔｕｒｅ　ｉｓ　ｃｏｎｓｔｒｕｃｔｅｄ　ｔｏ　ｃａｌｃｕｌａｔｅ　ｔｈｅ　ｓｉｍｉｌａｒｉｔｙ　ｂｅｔｗｅｅｎ　ｔｈｅ　ｃａｎｄｉｄａｔｅ　ｖｉｄｅｏｓ　ａｎｄ　ｏｒｉｇｉｎａｌ　ｖｉｄｅｏｓ．Ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｅｘｉｓｔｉｎｇ　ｍｅｔｈｏｄ，ｔｈｅ　ｍｅｔｈｏｄ　ｐｒｏｐｏｓｅｄ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ｒｅｔｒｉｅｖｅｓ　ｖｉｄｅｏ　

ｓｅｇｍｅｎｔ　ａｃｃｕｒａｃｙ　ａｎｄ　ｍｅｅｔｓ　ｔｈｅ　ｒｅｑｕｉｒｅｍｅｎｔｓ　ｏｆ　ｒｅａｌ—ｔｉｍｅ．　ＩＫｅｙ　ｗｏｒｄｓ］ｖｉｄｅｏ　ｆｉｎｇｅｒｐｒｉｎｔ；Ｈａｒｒｉｓ　ｄｅｔｅｃｔｉｏｎ；ｖｉｄｅｏ　ｒｅｔｒｉｅｖａｌ　

１概述　视频以其信息量大、直观的特点，给人们获取信息和娱　

乐带来了很大的便利，于此同时，对指定视频片段进行检索　已得到越来越多的关注。比如，企业部门希望能够知道自己　

的广告在电视台的播出次数和时问，文化监管部门需要对互　

联网上违法视频进行监控等。但由于视频数据量大，传统的　

检索模式难以做到快速、准确，因此怎样从巨大的视频仓库　

中快速准确地检索出指定视频片段，成为急需解决的难题。　目前针对视频片段检索一般采用２种方法：基于视频结　构数据的视频检索ｌＩ　和基于视频标志的视频检索。主要有　

２种途径：基于水印进行视频检索和基于数字指纹进行检索。　

数字水印技术由于要在视频产品中植入一段特殊的识别信　

息，使这种技术容易受到有目的的攻击。数字指纹技术认为　

多媒体本身就是水印，即多媒体自身包含丰富的信息用于进　

行视频检索，其方法一般是先提取多媒体的底层特征，然后　

与可疑多媒体的底层特征进行比较。因此，视频底层特征提　取，即视频指纹的提取，是该技术的重点。　

视频指纹要求具有２个性质：（１）指纹具有较强的鲁棒性；　

（２）指纹提取方法的高效性。目前已有很多视频指纹提取的方　

法，如文献［２】基于Ｈａｒｒｉｓ检测，计算帧图像的兴趣点，产生　

视频指纹，由于Ｈａｒｒｉｓ检测存在定位和稳定性方面的问题，　

导致视频指纹的鲁棒性不强。文献［３］提出基于质心倾斜来提　

取视频指纹，该方法时间复杂度比较高，不能快速地对视频　

进行检索。文献［４］通过视频顺序特征和颜色特征相结合产生　视频指纹，但该方法的查全牢和查准率不高。　针对上述问题，本文一种结合基于改进的Ｈａｒｒｉｓ检测提　

取图像特征和基于帧间差异提取运动特征的视频指纹产生方　法，通过视频指纹的相似性匹配进行视频检索。该方法对视　

频的亮度变换和尺寸变化有较强的鲁棒性，并且满足视频检　索的实时性要求。　

２总体设计方案　

本文方法的总体设计方案如图１所示。　

～一一一一一一一一视频指纹提晕卜一一一一一一一一一　

图１总体设计方案　

基金项目：湖南省教育厅优秀青年基金资助项目（０６Ｂ０９５）；湖南省　研究生科研创新基金资助项目（Ｘ２００８ｙｊｓｃｘ　ｌ　９）　作者简介：李泽洲（１９８４－－），男，硕士研究生，主研方向：多媒体处　

理；欧阳建权，副教授；张敏、刘炜，硕士研究生　收稿日期：２００９一Ｉ　１－０４　Ｅ—ｍａｉｌ：ｋｉｓｓｉｎｇｍａｎ　Ｉ　ｇｍａｉｌ．ｃｏｒｎ

　该方法的特点如下：　（１）基于ＤＣ图像序列（ＭＰＥＧ文件Ｉ帧的ＤＣ系数组成的　

序列）提取视频指纹，缩短了指纹提取的时间，提高了视频检　

索的效率。　

（２）通过对Ｈａｒｒｉｓ检测进行改进，更加准确地计算ＤＣ图　像的角点信息，提高了图像特征提取的准确性。　

（３）将改进的Ｈａｒｒｉｓ检测提取图像特征和基于帧间差异提　

取运动特征相结合产生视频指纹，使提取的视频指纹具有更　强的鲁棒性。　

３视频指纹提取　视频指纹提取的关键是视频特征提取是否准确，视频最　

重要的２个特征是图像特征和运动特征，视频的图像特征是　指视频帧的颜色特征、边缘特征、纹理特征和角点特征等。　

视频的运动特征是指相邻视频帧之间的差异，运动特征是视　频区别于图像的特有特征，体现了视频帧随时问的变换趋势。　

３．１图像特征提取　在提取图像特征的过程中，使用局部特征得到整个图像　特征，这样的特征提取对图像的几何变换亮度变换具有很强　

的鲁棒性，使用Ｈａｒｒｉｓ检测是个很好的选择。Ｈａｒｒｉｓ检测的　

基本思想是用自相关函数来确定当信号在２个方向都有较大　

变化时该信号所在的位置。但Ｈａｒｒｉｓ检测存在定位和稳定性　

方面的问题，对图像的旋转和缩放比较敏感。一般都是在应　用Ｈａｒｒｉｓ检测前对图像进行应用某种过滤器（如高斯过滤、双　

向过滤）进行平滑处理。对ＤＣ亮度图像，使用过滤器ｇ的卷　

积表达式为　（　）＝　（　）』ｅ，（　）ｇ（　，　）ｄ　

其中，　是像素位置；，（　）是ＤＣ图像　位置的亮度值；ｇ（　，Ｘ）　

表示加在，（ａ上的权重，由　进行规一化。权重取决于２个　

像素点之间的欧氏距离。在高斯过滤器中，这种相似性度量　

表示为　

…　一　，ｌ　ｇ（　，　）＝ｅｘｐ　，　

鉴于高斯过滤在平滑时的模糊效应，因此，该方法存在　定位和稳定性方面的问题，本文萤新给出一个相似性度量函　

数，考虑了像素问的距离，得出如下卷积公式：　

（　）＝ｋｇ（ｘ）ｌ＿亡：，（　）　（，（　），，（　））ｄ　

当　满足下式时可用来对Ｓ进行规一化：　

（　）ｆｅ　ｓ（Ｉ（Ｏ，，（　）ｄ　＝１　

可在计算　时确定其值。为保持在ＤＣ亮度图像的　

Ｈａｒｒｉｓ检测中出现的距离一致性，相似性度量　使用欧氏　

距离：　

（ｃｌ＿ｃ２）　（ｃｌ－ｃ０　：　（ｃｌ，Ｃ２）＝ｅｘｐ　０５　

得到平滑算子表达式：　

（　）＝　（　）』［二，（　）ｇ（　，　）　（，（　），　（　））ｄ　

规一化表达式为　

）ｆｅｇ（　，ｘ）ｓ（Ｘ（Ｏ，Ｉ（ｘ））ｄ４＝１　

在以上面的过滤器进行ＤＣ亮度图像的平滑处理后，可　

以进行兴趣点的Ｈａｒｒｉｓ检测：　Ｃ　＝　（　一ｋｒＰ（ｇ）　其中，Ｈ＝ｇｒａｄ（Ｉ）　ｇｒａｄ（Ｉ）　，ｋ值可由试验确定。　

根据下列规定，通过选择局部区域的最大Ｒ值，即可提　

取出兴趣点：　

－２４０－－－　（　）＞Ｒ（ｗ）　Ｗ∈ＮＢ（　）　ＮＢ（ｘ）指像素点　的领域。　

将ＤＣ亮度图像划分为ＭＸＮ的块，统计每块中的兴趣　

点的数目为Ｇ（ｍ，，？），其中，ｍ＝ｌ，２，…，　＝１，２，…，Ⅳ。　

最后得到整个视频片段的图像特征Ｙ（ｍ，”，ｐ），其中　

ｒ（ｍ，　，Ｐ）表示第尸个Ｉ帧ＤＣ亮度图像的Ｇ（ｍ，　）值。　

３．２运动特征提取　运动特征是视频区别于图像的一个重要特征，因此，运　

动特征提取对视频检索有非常重要的意义。由于相邻帧之间　

相同区域的差异能很好地反映视频的运动特征，因此文献【５】　

提出了用帧间差异来表示视频的运动特征：　

，　、　Ｉ１　ｉｆＱ（ｒ，ｃ，ｐ）≥０　（１）　ｂ　ｐ）＝０　ｉｆＱ（ｒ，ｃ，ｐ　（ｏ　

Ｑ（ｒ，ｃ，ｐ）＝（Ｆ（ｒ，ｃ＋１，ｐ）一Ｆ（ｒ，０，ｐ））一　（，（，，ｃ＋１，Ｐ一１）一Ｆ（ｒ，ｃ，Ｐ一】））　其中，Ｙ（ｒ　ｐ）表示第Ｐ帧（ｒ，ｃ）位置的像素值。　

该方法基于像素域提取运动特征，速度比较慢，并且对　

于在视频下边缘添加字幕（如电影的翻译字幕，电视台的公告　

等）的视频攻击鲁棒性不强。　鉴于该方法的缺点，本文基于ＤＣ亮度图像序列计算视　

频运动特征，提高了运动特征提取的效率。在视频下边缘添　加字幕严重影响视频运动特征的准确性，如果去掉视频下边　

缘，基本不会影响视频特征的提取，因此，去掉视频边缘提　

取视频运动特征能使特征提取更加准确，算法如下：　

（１）将第ｒ个Ｉ帧ＤＣ亮度图像分成Ｒ×Ｃ块，计算每一块　

亮度的和Ｆ（ｒ，Ｃ，　），其中，Ｆ１，２，…，Ｒ；ｃ＝ｌ，２，…，Ｃ。　

（２）去掉图像下边缘，即ｒ＝ｌ，２，…，Ｒ・２，根据式（１）计算运　

动特征串Ｂ（ｒ，ｃ，ｐ），其中，运动特征串的长度为　一２）Ｘ（Ｃ－１）。　

４相似匹配　提取视频指纹后，进行视频指纹的相似性匹配，分别计　

算视频片段Ｑ与视频库中视频Ｓ的图像特征相似度　（　，　）　

和运动特征相似度　（　，　），通过调和因子　（本实验中　

Ｗ－０．４２）得到视频片段的总的相似度，计算公式如下：　

ｓ（Ｑ，　）＝　×　（　，　）＋（１一ｗ）ｘ　（　，　）（０＜　＜１）　

其中，　（　，　）和　（　，Ｂｓ）通过计算城市距离得到。　

合集下载

使用AI技术进行视频分析与识别的技巧与方法

一、介绍

视频成为了现代社会中最主要的媒体形式之一，人们利用它来记录和分享各种生活片段。然而，面对数以千计的视频内容，我们往往需要使用AI技术进行视频分析与识别，以便更好地了解其内容和特征。本文将介绍一些关于使用AI技术进行视频分析与识别的技巧与方法。

二、视频分析与识别的基本概念

1. 视频分析

视频分析是指通过计算机视觉和机器学习方法对视频数据进行自动处理和解释的过程。这包括从视频中提取有用信息如对象检测、目标跟踪、行为识别等。

2. 视频识别

视频识别是指通过对已知类别和特征进行分类和识别来理解和解释不同类型的视频内容。常见的应用领域包括人脸识别、情感分析、场景理解等。

三、主要技巧与方法

1. 帧级特征提取

帧级特征提取是视频分析与识别中的重要步骤，它可以帮助我们捕捉到每一帧图像中的信息。常用的帧级特征包括颜色直方图、纹理特征、形状特征等。我们可以使用深度学习技术如卷积神经网络（CNN）来提取更高级别的特征，它们在图像分类和目标检测方面有着出色的性能。

2. 时间建模除了帧级特征，视频中的时间信息也是非常重要的。时间建模技术可以帮助我们分析和理解视频序列中的动态变化。其中，长短期记忆网络（LSTM）是一种有效处理时序数据的神经网络模型，常用于对视频进行行为识别和动作预测。

3. 目标跟踪

目标跟踪技术用于在视频序列中实时追踪目标对象。它对于视频监控、自动驾驶等应用至关重要。传统方法包括基于颜色直方图、背景差分等；而近年来，基于深度学习的目标跟踪方法如Siamese网络和Mask R-CNN也取得了突破性进展。

4. 行为识别

行为识别是指从人类活动记录数据（如摄像头捕捉到的视频）中提取并识别出不同的行为模式。这可以帮助我们了解人类活动规律、监控异常行为等。常用方法包括人体姿态估计、卷积时空网络（Conv3D）等。

5. 特定领域的视频分析

除了通用的视频分析和识别技术，还有一些特定领域的视频分析任务需要专门的技巧与方法。例如，医学图像中的疾病诊断、交通监控中的车辆识别与计数、体育赛事中的动作分析等。

使用AI技术进行视频分析与识别的技巧与方法 2

使用AI技术进行视频分析与识别的技巧与方法

AI技术应用于视频分析与识别的技巧与方法主要包括视频识别与分析模型和视频检测及跟踪算法。

一、视频识别与分析模型

视频识别与分析模型的基本功能是使用AI技术识别出视频中的物体、场景等，并将视频分解为图片，然后对每一帧图片进行深度学习，从而生成一系列的特征，作为后续视频分析的依据。视频识别与分析模型可以使用多种不同的AI技术，比如卷积神经网络(CNN)、循环神经网络(RNN)、图像识别、图像检测等技术。这些技术都可以帮助AI系统更准确地识别出视频中的物体和场景，并有效降低分析过程中的噪音。

二、视频检测及跟踪算法

视频检测及跟踪算法是一种用于识别物体及场景的算法。该算法首先运用深度学习的方法，基于视频帧中的图片，识别出物体和场景，并生成特征，然后通过特征跟踪算法，记录视频中物体移动的轨迹，获取准确的位置及相关的属性，最后根据物体的位置来判断其行为，以及周边物体的影响。

三、总结

AI技术在视频分析与识别的技巧与方法中，视频识别与分析模型可以有效帮助AI系统准确地识别出视频中的物体和场景。

基于视频七阶距特征的内容检索方法

第31卷第12期2012年12月实验室研究与探索RESEARCHANDEXPLORATIONINLABORATORYVol．31No．12Dec．2012

基于视频七阶距特征的内容检索方法

李炎1，杜秀华1，曹俊2

（1．上海交通大学自动化系，系统控制与信息处理教育部重点实验室，上海200240；

2．上海东方娱乐传媒集团广告经营中心，上海200041）

摘要:为了能准确地在视频媒体中寻找到所需要的信息片段，提出了一种基于视频图像七阶矩特征的

内容检索方法。通过计算图像的七阶矩特征，并以此替代视频每帧图像的信息，对视频中每帧图像及其

前一帧的七阶矩特征向量进行比对，计算两者距离，当两者欧氏距离超过某一给定阈值时记录下该帧在

视频中的位置，且定义该帧为视频的一个关键帧，并以此为据建立视频文件的带时间标记的关键帧七阶

矩向量序列。继而通过对视频流和目标视频的七阶矩序列位置的比对和对应七阶矩距离的计算，确定

在视频流中是否包含目标视频，以此实现在视频流中对于目标视频的检索。使用实际视频为例对方法

进行验证，效果良好，结果准确，方法还具有较快处理速度和较少的内存消耗，可用于实时处理领域。

关键词:视频处理;镜头检测;关键帧;七阶矩

中图分类号：TP391．41文献标志码：A文章编号：1006－7167（2012）12－0039－04

VideoContentsRetrievalBasedonSeven-orderMoments

LIYan1，DUXiu-hua1，CAOJun2

（1．AutomationDepartment，ShanghaiJiaotongUniversity，KeyLaboratoryofSystemControland

InformationProcessing，MinistryofEducationofChina，Shanghai200240；

2．ShanghaiSMGAdvertisingCenter，Shanghai200041，China）

33搜帧的用法

搜帧（Frame Search）是一种数字视频处理技术，主要用于从视频序列中快速搜索并提取指定帧。以下是33搜帧的用法：

1. 视频编辑：搜帧可以帮助视频编辑人员快速定位和提取需要的特定帧，以进行后续剪辑或处理。例如，在一段运动视频中，可以使用搜帧找到特定动作或场景的关键帧。

2. 视频分析：搜帧可用于视频分析领域，例如人脸识别、行为分析等。通过搜索特定的帧来捕捉视频中的目标对象，从而进行进一步的分析和识别。

3. 图像检索：搜帧可以用于图像检索系统中，使用户可以通过输入关键字或图像样本，从大量的视频中准确找到相关的帧。这对于大规模图像或视频数据库的管理和搜索非常有用。

4. 视频指纹识别：搜帧可用于视频指纹识别，即将视频序列转换为唯一的数字指纹。搜帧用于在视频中选取关键帧，并提取视觉特征，以建立视频指纹，并与数据库中的其他指纹进行匹配。

总之，33搜帧的用法广泛，涵盖了视频编辑、视频分析、图像检索和视频指纹识别等领域。

一种鲁棒的视频指纹提取和匹配方法

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ口ｎ　铆，ｆｃ口哟　计算机工程与应用　

一种鲁棒的视频指纹提取和匹配方法　

段德友　，欧阳建权　

ＤＵＡＮ　Ｄｃｙｏｕ　～．ＯＵＹＡＮＧ　Ｊｉａｎｑｕａｎ　。　

１．湘潭大学智能计算与信息处理教育部重点实验室，湖南湘潭４１１１０５　

２．湘潭大学信息工程学院，湖南湘潭４１１１０５　

１．Ｋｅｙ　Ｌａｂ　ｏｆ　ＭｏＥ　ｏｆ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｃｏｍｐｕｔｉｎｇ＆Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，Ｘｉａｎｇｔａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉａｎｇｔａｎ，Ｈｕｎａｎ　４１１１０５，Ｃｈｉｎａ　

２．Ｃｏｌｌｅｇｅ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉａｎｇｔａｎ　Ｕｎｉｖｅｒｓｉｔｙ，ｘｉａｎｇｔａｎ，Ｈｕｎａｎ　４１１１０５，Ｃｈｉｎａ　

ＤＵＡＮ　Ｄｅｙｏｕ，ＯＵＹＡＮＧ　Ｊｉａｎｑｕａｎ．Ｒｏｂｕｓｔ　ｍｅｔｈｏｄ　ｆｏｒ　ｖｉｄｅｏ　ｆｉｎｇｅｒｐｒｉｎｔ　ｅｘｔｒａｃｔｉｎｇ　ａｎｄ　ｍａｔｃｈｉｎｇ．Ｃｏｍｐｕｔｅｒ　ＥⅡ　ｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，２０１１，４７（２４）：１８６－１９０．　

Ａｂｓｔｒａｃｔ：Ｓｉｎｃｅ　ｅｘｉｓｔｉｎｇ　ｓｏｍｅ　ｄｅｆｅｃｔｓ　ｏｆ　ｔｈｅ　ｃｕｒｒｅｎｔ　ｖｉｄｅｏ　ｆｉｎｇｅｒｐｒｉｎｔ　ａｐｐｒｏａｃｈｅｓ　ｉｎｃｌｕｄｉｎｇ　ｗｅａｋ　ｒｏｂｕｓｔｎｅｓｓ，ｉｎｅｆｆｅｃｔｉｖｅ　

ｍａｔｃｈｉｎｇ　ｓｃｈｅｍｅ　ａｎｄ　ｌｉｍｉｔｅｄ　ａｄａｐｔａｂｉｌｉｔｙ．ｉｔ　ｐｒｅｓｅｎｔｓ　ａ　ｒｏｂｕｓｔ　ｍｅｔｈｏｄ　ｆｏｒ　ｖｉｄｅｏ　ｆｉｎｇｅｒｐｒｉｎｔ　ｅｘｔｒａｃｔｉｎｇ　ａｎｄ　ｍａｔｃｈｉｎｇ．Ｔｈｅ　ｖｊｄ＿　

ｅｏ　ｆｉｎｇｅｒｐｒｉｎｔ　ｖｅｃｔｏｒ，ｗｈｉｃｈ　ｉｓ　ｃｏｍｂｉｎｅｄ　ｔｈｅ　ｉｍｐｒｏｖｅｄ　Ｈａｒｒｉｓ　ｄｅｓｃｒｉｐｔｏｒ　ｗｉｔｈ　ｔｈｅ　ｉｍｐｒｏｖｅｄ　ｉｎｔｅｒ－ｆｒａｍｅ　ｄｉｆｆｅｒｅｎｃｅ　ｓｉｇｎａｔｕｒｅ，　

文化遗产视频检索系统的研究与实现

第３４卷　

Ｖｏ１．３４　第１Ｏ期　

Ｎｏ．１ｏ　计算机工程　

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　２００８年５月　

Ｍａｙ　２００８　

・多媒体技术及应用・　文章编号：ｌ０００＿＿＿３４２８（２０ｏ８）１０＿＿＿ｏ２２６＿＿０３　文献标识码：Ａ　中圈分类号ｔ　Ｎ９４５　

文化遗产视频检索系统的研究与实现　

吕卓逸，贾克斌　

（北京工业大学电子信息与控制工程学院，北京１０００２２）　

摘要：介绍文化遗产视频检索系统的设计与实现方法。描述采用ＭＶＣ架构的系统的总体结构及其主要功能模块。针对网络带宽窄、视　频传输数据量矢的特点，提出一种新的支持基于内容的视频检索算法——基于“视频指纹”的检索方法，采用ＲＧＢ颜色空间平均值作为　

视频特征。设计了相应的匹配检索算法，实验结果表明该算法具有较高的检索准确度，查全率比原算法提高了３３．３３％。　

关健词：ＭＶＣ架构；基于内容的视频检索；视频指纹　

Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　０ｆ　Ｃｕｌｔｕｒａｌ　

Ｈｅｒｉｔａｇｅ　Ｖｉｄｅｏ　Ｒｅｔｒｉｅｖａｌ　Ｓｙｓｔｅｍ　

ＬＶ　Ｚｈｕｏ－ｙｉ，ＪＩＡ　Ｋｅ－ｂｉｎ　

（Ｃｏｌｌｅｇｅ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ＆Ｃｏｎｔｒｏｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ　１０００２２）　

［Ａｂｓｔｒａｃｔ］Ｔｈｅ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ｔｈｅ　ｄｅｓｉｇｎ　ａｎｄ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ｃｕｌｔｕｒａｌ　ｈｅｒｉｔａｇｅ　ｖｉｄｅｏ　ｒｅｔｒｉｅｖａｌ　ｓｙｓｔｅｍ．Ｔｈｅ　ｓｙｓｔｅｍ　ｓｔｒｕｃｔｕｒｅ　ｗｉｔｈ　ＭＶＣ　ｐａｔｔｅｒｎ　ａｎｄ　ｔｈｅ　ｆｕｎｃｔｉｏｎ　ｏｆ　ｅａｃｈ　ｍｏｄｕｌｅ　ａｒｅ　ｄｅｓｃｒｉｂｅｄ．Ａｉｍｉｎｇ　ａｔ　ｔｈｅ　ｎａｒｒｏｗ　ｎｅｔｗｏｒｋ　ｂａｎｄｗｉｄｔｈ　ａｎｄ　ｍａｓｓ　ｄａｔａ　ｔｒａｎｓｆｅｒｒｉｎｇ，ａ　ｎｅｗ　Ｃｏｎｔｅｎｔ—ｂａｓｅｄ　Ｖｉｄｅｏ　

视频指纹技术简介

一、项目总体技术概述

（一）总体技术方案

项目所依据的技术原理：

本系统整体设计包括视频采集机（硬件），视频实时分析器，视频指纹提取，视频指纹对比和分析结果汇集模块等5个核心模块。本系统的技术原理分析如下。

视频采集机可根据需要选择千兆以太网电接口或光接口，前端机采用数据旁路方式接入被监测链路，对于多接口或主备链路可采用前端机接入集群来实现数据接入和内容安全分析。网路视频数据包经过采集重组成常见视频码流，例如MPEG-2 TS流，H.264/AVC MP4流, RealVideo RMVB流等等。

重建视频码流通过视频分析仪解码。现今，我们的视频分析模块可以涵盖市场上所有的音视频标准，例如MPEG-2, MPEG-4, H.264, RMVB, VP8 等等。并且系统实现不仅仅可以实时运行大型服务器，还包括个人电脑，乃至普通移动终端。

根据视频分析模块的解码视频，视频指纹提取模块提取视频指纹，用于其后的指纹比对。具体来说，指纹特征包括空间和时间性特征，而其中时间特征可以基于空间特征来实现。所以，空间特征指纹提取算法的设计是非常重要的。所谓空间特征，是基于一幅幅视频图像的特征提取。可以基于整个图像，也可以基于不同的分块。由于实现的复杂度，目前的系统中多采取基于图像块的特征提取。我们所提出的算法基于图像内容的相关性，对于不同的后期视频编辑有很好的抗干扰作用。此算法可以实现于低功耗的移动芯片。

指纹比对的算法对系统的运算时间有很大的影响。非常简单的一个算法是遍历所有的视频指纹序列，而这样的实现对实际系统是不现实的。我们提出设计基于内容的滑动窗，来替换单步比对，也可以使用Dijkila算法来提高系统运算速度。对于大型系统来说，这样的快速比对算法可以成千上万的提高运算速度。同时，我们也可以有效利用现有的高性能云计算架构来分布式并行处理对比模块，保证实时采集和对比，以及结果反馈。

基于比对结果，分析结果模块汇总数据反馈给用户。考虑到用户的独特性，系统中分析结果汇集模块是用户可定制的。我们可以提供匹配结果，可以显示于电脑，电视，以及移动终端。用户也可以根据我们提供的模块接口，导出反馈数据参数，用于更近一步的数据处理。

基于字幕的视频检索方法的研究与应用

《中国有线电视）２００６（０７）　ＣＨＩＮＡ　ＤＩＧＩＴＡＬ　ＣＡＢＬＥ　ＴＶ　③　・技术交流・　

中图分类号：ＴＮ９４８．６　文献标识码：Ｂ　文章编号：１００７—７０２２（２００６）０７—０６５３—０２　

基于字幕的视频检索方法的　

研究与应用　

口申嵛Ｉ峰（济南广电信息网络有限责任公司，山东济南２５００１４）　

摘要：随着视频节目数量不断增加，检索特定视频片段越来越困难，因此研究现有的视频检索方法，并　在这些方法的基础上，探讨基于字幕的视频检索技术的原理以及应用前景。　关键词：字幕；视频检索；数据库；研究　

Ｒｅｓｅａｒｃｈ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ｔｈｅ　Ｖｉｄｅｏ　Ｉｎｄｅｘ　Ｍｅｔｈｏｄ　Ｂａｓｅｄ　ｏｎ　ｔｈｅ　Ｓｕｂｔｉｔｌｅ　口ＳＨＥＮ　Ｙｕ・ｆｅｎｇ　（Ｊｉｎａｎ　Ｔｅｌｅｖｉｓｉｏｎ　ａｎｄ　Ｂｒｏａｄｃａｓｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｎｅｔｗｏｒｋ　Ｃｏｍｐａｎｙ，Ｓｈａｎｄｏｎｇ　Ｊｉｎａｎ　２５００１４，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｗｉｔｈ　ｔｈｅ　ｉｎｃｒｅａｓｅｍｅｎｔ　ｏｆ　ｔｈｅ　ｖｉｄｅｏ　ｐｒｏｇｒａｍ，ｉｔ　ｂｅｃｏｍｅｓ　ｍｏｒｅ　ａｎｄ　ｍｏｒｅ　ｄｉｆｆｉｃｕｌｔ　ｔｏ　ｓｅａｒｃｈ　ｏｎｅ　ｐｉｅｃｅ　ｏｆ　ｓｐｅｃｉａｌ　ｖｅｄｉｏ．Ｓｏ　ｗｅ　ｒｅｓｅａｒｃｈ　ａ　ｍｅｔｈｏｄ　ｔｏ　ｆｉｎｄ　ｔｈｅ　ｖｉｄｅｏ　ｗｈｉｃｈ　ｔｈｅｙ　ｗａｎｔ．Ｔｈｅ　ａｕｔｈｏｒ　ｔｒｉｅｓ　ｔｏ　ｆｉｎｄ　ａ　ｍｅｔｈｏｄ　ｃａｌｌｅｄ　ｔｈｅ　ｖｉｄｅｏ　ｉｎｄｅｘ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｓｕｂｔｉｔｌｅ，ｗｈｉｃｈ　ｉｓ　ｍｏｒｅ　ｒａｐｉｄ　ａｎｄ　ｍｏｒｅ　ｐｒｅｃｉｓｅ．　Ｋｅｙ　ｗｏｒｄｓ：ｓｕｂｔｉｔｌｅ；ｖｉｄｅｏ　ｉｎｄｅｘ；ｄａｔａｂａｓｅ；ｒｅｓｅａｒｃｈ　

１概述　随着视频节目的制作和积累，节目数量急剧增加，　人们要想在所有节目中寻找自己感兴趣的视频片段变　得越来越困难，因此人们迫切需要一种视频搜索技术，　以便从大量的视频节目资源中查询自己感兴趣的节　目，例如足球比赛中的射门镜头、一个演员的所有作品　等，这就是视频检索。　２现有的视频检索方法　现有的视频检索方法主要有３种：基于文本信息　的检索方法、基于帧的视频检索方法以及基于内容的　检索方法。　（１）基于文字的检索技术就是通过描述该视频片　段的文字信息比如视频文件名称、备注、标题等信息进　行相关视频的搜索，因为文字搜索技术发展很完善，有　大量检索算法可用，所以方法简单，计算量小，搜索速　度比较快，但这些文字信息内容有限，不能细致地描述　视频的每一个片段，因此不可能细致地搜索到所有待　查视频片段，也就是搜索准确度低。　（２）基于帧的视频检索就是将待检索的参考帧与　每视频中的每一帧进行比较，找出所要求的视频片段，　但是视频中存在大量的帧，比较每一帧是不可能的，因　此出现了结构化视频分析和检索，即将视频分割成视　频、场景、组、镜头、关键帧５个层次，从高层到低层依　次进行搜索，这样就提高了搜索速度，但这要用到视频　的结构分析技术，需要进行场景分割、镜头分割，计算　量比较大，算法复杂，搜索速度低。　（３）基于内容的视频检索就是首先对视频进行对　象分割，提取并描述视频对象的特征和内容存储于对　象数据库中，然后根据检索时提供的对象特征，在对象　数据库中进行检索，它的优点是搜全率高，缺点是计算　

基于视频指纹的快速视频拷贝检测方法

第３７卷　

Ｖ０１．３７　第６期　

Ｎ０．６　计算机工程　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　２０１　１年３月　

Ｍａｒｃｈ　２０１１　

・开发研究与设计技术・　文章编号：１ＩｌＩｌ０＿３４２８（２０１１）ｏ６一ｌ２７７一Ｊ３　文献标识码：Ａ　中图分类号：ＴＰ３７　

基于视频指纹的快速视频拷贝检测方法　

唐玉元　，欧阳建权　

（湘潭大学ａ智能计算与信息处理教育部重点实验室；ｂ．信息工程学院，湖南湘潭４１１　１Ｏ５）　

摘要：为满足视频拷贝检测的实时性要求，提出一种基于视频指纹的快速视频拷贝检测方法。基于ＤＣ图像序列提取改进的顺序度量特　征和改进的运动特征，相结合生成视频指纹，通过视频指纹的相似性匹配对视频进行拷贝检测。实验结果证明，该方法能在保持准确性的　

同时快速地进行视频拷贝检测。　关键词：版权保护；视频指纹；视频拷贝检测；顺序度量；运动特征　

Ｒａｐｉｄ　Ｖｉｄｅｏ　Ｃｏｐｙ　Ｄｅｔｅｃｔｉｏｎ　Ｍｅｔｈｏｄ　Ｂａｓｅｄ　０ｎ　Ｖｉｄｅｏ　Ｆｉｎｇｅｒｐｒｉｎｔ　

ＴＡＮＧ　Ｙｕ－ｙｕａｎａ　．ＯＵＹＡＮＧ　Ｊｉａｎ－ｑｕａｎａ’　

ｆａ．Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｃｏｍｐｕｔｉｎｇ＆Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，Ｍｉｎｉｓｔｒｙ　ｏｆ　Ｅｄｕｃａｔｉｏｎ；　ｂ，Ｃｏｌｌｅｇｅ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉａｎｇｔａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉａｎｇｔａｎ　４１　１　１０５，Ｃｈｉｎａ）　

［Ａｂｓｔｒａｃｔ］Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｍｅｅｔ　ｔｈｅ　ｒｅｑｕｉｒｅｍｅｎｔｓ　ｏｆ　ｒｅａｌ—ｔｉｍｅ　ｖｉｄｅｏ　ｃｏｐｙ　ｄｅｔｅｃｔｉｏｎ，ａ　ｍｅｔｈｏｄ　ｏｆ　ｒａｐｉｄ　ｖｉｄｅｏ　ｆｉｎｇｅｒｐｒｉｎｔ　ｓｃｈｅｍｅ　ｉｓ　ｐｒｅｓｅｎｔｅｄ　Ｔｈｅ　ｖｉｄｅｏ　ｆｉｎｇｅｒｐｒｉｎｔ　ｉｓ　ｇｅｎｅｒａｔｅｄ　ｂｙ　ｃｏｍｂｉｎｉｎｇ　ｂｏｔｈ　ｔｈｅ　ｉｍｐｒｏｖｅｄ　ｏｒｄｉｎａｌ　ｍｅａｓｕｒｅ　ｆｅａｔｕｒｅ　ａｎｄ　ｔｈｅ　ｉｍｐｒｏｖｅｄ　ｍｏｔｉｏｎ　ｆｅａｔｕｒｅ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ＤＣ　ｉｍａｇｅ　ｓｅｑｕｅｎｃｅｓ．Ｔｈｅ　ｑｕｅｒｙ　ｖｉｄｅｏ　ｓｔｒｅａｎｌｓ　ｃａｎ　ｂｅ　ｉｄｅｎｔｉｆｉｅｄ　ｂｙ　ｍａｔｃｈｉｎｇ　ｔｈｅ　ｃａｎｄｉｄａｔｅ　ｖｉｄｅｏ．Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｖｉｄｅｏ　ｆｉｎｇｅｒｐｒｉｎｔ　