录像智能搜索技术

城市公共场所往往有成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频需要监控管理平台处理。

要对这些海量视频通过人工进行重点图像的抓拍，困难很大。

首先，需要对所有的视频录像进行诸秒浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。

其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。

由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。

理想情况是一旦有重要事件发生，系统就可在事后能快速查找到线索。

针对上述海量监控视频录像的事后分析，传统以人海战术为主的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。

目前，视频浓缩摘要技术和视频分类检索技术可以解决这一问题。

通过视频浓缩摘要，缩短视频事件的播放时间，通过目标分类筛查等实现快速查找事件线索，缩小查看范围的功能，这些都极大地减轻专业巡控队伍和系统维护人员的工作负荷，这些视频分析功能的实现和应用将大大提高监控效率。

这一技术将传统的事后被动调用图像信息变为主动发现视频监控图像的可疑点，并透过核查录入系统，负责将专业巡控队伍在发现可疑事件时抓取的图像、图片资源集中存储，并生成事件的描述信息，包括基于时间、地点（通道）、事件类型（技防告警、移动侦测等）、标记等，实现基于事件描述的精确查询功能及视频录像的秒级精确定位。

本解决方案所描述的“智能海量视频监控录像分析及核查录入解决方案”是深圳久凌软件技术有限公司核心产品解决方案。

其核心技术主要包括三部分：视频浓缩摘要与图像快照录入；视频目标分类筛查检索；视频增强和夜间视频处理。

这三部分块既可以单独使用也可以有机配合形成整体解决方案，该系统填补了我国海量视频监控事后分析取证及视频目标筛查检索的空白，技术在国际上处于领先地位。

一、视频浓缩摘要与图像快照录入子系统由于视频浏览和检索很耗时，大多数取得的视频并不会从头到尾观看和检查。

视频浓缩摘要就成了一种浏览检索视频的有效工具。

1、技术原理“视频摘要”是指从原始视频中提取感兴趣的目标的活动管道三维信息，和背景视频合成剪辑而成的较短视频片断，它通过同时播放多个事件，将一天的视频被压缩成一个简短到几十分钟的事件摘要视频；其中包含了原视频中所有重要的目标活动详情和快照。

视频浓缩摘要可以采用原始视频分辨率，也可以根据存储要求降低分辨率。

管理人员通过点击浓缩视频中的目标或者视频左侧快照，播放目标出现前后的原始视频。

更加快捷的方式是通过分割前景和背景，提取活动目标，用快照列表这种更加直观便捷的方式展示。

在视频摘要和快照列表中，对于人或车辆目标，可以自动高亮显示目标的边框，显示目标出现的时间，移动轨迹，并且支持用户通过点击目标快照，播放目标出现前后的原始视频，或者该目标活动与背景合成的视频。

24小时原始监控视频浓缩为数分钟视频摘要2、应用为了提高浓缩比，提高效果，可以在视频浓缩时指定“敏感区”，这样只会对进入这个区域的活动目标进行摘要。

本系统支持禁区设置，对于进入禁区和离开禁区的目标进行提取，同时对于边界绊线事件、人物尾随、异常移动、车辆违规以及人车交互事件进行检测与自动标注。

在本系统中，专业巡查人员（管理人员）浏览浓缩视频或者快照列表，发现感兴趣的目标以后，点击目标，播放目标出现时的原始视频，在系统自动生成目标的时间、地点（通道）、目标高度、运动方向、目标主要颜色次要颜色和事件类型的基础上，管理人员可以手工完善事件类型，输入事件标记及其它用于索引的信息。

支持按照目标出现的时间、地点（通道）、目标高度、运动方向、主导颜色和事件类型查询事件。

本系统相比于传统视频播放查找事件线索标注，能提供效率数十倍，有效减轻巡查队伍的工作负荷。

图通过3×3视频快照找到原始视频图通过点击浓缩视频摘要自动找到原始视频3、特点● 数分钟看完一天的视频，无需快进，活动细节仍以真实速度播放● 浓缩密度，感兴趣区域或事件检测区域可自由设置● 从浓缩视频中选择、点击回放某一目标物体● 支持自动记录目标出现的时间、地点（通道）、目标高度、运动方向、主要颜色、次要颜色和事件类型● 支持手工修改事件属性和输入事件标记● 自由添加针对轨迹，人车类别等分类条件，实现基于分类的视频浓缩● 按人车和颜色，大小速度方向等条件展示目标快照● 简单易用，无缝连接DVR/DVS和第三方监控管理平台● 支持按照目标出现的时间、地点（通道）、目标高度、运动方向、颜色和事件类型查询事件二、视频目标分类筛查检索系统该系统是在视频浓缩摘要与图像快照录入子系统的基础上开发出来的，以其为基础，同时又增加了新的功能。

1、原理与应用配合目击证人提供的线索，在对事故现场的视频摘要进行快速浏览以后，巡控人员（管理员）就可以找到一些有用的线索，如果在某一视频摘要中发现了一些感兴趣的目标，通常需要在更多位置的摄像机摄录的视频文件中搜索和检查该目标（嫌疑人或车辆）是否在其它地方出现过。

管理员通过提供目标特征（人车类别，颜色、高度、方向、速度等）、一幅快照样本或素描图来请求搜索。

视频目标分类筛查检索系统，首先使用一种有效的运动分割方法提取出运动的目标细节，而后这些运动目标的基本特征作为元数据被提取出来，存放到数据库。

在整个的检索过程中，系统将提取检索输入的特征，请求比对数据库中已经索引好的目标特征，而不用重新处理视频。

最后，拥有足够高相关度的视频目标快照将被作为检索筛查结果显示出来。

本系统可以多摄像机视频同步检索，无缝接驳核查录入存储中心系统。

系统支持多种检索条件，包括时间、地点（通道）、事件（技防告警、移动侦测等）、标记等的精确查询功能，并实现视频录像的秒级精确定位。

提供基于监控探头属性（包括地理位置/GIS坐标、探头规格、监控范围、特殊应用功能等）、事件、目标快照、目标素描等的模糊查询功能，对应的模糊识别方法实现市局与分局、派出所、街道之间图像资源查询同一个平台框架下通过数据库共享使用。

2、特点● 支持多种检索条件，包括时间、地点（通道）、事件（技防告警、移动侦测等）、标记等的精确查询功能● 支持基于事件、目标分类或者样本检索等模糊查询检索功能● 可以多摄像机视频同步检索，无缝接驳核查录入存储中心系统● 通过核查录入存储中心系统，实现跨分局的同步检索● 更加能够发挥云计算并行处理的优势● 直接生成快照列表供管理员查找，快速找到目标可能的所在位置● 点击目标快照，播放原始视频● 支持自动记录目标出现的时间、地点（通道）、目标高度、运动方向、主要颜色、次要颜色和事件类型● 支持手工修改事件属性和输入事件标记三、视频增强和夜间视频处理子系统这个子系统是对前面两个系统的补充。

视频增强和夜间视频处理子系统，可以作为本系统的前置处理模块，用于提升视频质量。

针对夜间低照度和高噪声问题，视频压缩产生的方块效应以及画面闪烁，运动产生的模糊，系统首创了通过光流估计及边沿锐化技术，解决夜间弱光条件下视频去模糊和低质量图像提升问题，针对运动模糊的模糊核的估计去模糊技术，可以将人眼无法分辨的模糊图像图片还原。

运动过程中不清晰的卡车图像运动模糊去除还原后的图像综上所述，智能海量视频监控录像分析系统能够解决用户实际需求：系统视频的实时调看和录像回放功能，并能够实现对重点图像的抓拍功能，并对抓拍照片的抓拍时间、地点、点位编号、抓拍原因、案事件简要内容、抓拍目标特征等信息进行记录和查询等需求方面，完全能够满足功能要求，而且与传统方法相比，具有明显优势。

我们可以将其概括为“五放心”的视频增强、浓缩摘要与检索产品，即：领导称心（领导手机查看高质量）使用舒心（分类检索不用大海捞针）维护省心（每天只需几分钟浏览）环保放心（节省硬盘）赢得民心（改善治安）海量视频监控录像分析和核查录入系统解决方案的应用可以描述为：1.管理人员根据案件事件线索，比如一个“穿红色上衣的成年嫌疑人”出现在现场，案发时间、地点（摄像机通道号）作为案情录入；2.核查录入软件调度相关地点及附近地点视频录像到存储中心；3.如果视频不清晰，先用视频增强软件预处理；4.先进行单个摄像头视频的处理，使用视频浓缩摘要与图像快照录入子系统生成快照列表和浓缩视频文件，通过快照找出嫌疑目标，录入事件信息到核查录入系统5. 通过视频目标分类筛查检索子系统搜索周边摄像机案发前后的录像文件，找出从目标进入到离开现场的全程轨迹，录入跨摄像头事件全程信息到核查录入系统6.上述自动搜索系统可以与人工核查录入系统并存。

安防监控，仅仅将画面记录下来只是第一步。

当事件发生后，准确而快速地找到所需监控工来完成，浪费了检索人的大量精力。

治安管理者迫切需要一种能够快速查找视频信息的方式，加快办案速度。

在基于内容的视频检索技术、存储技术以及智能分析技术共同提升的环境下，海量视频检索离安防渐行渐近。

2011年6月16日，南京一骑电动车年轻女子被一辆货车超越时刮倒，22天后，在对事故地点附近学校、商场、网吧等单位的监控录像进行分析，并调取附近街区5万多张监控照片比对后，警方锁定肇事车辆；2011年7月13日，福州何先生乘坐出租车时，将自己的LV旅行包遗落在出租车上，内有现金2.1万元。

派出所民警接警后，通过视频查到何先生乘坐的出租车，并于15日帮他找回了丢失的名牌旅行包；2011年7月27日凌晨，遵义一驾驶员驾车撞死行人后逃逸，警方调取了沿途视频监控录像，并在长达144小时的录像中，通过查找、分析和判断，锁定逃逸车辆……短短一月有余，诸多案件的侦破都利用了监控视频，可见查找监控视频已经成为警方破案不可或缺的一个手段。

随着平安城市等工程的推进，监控摄像头已经遍布大街小巷，这为大多数案件留下了影像资料，给警方破案带来了很大的便利。

但是，有了相关视频不等于就找到了目标信息，查找视频、分析视频的工作常常会耗用警方大量的时间和人力。

能否在海量视频中更方便、更省力地查找到相关信息呢？这有待视频检索技术的进一步发展。

海量视频检索离安防监控还有多远？视频检索技术当前的发展检索技术源于互联网发展需求。

基于文本索引的方法进行检索是当今最成熟的信息检索技术。

各类搜索引擎，如Baidu、Google、Bing 以及Yahoo等都是以此技术为基础的。

随着网络带宽不断的提高，人们可以更加快捷地将自己采集到的各种多媒体信息进行共享，或者进行多媒体信息的交互，越来越多的信息通过视频等多媒体的形式展现在互联网中，这对以图像、视频为代表的多媒体信息检索技术提出了越来越高的要求。

20世纪90年代初，国际上开始了对视频方面的检索研究。

区别于文字信息检索，图像视频的检索是建立在图像视频内容分析的基础上，所以常称之为基于内容的图像视频检索。