图像处理技术及在视频监控业的应用

图像处理技术及在视频监控业的应用

数字图像处理技术所涉及的知识面十分广阔，具体方法种类繁多，应用也极为普遍，人们对监控图像质量的要求越来越高，提升监控图像的实用价值已经成为社会向整个监控行业提出的新要求，在这样的形式下，数字图像处理技术在监控行业有哪些具体运用？影响监控图像处理技术的因素是什么？现在的主流视频图像处理技术又是什么？

图像处理技术简而言之就是用计算机对数字图像进行处理，其本质是一种信号处理过程，而且是离散信号处理。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。数字图像处理技术所涉及的知识面十分广阔，具体方法种类繁多，应用也极为普遍，但从学科研究内容上可以分为以下几个方面：

1、图像数字化。将模拟图像转化为计算机可用的离散的图像数据。

2、图像变换。改变图像的表示域或表示数据，如傅立叶变换，沃尔什变换，离散余弦变换等，将空间域处理转换为变换域处理。

3、图像增强。改善图像的质量和视觉效果，或突出感兴趣的部分，以便于人或机器分析，理解图像内容。

图像增强前

图像增强后

4、图像复原。对退化图像进行处理，使处理结果尽量接近原始未失真图像。

5、图像分割。根据灰度或几何特性选定的特征，将图像划分为几个有意义的部分，对有意义的部分继续处理分析，提取有用信息，以便进一步做模式识别、机器视觉等处理。

6、图像描述和分析。也称图像理解，是对给定的或已分割的的图像区域的属性及各区域之间的关系用更为简单明确的数值、符号或图形来表征，它们反应图像的重要信息和主要特征，有利于人或机器对原图像的分析和理解。

7、图像数据压缩。减少图像数据量，以便节省传输和处理时间以及存储容量，编码是压缩技术中最重要且比较成熟的方法。

8、图像分类。图像经过某些预处理，再进行特征提取、分割，进而按一定的判据进行判决分类

目前，图像处理技术在监控行业的研究和应用还处于初级阶段，但他的实际应用价值已经引起了行业的重视，众多安防企业投入了巨大的人力和财力进行开发和研究。特别是在当前监控智能化和高清化的趋势下，数字图像处理技术是智能化和高清化最基本的应用单元，它的应用将起到关键性的作用，比如，高清监控在光学信号转换为电学信号时，需要进行信号处理，以便获得较高的图像质量，降低各种干扰和杂声等。以白平衡、自动曝光、自动聚焦、防抖动是高清监控图像信号处理技术的几个方面，深圳波粒的高清监控就是以这几个技术为基础。数字图像处理技术应用于监控行业已经成为大势所趋，通过数字图像处理技术提高监控图像的质量，提升企业核心竞争力，也已经成为整个行业中的共识。

当前，人们对监控图像质量的要求越来越高，提升监控图像的实用价值已经成为社会向整个监控行业提出的新要求，智能化和高清化更加加快了数字图像处理技术研发进程。同时，计算机整体性能得大幅度提高和应用数学领域获得突破（特别是代数和几何运算、图像变换、图像增强、图像复原、图像编码、图像融合技术的突破）为图像处理在监控行业中的应用提供充分的技术和理论保障；用户对图像的实时性处理和传输要求越来越高，一方面要求图像预处理算法尽量优化、精简，另一方面也对图像预处理主芯片的内核处理能力、内部总线架构、数据传输能力、外围接口，以及硬件整体架构和指令集对预处理算法的支持提出了更高要求。对于产品方案提供商来说，不仅其体现竞争力的核心算法需要防止被非法读取或拷贝，而且图像数据往往都会涉及隐私，因此也需要提供可以信任的安全保证。

影响监控图像处理技术的两大因素

数字处理芯片和压缩算法是影响图像处理技术的两大关键因素。在视频监控数字处理芯片选择上，DSP是中国监控市场的主流处理器，很多中高端方案都选择DSP 作为处理器。ASICSoC是后进入者，有几家厂商在做基于ASIC（专用集成电路）芯片的视频监控系统，对市场产生了一定的冲击。此外，FPGA（现场可编程门阵列）也试图进入这个市场，但目前还没有看到安防企业成功应用的例子。数字监控图像处理技术具有强大的运算功能，是基于DSP数字处理芯片构架基础之上，DSP芯片的发展对数字监控图像处理技术的提升有关键性的作用。

随着近些年来中国数字视频监控市场每年都以超过30%的比例增长和其他领域的增长，视频处理芯片市场也随之得到了增长，国内外芯片厂家开始关注并主动去推广视频监控这个潜力巨大的市场。1999年，飞利浦PNX1300芯片在中国推广并得到应用；2003年，TI 推出通用数字媒体处理器TMS320DM642，正式进军中国数字视频监控领域；2004年，海思推出采用H.264SoC架构的监控专用芯片的半导体公司，在经历了三年多的调研和研发之后，推出Hi3510芯片；几乎在同一时间，台湾升迈科技母公司（智原）开始整合ARMcore，兼容FA526CPU和MPEG4/MJPEGcodec及多项外围IP，研发为数字监控量身打造的视频编解码芯片SoC。2010年中星微电子在美国拉斯维加斯举行的国际消费电子产品展(CES)上发布了基于场景高保真图像处理技术的DSP芯片，其核心是多核异构低功耗多媒体处理器架构技术，在前端图像处理部分就采用场景高保真图像处理技术中的图像采集成像处理，使得在宽动态范围场景下能记录尽可能多的图像信息并获得清晰的图像还原视觉效果，准确反映真实世界的场景。

经过近十多年的发展，DSP芯片的编码能力有了很大的提升。之前要实现1080i的图像质量需要用10颗芯片编码，现在只要两、三颗就可以了。结合市场需求来看，追求更好的图像品质是用户非常合理且永恒的要求。而随着智能化高清监控时代的来临，为了满足

监控系统对视频图像的分析处理要求，如车牌识别、人脸识别等，将对图像质量提出了更高的要求。高清摄像机的高清格式，这对芯片的编解码能力提出了更大的挑战。基于以上分析，针对数字监控图像处理技术理想的DSP处理器必须具备以下几方面的特点：内核处理能力强；专门针对图像处理的指令集；易于大量数据传输的低功耗硬件架构；高集成度；丰富的软件模块库；功能强大的开发工具。

另外一方面，压缩算法的不断升级也改变着数字监控图像处理技术的发展。随着市场上主流的压缩格式向H.264，甚至更为高级的算法格式发展。不断地提高压缩比，并进行算法优化成为芯片厂商的追求。就运算量而言，MPEG-4比JPEG复杂4倍，H.264又较MPEG4复杂3倍以上，除了decoder的兼容性和encoder压缩质量的基本要求，高速的系统架构、内存频宽、高效率的DMA控制器，甚至多核的平行处理都是SoC（系统级芯片）效能是否优秀的关键。H.264标准使运动图像压缩技术上升到了一个更高的阶段，在较低带宽上提供高质量的图像传输是H．264 的应用亮点。从当前市场上主流的芯片厂商所推出的产品来看，大多有支持高清格式的产品，例如，ADI的ADV202、212产品可以支持高清格式。TI的DM355即可支持720p下的MPEG4实时编码，码率为4Mbp至8Mbps，可以作为高清网络摄像机或高清视频服务器的核心处理器。据了解，TI可支持720p下的H.264实时编码芯片的推出，标志着高清编码芯片的诞生。这将可以使视频监控产品在更低的码流下获得更高的图像画质，将进一步促进数字监控图像处理技术的发展。

主流视频图像处理技术

图像处理技术着重强调对给定的图像进行某些变换，从而得到清晰图像的过程。人们常用图像处理技术主要满足于对图像进行各种加工以改善图像的视觉效果并为自动识别打下基础，或对图像进行压缩编码以减少所需存储空间或传输时间，满足设定传输通路的要求。对含有噪声的图像，要去除噪声，滤去干扰，提高信噪比；对信息微弱的图像进行灰度变换等增强处理；对已经退化的图像进行复原；对失真的图像进行几何校正等变换。现在监控行业中图像处理技术的主要还是涉及到下面两个方面：1、经过图像处理还原出人眼感受不到的，但又现实存在的原始信息。公安干警侦破案件需要寻找各种各样的线索，而有时候看起来很不起眼的一点图像信息，可能也会对案件的侦破起到决定性的作用。2、纠正图像中存在的逆光、强光、弱光、偏色等缺陷，还原真实信息。以汽车牌照为例，在监控设备实际应用当中常常会遇到这样的情况，由于车辆的牌照在交通道口经常会受到对面车灯强光等或外部光源的照射，使得摄像机拍摄出来的车牌照片反光，人眼根本无法识别。看不清照片并不是说数字图片中没有车牌号码的颜色信息，而是由于光线的原因（或者说是光污染）使得车牌号码颜色信息被强的亮度信息掩盖掉了。通过监控图像处理技术可以对图像的亮度层进行处理，而把车牌的信息显现出来。同样，对于一些由于逆光、弱光、暗光、偏色或综合因素影响的监控，用图像处理技术同样可以达到很好的效果。图像处理技术在监控领域已经获得广泛的应用，那么，哪些技术应用在安防行业,下面是中国安防行业中主流的数字图像处理技术。

智能分析处理技术

智能分析处理技术是目前中国安防行业最为关注的图像处理技术，该技术简而言之，就是发现图像中运动的物体，并对其进行跟踪、分析，及时发现“异常”行为，触发报警并采取其他措施进行干预。智能分析处理技术是基于监控图像处理软件包而开发的，主要有以下几种图像处理形式：

1、将（运动）目标从视频图像中分离出来。运动目标检测是数字图像处理技术的一个重要组成部分，它是计算机视觉、模式识别、目标识别与跟踪、运动图像编码、安全监控等研究领域的重点与难点，在军事、国防和工业等领域有着广泛的应用前景。传统的视频（运动）探测其实是亮度探测，并没有发挥视频监控图像处理技术的特点。确定图像中是否有探测目标（人、物等），并将目标从背景图像中分离出来是图像内容分析的首要任务，进而对目标分类、统计、关联。判断图像中有无目标、目标的复合或离散等也是图像过滤的基础。

2、对目标进行行为分析，判定其运动的方向、方式，并能发现和告警异常的行为；产生目标的运动轨迹，并能进行目标的自动跟踪。实现运动目标的跟踪是很难的事，它要求系统能分析、预测目标的运动轨迹，并能实时地作出修正。同时，由于运动过程与伺服机构间传递函数的非线性，伺服系统也是很复杂的。

3、实现视频语义的解析，图像处理分析的最高层次。通过对一个图像序列作出分析，得出其包含的真实信息，可以与话音的语义解析（已有了初步的成果）结合起来，逐步实现视频语义的解析，如通过对大量的、多渠道的图像资料的分析，得出社会对某一事件的反映程度；分析和统计某类事件发生，发展的规律（概率及时间、地域分布等）。能够进行这样分析，表明机器具有了与人一样的理解图像的能力，但具有人所不能达到的效率。比如现在的博物馆利用智能分析处理技术为商情决策提供依据。

4、在复杂环境下实现目标的分离、行为分析和运动跟踪，特别是实现多目标的跟踪。

上述几点目前已有实际应用（比如，单绊线入侵检测、多绊线、围栏入侵、进入/退出区域检测、徘徊检测、遗留物检测、物体搬移检测、物体出现检测、物体消失检测、人群密度、人群突变、奔跑检测、逆向检测、人流量、火焰检测、烟雾检测、场景变化、单球机PTZ自动跟踪等），但基本上是在简单环境下，针对少数目标进行智能化的图像处理。在复杂环境视频监控环境（多人流、多移动、恶劣天气）下实现这些功能，是图像智能分析处

理技术真正价值所在。要解决多个图像的综合分析，图像间目标的关联，目标跟踪的连续性，这都是市场应用的迫切需要，也是我们亟待解决的问题。

宽动态技术

宽动态技术是在非常强烈的明暗对比下让摄像机还原真实影像而运用的一种监控图像处理技术。在逆光情况下，一般都采用超宽动态摄像机，超宽动态摄像机的动态范围表示摄像机对图像的最“暗”和最“亮”的调整范围，动态范围越大图像所表现的图层就越丰富、清晰，当然图像的色彩空间就更广，也就是超宽动态摄像机适应逆光环境的能力也更大。DPS技术的主要特点是对每个像素进行多次单独无损失采样，使动态范围增大，宽动态摄像就是采用多次曝光技术平衡调整明暗图像画面，还原逼真现场的真实效果。1977年松下公司推出第一代宽动态摄像机，它的宽动态范围是40倍。目前海康威视已经推出了基于SONY 最新超宽动态CCDSensor的系列摄像机，能达到160X的宽动态效果，在亮暗对比强烈的场景下都能达到很好的监看效果。

曝光过度宽动态曝光不足

宽动态技术一般是基于DPS数字图像传感处理系统，即DPS，它的核心技术是在每一个拾取的像素上都包含一个ADC（analong—to—digited数模转换器）。当ADC捕捉到光信号时便直接将其转换为数字信号并放大，这就最大限度地节省了无效的传输操作，降低了噪声，保证所获取图像的高质量，使得输出后的图像无任何拖尾和开花现象。DPS系统在整个图像的获取、传输和处理中，不论前端的拾取还是后端的处理完全以数字化的形式进行，是真正纯数字化的图像传感系统。美国Pixim公司在20世纪90年代研发了一种新型的DPS 图像拾取系统，此系统可以通过其超强的宽动态功能来获得高质量图像。目前市面上宽动态摄像机具有数字信号处理技术、图像拾取技术和超级图像降噪技术三大功能。三星最新的宽动态摄像机开发出其独有的专利技术SSNR（超级图像降噪技术），可以在低照度条件下，通过降低随机出现和固定的噪点拍摄出和真实物体几乎一模一样的图像，消除动态图像噪点到几乎不可忽略的地步，消除图像阴影和拖尾现象，节省硬盘空间。这是常规的降噪技术（如DNR）所达不到的。它可以为使用MPEG压缩格式的DVR节省70%的硬盘空间。

图像滤波技术

目前摄像头干扰是国内监控行业最严重的问题之一，这以中低档的摄像头比较明显，特别在低照度的环境中干扰对图像质量有非常大的影响。主要有两种噪声会影响视频质量，一种是相邻色素之间产生的伪颜色噪声，一种是由于信号强度而产生的泊松噪声（会影响物体的边缘清晰度）。图像滤波技术的工作原理是先做低通滤波，然后再做高通滤波。从频谱上分析，物体的边缘成分在做低通的时候已经损失掉了一部分，尽管在高通后通过一定

的处理可以还原大部分，但实际上它已经不能够达到最理想的效果。这些噪点随着产品型号和工作环境而不同。由于视频压缩算法是通过前后帧图像的差异实现压缩，因此这种随机噪点对压缩的影响非常大，有的时候甚至造成码流成倍上升，将压缩算法的优点全部掩盖。噪点的处理使得中低档摄像头能够同样达到理想的压缩效果，特别是对于光线不好的环境非常有意义。图像滤波处理技术在监控行业主要表现在模糊消除和图像去噪两方面。模糊消除，它是对定点拍摄的上半身图像消除运动图像的模糊，需采用逆滤波器处理，对有匀速运动的模糊图像进行恢复；图像去噪是采用滤波和运动图像的检测技术，对背景图像和定点拍摄的图像同时且采用同种方法对图像进行降噪处理，主要是对图像上的由灰尘、系统的噪声造成的干扰滤除掉。

结束语

数字图像处理技术起源于20世纪20年代，当时通过海底电缆从英国伦敦到美国纽约采用数字压缩技术传输了第一幅数字照片。许多年过去，数字图像处理技术被安防行业大量应用，技术更新日新月异。如果把图像处理当做一个细节的话，那么，细节将决定成败，监控行业亦如此。