基于OpenCV的车辆视频检测技术研究

华中科技大学

硕士学位论文

基于OpenCV的车辆视频检测技术研究

姓名：唐双发

申请学位级别：硕士

专业：控制理论与控制工程

指导教师：周纯杰

20090531

华中科技大学硕士学位论文

摘要

车辆检测是智能交通监控系统的关键环节。随着科技发展和技术进步，车辆检测方式正历经着由传统的线圈检测、雷达检测发展到更为先进的实时视频检测方式。车辆视频检测的基本原理是通过对从摄像机采集的视频序列通过数字图像处理技术，提取图像中的车辆信息，从而达到检测和判断车辆是否违章的目的。

视频检测是一个复杂的过程，不仅需要实时采集图像，而且很多图像处理算法不具有通用性，使得系统的开发周期延长，可扩展性不强。鉴于此，本文采用OpenCV 作为开发平台，该库在Windows以及Linux下均可以使用，它是开放源代码并且完全免费，这就可以保证库的维护和更新更加便捷和迅速。OpenCV提供了很多基本图像处理方法的函数，并且征对视频图像处理特别提供了几种运动物体跟踪的原型，非常适合于车辆视频检测系统的开发。

论文设计并实现了一套基于OpenCV的视频车辆检测算法，算法综合考虑系统检测的可靠性和实时性。在算法流程中的背景初始化与更新步骤中，测试了现有的最常用的三种背景更新算法效果并总结其优劣，同时在此基础上提出了一种背景初始化的方法。在算法流程的另一个关键步骤阴影消除，提出了基于三种色彩空间RGB、YUV、HSV空间的阴影消除算法并进行了实验测试，阴影消除效果明显。在提取车辆特征上，采用状态机的方式对虚拟线圈区域判断当前是否有车辆经过，增强了检测系统的鲁棒性。

论文对所进行的一些工作进行了总结，并对车辆视频检测的发展进行了相关预测。

关键字：视频检测背景更新阴影消除开源计算机视觉

华中科技大学硕士学位论文

Abstract

Vehicles detection is the key of an intelligent traffic monitoring system. With the development of technology, the methods of vehicles detection are developing from the traditional loop detection, radar detection to advanced real-time video detection. Its basic principle is that via digital image processing techniques extracting the vehicle information from the sequences of video image collected by cameras in order to achieve the purpose of detecting and determining whether the vehicle is illegal.

Not only Video detection requires collecting images in real time, but also many image processing algorithms are not universal, which makes the system development cycle to be delayed and the scalability of system to be not strong. In view of this, OpenCV is utilized as a development platform, which can be used under both Windows and Linux. It is an open source and completely free of charge so that the maintenance can be guaranteed and the update of its library can be more convenient and rapider. it provides lots of basic functions of image processing methods as well as several prototypes of tracking the moving objects aim at the video image processing.

An OpenCV-based video vehicle detecting algorithm is designed and achieved. In its background initialization and update processes, the existing three most common algorithms are tested to discuss their advantages and disadvantages, and then a new method of initializing the background is brought forward. In another key step of this algorithm, called shadow elimination, new shadow elimination algorithms based on three color space that are RGB, YUV and HSV space are brought forward. Also, we do experiments to show its much better effect on eliminating the shadow. In the features extraction of vehicles, the state machine is used on the virtual loop region to determine whether there are vehicles passing to enhance the robustness of the detection system.

The summary of our work are gave, and the development of video detection of vehicles is relevant forecasted.

KeyWords: Video detect Background update Shadow eliminate OpenCV

独创性声明

本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。

学位论文作者签名：

日期：年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

保密□，在_____年解密后适用本授权书。

本论文属于

不保密□。

（请在以上方框内打“√”）

学位论文作者签名：指导教师签名：

日期：年月日日期：年月日

华中科技大学硕士学位论文

1 绪论

智能交通系统（Intelligent Transportation Systems, ITS）是当前日新月异的科技社会发展迅猛的前沿技术之一，道路交通监控作为其中的重要组成部分，已经随着监控设备和相关检测与处理技术的发展越来越成熟。对道路交通场景进行监控，就必须通过一定的检测技术检测出过往车辆。早前的一些车辆检测处理技术如线圈检测，雷达检测等曾经在检测交通车辆中发挥着巨大的作用，但是随着电子技术和图像处理技术的成熟，基于纯视频图像处理的车辆视频检测技术为道路交通监控提供了一种更加先进的检测方法，作为一种全新而且有效的检测方式，视频车辆检测代表了未来车辆检测技术的发展方向。

本文将对车辆视频检测的相关算法展开研究，并在基于OpenCV（Open Computer Vision, Intel开视觉库）开发环境下完成算法的实现。

1.1 课题来源目的及意义

本课题来源于横向协作，协作单位为科讯智能交通设备有限公司，项目名称智能交通违章抓拍系统的开发，本文主要完成车辆视频检测部分的研究与开发。

道路交通监控系统中，车辆检测是获取道路信息的重要技术手段，作为智能交通系统中一个重要的研究领域，越来越多的专家，学者以及科研单位都投入了大量的精力探索车辆检测的可行性方法。迄今为止，在运动车辆的检测手段上，已经包括有线圈检测、雷达检测、超声波检测、微波检测、视频检测等多种检测方法。这些检测方式差异较大、各具特色，例如线圈检测方式应用最为成熟广泛、技术难度较低，但受外界环境的影响严重，安装调试过程需要切割路面，影响到正常的交通通行；雷达检测造价昂贵、干扰严重、且使用寿命不长。

计算机硬件水平的快速提升和图像处理技术的飞速发展，为曾经处于理论研究阶段的车辆视频检测方式应用于现场成为现实并在当今成为越来越受青睐的一种检测手段。相比于线圈检测器，超声波检测等传统的车辆线式检测器，视频检测作为一种面式检测方法，可以为交通监控提供更丰富的交通信息，比如可以检测出车长、车型、甚至车牌等信息。

华中科技大学硕士学位论文本文研究的目的在于利用视频图像处理的相关技术，探讨道路交通视频图像的采集、车辆运动检测、车辆阴影等相关车辆检测算法的研究，并设计出一套完整的视频车辆检测流程，同时满足实时性、稳定性、自适应强的特点。

车辆视频检测是视频电子警察系统中不可或缺的重要组成部分，是视频电子警察系统能否正常稳定运行的核心，良好的视频检测技术，能够极大的提高车辆检测有效性、准确性，本文设计的车辆视频检测方法，针对闯红灯违章抓拍系统的特定需求设计，实时性好、鲁棒性高，为视频电子警察系统进行及时的抓拍和相关处理奠定良好基础。

1.2 文献综述

1.2.1 智能交通系统国内外研究现状

智能交通运输系统[1]（ITS）又称智能交通系统，是在较完善的交通基础设施之上，通过应用信息、通信、计算机、自动控制和系统集成等技术，加强载运工具、基础设施和用户之间的信息交换，提高交通系统运行的有序性和可控性，实现提高运行效率、减少事故、降低污染，建立一个高效、便捷、安全、环保、舒适的综合交通运输体系，是21世纪促进世界经济发展和社会进步的有效高科技手段。

智能交通系统是一个国际上80年代后期发展起来的交通运输领域的新概念，按照分类，智能交通系统可以分为[2]：

（1）高速公路信息管理：为公路提供紧急救援、抢险清障、监控管理以及路况安全信息提供公益安全通信服务；为公路管理、路政管理等提供行业管理服务；为公路收费联网、自动收费等提供经营性服务。

（2）道路交通管理：包括应对道路交通突发事件系统、道路交通安全管理与指挥系统、电子警察系统。

（3）智能城市公共交通系统（APTS）：通过先进的计算机和控制技术，为市民提供安全舒适便捷的公共交通服务。

（4）高速公路收费系统：通过联网收费，实现高速公路的安全舒适通畅，对提升高速公路的形象，发挥高速公路的经济效益和社会效益有重要作用。

华中科技大学硕士学位论文（5）车辆监控调度系统：通过GPS技术、GIS技术、通信技术，实现车辆的实时定位、监控与运营调度，从而极大的提高车辆运输管理的效率和安全。

资源环境的恶化以及道路交通的拥挤堵塞，使得智能交通系统的发展受到世界各国的关注与重视，目前世界上已经形成了以美国、日本、欧洲为代表的三大研究中心。

在美国，1993年开始部署开发的第一代智能交通系统历时3年完成，后来1998年又公布了修改后的国家ITS体系结构（第二版），包括与交通信息系统及服务相关的数据通讯标准、数据输入和交换标准、电子地图和信息传输标准等[3]。

在欧洲，1998年由欧洲十多个国家投资50多亿美元打造的旨在完善道路设施和提高服务质量的DRIVE计划已经开发成熟完善。如今欧洲各国正在实施其TELEMATICS（远程信息服务、无线数据通讯系统）。

在日本，车辆导航系统早已非常普及，截至2002年6月，车辆导航系统的生产量就已达960万套；从2001年3月开始，日本开始全面发展和实施ETC（Electronic Toll Collection System）。另外，智能巡航系统以及智能道路系统在日本也取得了飞速的发展[4,5]。

我国的ITS起步于上世纪90年代[1]，经过10多年的发展，目前在智能化交通控制、交通信息采集与处理、公交智能调度等关键技术上取得了突破性的进展，多项成果在北京、广州、上海、青岛等10个智能交通应用示范工程和各大高速公路上得到了广泛应用。另外，在ITS标准化的进程中，也取得了可喜的进展。截至目前我国已经发布的ITS标准规范有20项，完成审查报批的ITS标准规范有12项。

1.2.2 车辆视频检测国内外研究现状

随着计算机视觉技术[6]的蓬勃发展，作为其中的一个重要分支-运动物体的检测与跟踪技术也吸引了国内外专家学者的强烈兴趣。其原理是对视场内的运动目标进行实时的图像采集，并在此基础上运用图像处理的相关技术对观测对象进行行为分析，自动得到观测结果。车辆视频检测作为其中的一个重要运用，吸引了很多著名公司和研究机构参与其中。

美国、日本等国家在车辆视频检测方面展开了大量的研究。早在1982年，东京

华中科技大学硕士学位论文

大学教授S.Takab等就提出样本点的方法来检测车辆[7]，此系统实际应用时的车辆计数误差小于5%，速度误差小于10%。T.Abramczuk教授则在1984年提出一种应用图像帧差的方法来检测车辆，其原理[8]是在每一条道路上均设置一条与道路相平行的检测线，通过车辆沿车道的方向分割出运动车辆，此方法运用于瑞典皇家技术院研制的道路监控系统中取得了良好的效果。

目前世界上最著名的车辆视频检测器主要有美国明尼苏达州立大学开发的Autoscope车辆视频检测系统，美国TERIS公司的V ANTAGE视频检测器以及比利时Trafficon公司的TrafiCam检测器，其中Autoscope采用了Panos G Michalopoulos[9]和Brian Carlson[10]教授的虚拟线圈检测器的检测原理，该系统通过在图像中设置虚拟的检测线，判断检测线中的图像信息变化来达到检测车辆的目的；而比利时的最新产品TrafiCam一代和二代采用纯硬件视频检测方式，系统集成度高，可以轻松的固定在现有或新基础设施上，通过RS-485总线，可以设置最多达9个车道的虚拟线圈。TrafiCam会根据车辆占用轨道检测提供对交通信号灯控制器的输入，抓拍的图像也通过RS-485的数据接口传输至后台服务器。

在国内，采用纯视频检测的道路监控系统已经日趋成熟并且已经应用于各种城市交通十字路口或高速路口中，检测的车辆信息也有简单的车辆计数发展到可以检测车速、车长、车型、车牌。目前国内车辆视频检测做的很成熟的有包括四川川大智胜、北京文安、汉王等一些专门从事图像识别和运动物体检测的公司或厂家。

在相关研究上，中国科学院北京自动化研究所模式识别国家重点实验室在交通场景的监控上和车辆跟踪方面做了比较深入的研究[11]，另外如上海交通大学图像处理与模式识别研究所、四川大学图像识别智能研究所在这方面也做了大量的工作并将其成果转化为产品运用到市场。

1.3 论文的主要内容与组织结构

本文主要阐述了作者在车辆视频检测技术上的主要研究与实现。论文结合了作者在视频检测方面所作的算法研究，结合实际的开发平台Intel视觉开源库（OpenCV），实现和论证了算法的可行性，并在此基础上设计了一套切实可行的完

华中科技大学硕士学位论文

整的车辆检测流程。本文的主要内容介绍如下：

绪论部分阐述了课题的来源、目的和意义，同时对所查阅的文献资料进行总结，分析了智能交通系统的国内外研究现状，以及车辆视频检测的国内外研究现状。

第二章对车辆视频检测的相关原理进行了简要介绍，同时对车辆视频检测的关键技术进行了分析与总结，对图像预处理，背景提取算法，图像阈值化分割和阴影检测进行了详细的分析。

第三章结合自己的实际分析与实验，提出了三种色彩空间的阴影消除算法。首先介绍了阴影消除的基本原理和目前已有的阴影消除算法，包括基于灰度空间的阴影检测、彩色空间的阴影检测以及归一化互相关函数（NCC）的阴影检测算法。接着，在此基础上提出了三种色彩空间RGB、HSV、YUV空间的阴影消除算法和检测流程。

第四章是全文核心，围绕前有检测算法，提出了一套基于OpenCV开发环境下的车辆视频检测流程，包括从视频流的采集、检测区域的设置、前景提取、阴影消除、背景初始化更新、以及提取车辆信息均做了详细的介绍。

第五章是是背景更新算法和阴影消除算法的实验结果分析，给出了包括滑动平均更新算法、选择更新算法、高斯混合背景模型更新算法的实验结果，以及HSV空间、YUV空间、RGB空间的三种阴影消除算法的实验结果

最后是本文的总结，系统性的概括本文所做的工作，并对下一步的工作做了规划和展望。

华中科技大学硕士学位论文

2 车辆视频检测原理与关键技术

车辆视频检测的图像采集源一般是普通标清摄像机，直接从摄像机输出的是模拟信号，需要经过视频采集卡的模数转换转换成数字图像，因此其处理对象为从视频采集卡输入的实时图像序列，摄像机是固定安装在交通现场的，因此图像处理的背景环境是固定不变的，但受光照和昼夜变化的影响。本章着重对车辆视频检测的已有原理做详细介绍，同时对其中的一些关键技术做出比较详细的分析。

2.1 车辆视频检测原理

从最早的80年代起至今，专家和学者们提出了许多卓有成效的车辆检测方法。总的来说，车辆检测的原理主要可以分为以下两类：宏观检测法和微观检测法[12]。宏观检测法对整幅图像进行检测，而微观检测法主要针对图像的ROI（感兴趣区域）进行检测，主要有背景差法、帧间差分法和综合法[13-15]。

宏观检测法对整幅图像进行检测，采用这种检测方法图像蕴含的信息量丰富，能把整幅图像中的所有车道的车辆都检测出来。车辆的一些行驶特征，如左转右转也能被检测出来，但是这种算法的缺点也是显而易见的。首先，由于是对整幅图像进行检测，必然导致处理的运算量大，系统开销大，在视频检测这种实时性要求极高的系统中使用必然造成严重的延时；其次，由于场景中包含如路边花坛、树木、红绿灯杆等大量的干扰比较严重的前景物体，容易成为干扰因素，引起检测时误差的增大；第三，整幅图像检测容易造成物体分割不明显，对静止的物体检测效率低下。

微观检测法则对图像的局部区域进行检测，包括有线性检测法和窗口检测法。线性检测法的原理是通过在图像的固定位置设置一条检测线，通过统计检测线的图像特征变化如灰度跳变、色彩突变来判断有无车辆通过。这种线式的检测方式运算量小、实时性好、检测精度也较高，但是由于其检测区域的限制，这种方式的鲁棒性不高，容易受光线变化的影响引起误检。窗口检测法的原理则是通过在图像的特定

华中科技大学硕士学位论文

区域设置一个较小的检测矩形框，通过统计矩形框内的图像特征变化来判断车辆是否通过，和线性检测法相比，检测的区域要大些。

最常见目前运用最多的是区域检测法，该方法融合了宏观检测法和线式检测法的优点。它的检测原理是通过在图像设置若干处ROI（感兴趣区域），通过检测区域内的图像特征达到判断有无车辆通过的目的，区域检测法通常有帧间差法、背景差法以及综合法几种，无论是哪种车辆检测方法，都遵循以下的车辆视频检测流程。如图2-1所示：

图2-1 车辆检测基本流程

背景差分法的原理是先通过一定的算法或人为的选取一张没有车辆的背景图像，之后的视频序列都通过与背景相减得到差值图像，再通过阈值化分割获取二值图像，从而达到检测车辆的目的。该方法中，背景是需要实时更新的，以满足其准确性。

帧间差分[16]的原理的是通过当前帧图像与上一帧图像作差得到差图像，因为车辆是运动的，因此可以通过当前帧和上一帧的图像得到车辆运动轨迹的残差，再通过

华中科技大学硕士学位论文

图像分割的方式得到检测区域，常见的检测方式有二帧帧差法和三帧帧差法。

2.2 图像预处理

由于受环境，光照条件变化以及采集设备的性能影响，从摄像机采集的图像都是降质图像，带有比较多的噪点信息，这些往往影响到后期的车辆特征提取，降低检测的准确性。因此需要在获得视频图像后，先对帧序列进行预处理，这其中包括的主要步骤有色彩空间映射、图像平滑滤波、对比度增强。

1）色彩空间映射

本文采用的图像采集设备为三洋SANYO 标清CCD 摄像机，海康威视DS4000HC 序列视频采集卡，从视频采集卡中获取的图像制式为YUV [17]格式的帧序列。众所周知，在现代彩色电视系统中，CCD 摄像机采集到的彩色图像信号，通过分色，放大校正电路后得到的RGB 图像。RGB 图像经过式（2.1）变换后得到亮度信号和两个色差信号Cr ，Cb 。（其中Cr 为红色通道R 与亮度的差值R-Y ，Cb 为蓝色通道B 与亮度的差值B-Y ），Cr ，Cb 也可以分别称为U ，V ，两者的表达其实是一致的。

（2.1）

Y = 0.299R + 0.587G + 0.114B U = -0.147R - 0.289G + 0.436B V = 0.615R - 0.515G - 0.100B ?????

2）视频图像平滑滤波

滤波分为线性滤波和非线性滤波，滤波的主要目的是减小噪声，可以在提取主要的前景目标之前去除图像的一些琐碎细节，如桥接直线或曲线的摩擦。线性滤波的方法算法简单、速度比较块，但容易造成图像模糊；非线性滤波方法则可以很好的去除信号噪声也能很好的保持信号的局部特征，但速度稍微慢些。对于要想保持整幅图像的整体和局部特征的图像来说，采用非线性滤波如高斯低通滤波不失为一种理想的滤波方式。下面分别就几种滤波方式做简单的介绍[18-20]：

（1）领域平均滤波方式

此方法通过一个大小的模板S ，在整幅图像上进行滑动处理，设模板中心的像素点的灰度值为N N ?(,)I x y ，则通过领域平均后，该点的像素值变为：

华中科技大学硕士学位论文

^2

,1

(,)(,)x y S x y I N I ∈=∑x y （2.2）

领域平均的处理的方法是以图像模糊为代价来减小噪声的，且选取的模板S 的尺寸越大，噪声消除的效果就越显著。

（2）加权平均滤波法

加权平均滤波法[21]是对领域平均滤波方法的改进，此方法认为对于同一尺寸的模板，可对不同位置的像素值采用不同的数值，离像素中心点近的系数应较大，远离中心像素的位置的系数较小。这样可使得图像既平滑，又不致使边沿和细节有明显模糊。

一种常用的加权平均滤波方法是根据系数与模板中心的距离反比的确定其内部的权值，常用的模板有1111120110111??????????，010*********??????????

；还有一种方法是利用高斯模板来确定系数权值，模板为1211240216121????????

??，加权平均也常称为归一化卷积，表示两幅图像之间的卷积，一是需要处理的图像；二是有加权值的图像。

（3）中值滤波法

中值滤波是一种非线性的滤波方式，其实也可以当成一种领域运算，它的原理是将模板中的像素灰度按从大到小的顺序排序，取其中间值作为输出结果。设模板W ，其大小为M N ?，图像在(,)x y 点的灰度值为(,)I x y ，则二维中值滤波的输出结果为：

'(,){(,),,}x y I med I x k y l k l W =--∈

（2.3） （4）高斯低通滤波法

用表示频率域，则二维高斯滤波方程可表述为：

()H u 2(,)/2(,)D u v H u v Ae 2σ-= （2.4）

其中，σ为高斯曲线的标准差，是距傅立叶变换原点的距离。当(,)D u v 0D σ=时，

华中科技大学硕士学位论文

高斯滤波器可以表示为如下形式：

20(,)/2(,)2D u v D H u v Ae -= （2.5）

0D 为截止频率，当时，滤波器下降到它的最大值的0.607处。采用高斯平滑滤波后得到的图像，可以增强图像的细节，去除图像的局部噪音。

0(,)D u v D =3）图像对比度增强

交通场景中得到的图像，由于受环境影响变化比较大，对比度较低，直接处理得到的处理结果不理想，因此需要通过图像增强技术来达到使图像清晰的目的。常用的方法有直方图均衡化，局部统计等方法。下面以直方图均衡化方法对图像增强技术作简单介绍。

原始图像灰度级归一化在0~1之间，即r 01r ≤≤，()r p r 为原始图像灰度分布的

概率密度函数，直方图均衡化处理实际上就是寻找一个灰度变换函数T ，使变化后的灰度值，归一化为0。即建立r 与s 之间的映射关系，要求处理后图象灰度分布的概率密度函数()S T r =1s ≤≤()s p s =1，期望所有灰度级出现概率相同。

其直方图均衡化处理的计算步骤[22]如下：

（1）统计原始图象的直方图，如式（2.6）所示

()/r k k p r n n =

（2.6）

其中，是归一化的输入图像灰度级。

k r （2）计算直方图累积分布曲线，如式（2.7）所示 00()()k k j k k r j j j n S T p r n r =====∑∑ （2.7） （3）用累积分布函数作变换函数进行图像灰度变换，根据计算得到的累积分布函数，建立输入图像与输出图像灰度级之间的对应关系，并将变换后灰度级恢复成原先数范围。

2.3 背景提取算法

由于视频检测系统的应用场合为各种交通要道或十字路口，而这种户外环境会受到光照条件和气候环境以及各种人为的原因而造成不断的变化，因此检测的道路场

华中科技大学硕士学位论文

景中背景是不断的变化的，而在视频检测系统中，如何提取有效而实时的背景更新算法对车辆信息的提取有着决定性的作用。

最简单也同时是最原始的背景初始化算法是多帧平均法，其原理为在一定的时间内，取视频图像帧进行加运算，再求平均值，该平均值即可认为是真实的背景。该算法认为临时物体如车辆，行人等运动物体会在这帧图像的均值化过程中被滤除掉，可以近似忽略不计。这种算法的计算量比较大、背景更新速度慢、效果也不是很好，因此在实际中是不太可行的。

N N 下面介绍几种实际中常用的背景更新算法：滑动平均更新法、选择更新算法、混合高斯背景模型法[23,24]。

1）滑动平均更新法

背景相对于运动车辆来说是相对静止的，并且在较长的时间内保持亮度和色度基本不变；而车辆是时刻运动的，因此可以采用滑动平均的方法对背景进行更新，当更新帧数达到一定数量时，此时的图像即为背景。

更新公式如式（2.8）所示：

1(,)(,)(1)(,)k k k B i j I i j B i j αα-=+- （2.8）

式中为当前帧数，为像素点的坐标，因此，k ,i j (,)k B i j 和1(,)k B i j -分别表示当前背景和前一背景在位置的值，(,i j )(,)k I i j 为当前该坐标点的像素值，α表示更细速度，

01α≤<。

更新流程如下：

（1）获取第一帧图像first I 作为背景图像B 。

（2）如果背景图像存在，则将前景图像与背景图像进行差分，通过前景分割，获得前景车辆图像，否则回到第一步。

（3）对新的每一帧图像I ，和当前背景图像B 采用公式（2.8）进行更新。

滑动平均更新方法在路面车辆较少时效果较好，但是当路面车流量比较大时，前景车辆占整个图像的比例增加，导致获得的背景图像中含有车辆的成分增加，产生失真，具体效果图见5.1节。

2）选择更新法

华中科技大学硕士学位论文

选择更新是滑动平均更新算法的改进形式，该方法把获取的帧图像分为前景图像和背景图像区域。对于包含车辆的前景区域不进行更新，而对当前没有车辆的区域采用滑动平均的方式进行背景更新。

其更新流程如下所示：

（1）获取第一帧图像first I 作为背景图像B 。

（2）如果背景图像存在，则将前景图像与背景图像进行绝对差分，并且通过阈值分割，获得前景车辆二值化图像G ，否则回到第一步进行背景更新。

（3）对当前的每一帧I ，其当前背景更新按式（2.9）进行更新。

11(,)(1)(,)((,)!0)(,)(,)k

k k k I i j B i j if G i j B i j B i j else αα--+-=?=?? （2.9）

由上式可以看出，这种更新算法只对当前图像中背景区域部位区域进行更新，这样可以减少车流量过大时造成的更新误差，使背景趋于实际的真实背景。实际表明，这种更新方式可以取得理想的效果，且更新速率快。但是这种背景更新方式需要选取一张真实的背景图作为初始背景，否则如果初始背景中包含有前景物体，则由上步骤二可以看出，通过绝对差分，因为摄像机的采集帧率比较快，在几十毫秒的时间间隔内，物体位移距离短，通过绝对差分得到的差值图像中该区域的像素值大部分为0，该位置始终得不到更新，会造成系统的误检。这种算法的优点是可以检测出场景中长时间静止的前景物体。

3）高斯混合背景模型[25-28]

高斯混合背景模型认为背景的每一个像素分别可用由个高斯分布组成的模型来描述，如式（2.10）所示：

N ,,,1().(,,N k i k k i k i k i P X w X ημ==∑)∑ （2.10）

上式中N 为混合高斯模型中高斯分布的个数，经验取值为3~5。k X 是像素在第k 帧的大小，在RGB 空间为红、绿、蓝三通道的值组成的像素点。表示第k 帧时高斯混合模型中第i 个高斯分布的权系数估值，,i k w ,i k μ、,i k ∑则分别表示第k 帧混合

高斯背景模型中第i 个高斯分布的均值向量和协方差矩阵，而η表示高斯分布的概率

华中科技大学硕士学位论文

密度函数。

如下式所示：各个参数值的获取公式为：

（1）将高斯背景模型的每个高斯分布权系数和均值向量赋初始值0，协方差则赋予一个比较大的初值。在第k 帧，对图像的每个像素值0V k X 都和对应的高斯模型

进行匹配检验，若像素值k X 和模型中的第n 个高斯分布的均值n G n μ差小于其标准差

n σ的2.5倍，则认为该分布与n G k X 相匹配。

（2）如果验证出该像素点的混合高斯模型中至少有一个高斯分布与像素值k X 匹配，则对混合高斯背景模型按下述规则进行参数更新。

① 若该高斯分布与高斯混合背景模型中的不匹配，则对模型中的均值μ和协方差矩阵保持不变。

∑② 如果该像素点与背景模型相匹配，则把模型的均值和协方差矩

阵按下式进行更新。

n G n G n u n ∑

,,1(1)..i k i k k u u X ρρ-=-+,,1)..(k i i k diag X u ρρ-+-∑∑,1,1.(|,)k i k i k X u ραη--= （2.15） （2.16）

,,(1)()T k k i k i k X u =--∑

（2.17） 其中式（2.17）中，α为参数估计的更新速率。

③ 若该像素点对应的混合高斯模型中没有高斯分布与其匹配，那么需要对

华中科技大学硕士学位论文

最不可能代表背景过程的高斯分布进行重新赋值，最不可能代表背景的高斯分布为权系数最低的那个分布，如下所示：

w ,1arg min{}i n k j w -=

（2.18） ,10j k w W -=

（2.19）

,j k k u X = （2.20） 0,.j k V I =∑

（2.21） 其中是一个预先给定的初始经验值，一般为较小的正值，0W I 是一个三阶单位矩阵。

④ 最后，对个高斯分布的权系数进行更新：

N ,i k w 第一步：,,1(1)..()i k i k i k w w ,M αα-=-+

（2.22） 第二步：

（2.23）式中，若高斯分布与第k 帧的像素值,,1/N i k i k i k i w w w ==∑n G ,k X 匹配，则取值为1，否则取值为0。

（3）对图像中每个像素点的混合高斯背景模型进行参数更新后，就需要对混合高斯背景模型中的高斯分布进行估计，以确定哪些高斯分布是背景过程产生的，能最佳描述背景。首先按照的比值由大到小将像素点的个高斯分布模型进行降序排序，则最有可能描述稳定背景过程分布的高斯分布会位于序列的顶部，而由背景暂态扰动产生的高斯分布则会排到序列的底部，按照上述第2步的规则，最终其会被新赋值的高斯分布给取代。

/||w ∑N 为此，可以选取序列的前面个高斯分布作为背景像素模型：

'N （2.24）

'

,arg min{}N N i t i N =∑w T >其中，T 为预定的阈值，（0.5

这样由前面个匹配的高斯分布就可以估计出比较准确的背景模型。高斯背景模型对于比较简单，变化缓慢的场景有比较好的效果。在比较复杂的交通场景中，对于有的像素点，采用个高斯分布就难以准确描述样本序列的实际分布。另外由式（2.24）可以看出，判断一个分布是否是背景取决于经验阈值，而是一个既定

'N N T T

华中科技大学硕士学位论文

的阈值，是否准确还取决于背景被观测的时间占总时间的比例，对于车流量变化较大的时间段不太适应。

2.4 图像分割

在图像预处理完成后，接着要做的工作就是通过前景图像和背景图像，提取视频中的前景图像，即运动车辆。这一步要做的工作是将车辆目标从图像中提取出来，目前常采用的方法是通过图像分割技术来实现，常用的分割技术有边缘检测、阈值分割以及区域生长三类。

2.4.1 边缘检测

边缘在整幅图像中是变化差异最大的部分，图像的边缘通常是前景物体与背景的交界处，该处的图像亮度或灰度值会产生跳变，导致其一阶导不连续。因此可采用求图像的梯度函数的方法来得出图像的边缘。常用的边缘检测[29]算子有Roberts 算子、Sobel 算子、Prewitt 算子、Canny 算子等。

1）Roberts 算子

采用如下式计算，

(,)|(,)(1,1)||(1,)(,1)|G i j f i j f i j f i j f i j =-++++-+

（2.25）

用卷积模板表示，则式（2.25）变为： (,)||||x y G i j G G =+ （2.26）

其中，，可以看出Roberts 算子采用的是的模板。 1001x G ??=??-??0110y G -??=???

?22?3?3??2）Sobel 算子

该算子采用3的模板按下式计算梯度幅值， 0

127654(,)a a a a i j a a a a ???????

?

M = （2.27）

式中的偏导数采用如下方法计算，

华中科技大学硕士学位论文

23407()(x s a ca a a ca a =++-++6)6)??

（2.28） 23407()(x s a ca a a ca a =++-++

（2.29）

式中C=2，Sobel 采用的垂直模板和水平模板分别为：

水平模板：，垂直模板： 101202101-??

?-?-????121000121??????---????。 3）Prewitt 算子

Prewitt 算子和Sobel 算子的原理其实是一样的，只不过公式中的C=1，因此模板表示如下：

水平模板： ，垂直模板： 101101101-???-?-??????111000111??

????---????

4）Canny 算子

Canny 边缘检测算法提出了好的边缘检测算子的3个判决准则：（1）信噪比准则，信噪比越高，则提取的边缘质量越高；（2）定位精度准则，边缘精度L 的定义如下式（2-30）

''|()()w

G x h x dx L +-=|

（2.30）

''(),()G x h x 分别是的导数，L 越大则表示定位的精度越高；（3）单位边缘响应准则，为了使单位边缘只有一个响应，检测算子的零交叉点平均距离满足式（2.31）：

(),()G x h x '()D f 12'2'''()()()w h x dx D f h x dx π+∞-∞-????=???????? （2.31）

''()h x 是的二阶导数。从而由此三法则，Canny 边缘检测的算法步骤如下： ()h x （1）采用高斯滤波器进行图像平滑滤波。

（2）用一阶偏导数的有限差分进行梯度方向和幅值的计算。