基于视频的车辆检测技术综述

基于视频的车辆检测技术

综述

学院：信息科学与工程学院

专业：测控技术与仪器0902班

学号：090401065

姓名：孙娟

摘要

基于视频的车辆检测器近年来在智能交通系统(ITS)中得到了越来越广泛的应用。本文分别讨论了常用基于视频的车辆检测算法，同时分析比较了各种方法的优缺点。车辆跟踪的基本类型。最后，说明了这一领域仍然存在的问题和对可能的研究方向进行了一定的预测。

关键字：视频；车辆检测；车辆跟踪

引言

城市智能交通已逐步得到社会各界的广泛关注，如何通过智能交通系统建设来缓解日益严重的交通问题已成为交通领域的研究热点。车流量检测系统是智能交通(ITS)的基础部分，在城市道路建设、国道高速公路建设、隧道桥梁建设以及交通流的基础理论研究中占有很重要的地位。近年来，逐渐发展起来了以空气管道检测技术、磁感应检测技术、波频检测技术和视频检测技术等[1~2]为代表的多种交通检测技术[3]。常用的基于视频图像的车辆检测算法有：光流检测法、背景差法、相邻帧差法、边缘检测法[4]等。

智能交通系统（Intelligent Transport Systems,ITS)是将先进的信息技术、数据通信传输技术、电子传感技术、电子控制技术及计算机处理技术等运用于整个交通管理而建立的一种大范围、全方位发挥作用的，实时、准确、效的综合交通运输管理系统[5~6] 。

国际上一些发达国家[7~8] 从上世纪60年代起，就开始了有关智能交通系统的研究，美国是目前智能交通系统发展最为先进的国家。2001年4月，美国召开了一次由智能交通系统行业260名专家参与的全国高层讨论会，并且制订了二十一世纪前10年智能交通系统的发展总体规划。在此阶段，各国通过立法或其他形式，逐渐明确了发展ITS战略规划、发展目标、具体推进模式及投融资渠道等。美、日等发达国家在推动ITS研发和试点应用的同时，从拓展产业经济视角，不断促进ITS产业形成，注重国际层面竞争，大规模应用研发成果。如美国，参与ITS研发公司达600多家，其中半数以上为美国大型公司，包括航空和国防工业公司。日本，在四省一厅联合推动ITS研发活动后，一直在加速ITS实际应用进程，积极推动如车辆信息通信系统、电子收费系统等应用。车辆信息通信系统已进入国家范围内实施阶段并迅速扩展。

目前，我国智能交通技术已经渗透到了公路、铁路、水路和航空中，并都取

得了一定的进展。中国在智能交通方面也做了大量投入，截至目前为止，己经取得了一定的成果[9] 。“十五”期间，科技部组织实施了国家科技攻关计划“智能交通系统关键技术开发和示范工程”，内容涉及了ITS领域中的智能控制、信息采集与融合、运输管理、短程通信等关键技术和系统集成技术，并且将对2008年北京奥运会、2010年上海世博会以及广州亚运会等起到非常积极的意义。

交通检测系统[10]是近年来计算机视觉领域中备受关注的前沿方向，也是智能交通系统的重要环节，负责采集有关道路交通流量的各种参数通过利用架设在道路上方的摄像机拍摄得到实时交通场景的视频序列图像，送到车辆检测模块、车辆识别模块和车辆跟踪模块，由检测、识别和跟踪的结果可以分析提取出交通流量参数，如车辆数量、类型、车流量、车流密度，平均车速以及交通事故检测等，这类实时道路交通信息及各种服务信息汇总到交通管理中心的交通监测模块，并经集中处理后，传送至公路交通系统的各个用户，使公众能够高效地使用公路交通设施，从而到达提高道路负载能力和行驶效率以及节约能源等目的。下面将重点从处理方法入手回顾车辆检测与跟踪这两方面近年来国内外的发展现状。

1 车辆检测

车辆检测的目的判断是否有车经过检测区，并建立一个与之对应的跟踪对象，主要提供车流量等信息。减少车辆检测算法的计算量和提高实时性是一对矛盾，解决这对矛盾是提高系统检测准确度和稳定度的关键，然而实际中光照的变化、背景混乱运动的千扰、运动目标的影子、摄像机的抖动以及运动目标的自遮挡和互遮挡现象的存在，这些都会影响车辆检测和分割的精度，必须在算法中考虑这些因素的影响及其去除的方法。

2 基于视频的车辆检测算法

基于视频的车辆检测算法可分为如下几类：光流法检测，帧差法，背景消减法，边缘检测法，运动矢量检测法。下面按照上述分类分别加以介绍。

2．1 光流法检测

光流的概念是Gibson于1950年提出的。所谓光流是指图像中模式运动的速度，光流场是一种二

维(2D)瞬时速度场，其中二维速度向量是可见的三维速度向量在成像平面上的投影。光流法是把检测区域的图像变为速度的矢量场，每一个向量表示了景物中一个点在图像中位置的瞬时变化。因此，光流场携带了有关物体运动和景物三维结构的丰富信息，通过对速度场(光流场)的分析可以判断在检测区域内车辆的有无。

2．2 帧差法

帧差法是将前后两帧图像对应像素点的灰度值相减，如果灰度差值很小，可以认为该点无车经过；反之灰度变化很大，则认为有车经过。帧差法的特点是实现简单、运算速度快，对于动态环境自适应性是很强的，对光线的变化不是十分的敏感。采用这种方法时，需要考虑如何选择合适的时间间隔进行差分，这一般依赖于所监视的车辆的运动速度。对快速运动的车辆，需要选择较小的时间差，如果时间间隔过大，最坏情况下车辆在前后两帧中没有重迭，造成被检测物体为两个分开的车辆；而对慢速运动的物体，应该选择较大的时间差，如果时间间隔过小，最坏情况下，车辆在前后两帧中几乎完全重迭，根本检测不到车辆。

Lipton等提出了取连续两帧对应象素点的差的绝对值，通过与阈值函数比较，确定是移动物体还是背景。Lipton等进一步指出：利用连通区域准则克服检测到的运动实体内部产生的空洞，消除孤立的点，从而为进一步的模块匹配和目标分类打下基础。Collins等[11]人研究了一种自适应背景减除与连续3帧差分相结合的混合算法，这种方法能够快速有效地从背景中检测出运动目标，比连续两帧差分的效果要好。因为，由帧差得到的结果区域实际上是车辆前后两个位置的“或”区域，比车辆本身要大，文献[12]提出了一种使用模糊聚类的方法来合并检测到的“或”区域，并采用Kalman滤波器来预测运动车辆下一时刻可能处于的区域，缩小目标搜索的区域范围，从而达到快速跟踪车辆的目的。

帧差法是以背景固定不变为前提的，如果背景变动，这种方法就失效了。针对这种情况，有人提出了将相邻两帧的邻域比较与帧差法相结合，先对由摄像机运动引起的背景移动进行补偿，然后再进行差分运算，克服了传统帧差法中背景去除不干净的现象。文献[13]提出了基于图像对称差分运算的运动目标检测，以连续3帧序列图像为一组处理对象，先进行绝对差运算，再作均值滤波及最大熵的自动门限分割得到二值图像，从而使得运动缓慢目标的二值分割象素区域扩

大，保证了算法能很好地检测出复杂背景中的低信噪比、小运动目标。

2．3 背景消减法

背景消减法是目前基于视频检测算法中最常用的一种方法。背景消减法可以看作一种特殊的帧差法。它是一种利用当前帧图像与背景图像对应象素点的灰度差值来检测车辆的技术：如果当前图像的象素点和背景图像的象素点灰度值差别很大，就认为此象素点有车通过；相反，如果当前图像的象素点和背景图像的象素点灰度值差别较小，在一定的阈值范围内，我们就认为此象素点为背景象素点。背景消减法的关键是背景提取与背景更新。然而它对于动态场景的变化，例如光照的变化和阴影的干扰等特别敏感。因此，选取一个可靠的背景模型进行背景的提取与动态更新以适应环境的变化是必要的。背景消减法根据其背景模型的不同又可分为：直方图法、平均值法、单分布高斯背景模型、混合高斯分布背景模型、Kalman滤波器法，HMM模型法。

2．4 边缘检测法

边缘检测方法是在不同的光线条件下利用车体的不同部件、颜色等提供的边缘信息有效的提取车辆的边缘，从而进行静止和运动车辆的检测。相对于背景消减法，由于车辆的表面、形状及颜色不同，边缘检测法所能提供的信息相当显著。即便车辆与路面的颜色相同，因为车辆要比地面反射更多的光线所以车辆仍能被检测出来。

运动车辆的边缘可通过计算图像在空间和时间上的灰度的变化率和变化方向获取。空间上的边缘检测算法可用基于方向导数求卷积的边缘检测算子比如Sobel、Roberts、Robinson、Krisch、Prewitt、高斯拉氏算子(LOG)等进行边缘提取，这些算子在算法复杂度以及效果上有很大的差别，应根据实际情况选用适合的算子；而时间上的边缘检测算法是通过计算连续帧之间对应象素点的差获得。但是上述边缘检测算子本质上是高通滤波器，它们在增强边缘的同时也同样扩大了引起边缘劣化的高频噪声。为了克服高频噪声的影响，在传统的边缘检测算法的基础上，先对图像进行平滑滤波减弱噪声影响，再进行边缘提取。Marr 和Hildreth提出了先用高斯函数对图像进行平滑滤波，然后采用Laplace算子进行边缘增强的方法，其边缘检测效果有了很大提高。基于滤波的图像边缘提取方法由于抗噪能力和准确率都有较大提高，已成为边缘检测的重要发展方向。但是

若对图像进行平滑滤波，在抑制高频噪声的同时还会减弱边缘。文献[14]提出了基于小波变换的多尺度边缘提取方法。文献将边缘检测的核指标(误检率和定位精度)分别用小波尺度因子表示，经分析发现：大尺度的滤波器抑制噪声(误检率降低)；而用小尺度滤波器准确定位边缘(定位精度提高)并提取边缘。

边缘检测法对环境光线变化的鲁棒性高于背景消减法。但是对于车辆边缘不明显和道路边缘明显的情况，一般的边缘检测法可能造成漏检、误检。针对道路背景的影响，有人提出了分别提取背景边缘图像和当前帧边缘图像，然后用包容性检测来去除背景边缘，得到对应的车辆边缘信息。该方法先对路况边缘图像进行削顶处理，使得路况边缘图像中的车辆边缘和背景边缘有同样的峰值，然后选用连续的n幅图像进行叠加，最后进行简单的阈值判断就可以去除路况边缘图像中的车辆信息，从而得到加宽的背景边缘图像。又由于实时路况边缘图像中的背景边缘是得到的背景边缘图像的一部分，所以采用包容性检测来去除背景边缘。如果实时路况边缘图像中某点在背景边缘图像中对应点为边缘点，则认为该点是背景边缘而去除。这样，结果图像只会保留车辆的框架，提高了车辆检测的正确性。

除了基于梯度算子的传统边缘检测算法外，近年来，基于形态学的边缘检测算法日益受到重视。由于梯度算子对噪声敏感并不能检测较细的边界，而基于形态学的边缘检测算子对此有更好的处理效果。通常的形态学边缘检测算子包括blur．min，top．hat，和开-闭算子。在此基础上，Fathy和Siyal 发展了一个新的边缘检测算子：可分离形态学边缘检测器(SMED)，SMED在关键区域内应用可分离中值滤波器去除噪声同时用简单易实现的形态学算子检测边

缘，降低了计算的复杂度，获得了较好的检测效果。

常用的三种视频检测算法有着它们各自的优缺点：（1）背景差分法：摄像机固定，算法简单易于实现，在背景已知的情况下，能够提供最完全的特征数据，并能完整地检测出运动目标。由于背景建模对光照、天气变化以及突发事件等外部动态场景变化极其敏感，所以当背景更新不能很好的适应变化场景时，无疑将影响到目标的检测。（2）相邻帧差分法：采用固定摄像机，对动态变化环境中的运动目标检测有较强的自适应性。在实时性方面显示出优越性，由于连续两帧时间间隔短，受光线变化、摄像头抖动的影响很小。但总体来说该方法不能完全

提取所有相关的特征像素点，得到的背景并不是纯背景图像，故检测结果不十分精确，在运动实体内部易产生空洞现象，不利于进一步的目标分析与识别。（3）光流场法：该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，运算量很大，且抗噪性能差，除非有特殊的硬件支持，否则很难实现动目标的实时检测。（1）解决背景差分中的背景更新问题。设定一个时间开关t，每经过

3 车辆跟踪

对检测出来的运动车辆进行跟踪，是得到车速、车流量等的基础，它是智能交通系统研究的焦点之一。大多数车辆跟踪算法都遵循一个基本原则，即用空间距离判断两相邻帧中的车辆是否为同一辆车，进而完成时域上车辆的跟踪。空间距离可以是最简单的欧几里德距离，也可以是其他距离标准如Hausdorff距离。系统要求实现对运动车辆的快速有效跟踪，并且能处理跟踪车辆之间的重叠以及车辆的暂时消失等情况。

车辆跟踪一般可根据对运动车辆的不同表达方式进行分类，车辆跟踪的基本类型主要有基于车辆模型、车辆区域、车辆轮廓和车辆特征的跟踪。车辆跟踪等价于在连续的视频流中对车辆的模型、区域、轮廓和特征进行对应匹配，近年来用于车辆跟踪的主要数学工具有：模板匹配、卡尔曼滤波和粒子滤波等，这些方法目前已成为该领域的研究热点。下面分别从车辆跟踪的基本类型和用于车辆跟踪的主要数学工具这两个方面，介绍车辆跟踪的发展现状。

3．1 车辆跟踪的基本类型

3．1．1 基于车辆模型的跟踪

这种跟踪算法为模型法检测车辆的后续操作[15~16]。如前文所述，这种算法的核心是建立的精细提取已知车辆的3-D模型与待检测图像之间的匹配操作。这类算法的优点之一是在确定车辆类型和几何模型细节时准确度高。而缺点是对车辆模型的过分依赖，而很明显的是不可能为公路上行驶的每种车辆都建立精细的模型。而实际中，基于模型的跟踪算法由于计算量大，不利于实时处理，只能应用在车辆较少的情况下。

3．1．2 基于车辆区域的跟踪

该算法中车辆被表示成斑点，或像素连通块，或块区域，连接区域被提取并

根据情况被合并或分割。这种算法[17]在车辆稀少时效果很好，且块区域可以提供丰富的信息如大小、形状和密度等。但其最严重的缺点是区域的合并和分割，存在着不准确性。

3．1．3 基于车辆轮廓的跟踪

车辆轮廓模型跟踪算法的主要思想是先初始勾勒出车辆的轮廓，并且不断地在后续帧更新轮廓进而达到跟踪的目的[18]。以车辆轮廓为跟踪对象的算法也很多，这种算法其实是基于区域算法的一个变形。而基于区域的算法在阴影和道路拥挤的情况下其效果会变得很差，因为阴影和车辆之间的遮挡都会将本来相邻的多个连通块变为一个，造成漏检和误检。虽然轮廓可以通过简单的边缘检测的算法得到，但这些简单的算法往往同时检测出背景中的一些干扰边缘。然而若采用复杂些的边缘检测算法，如自动轮廓获取或snack模型，可以用专门的处理器进行实时处理。与区域算法相比优点在于计算量低，而缺点是存在初始化困难的问题。它存在和区域法一样的问题，即在阴影和拥塞情况下效果欠佳。

3．1．4 基于车辆特征的跟踪

上述算法都是将车辆作为最小单元进行跟踪而基于特征的算法[19]则是将车辆的特征作为最小跟踪单元。这类算法对每辆车提取一些特征，如可曲线，这些点、线条可能代表了车辆的保险杆、车窗、车顶棚等，或将这些特征组合来表示一个车辆。这类算法的突出优点是即使存在部分遮挡，一些特征仍是可见的，可以为跟踪过程提供依据。但在检测每个车辆的特征时也同样存在车辆彼此太接近，无法正确提取的问题。它需要进行特征聚类，即在众多的特征中分析哪些是属于同一辆车的。

4 存在的问题和发展趋势

视频检测器与传统检测器相比有其明显的优势，近年来在智能交通系统中得到了越来越广泛的应用。虽然视频检测器有着诸多优点，但仍然存在许多需要解决的问题。一个可以投入实际使用的基于视频图像的交通检测系统应该具备处理时间短、计算量低和可靠性高的特点[20]。而且，这种系统所采用的方法必须对重建3D场景的误差、车辆运动所引起的图像噪声、视频检测器的偏移等干扰有足够的稳健性。存在的问题主要是：一是视频检测器的检测精度是随着光照情况的变化而变化的，当光照良好时如正午时检测精度最好，反之如傍晚、雨雪

天气则较差；另一个问题是阴影问题，阴影是造成视频检测方法误检测的主要原因，阴影通常有三种：车辆自身的运动阴影、道路场景中的静态阴影、缓慢移动的阴影如浮云造成的阴影；同时车辆在道路场景中的相互遮挡也是必须考虑的问题。

未来这一领域的发展应该是围绕上述问题的解决而展开。发展趋势主要是：首先，注重准确率、综合使用多种检测方法是未来车辆检测的一大发展趋势；另外，车辆检测中的多检测器信息融合也是未来研究的重点；同时，与基于视频图像车辆检测紧密联系的相关研究领域，交通视频图像的压缩和多媒体数据挖掘，也是未来研究的热点

5 结束语

视频检测系统与传统检测系统相比有其明显的优势，已经成为计算机视觉中一个重要的研究领域。视频检测系统应用的技术涵盖了人工智能、模糊数学、神经网络，粒子滤波等领域的最新成果，日益达到实用性的要求，近年来在智能交通系统中得到了越来越广泛的应用。

虽然视频检测器有着诸多优点，但仍然存在许多需要解决的问题：首先是视频检测器的检测精度是随着光照情况的变化而变化的，当光照良好时如正午时检测精度最好，反之如傍晚、雨雪天气则较差；其次是阴影问题，阴影是造成视频检测算法误检测的主要原因。阴影通常有三种：车辆自身的运动阴影、道路场景中的静态阴影、缓慢移动的阴影如浮云造成的阴影；再次是车辆在道路场景中的相互遮挡，也是必须考虑的问题。

此外，目前难点还集中在车辆的分割上。在算法设计方面考虑设置多种辅助检测区域，进行多种分析计算。在硬件上须采用更高速的处理芯片来满足高级算法的需求。未来这一领域的发展应主要围绕上述问题的解决而展开。将来的视频检测与跟踪从一定的范围来说会朝着更智能化、傻瓜化、和大区域检测发展，同时大范围、多车辆检测与跟踪也将是现代交通未来研究的热点。

参考文献

[1]MARGRIT BETKE,ESIN HARITAOGLU, LARRY S DAVIS. Multiple Vehicle Detection and Tracking in Hard Real-Time,[J].IEEE,1996,(9):351～356.

[2]JUNG SOH, BYUNG TAE CHUN, MIN WANG. Analysis of Road Image Sequences for Vehicle Counting,[J].IEEE International Conferenceon,1995,(1):679～683.

[3]刘东.ITS中的车辆检测技术[D]北京:公安大学学报(自然科学版),2000,20(4):35～39.

[4]彭仁明,贺春林.基于视频的车流量检测[D].南充:西华师范大学学报.2004,25(4):404～409。

[5]TOMIZUKAM.An Intelligent Transportation System for the Next Century[J].IEEE International Symposium on Industrial Electronics,1997(1):1-4.

[6]贺国光．再谈ITS的几个基本理论问题[J]．交通运输系统工程与信息，2004(2):17-24.

[7]JI Xiaopeng,WEI Zhiqiang.Effective Vehicle Detection Technique for Traffic Surveillance Systems[J].Journal of Visual Communication and Image Representation,2006(17):647-658.

[8] 智能交通系统．国家智能交通系统工程技术研究中心网站[EB/OL].https://www.360docs.net/doc/639157335.html,/05zhishi/zhinengys/t20051030_28392.htm.

[9]朱茵，陆化普.2004中国智能交通发展趋势[J]．综合运输,2004(2):10-15.

[10]WANG Y K,CHEN S H.Robust Vehicle Detection Approach[C]//Proc IEEE Conference on Advanced Video and Signal Based Surveillance Como.Piscataway:IEEE,2005:117-122.

[11]COLLINS R T，LIPTON A J，KANADE T．A system for video SUrveillanceand monitoring[R]．Pittsburgh，USA：Carnegie Mellon U—iversity，2000．

[12]潘薇，游志胜，王宁．基于模糊聚类和卡尔曼滤波的运动目标检测[J]．计算机应用，2005，25(1)：123—124．

[13]陈朝阳，张桂林．基于图像对称差分运算的运动小目标检测方法[J]．华中理工大学学报，1998，26(9)：34—35．

[14]肖旺新，张雪，黄卫．交通视频图像的多尺度自适应阈值边缘检测[J]．土木工程学报，2003，36(7)：89—94．

[15]SETCHELL C,DAGLESS E L.Vision-based Road-Traffic Monitoring Sensor[J].IEEE Vision Image and Signal Processing,2001,148(1):78-84.

[16]MAGEE D.Tracking Multiple Vehicles Using Foreground Background and Motion Models[J].Image and Vision Computing,2004,22(2):143-155.

[17]SETCHELL C.Applications of Computer Vision to Road Traffic Monitoring[D].Bristol:Department of Computer Science,University of Bristol,1997.

[18]BETSER A,VELAP,TANNENBAUM A.Automatic tracking of flying vehicles using geodesic snacks and Kalman filtering[C]//43rd IEEE Conference on Decision and Control.Piscataway:IEEE,2004,2:1649-1654.

[19]CHEN Shuching,SGYU Meiling,ZHANGCheng CUI.An Intelligent Framework Spatio-temporal vehicle Tracking[C]//Intelligent Transpotation Systems Conference Procedings.Piscataway:IEEE,2001:213-218.

[20] 郁梅,蒋刚毅. 智能交通系统中的计算机视觉技术应用[ J ]. 计算机工程及应用, 2001, 37 (10): 101-103.