目标检测识别调研总结

1 绪论部分

1.1研究背景与意义

近年来随着我国经济的快速发展，人们生活水平的极大提高，汽车已进入了千家万户，使得交通安全和基础道路设施负载问题日益突显。相比而言由于发达国家更早的遭遇了这一问题，他们已经有运用各种科技手段解决这一问题的思想值得我们借鉴，所以，最近几年国家有关部门开始重视智能交通系统（Intelligent Transportation Systems，ITS）[1]，它是综合运用现场视频采集、视觉处理、人工智能、电子控制等多种技术，构建一个集交通信息采集、交通视频监控和综合管理控制为一体的系统。但影响该系统最关键的因素，便是对交通道路或公共场所的车辆进行智能、准确和实时的检测。

早在20世纪70年代，人们已经开始了对交通环境中车辆流量检测的研究，只是受当时条件的制约，研究的方法和技术手段都比较传统，并未出现大面积推广的应用成果出现。随着往后相关技术的不断创新，在对原有的一些研究成果进行各种改良的基础上，出现了一些比较先进的检测技术，比如传感、红外线、超声波及视频图像等技术，尤其随着计算机技术和图像处理技术的迅速发展，基于视频处理的机器视觉检测器逐渐显现出其巨大的性能优势和应用潜力，并逐渐成为车辆智能检测设备最理想的选择。工业领域内的这种应用需求和技术推广，必然刺激和带动学术领域相关的研究热点。目前学术界已经出现许多优秀的基于视频处理的目标检测算法，比如结构简单并且速度较快的Adaboost算法；模拟人脑神经认知、鲁棒性较强的神经网络算法；检测精度较高、泛化能力较强的支持向量机（SVM）和目前对检测形状复杂多样、变化较大的目标十分有效并被认为性能最好的通用目标检测算法LSVM等。与此同时，这些目标检测算法的推广应用必然需要配套成本较低、便携性强且性能高效的处理器平台和接口资源丰富、开发流程简易的软件框架，所以对软硬件平台的发展提出了更高的要求。

可喜的是，近几年超大规模集成电路技术获得空前发展，嵌入式微控制器（Embedded Micro controller，MMC）相继出现，应运而生的嵌入式系统平台（Embedded System Platform，ESP），使得一些原先停留在理论研究层面的目标检测算法可以离开传统PC机，而高效的运行在嵌入式系统平台上。更值得一提的是，一些基于数字视频处理的软件结构和多核处理器平台的推出，为一些携带算法的嵌入式系统的设计和研究提供了快速、便捷的解决方案，也使一些经典目标检测算法的高实时性、功能多样性的实现很快变成现实。例如，2005年由TI公司推出的应用于数字视频领域的达芬奇技术，以多处理器硬件结构和开放软件结构为基础，包含有四个基本组成，即芯片、软件、开发套件和第三方支持，这就为开发嵌入式数字视频应用产品提供了一套快速、

简易的方法。

综上所述，同时具备了经典的目标检测算法和性能优越的软硬件平台，往后的研究重点将致力于怎样将这些优秀的检测算法移植于先进的嵌入式平台上，设计并优化具有较高使用价值的目标检测嵌入式系统。这样，在现代智能交通系统的构建中，只要在广泛布控在各个交通要道上的传统摄像头上嵌入这种嵌入式系统，并辅助一些应用成熟的外围设备，便能对需要的道路信息进行快速准确的提取，从而节省大量的人力成本和视频存储成本。同时对其中携带的算法模块进行扩充便能方便的实现应用拓展，比如实现多道同时检测、车辆流量统计、车型车速检测等，还可以对交通事故、堵车、逆行等违章事件进行有效信息标记存储，为事后提供准确证据留下关键的影像资料。

因此，本文选择目前世界上最好的通用目标检测算法LSVM，利用TI的达芬奇技术并采用双核嵌入式处理器DM6446，设计一款基于视频处理的车辆检测嵌入式系统，一方面作为智能交通系统最重要的一部分，该系统的研究和实现对智能交通管理具有重要的现实意义和应用价值；另一方面，所论述的基于视频处理的车辆检测嵌入式系统的设计思路与实现的方法，也可供其它基于视频的安防、行人检测等智能监控系统设计与实现借鉴。

1.2国内外研究现状

1.2.1目标检测算法

在车辆检测的应用领域，目前使用较广的有地感线圈车辆检测法、基于波频的检测法和基于视频处理的检测法三大类。地感线圈检测法[2]即利用电磁感应的原理，在交通道路上架设通电线圈，当有车辆通过时引起线圈的磁通量变化，由电磁感应原理，线圈中电感量的变化便可用于检测通过线圈的车辆运行状态。基于波频的检测方法即使用特定装置向运行中的车辆发出微波[3]、红外线[4]或超声波[5]，再由特定装置接收返回的感应信息来检测和识别车辆。此方法相比较地感线圈检测法，其对环境的抗干扰能力较强，架设方便但准确率稍差，在我国东北和广东的一些城市应用较为广泛。基于视频处理的车辆检测方法[6-7]则是将摄像头捕获的现场视频经过算法处理而进行的一种实时检测[8]。并且对算法进行扩展后可进行车辆跟踪[9]。由于算法的模块可以集成在摄像头内部，所以该方法不论是安装、维护的成本还是功能扩展、使用灵活性等方面都优于前两种方法，所以目前基于视频的车辆检测方法已成学术界和应用工程领域的研究热点。

早在1978年，美国加州Jet Propulsion实验室开创性的使用视频技术对车辆的运行状态进行检测并追踪，取得了良好的效果。相比较更早的一些传统检测技术，它是第一次将基于计算机视觉的视频检测技术应用在车辆检测中[10]。随后几年，美国明尼苏达大学研制了第一个可以投入实际使用的基于视觉技术的车辆检测系统[11]，并且使用了当时世界上最为先进的微处理器，在一些应用场合取得不错的测试结果。此后，欧

美其它国家及日本等国跟进，也相继出现一些交通视频监控系统[12-14]。90年代初，基于视频处理的车辆检测技术已取得较大发展。美国加州大学伯克莱分校的D.Kloller和他的研究小组于1994年在前人研究的基础上，应用帧差法对视频图像进行处理，分割出运动车辆，并用卡尔曼滤波对背景进行更新，这种方法成功实现了在同一时刻可进行“多车辆”检测并跟踪[15]。文献[16-17]提出了一种基于视频实时检测交通状况的新方法，通过设置虚拟摄像机的方法在摄像头获取的现场实时图像中监视“控制传感器”的状态，从而检测车辆数量、速度和形状等。目前，更为先进的一种检测方法是用二值化的离散小波选取存在运动车辆和其阴影的区域，再采用一种自动粒子滤波器去检测和识别车辆中心位置并进行车辆跟踪[18]。

将车辆作为一种待检测的目标，则其检测技术也是基于视频的目标检测技术的一部分，尤其随着各个研究领域互相交叉和渗透，将经典的通用目标检测算法用于车辆检测也能实现极好的检测效果。基于视频处理的目标检测技术，即在每一帧图像里把目标（如车辆，行人等）和背景进行分离，并输出所需物理量的过程。目前的目标检测方法主要有背景差分法、帧差法、光流法、基于模板的方法和基于统计学习的方法。其中前三种方法主要用于运动目标的检测，后两种则同样适用于静止目标。

背景差分法目前应用较为广泛，也出现了不少研究成果。它是对视频中相对静止的场景进行背景建模，然后做图像与背景模型之差从而检测出运动目标[19-21]。实际中因为背景的复杂性，“静止背景”往往受周围光线、气象、环境的影响和摄像设备而相对移动，所以该方法的关键在于对静态背景模型的建立。目前，建立模型较好的方法是基于统计学习的模型建立，如单一高斯模型[22-23]、混合高斯模型[24]。总体而言该方法比较简单，对实际场景的的变化也比较敏感，所以环境的适应能力不是很强。

帧差法的原理更为简单，即利用视频中相邻帧之间对应位置上像素点的像素差值，与设定的阈值相比较来检测运动目标并记录位置信息[25-27]。相比背景差法，它对环境的适应能力较强，尤其对光照变化不是很敏感，但同样由于光线、摄像头运动等原因引起的背景变化，该方法错检较多，并且提取的运动目标轮廓与其实际的速度关系较大。

光流法[28]认为一副图像中灰度分布会随着其中的目标或背景的运动而变化，并且图像中各像素相对静止时光流矢量的变化是连续的。据此可利用视频的每帧图像中随时间变化的光流场信息对运动目标和其位置信息进行检测。同样，可以根据光流信息对运动目标进行分割[28]。但该方法需要对图像中所有像素进行运算，所以运算量大、实时性较差。

模板匹配方法则是利用对象形状或轮廓来建立模板，然后通过模板与视频图像之间的特征匹配来实现目标检测[29-30]。该方法同样需要对图像中所有像素进行计算，所以运算量同样巨大。该方法的关键在于模板建立和模板匹配的过程，模板匹配可分为固定模板匹配[31]和可变形模板匹配[32-34]，前者适用于摄像机视角变化时目标形状不改变的场景环境，后者适合于对象产生刚体或非刚体形变的一些情况。

以上所述，由于目标形状的千差万别加上所处环境的千变万化，运用以上常规的基于图像处理的目标检测方法都有各自的优缺点，检测效果都不是很理想。为此，学者们很早就开始尝试基于统计学习的目标检测方法，该类方法通过计算机基于图像数据结构构建概率统计模型并运用此模型对检测的图像进行预测和分析[35]。早在1995年，Freund和Schapire[36]就提出一种构建强分类器的AdaBoost算法，它是在分类学习中，通过反复修改训练数据的权值分布，构建一系列基本分类器（弱分类器），然后将其线性组合成一个强分类器，它因为简单和有效得到广泛应用。而后几年在此基础上，Schapire和singer[37]又将它扩展到多类分类的问题并达到良好效果。通用目标检测的另一种算法便是支持向量机（support vector machine，SVM）[38]，其基本模型是定义在特征空间上的间隔最大的线性分类器。随后Boser、Guyon和Vapnik[39]引入核技巧提出了非线性支持向量机。由于它支持“硬间隔”分类，且具有很高的泛化能力，成为目标检测领域最常用的分类器之一。随着基于图像的各类特征提取的发明，对检测器的性能提升起到了很大作用。在尺度不变性变换（Scale Invariant Feature Transforma，SIFT）[40]的基础上，Dalal和Triggs[41]首次将梯度方向直方图（Histogram of Oriented Gradients，HOG）特征用于目标检测，取得了很大成功。到21世纪，Mohan[42]等人在训练行人检测器时，尝试性的用监督式学习方法对人的头、胳膊和腿等分别训练了检测器，然后将各检测器的输出使用简单的几何模型进行了组合，结果发现检测性能提升不小。Lin 和Davis[43]初次使用基于行人的部件模型，即对人体的各个部件提取HOG特征并分别训练分类器，这便是LSVM的雏形；到2010年，Felzenszwalb[44]等人提出将部件的位置作为隐变量、并分别训练部件的方法即经典LSVM算法，它是到目前为止最好的通用目标检测算法。

国内这方面的研究相对起步较晚，但近年来对智能视频监控技术的研究也越来越重视，取得了一些研究和应用的成果。2002年5月在北京举行第一届全国智能视频监控学术会议，来自不同单位的专家学者就视频监控领域中运动目标的检测、识别和跟踪等技术进行了广泛而深入的探讨。随后，中科院自动化所模式识别国家重点实验室对人的运动监控、视觉监控中的目标识别的研究取得一些成果[45-46]。目前，我国已经有较多的科研院所和高校参与这方面的研究，如中科院、公安部第三研究所、清华大学、北京航天航空大学、北京理工大学、上海交通大学和西安电子科技大学等。

与此同时，国内的一些公司也相继推出一些用于车辆智能检测的产品，比如海康威视推出的交通行业系列产品，如iVMS-8600智能交通综合管控平台，已经实现了交通事件监测、通行车辆记录、交通流量统计等功能与应用；浙江大华技术的DH-ITC 系列智能高清摄像头在国内也有较大影响力；北京博睿视科技的交通智能防卫系统；苏州华亿安防的智能车流统计设备Trigger NG、Behavior Watch；不限于车辆检测的其他职能视频监控产品，有北京智安邦科技的消防、安防智能视频监控系列产品，深圳宏电技术的iScan视频监控管理平台，另外中兴智能、宝康科技、华三通信等公司也在目标监控这一领域投入较多的研究。但总体而言我国的这些产品与国外的相比还差距

较大，因此，积极开展我国相关技术和应用产品的研究对于构建和完善国内的智能交通系统具有十分重要的意义。

1.2.2搭载的系统硬件平台

传统的图像处理平台基本都能搭载车辆检测算法，用于图像处理的硬件平台的发展主要分三个阶段[47]：

20世纪60年代至80年代，美国和英国的一些公司将一些运算部件集成到一个机箱中，从而诞生最早的机箱式图像处理系统，但这种结构的典型特点是功能单一、体积较大、价格昂贵。我国早期由清华大学研制的图像采集系统和图像计算机，也是这种结构。

20世纪80年代至90年代，随着集成电路技术和一些总线协议的发展，机箱式的视频处理系统逐渐更新为插卡结构，将其插入计算机就构成了性能相对强大的图像处理系统，我国的第二代视频处理系统也采用了图像采集板卡和计算机平台相结合的方法。这种结构由于板卡小、携带比较方便，所以具备了一定的移植性，但还是没法脱离计算机独立工作。

21世纪后，随着大规模集成电路的发展和总线协议的进一步成熟，相继出现了DSP、FPGA、ARM和AISC等一些嵌入式芯片，外加一些辅助电路便设计出功能多样的嵌入式硬件平台，这样，原先只能借助计算机完成处理的图像/视频处理系统，成功移植于这些嵌入式的硬件平台，在成本、价格、运算速度和便捷性方面的超越可想而知。我国在90年代末也出现了DSP的产品[48]。

嵌入式处理器中，通用微处理器主要有AMD、ATMEL、Intel（英特尔）、Freeseale （飞思卡尔）、Nee、Philip（飞利浦）、SAMSUNG（三星）、Tl（德州仪器）等公司的各种产品[49]。尤其近几年来，嵌入式处理器开始向多核方向发展，更是丰富了嵌入式开发的硬件平台需求，如飞思卡尔的LMX系列ARM核内嵌有MPEG编解码芯片；ATMEL的DIOSPIS系列处理器内核采用DSP与ARM双核架构；ADI的一些产品处理器内核采用FPGA与DSP的双核架构；但在视频处理领域，使用最为广泛、开发资料最为丰富的就是TI公司推出的达芬奇系列。

2005年，TI公司推出了应用于数字视频领域的一种内涵丰富的综合体，即达芬奇技术，它以多处理器硬件结构（ARM+DSP）和开放软件结构为基础，包含有针对数字视频优化的基于DSP的系统解决方案和四个基本组成（芯片、软件、开发工具套件和支持）。达芬奇芯片是一款具有双核硬件结构（ARM+DSP）的单片系统，集成有TI高性能核心DSP、ARM9处理器、视频前端处理器、视频加速器和丰富的外围设备，并且该技术建立在已有的嵌入式操作系统（例如linux）的驱动程序之上，开发者从此可以离开底层细节问题直接调用相关API进行复杂的开发。在软件方面，在视频处理领域，达芬奇处理器支持多种嵌入式OS如WinCE、Linux等，并且支持H.264、MPEG4/2和JPEG等多种编解码器，可以利用其多媒体框架结构对开发的数字视频软件系统快速集成；同时TI提供了健全的达芬奇开发套件，例如相关的文档、数据手册、开发软件

包和评估板，使得对于达芬奇开发具有非常大的便捷性。另外达芬奇技术由于其优越的性能和便捷的开发方法而广泛获得第三方软硬件厂家的支持，依靠这种支持，其新产品也得以快速的推广[50]。

综上，达芬奇技术最具优势的技术方案便是将ARM与DSP优点结合起来，使之在视频处理领域发挥了各自巨大的优势，充分利用ARM在工业控制方面优势以及DSP 良好的数据处理能力，使ARM控制和管理所有的外设，而使DSP主要进行算法加速。这样通过平台资源的高效利用实现算法的高速运行，即能更好地满足实时性要求。