2015-10-26行人检测相关综述

合集下载

行人检测综述报告[推荐]

行人检测综述报告[推荐]第一篇：行人检测综述报告[推荐]基于深度神经网络的行人检测综述摘要：行人检测是汽车自动驾驶的基础技术之一。

基于深度神经网络模型的行人检测方法取得的效果已经远超于使用传统特征经行识别得到的效果。

仿生物视觉系统的卷积神经网络作为深度学习的重要组成、在图像、语音等领域得到了成功应用。

其局部感受野、权值共享和降采样三个特点使之成为智能机器视觉领域的研究热点。

通过增加网络层数所构造的深层神经网络使机器能够获得抽象概念能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。

本文回顾了神经网络的发展历程，综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。

关键词：行人检测；卷积神经网络；深度学习Survey of Pedestrian detection based on Deep Neural Network Yin Guangchuan，Zhangshuai，Qi Shuaihui Abstract：Pedestrian detection is one of the basic technologies of unmanned vehicles. The pedestrian detection method based on the deep neural network model has achieved much more effect than the traditional one. Convolutional neural network which imitates the biological vision system has made great success on image and audio, which is the important component of deep learning. Local receptive field, sharing weights and down sampling are three important characteristics of CNN which lead it to be the hotspot in the field of intelligent machine vision．With the increasing number of layers, deep neural network entitles machines the capability to capture “abstract concepts” and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper recalls the development of neuralnetwork, summarizes the latest progress and existing problems considering neural network and points out its possible future directions.Keywords: pedestrian detection; convolutional neural network; deep learning国防科技大学课程设计机器视觉1 引言行人兼具刚性和柔性物体的特性，外观易受穿着、尺度、遮挡、姿态和视角等影响，使得行人检测成为计算机视觉的研究难点与热点。

车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述

第33卷第1期自动化学报Vol.33,No.1 2007年1月ACTA AUTOMATICA SINICA January,2007车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述贾慧星1章毓晋1摘要基于计算机视觉的行人检测由于其在车辆辅助驾驶系统中的重要应用价值成为当前计算机视觉和智能车辆领域最为活跃的研究课题之一.其核心是利用安装在运动车辆上的摄像机检测行人，从而估计出潜在的危险以便采取策略保护行人.本文在对这一问题存在的困难进行分析的基础上，对相关文献进行综述.基于视觉的行人检测系统一般包括两个模块：感兴趣区分割和目标识别，本文介绍了这两个模块所采用的一些典型方法，分析了每种方法的原理和优缺点.最后对性能评估和未来的研究方向等一系列关键问题给予了介绍.关键词行人检测，车辆辅助驾驶系统，感兴趣区分割，目标识别中图分类号TP391.41A Survey of Computer Vision Based Pedestrian Detectionfor Driver Assistance SystemsJIA Hui-Xing ZHANG Yu-JinAbstract Computer vision based pedestrian detection has become one of the hottest topics in the domain of computer vision and intelligent vehicle because of its potential applications in driver assistance systems.It aims at detecting pedestrians appearing ahead of the vehicle using a vehicle-mounted camera,so as to assess the danger and take actions to protect pedestrians in case of danger.In this paper,we give detailed analysis of the diﬃculties lying in the problem and review most of the literature.A typical pedestrian detection system includes two modules:regions of interest(ROIs) segmentation and object recognition.This paper introduces the principle of typical methods of the two modules and analyzes their respective pros and cons.Finally,we give detailed analysis of performance evaluation and propose some research directions.Key words Pedestrian detection,driver assistance system,ROIs segmentation,object recognition1引言车辆辅助驾驶系统中基于计算机视觉的行人检测是指利用安装在运动车辆上的摄像机获取车辆前面的视频信息，然后从视频序列中检测出行人的位置.由于它在行人安全方面的巨大应用前景，成为智能车辆、计算机视觉和模式识别领域的前沿研究课题.欧盟从2000年到2005年连续资助了PROTECTOR[1]和SAVE-U[2]项目，开发了两个以计算机视觉为核心的行人检测系统；意大利Parma[3]大学开发的ARGO智能车也包括一个行人检测模块；以色列的MobilEye[4]公司开发了芯收稿日期2006-3-14收修改稿日期2006-6-17Received March14,2006;in revised form June17,2006国家自然科学基金(60573148),教育部高等学校博士学科点专项科研基金(20060003102)资助Supported by National Natural Science Foundation of P.R.China(60573148),Specialized Research Fund for the Doc-toral Program of Higher Education(20060003102)1.清华大学电子工程系北京1000841.Department of Electronic Engineering,Tsinghua University, Beijing100084DOI:10.1360/aas-007-0084片级的行人检测系统；日本本田汽车公司[5]开发了基于红外摄像机的行人检测系统;国外的大学如CMU[6]、MIT[7,8]和国内的西安交通大学[9]、清华大学[10]也在该领域做了许多研究工作.车辆辅助驾驶系统中基于计算机视觉的行人检测属于计算机视觉中人体运动分析的研究范畴，其主要任务是在运动摄像机下快速准确地检测行人.本文主要针对这一特定领域对相关的文献进行综述，重点分析常用方法的原理和优缺点，以期对相关的科技人员起到指导作用.对监控系统和体育运动分析领域中人体检测感兴趣的读者可以参考综述文献[11∼14].行人检测除了具有一般人体检测具有的服饰变化、姿态变化等难点外，由于其特定的应用领域还具有以下难点：摄像机是运动的，这样广泛应用于智能监控领域中检测动态目标的方法便不能直接使用；行人检测面临的是一个开放的环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求；实时性是系统必须满足的要求，这c 2007by Acta Automatica Sinica.All rights reserved.1期车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述85表1感兴趣区分割方法Table1Methods for ROIs segmentation原理优点缺点典型文献基于运动的方法通过检测运动区域进行分割受行人姿态的影响较小检测不到静止行人[15]基于距离的方法通过测量目标到汽车的距离进行分割受行人姿态、颜色和光照的影响较小需要额外的测距设备，增加了系统的造价和复杂性雷达[2]，立体视觉[1,6,16,17]基于图像特征的方法通过分析图像上的一些典型的行人特征进行分割可以对得到的图像数据直接操作很难定义出比较鲁棒且易于检测的特征边缘[3]、熵[18]、纹理[4]、“热点”[5,19]基于摄像机参数的方法通过摄像机的几何关系确定搜索区域可以只对感兴趣的区域处理需要对系统参数进行标定，受车辆振动的影响[3,4,19]就要求采用的图像处理算法不能太复杂.由上面的论述可以知道，系统的鲁棒性和实时性构成了一个矛盾，为了解决这种矛盾，现有的行人检测系统一般包括两个模块：感兴趣区(Regions of Interest,ROIs)分割和目标识别.ROIs分割的目的是从图像中提取可能包含行人的窗口区域作进一步验证，以避免穷尽搜索，提高系统的速度.目标识别是行人检测系统的核心，它对得到的ROIs进行验证，以判断其中是否包含行人，它的性能决定了整个系统可以达到的精度和鲁棒性.本文首先讨论这两个模块可以采用的方法和各种方法的优缺点，最后介绍一些现有的行人检测系统的性能并对未来的发展趋势做出详细的阐述.2ROIs分割根据分割所用的信息，可将ROIs分割的方法分为基于运动、基于距离、基于图像特征和基于摄像机参数四种方法.各种方法的基本原理和优缺点见表1.在实际系统中，各种方法通常结合在一起使用，彼此互补.2.1基于运动的方法基于运动的方法通过检测场景中的运动区域来得到ROIs.由于摄像机是运动的，所以要想应用该方法，必须首先补偿车辆自身的运动.例如Stein[15]等首先利用光流法估计车的运动，补偿车辆的运动后利用时间差分从而得到运动物体.基于运动的方法的优点是不受姿态的影响，比较鲁棒.缺点是只能检测运动的行人.所以目前主要应用在智能监控领域，在车辆辅助驾驶系统中往往只作为一个辅助的手段[4].2.2基于距离的方法基于距离的方法通过测量目标到汽车的距离来得到ROIs.可以用来测距的传感器主要包括雷达[2]和立体视觉[1,6,16,17].当雷达与摄像机结合时，必须要考虑各个传感器间的时间同步和空间同步问题.而立体视觉本身就是图像，便于后期的图像处理算法直接进行处理，所以目前大多数基于视觉的检测系统都采用立体视觉来分割出ROIs.基于距离的方法的优点是比较鲁棒，受光照和行人外貌的影响较小.缺点是需要额外的测距设备，从而增加了系统的造价和复杂度.2.3基于图像特征的方法基于图像特征的方法指通过检测与行人相关的图像特征从而得到ROIs.对于可见光图像来说，常用的特征包括竖直边缘[3]、局部区域的熵[18]和纹理[4]等.对于红外图像来说，主要根据人体尤其是人脸的温度比周围环境温度较高这一特征，通过检测一些“热点”[5,19](Hot spot)来得到ROIs.基于图像特征的方法的优点是直接利用了图像信息，不需要额外的传感器.缺点是由于环境的复杂多变，很难定义出对每种场景都适用的特征.对这种方法的要求是特征检测算法不能太复杂，整个系统的速度不应该低于对所有窗口进行穷尽识别的速度.目前采用这种方法进行分割的算法通常和后面的目标识别算法结合在一起，从而形成了一个单步检测算法.例如Viola[20,21]等设计的级联分类器的前几级就可以视为一个ROIs分割算法，后面的几个分类器被视为识别算法.2.4基于摄像机参数的方法摄像机的安装位置和摄像机参数也是一个很重要的考虑因素.它对行人在图像上出现的位置和每个位置上目标的大小给出了很多限制,合理利用这些限制可以大大地缩小搜索空间[3,4,19].该方法的优点是只需要处理可能发生危险的区域.缺点是需要对摄像机参数进行标定，并且受车辆振动的影响.3目标识别根据利用的信息的不同，目标识别可以分为基于运动的识别和基于形状的识别两种方法[22]，各种方法的优缺点和相关文献可以参考表2.在一个实86学报33卷表2行人目标识别方法Table2Methods for pedestrian recognition基于运动的方法基于形状的方法基于明确人体模型的方法基于模板匹配的方法基于统计分类的方法原理通过分析行人步态(Gait)的周期性来识别行人构造明确的人体参数模型来表示行人通过模板表示行人通过分类器对行人进行识别优点受颜色、光照的影响较小，比较鲁棒具有明确的模型，方便处理姿态和遮挡问题计算方法简单不需要人工设置大量参数、比较鲁棒缺点只能识别运动行人，需要多帧，影响实时性建模和求解比较复杂需要很多模板对付姿态问题，匹配比较耗时间需要大量的训练数据典型文献[18,23∼25][10,19,26∼28][1,3,29∼31]NN[6,32∼34]、SVM[7∼9,36∼39]、Adaboost[4,40,42]际应用系统中，这两种方法通常结合在一起使用[4].3.1基于运动的方法基于运动的识别方法指通过分析人运动时的步态(Gait)特征来识别行人.人体的步态具有特定的周期性，通过分析图像序列的周期性,然后与行人步态的周期性的模式相比较,就可以识别出行人.基于运动的识别的好处是避免了人的纹理和光线变化的影响，缺点是只能识别运动的行人,并且要分析很多帧才能给出判决结果，影响系统的实时性.周期性的检测方法包括傅立叶变换和神经网络两种方法.Cutler和Davis[23]首先计算不同时间间隔图像之间的相关性，然后对得到的相关信号利用短时傅立叶变换进行分析，进而识别出行人.W¨o hler[24]等通过一个自适应时间延迟神经网络(Adaptive time delay neutral network)对图像序列进行分析，从而判断出该序列是否是人体的运动序列.以上两篇文献都是对行人的全身进行分析，由于行走的时候双腿的周期性更加明显，所以还可以通过分析双腿的周期性来识别行人[18,25].3.2基于形状的方法基于形状的识别方法指通过分析目标的灰度、边缘和纹理信息来对目标进行识别.基于形状的方法的优点是可以检测出静止的行人，缺点是容易产生大量的“虚警”(False positives).如表2所示，可将基于形状的行人识别方法分为基于明确人体模型(Explicit human model)的方法、基于模板匹配(Template matching)的方法和基于统计分类(Statistical classiﬁcation)的方法.3.2.1基于明确人体模型的方法基于明确人体模型的方法指根据人体结构的知识，构造一个明确的2D或3D参数模型，通过提取图像的底层特征来求解模型,从而识别行人.这种方法的优点是具有明确的模型，可以处理遮挡问题，并且可以推断出人体的姿态.缺点是模型比较难构建,模型求解也比较复杂.该种方法能否成功依赖于ROIs分割的准确度.Zhao[26]针对正面和侧面人体分别建立了一个2D的平移–旋转–尺度不变的人体概率模型，该模型不但包括人体的整体形状和各个部件的形状，而且包括各个部件的大小和空间位置等信息，这些信息为算法的求解提供了限制条件，可以根据这个模型推断出被遮挡或者漏掉的部分.采用2D模型的还有Sun[10]和Yasuno[27]等人，Sun等将人体分成头部、躯干和左右腿四个部分，而Yasuno等将人体分为头部和躯干两个部分.相对于2D模型，3D模型在处理姿态、视角变化和遮挡问题上有比较大的优势.在Bertozzi[19,28]等人开发的利用红外图像检测行人的系统中，针对不同的姿态和行人的衣着，建立了一系列3D人体模型来对红外图像中的行人进行识别.3.2.2基于模板匹配的方法基于模板匹配的方法通过存储一些灰度或者轮廓模板来表示行人，识别的时候只需要度量模板与输入窗口的距离就可以识别行人.基于模板匹配的算法的优点是计算简单，缺点是由于行人姿态的复杂性，很难构造出足够的模板以处理不同的姿态.基于模板匹配的最典型的算法是由Gavrila[29]提出的基于轮廓的分层匹配算法，该算法已经应用于PROTECTOR[1]项目.为了解决行人姿态的问题，Gavrila构造了将近2500个轮廓模板对行人进行匹配,从而识别出行人.为了解决众多模板引起的速度下降问题，Gavrila采用了由粗到细的分层搜索策略以加快搜索速度.匹配的时候通过计算模板与待检测窗口的距离变换(Distance transform,DT)图像之间的Chamfer[30]距离来度量两者之间的距离.采用DT图像而不是原始图像计算距离的好处是，得到的距离测度是模板变换参数的平滑函数，方便了快速搜索.基于轮廓的Chamfer距离的识别方法还被成功地应用于[31].除了对人的全身通过模板匹1期车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述87配进行识别外，对于人体的局部部件同样也可以采用模板匹配的方法进行识别.例如，Broggi[3]等人利用不同大小的二值图像模板来对人头和肩部进行建模，通过将输入图像的边缘图像与该二值模板进行比较从而识别行人，该方法被用到意大利Parma 大学开发的ARGO智能车中.3.2.3基于统计分类的方法基于统计分类的方法通过机器学习从一系列训练数据中学习得到一个分类器，用该分类器来表示行人，然后利用该分类器对输入窗口进行识别.基于统计分类的方法的优点是比较鲁棒，缺点是需要很多训练数据，并且很难解决姿态和遮挡的问题.基于统计模型的方法主要包括两个步骤：特征提取和分类器设计.特征提取的目的是降低数据的维数，得到能反映模式本质属性的特征，方便后面的分类；分类器设计属于机器学习领域的范畴，其目的是得到一个计算复杂度较低，并且推广性较好的分类器.针对行人识别问题，可根据分类器的设计方法将现有的基于统计分类的方法分为基于神经网络(NN)的方法，基于支持向量机(SVM)的方法和基于Adaboost的方法.神经网络通过学习的方法将模式的特征隐含在一系列的网络参数之中，可以描述极为复杂的模式，已经成功地应用在模式识别领域中的光栅字符识别和人脸检测上，它在行人的检测上也有广泛的应用[6,32∼34].Zhao[6]采用图像梯度的幅值作为特征，采用三层的前馈神经网络作为分类器来识别行人，采用梯度而不是原始灰度图象或者二值图像的原因是为了消除光照的影响，同时避免二值化时阈值的选择问题.Szarvas[33]利用卷积神经网络(Convolutional neutral network,CNN)来识别行人，CNN直接利用原始图像灰度值作为输入，将特征的提取过程作为隐含节点包含在网络的结构中，通过学习算法自动选取最佳的分类特征.Franke[34]等人直接利用原始图像灰度作为神经网络的输入特征.SVM是Vapnik[35]提出的基于结构风险最小化原理(Structural risk minimization principle, SRM)的统计学习理论，比基于经验风险最小化(Empirical risk minimization principle,ERM)的神经网络方法具有更好的泛化能力.最早提出利用SVM进行行人检测的是Oren[7]等人，Oren利用Haar小波特征，结合SVM算法构造了一个静态图片上的行人检测系统.该检测算法首先将原始图像灰度空间转换到过完备(Over-complete)的Haar小波系数空间，相对于原始灰度特征空间，Haar小波系数空间可以更有效地表征行人，从而为利用SVM 分类器进行分类打下良好的基础.基于Haar小波特征和SVM分类的行人识别方法引起了广大学者的兴趣，出现了许多改进的算法[8,36,37].Mohan[8]等人提出了基于部件(Component-based)的识别策略来解决人体的姿态问题.Grubb[36]设计了两个SVM分类器，一个针对正面和背面图像，另外一个针对侧面图像，然后将这两个分类器的判决结果进行融合.Oren的方法同样可以直接应用到红外图像里行人的识别上[37].对于红外图像，由于人体和背景的灰度差别比较明显，图像灰度值也可以直接作为SVM算法的输入[5,16].除此之外，形状描述符特征[38]、Gabor[9]特征、梯度方向的直方图特征[39]与SVM的结合也广泛地应用于现有的行人检测系统中.Adaboost是一种分类器组合的策略，它的目的是将一些弱分类器组合成一个强分类器.Adaboost 得到的分类器具有较好的推广性能，现在广泛地应用于模式识别和计算机视觉领域.最早将Adaboost 应用到计算机视觉领域的是Viola等人，利用矩形特征、Adaboost算法和级联分类器成功地实现了第一个实时人脸检测系统[20].近几年的人脸检测算法几乎都是这一检测方法的改进.Viola同样将该方法应用到了监控系统中行人的检测上[21]，该方法同时利用两帧的信息，利用一系列矩形模板提取外貌和运动信息，从而实现了监控系统中的低分辨率的行人的检测.Abramson[40]将Viola的方法直接应用到了汽车辅助系统中的行人识别上.除了方便快速计算的矩形特征外，SIFT[41](Scale invariant feature transform)特征由于其尺度不变的良好特性，它与Adaboost的结合也越来越受到学者的重视.Shashua[4]等给出了车辆辅助驾驶系统中的一个系统的行人检测方案，它将识别阶段分成两个部分，在单帧识别阶段利用Adaboost训练得到的分类器对行人进行识别，在多帧识别阶段通过分析行人的运动信息来进行综合的判决.在使用Adaboost 训练分类器时,利用了类似SIFT特征的梯度方向的直方图特征，为了解决行人的姿态问题，该方法根据姿态的不同,手工地将训练集分成了不同的子集，从而大大降低了类内的变化.基于Adaboost的检测方法同样可以结合分块检测策略以降低类内变化，Mikolajczyk[42]等人将人体分成七个部分，针对每一个部件利用类SIFT特征和Adaboost建立起一个检测器，然后将检测结果利用概率图模型进行融合从而识别站立的行人.4现有的系统和性能4.1评价方法基于计算机视觉的行人检测的最难的问题是不88学报33卷表3典型行人检测系统的实验结果Table3Experiments results of typical existing pedestrian detection systems作者ROIs分割目标识别实验结果Broggi[3]利用摄像机参数和竖直边缘的对称性利用人头的模板匹配仅仅给出了几张图片作例子，无详细测试结果Gavrila[29]无分层模板匹配和RBF分类器基于检测的评价方法：用900张彼此无遮挡的图片做测试，正确检测率为45%∼75%,虚警率不详Zhao[6]立体视觉利用梯度图像的神经网络分类器基于分类的评价方法：用8400个窗口作评价，正确率为85.2%,虚警率为3.1%Shashua[4]利用纹理特征基于SIFT特征的Adaboost分类器对于向马路内运动的行人的检测率为96%,在5个小时的驾驶过程中只出现一个虚警.Oren[7]无基于Haar特征的SVM基于分类的评价方法：检测率为69.6%,虚警率为1:15000Mohan[8]无基于Haar特征的SVM，将行人分块基于分类的评价方法：检测率为90%，虚警率为1:10000同的算法的性能评价，由于评价数据和评价方法的不同，很难比较出不同算法的优劣.目前文献中的评价方法主要分为两类，基于分类器的评价和基于检测的评价.基于分类器的评价针对“目标识别”这一步骤中采用的分类器的性能进行评价，正面测试样本是一系列和训练样本同样大小的包含行人的窗口，正确率一般用正确分类的窗口数量和总的窗口数量的比值来表示；负面测试样本是一系列不包含行人的窗口，虚警率用错误分类的窗口数量和总的窗口数量的比值来表示.基于分类器的评价方法的优点是简单、直接.缺点是这不是针对行人检测问题本身的评价，很难评价出一个行人检测系统的整体性能.基于检测的评价是对行人检测问题本身的评价.测试数据一般是一个图片集或者视频序列，人工对行人在图像或视频中的位置进行标注.评价时将检测到的行人的位置和标注的位置进行比较，如果误差小于一个阈值，则判决为正确的检测结果，否则视为一个虚警.正确率被定义为正确检测到的目标个数和手工标注的目标个数的比值；虚警率被定义为一个数据集上出现的总的虚警的个数或者平均出现一个虚警个数的帧数.该评价方法的优点是是对检测问题本身的评价，直接评价了ROIs分割和目标识别两者结合在一起的性能；缺点是由于手工标注的主观性和判决正确检测结果阈值设置的不同，使得很难比较各个系统的优劣.以上评价的方法仅仅是从模式识别的角度进行的评价，如果从行人检测的目的即防撞报警的角度出发，性能的评价更加复杂.例如，针对不同的行人对安全的影响，Shashua[4]等人将行人分为横穿马路的行人、静止的行人和沿着马路走的行人，针对这三种情况分别给出检测结果.Gavrila[1]在PROTECTOR项目的最终测试中为建立一个系统级的测试评价方法作出了尝试.除了评价方法的不同外，各种算法用来做测试的数据集也不完全相同，使得算法的评价十分困难，建立一个公共的训练和测试数据库是该领域必须解决的一个问题.4.2典型系统的性能虽然行人检测的文献很多，但给出详细实验结果的并不太多，并且彼此采用的数据集和评价方法的差别很大，使得很难进行公平的比较.但为了对目前的系统的性能有一个直观的认识，表3给出了一些典型系统的实验结果和所采用的方法.其中的大部分结果仅仅还停留在PC上的仿真阶段，已经在汽车上做过测试的主要包括Broggi[3]等人的基于竖直边缘和简单人头模板验证的系统，Gavrila[29]等人的基于分层模板匹配的系统，Zhao[6]等人的基于神经网络的系统和Shashua[4]等人的基于Adaboost 的系统.5总结与展望本文介绍了车辆辅助驾驶系统中基于计算机视觉的行人检测研究的最新进展.在分析基于计算机视觉的行人检测难点的基础上，介绍了行人检测系统的组成和常用方法.基于计算机视觉的行人检测系统一般包括ROIs分割和目标识别两个模块. ROIs分割的目的是快速确定行人可能出现的区域，缩小搜索空间，目前常用的方法是采用立体摄像机或雷达的基于距离的方法，其优点在于速度比较快、比较鲁棒.目标识别的目的是在ROIs中精确检测行人的位置，目前常用的方法是基于统计分类的形状识别方法，其优点在于比较鲁棒.目前这一领域的最大问题是缺乏标准的测试数据库和测试方法.随着技术的进展，我们认为以下几个方面将有望成为未来的研究热点：1)数据库和测试方法的标准化目前，行人检测的最大的问题是没有一个统一。

行人检测专利技术综述

行人检测专利技术综述摘要近年来，伴随着计算机视觉、模式识别和人工智能等相关技术的发展，以及智能汽车、智能监控和安全领域的迫切需求，行人检测技术受到了越来越多的关注，已成为当前研究人员关注的一个重要的研究方向。

本文从行人检测的全球专利申请量、全球主要申请人分布、在中国提交申请量、中国主要申请人分布等角度进行了分析和研究，梳理了行人检测技术的研究现状及发展趋势。

关键词行人检测；行人检测应用1 全球专利申请分析1.1 全球专利申请量分析自2000年起，行人检测技术在全球的申请趋势按照申请量可分为三个阶段：技术启蒙期、稳健增长期、快速增長与技术产品化期，下面将具体给出三个阶段的数据分析。

技术启蒙期（2000-2004年）：2000年至2004年行人检测技术刚刚启蒙，申请量较少，这期间年均增长大约维持在20件左右。

由于此期间计算机视觉技术发展也刚刚起步，行人检测技术还处于理论研究阶段，其涉猎的应用领域还很少。

这期间主要的申请人还局限于汽车领域的领头企业，例如尼桑、瑞典奥拓立夫、本田等公司。

此阶段行人检测技术，还较为落后其检测还主要是基于对物体的检测结合物体行进速度对行人进行检测，检测准确率低。

稳健增长期（2005-2012年）：2005年至2012年，信息技术迅猛发展，计算机视觉也得到了飞速发展。

此阶段由于与行人检测相关的技术智能汽车、智能监控和安全领域也得到了相关企业重视。

行人检测技术申请量增长率有抬头趋势，在此期间年申请量50-80件左右，其主要涉猎的领域也较一阶段也涉及更多的应用领域，例如，一些新兴的企业单位也申请了相关专利申请。

且此阶段，行人检测技术采用的技术也有所改进，行人检测的准确率有了一定的提升[1]。

快速增长与技术产品化（2013-2016年）：在此期间，计算机视觉、图形图像等相关技术显著提升。

2013-2016年，全球专利年申请量迅猛增至年申请量200件，尤其是在近三年其增占率更是实现了翻倍增长。

行人检测论文：道路行人特征视觉检测方法研究

行人检测论文：道路行人特征视觉检测方法研究【中文摘要】随着人类社会的快速发展,车辆日益增多,道路交通事故频频发生,给人类社会造成了巨大的损失。

因此,如何减少交通事故的发生和降低损失成为了全世界关注的热点。

智能辅助驾驶技术是减少交通事故的发生和降低交通事故损失的有效方法之一。

行人检测是其中的关键技术,它是利用传感器技术、图像处理技术、计算机技术等多种技术融合检测目标区域中是否存在行人。

论文对智能辅助驾驶系统中基于机器视觉技术进行研究。

首先分析了运动模糊图像的退化模型,研究了物体运动模糊图像成像原理,得到用于行人检测的运动模糊图像成像方法,确定了造成运动图像模糊的主要因素,然后对运动模糊图像进行处理,重点研究维纳滤波方法,得到较好的图像恢复效果。

其次,研究了行人的轮廓特征,采用多种方法对行人图像进行边缘检测,得出基于Canny算子的边缘检测方法具有较好图像边缘检测效果,用此边缘检测方法结合灰度形态学进一步进行图像处理,试验结果显示该方法能很好地消除行人轮廓的干扰因素。

最后,详细分析了支持向量机算法,并构造了支持向量机分类器,分别选择纹理特征和不变矩特征作为行人的特征点,从样本图像中提取试验数据,选取部分样本对支持向量机分类器进行训练,然后用训练后的分类器对测试样本进行识别试验。

试验结果表明,这两种特征点都能够对行人进行有效地识别。

论文的图像试验样本采用摄像机的形式模拟车载视觉传感器获取,对采集到的图像进行预处理,建立行人和非行人图像数据库。

【英文摘要】With the rapid development of human society and the increasing vehicles, the road traffic accidents which occurred frequently cause great damages. How to reduce the traffic accidents and the corresponding loss has become a hot topic. The intelligent assisted driving is one effective way to solve the problem. Pedestrian detection is the key technique for intelligent assisted driving. It detects the target area for the presence of pedestrian by the method. It is combining the technology of sensors, image processing, computer, and so on.This paper is study on machine vision of pedestrians detection technology. Firstly, the degradation model of motion-blurred image was analysed. The method of imaging the motion-blurred image for pedestrian detection and the main factors about image blurring were derived. The wiener filter has better image processing effect by the experiments. Secondly, the pedestrian profile was researched. The method of edge detection based on Canny has a good image edge detection effect by the experiments. Then combining with grayscale morphological for image processing. The results show that the method can be used to eliminate the interference factors of pedestrian profile. Finally, support vector machine wasanalysed, and support vector machine classifier was structured. Extracting test data from sample image by the texture featureand invariant moments feature. The test sample was recognizedby the SVM classifier that was trained by the part of sample image. The experimental results show that these two kinds of features of pedestrians could achieve effectively recognitionof the pedestrians.In the experiments, the images were obtainedby using hand-held video camera to replace the vehicle-mounted CCD. The image database of pedestrians and non-pedestrians was established by the collected images that were processed simply.【关键词】行人检测支持向量机机器视觉纹理特征不变矩【英文关键词】pedestrian detection machine vision support vector machine texture feature invariant moments【目录】道路行人特征视觉检测方法研究摘要4-5Abstract5 1 绪论8-19 1.1 课题背景及意义8-9 1.2 行人检测研究现状9-14 1.2.1 基于传感器的方法9-11 1.2.2 基于特征提取的方法11-12 1.2.3基于人体模型的方法12-13 1.2.4 基于统计分类的方法13-14 1.2.5 基于模板匹配的方法14 1.3 存在的问题14-17 1.4 本文的创新点17 1.5 本文的章节安排17-19 2 图像基础知识及预处理19-33 2.1 数字图像基本知识19-21 2.2 图像恢复21-32 2.2.1 图像退化模型21-25 2.2.2 模糊图像成像原理25-28 2.2.3 图像恢复方法28-30 2.2.4 图像恢复试验30-32 2.3 本章小结32-33 3 形态学与图像分割33-46 3.1 灰度形态学33-34 3.1.1 膨胀运算和腐蚀运算33-34 3.1.2 开运算和闭运算34 3.2 图像分割34-41 3.2.1 阈值法35-37 3.2.2 边缘检测法37-41 3.3 行人图像边缘检测试验41-45 3.4 本章小结45-46 4 支持向量机算法46-52 4.1 最优分类超平面46-48 4.2 支持向量机算法48-50 4.3 构造支持向量机分类方法50-51 4.4 本章小结51-52 5 行人识别52-65 5.1 纹理特征52-57 5.1.1 纹理特征提取52-53 5.1.2 试验分析与结论53-57 5.2 不变矩57-64 5.2.1 不变矩提取58-60 5.2.2 试验分析与结论60-64 5.3 本章小结64-65 6 总结和展望65-67 6.1 主要研究成果65 6.2 展望65-67参考文献67-74个人简历、在学期间发表的学术论文与研究成果74-75致谢75。

行人检测介绍

(m 值,n)t h11 和2(m t,hn)2 ，2 2(两m ,n 者) 关系th中1=心0.4像th素2。C与沿着我度arc们值ta把设n12((m m梯为,,nn))0度，值得小到于图th像1的1。像梯素然素度相后的线比把灰的，两若个C的像梯
梯度值小于th2的像素的灰度度值值不设比dTmp1 为0，得到图像2。由于图和像d2T的mp阈2大，则 g值1 较dTm高p1，g 2 去除大部分噪音令，其但灰同度值为0
均值聚类分割效果
HOG特征
输入图像
Gamma 归一化
I(x,y)I(x,y)gamma
对图像对比度进行调节
计算梯度
在每个cell中将梯度投影到梯度方向
将cells在block内归一化
HOG特征是通过计算图像局部区域的梯度方向直方图来构建行人特征
谢谢观赏！
2020/11/5
15
检测结果
合多尺度上
检测结果
行
的
避免多尺度扫描
ROI
感
兴趣区域分割
区域特征提取
分类决策
检测结果
优点：检测速度快缺点：检测效果不如滑动窗口法，容易漏检
图像分割
基于边缘的方法
Prewitt算子 Sobel算子 Canny算子
边缘走向，像素值幅度变化平缓，垂直变化剧烈，所以边缘上像素值一阶导数较大，二阶导数在边缘处值为0，呈现零交叉
行人检测介绍
目录
行人检测方法分类行人检测的系统框架图像分割 HOG特征
行人检测的方法
非机器学习的方法
1.帧差法 2.背景差分法
受场景影响大，检测率低、误报率高

行人检测技术研究综述

ＺＨＡＮＧＣｈｕｎｆｅｎｇ，ＳＯＮＧＪｉａｔａｏ，ＷＡＮＧＷａｎｌｉａｎｇ
（Ｊ．ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄ￣ｃｈｏｌｎｏｇｙ，ＺｈｅｊｉａｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｈａｎｇｚｈｏｕ３１００２３，Ｃｈｉｎａ；
【Ａｂｓｔｒａｃｔｊ％ｄｅｓｔｒｉａｎｄｅｔｅｃｔｉｏｎｉｓａｎａｃｔｉｖｅａｎｄｃｈａｌｌｅｎｇｉｎｇｒｅｓｅａｒｃｈｔｏｐｉｃｉｎｔｈｅｉｆｅｌｄｏｆｃｏｍｐｕｔｅｒｖｉｓｉｏｎ．Ｉｔｈａｓａｌｏｔｏｆｉｍｐｏｒｔａｎｔａｐｐｌｉｃａｔｉｏｎｓｉｎｉｎｔｅｌ —
【摘要】行人检测是计算机视觉领域极具挑战性的研究热点，它在智能交通、机器人开发和视频监控等领域具有重要应用。
从行人检测所采用的特征着手，对现有的行人检测方法进行了分类和评述，分析了各类方法的优缺点，同时，介绍了常用的行人检测数据库的特点，最后分析了行人检测研究中存在的难题并对未来的发展做出展望。
ｌｉｇｅｎｔｔｒｎｓａｏｒｐｔａｔｉｏｎ，ｒｏｂｏｔｄｅｖｅｌｏｐｍｅｎｔ，ｖｉｄｅｏｓｕｒｖｅｉｌｌａｎｃｅａｎｄＳＯｏｎ．Ｍａｎｙｄｉｆｅｒｅｎｔｐｅｄｅｓｔｒｉｎａｄｅｔｅｃｔｉｏｎｍｅｔｈｏｄｓａｒｅｐｒｏｏｓｐｅｄ．Ｔｈｅｔｙｐｉｃｌａｐｅｄｅｓｔｒｉｎａｍｅｔｈｏｄｓａｙｅｃｌｓｓａ￣ｅｄｉｎｔｏｔｈｒｅｅｃａｔｅｇｏｉｅｒｓａｃｃｏｒｄｉｎｇｔｏｔｈｅｉｍａｇｅｆｅａｔｕｒｅｓｕｅｄ．Ｍｅｓｉｔｒｓｎｄａｄｅｍｅｒｉｔｓｏｆｅａｃｈｃｌｓｓａａｒｅｄｉｓｃｕｓｅｄｓｉｎｄｅｔａｉｌ．Ａｔｔｈｅ￣ｑｌ／ｌｅｔｉｍｅ．ｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｓｏｍｅｃｏｍｍｏ￣ｙｕｅｄｓｐｅｄｅｓｔｉａｒｎｄａｔａｓｅｔｓａｒｅｉｎｔｒｏｄｕｃｅｄ．Ｓｏｍｅｐｒｏｂｌｅｍｓｗｉｔｈｔｈｉｓｒｅｓｅａｒｃｈｔｏｐｉｃａｔｅａｎｌｙａｚｅｄ．Ｆｉｎａｌｌｙｔｈｅｔｒｅｎｄｏｆｔｈｉｓｗｏｒｋｉｓｇｉｖｅｎ．

《城市街道场景的行人检测研究》范文

《城市街道场景的行人检测研究》篇一一、引言随着城市化进程的加快，道路交通系统变得越来越复杂，尤其是城市街道上的行人安全问题越来越受到关注。

为了提高行人交通安全和降低交通事故率，行人检测技术应运而生。

本文将重点探讨城市街道场景下行人检测的相关研究。

二、背景及意义城市街道是行人交通的重要组成部分，由于人流密集、环境复杂，因此对于行人的检测与识别具有重要价值。

通过行人检测技术，可以有效提高道路交通安全，降低交通事故率，保护行人的生命安全。

此外，行人检测技术还广泛应用于智能交通系统、智能安防、自动驾驶等领域，具有广泛的应用前景和重要的研究意义。

三、相关研究综述近年来，行人检测技术得到了广泛关注和研究。

早期的研究主要基于传统的计算机视觉方法，如特征提取、模板匹配等。

随着深度学习技术的发展，基于深度学习的行人检测方法逐渐成为研究热点。

目前，许多学者在公开数据集上进行了大量实验，取得了较好的效果。

然而，城市街道场景下的行人检测仍面临诸多挑战，如环境复杂、行人姿态多变、光照条件变化等。

四、研究方法本研究采用基于深度学习的行人检测方法。

首先，收集城市街道场景下的行人图像数据集，并进行标注和预处理。

其次，构建深度学习模型，如卷积神经网络（CNN）等，进行训练和优化。

最后，在测试集上进行测试和评估，得出实验结果。

五、实验过程及结果分析（一）实验过程1. 数据集准备：收集城市街道场景下的行人图像数据集，并进行标注和预处理。

2. 模型构建：构建基于深度学习的行人检测模型，如卷积神经网络等。

3. 模型训练与优化：使用训练集对模型进行训练和优化，调整模型参数。

4. 测试与评估：在测试集上进行测试和评估，得出实验结果。

（二）结果分析通过实验，我们发现在城市街道场景下，基于深度学习的行人检测方法具有较高的准确性和稳定性。

其中，我们的模型在处理行人多姿态、环境复杂等因素时表现出了较强的鲁棒性。

此外，我们还发现，通过优化模型参数和改进训练策略，可以进一步提高模型的性能。

行人跟踪技术综述

行人跟踪技术综述作者：马晓婷来源：《电脑知识与技术》2011年第19期摘要：行人跟踪是当前机器视觉中非刚性运动目标跟踪领域的热点问题，将这一问题分为行人检测和行人跟踪两大部分，并对其进行了详细介绍。

分析了不同的检测和跟踪方法，对行人跟踪中存在的疑难问题进行了总结，最后对行人跟踪问题的研究进行了简单的展望。

关键词：计算机视觉；行人检测；行人跟踪；图像序列；视频监控中图分类号：TP391文献标识码：A文章编号：1009-3044(2011)19-4647-03Pedestrian Tracking Technology OverviewMA Xiao-ting(Computer(Software) College Sichuan University, Sichuan 610064, China)Abstract: Pedestrian tracking is a hot issue of the non-rigid motion target tracking in the current machine vision field, Divides this problem into pedestrian detection and pedestrian tracking, and two parts of this is introduced in detail. This paper analyses different detection and tracking methods. Make a summary of difficult problems exists in pedestrian tracking. Finally, the research on pedestrians tracking problem is prospected briefly.Key words: computer vision; pedestrian detection; pedestrian tracking; image sequence; video monitoring它作为计算机视觉领域的前沿科学，涉及到图像处理、模式识别和人工智能等学科知识，是通过对图像序列或视频监控中的行人目标进行检测、提取、识别和跟踪，获得行人的位置、速度、加速度以及运动轨迹等参数，是实现对行人行为分析及获得更深层次行为理解的重要步骤。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

• KITTI Dataset：The KITTI Vision Benchmark Suite，也是认可度很广泛的汽车驾驶数据集。 • NYU Depth v2.和KITTI • 提到的硬件是：NVidia GTX Tian Black
车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述
• 行人检测在车辆辅助驾驶系统中的重要应用价值 • 两个模块：感兴趣区分割（ROIs）和目标识别 • 难点：
方法
得到ROIs的方式
基于运动
基于距离
基于图像特征ຫໍສະໝຸດ 基于摄像机参数检测场景中的测量目标到汽检测与行人相关的图运动区域车的距离像特征可见光图像-竖直边雷达&立体视缘&局部区域的熵红觉外图像-人脸温度比周围温度高（热点）
设备
摄像机
额外考虑的问题
检测算法不能太复杂， camera运动，各传感器之间整个系统的速度不应所以要补偿车的时间和空间该低于对所有窗口进辆自身的运动同步问题行穷尽识别的速度比较鲁棒，受不受姿态的影只需处理可能发生危险光照和行人外直接利用了图像信息响，比较鲁棒的区域貌的影响较小额外的测距设因环境的复杂多变，需要对摄像机参数进行智能检测运动备，从而增加很难定义出对每种场标定，并且受车辆振动的行人了系统的造价景都是用的特征的影响和复杂度智能监控与后面的目标识别算基于视觉的检法结合=单步检测算测系统
• 行人检测方法：
– 基于形状：基于人体模型（解决遮挡）&基于模板匹配（多姿态） – 基于学习特征：监督学习区分函数分类器| 结构参数（鲁棒性）
• ROIs分割 • 分类器-核心部分
• • • •
深度学习的问题：行人检测方面的深度学习模型未定深度学习本身结构确定问题分类器问题
题目中文行人检测文献研究内容vs待解决问题技术路线详细
题目
• 基于深度学习的交通背景下的行人检测方法研究 • 复杂交通场景中基于深度学习的行人检测研究 • 基于深度学习的车辆前方行人检测算法眼就 • 复杂交通背景下基于深度学习的行人检测 • 智能交通系统中基于深度学习的行人检测方法研究
车载视觉系统中的行人检测技术综述
大体分类与上一篇一样
行人检测技术综述
基于无监督学习的行人检测算法研究
• 解决学习样本未标记的问题
• 数据增强用来生成额外的训练数据而无需对训练样本进行标记 • 无监督卷积稀疏自动编码器获得特征 • 端对端监督训练对分类器进行训练 • 对特征进行微调 • INRIA
优点
缺点
主要应用
• 评价标准
– 基于分类器的评价：
• • • • 正面测试样本-一系列和训练样本同样大小的包含行人的窗口正确率-正确分类的窗口数量和总的窗口数量的比值来表示负面测试样本-一系列不包含行人的窗口虚警率-错误分类的窗口数量与总的窗口数量的比值
– 基于检测的评价
• 测试数据一般是一个图片集或者视频序列，人工对行人图像或视频中的位置进行标注 • 评价时，将检测到的星人的位置和标注的位置进行比较，如果误差小于一个阈值，则判决为正确的检测结果，否则，视为一个虚警 • 正确率-正确检测到的目标个数和手工标注的目标个数的比值 • 虚警率-一个数据集上出现的总的虚警的个数或者平均出现一个虚警个数的帧数
– 服饰变化、姿态变化 – 摄像机是运动的，这样广泛应用于智能监控领域中检测动态目标的方法便不能直接使用 – 鲁棒性：路况、天气和光线变化 – 实时性
• ROIs分割：从图像中提取可能包含行人的窗口区域作进一步验证，以避免穷举搜索，提高系统的速度 • 目标识别：对得到的ROIs进行验证，以判断其中是否包含行人，其性能决定了整个系统可以达到的精度和鲁棒性。 • ROIs分割：基于运动、基于距离、基于图像特征&基于摄像机参数 • 目标识别：基于运动的识别&基于形状
中文文献
• 1/2/6/36/37
背景
数据集： • Caltech：该数据库是目前规模较大的行人数据库，采用车载摄像头拍摄，约10个小时左右，视频的分辨率为640x480，30帧/秒。标注了约 250,000帧（约137分钟），350000个矩形框，2300个行人，另外还对矩形框之间的时间对应关系及其遮挡的情况进行标注。数据集分为 set00~set10，其中set00~set05为训练集，set06~set10为测试集（标注信息尚未公开）。 • 性能评估方法有以下三种：（1）用外部数据进行训练，在 set06~set10进行测试；（2）6-fold交叉验证，选择其中的5个做训练，另外一个做测试，调整参数，最后给出训练集上的性能；（3）用 set00~set05训练，set06~set10做测试。由于测试集的标注信息没有公开，需要提交给Pitor Dollar。结果提交方法为每30帧做一个测试，将结果保存在txt文档中（文件的命名方式为I00029.txt I00059.txt ……），每个txt文件中的每行表示检测到一个行人，格式为 “[left, top,width, height, score]”。如果没有检测到任何行人，则txt文档为空。该数据库还提供了相应的Matlab工具包，包括视频标注信息的读取、画ROC（Receiver Operatingcharacteristic Curve）曲线图和非极大值抑制等工具。