基于图像处理的人群行为识别方法综述_高玄

基于图像处理的人群行为识别方法综述_高玄
基于图像处理的人群行为识别方法综述_高玄

总第322期

2016年第8期

计算机与数字工程

Computer &Digital Engineering

Vol.44No.8

1557

 

基于图像处理的人群行为识别方法综述*

高 玄1 刘勇奎2 汪大峰1

(1.北方民族大学计算机科学与工程学院 银川 750021)(2.大连民族学院计算机科学与工程学院 大连 116600)

摘 要 基于图像处理的人体行为识别是计算机视觉中一个活跃的研究领域,目前大部分研究者主要针对个人行为识别展开研究。对人群的行为识别研究相对较少而人群行为识别在智能监控、虚拟现实、公共安全等方面有着广泛的应用前景。例如,恐怖活动、可疑事件、群体性暴力事件的实时监控等。人体行为识别对包含人的图像序列进行检测、跟踪、目标分类、异常检测以及对人的行为理解与识别。论文通过从一般的单人行为识别出发,介绍了人群识别方面近年来研究发展状况以及当前该研究方向亟待解决的问题,并展望了未来可能的发展方向。

关键词 图像处理;行为识别;智能监控;人群

中图分类号 TP393 DOI:10.3969/j.issn.1672-9722.2016.08.034

Surveyon GroupBehavior Recognition Method

Based on Image Processing

GAO Xuan1 LIU Yongkui 2 WANG Dafeng1

(1.College of Computer Science and Engineering,Northern University for Nationalities,Yinchuan 750021)(2.College of Computer Science and Engineering,Dalian Nationalities University,Dalian 116600)

Abstract Recognition of human action using image-based processing is an active research area in computer vision.Atpresent most of the researchers mainly study the recognition of individual behavior.For recognition of group activities re-search is relatively less while the recognition of group behavior in intelligent monitoring,virtual reality,public security,etchas a broad application prospect,such as ACTS of terrorism,suspicious event,mass violence in real-time monitoring.Hu-man behavior recognition consists of detection,tracking and object classification of image sequence,and image understandingand recognition of human behavior.By introducing the recognition of individual behavior,this paper analyzes the develop-ment and current status of group behavior in recent years and the research problems to be solved.And possible directions offuture are discussed.

Key Words image processing,behavior identification,intelligent monitoring,the crowd

Class Number TP393

1 引言

当前,基于图像处理的人体行为识别是一个非常活跃的研究领域,人体行为识别是对包含人的图像序列进行检测[1]、跟踪、目标分类[2]、异常检测[3]以及对人的行为理解与识别,而图像处理技术是通过提取运动物体的颜色和形状等特征信息,用于背景检测和跟踪[4]。就目前而言,绝大部分的监控系统只局限于简单的图像处理,而无法进行人体异常识别,对于人群行为的识别以及在人群发生异常行为时能够实时报警的研究相对较少[5]。由于在公共安全等领域有着广泛的应用前景,人群行为识别

*收稿日期:2016年2月1日,修回日期:2016年3月19日

基金项目:辽宁省科技基金项目“图形图像处理中形状表示的压缩方法研究”(编号:201102042);辽宁省自然科学基金项目“虚拟现实中三维图形的应用基础研究”(编号:20082175);辽宁省教育厅科学基金项目(编号:L2014544);中央高校基本科研业务费专项资金项目(编号:DC201502030201;DC201502030404)资助。

作者简介:高玄,男,硕士研究生,研究方向:计算机图像处理。刘勇奎,男,教授,研究方向:多媒体信息处理技术。

汪大峰,男,研究方向:计算机图像处理。

1558

 高 玄等:基于图像处理的人群行为识别方法综述第44卷逐渐成为近几年研究热点。尤其在视频监控领域

应用范围广泛而且有着较大的市场空间,图1为

2012年我国智能监控在各行业在市场占有率

图1 2012年智能监控系统在各行业的占有比例

目前,人的行为识别理解和描述已经在国际期刊以及重要会议上得到关注,与其相关的论文也在逐年增多。在世界范围内已经展开了大量的人体行为识别研究。2012年Sarvesh等对人体行为识别研究方法进行分类[6],阐述了人类活动的识别框架,还通过在四种不同的场景中对25名测试者的六种行为(步行、慢跑、跑步、拳击、手挥舞着、鼓掌)进行测试,并利用数据集提供的行为识别方法作为基准进行分析。总结了近几年人体识别领域中简单规则的人体行为识别过程和方法,但基于图像的人群行为识别与理解的文献相对较少,而针对行为识别的具体整个流程的整理研究也比较少,本文从目标检测、目标分类、目标跟踪以及人体行为识别出发,详细介绍人体行为的整个流程及各个阶段的优缺点,进而对基于图像人群识别的方法进行了分析,并展望了未来发展趋势。

2 目标检测

运动人体检测是指从连续的视频图像序列中将运动目标区域从背景中提取出来,再按照一定规则对目标进行分类,进而确定出人体目标。目标检测作为行为识别中的低级处理层次已引起人们的关注,国内外的研究人员对目标检测的算法进行大量的研究,目前比较常用的检测算法主要有时间差分法、背景减除法。时间差分法[7]的实质就是将同一背景不同时刻两幅图像进行比较,可以反映出一个运动物体在此背景下运动的结果,时间差分法的优点是简单、容易实现、实时性强,对于动态环境具有较强的自适应性,当然时间差分法的缺点也是很明显的,一般不能得到完整的前景信息,影响行为识别的效果。背景减除法[8]则利用当前图像与背景图像的差分来检测运动目标,与时间差分法相比,基于背景减除法的运动目标检测方法可以提取

出更为完整的目标图像,但在实际应用中所采集到的背景图像随着时间的推移,会对光照和外部条件造成的场景变化比较敏感,会出现许多伪运动目标点,影响到目标检测的结果,为了解决上述两种问题,Kim提出的一种运动检测方法[9],在利用连续两帧图像差的同时又加入了背景图像差,将两者结合起来,比较精确地提取了二值运动模板。

3 目标分类

运动目标分类是指区分出场景中的人和其他运动物体,目标分类的目的就是正确地从检测到的运动区域中将人体的运动区域提取出来[10]。常用于行为识别的分类方法有:基于形状信息的分类、基于运动特征的分类。基于形状信息的分类是对所检测出来的运动目标,根据它们的形状轮廓信息来进行分类。该方法采用区域的宽高比、投影特性、轮廓变化、直方图、面积信息等特征作为物体分类的依据。基于运动特征的分类,人体的运动有时呈现出一定的周期性,同时也是非刚体运动。基于运动特征的分类通常使用人体运动的周期性,有效地区别出人与其他物体。

4 目标跟踪

目标跟踪实质就是在逐帧更新视频图像中找到感兴趣运动目标的位置。在研究领域,研究人员通常经过多次试验总结,选择较好的试验方法,进行目标跟踪试验,下面介绍常用的两种方法。一是基于特征匹配的目标跟踪方法包括特征提取和特征匹配两部分[10],特征提取是指在图像处理过程中提取运动目标的一些特征,比如纹理、颜色和形状等。特征匹配是指将当前帧中提取出的特征和上一帧的特征按照某种规则进行比较,满足规则要求的两个特征形成匹配。该方法[11]主要适用于视频序列之间的时间间隔比较小,而且运动目标在短时间内的特征不会发生很大变化的情况。二是基于区域的目标跟踪方法的基本思路是:将运动目标划分成几个子区域,对各区域进行描述并做相邻帧间匹配,组合各子区域的跟踪结果从而得到整个运动目标的跟踪结果。

5 行为识别

与运动检测、目标分类和人的跟踪研究相比,越来越多的研究人员投入到对人体行为识别与理解的研究当中行为识别可以理解为从视频序列中抽取相关的视觉信息,用合适的方法进行表达,然

2016年第8期计算机与数字工程1559

 

后将抽取的序列与事先的模板序列的参考行为进行匹配,然后进行行为分类,并解释这些视觉信息,实现人的行为的识别理解,常见的行为识别方法有:基于模板匹配的方法[12]、基于概率网络的方法[13]等。模板匹配方法首先从给定的序列图像中抽取相关特征,接着将图像序列转换为一组静态形式模板,再接着通过测试序列的模板与事先存储着的代表“正确”行为的模板匹配来获得识别结果。是基于概率网络方法又称为基于状态空间法[14],这种方法可以避免行为时间间隔建模,但模型训练复杂,它的优点是对时间和空间尺度上的运动微小变化的鲁棒性较好,可以避免行为时间间隔建模,运动持续时间得到很好的解决。缺点是计算比较复杂,需建立非线性模型,模型训练复杂,没有固定解决方法,需选择合适的状态数和特征矢量的维数[15]。目前在人的运动识别中使用的状态空间法主要有隐马尔可夫模型和动态贝叶斯网络。

6 群体行为识别

近年来,随着世界范围内的城市化,人群现象变得越来越频繁,比如体育比赛、游行示威、恐怖活动等,因此人群识别与理解开始逐渐地引起世界科研机构以及研究人员的兴趣。对视频中的群体事件分析方法可分为面向个体特征和面向群体特征两类方法。面向个体的特征的方法基于对每个目标的分割和跟踪,用个体的特征来研究人群中的事件。面向群体特征的方法对全局图像进行处理和采样,获取整体的信息,然后对采集到的数据进行处理工作,对异常情况和正常情况进行分类,这种方法关注于人群中行为的一致性,因此对于群体事件的分析效果较好。本文将在面向群体特征的分析方法基础上对群体的特征提取、人群模型、事件检测、人群行为识别进行分析。

6.1 特征提取

特征提取一般又可分为三步骤:人群密度测量、识别、跟踪。早期在英国,由EPSRC资助的项目就是关于测量群众的运动和密度潜在的危险情况的研究[16]。Marana等[17]提出假设,低密度人群往往出现粗纹理,而图像的密集人群往往出现细纹理。自组织神经网络[18]结合几何的闵可夫斯基维数推断来自图像纹理的人群密度。Marana和Ihaddadene等只是对人群密度进行了估计分析,Lin等则提出一个估计人群大小的系统[19],该系统是通过哈尔小波和支持向量机来识别头部轮廓,从而推理出人群大小。

对于人群特征提取而言,当人群密度过大时,对每个目标的跟踪很难实现,但是可以获得人群的整体运动轨迹。从上面的几个例子中可以看出,密度测量在人群行为识别中起到很重要的作用,此外人群速度、方向和人群受力等因素也可以有效描述人群特征,目前,常用的人群特征提取的算法是LK光流法和基于块匹配的光流检测方法。其中基于块匹配的光流检测方法是将图像分为多个小块,假设每个小块中的光流矢量相同,然后在参考图像帧中寻找每个小块的最佳匹配位置。对于LK光流法来说可能在计算的过程中产生难以控制的误差,而块匹配的光流法计算量较大,块的大小影响检测结果,只有通过参数的调整才能减小块对检测结果影响。

6.2 人群模型

人群建模将视频中提取的特征输入人群模型进行训练,计算模型中的参数,对人在群体中的运动情况进行建模。概率图模型作为一类用图形模式表达基于概率相关关系的模型总称,是基于概率论中贝叶斯规则而建立起来的一种图形结构,也是计算机人工智能领域最流行的一种图模型结构[20],该模型最早由Whittaker基于统计学的一些理论提出的,模型能够很好地根据上下文的关系进行预测,有效的解决训练样本的不确定性,取得了很好的预测效果[21]。2013年Chen等利用基于图的人群建模[22]、分析人群基于图形的拓扑变化,并使用德劳内三角形系统的连接顶点法对人群行为进行分析实验。为了解决人群内部异常行为以及人群遮挡问题,他们通过背景建模来检测由个人或被遮挡的人群组成的孤立区域,每个孤立的地区被认为是一个顶点和人群模型如图2所示。因此比较人群之间的连续视频帧可以转化为与之匹配图的问题。而对于人群中的异常行为则要通过定期建立图表利用德劳内三角测量以及在时间顺序图中制定连续变化的拓扑测量等方法进行解决,该方法只有通过使用大量的数据集检测异常事件是有效的

图2 人群建模图

1560 

高 玄等:基于图像处理的人群行为识别方法综述第44卷

人群建模是个非常复杂的过程,在建模过程人会出现受力情况,在受力的影响下会影响其运动方向及速度,为了克服这些问题一些研究学者提出了类似于物理学中的动力学模型来对人群中的个人进行建模。但对于人来说作为一个运动体需要转动而不仅仅平移运动,作为传统的人群建模并没有很好的解决这个问题。6.3 事件检测

事件检测根据检测场景中的人群密度不同,检测效果也会存在差异。在目标稀疏的视频中基于个体的研究方法可以较好的提取每个目标的特征,对每个目标建模,使用跟踪等方法研究个体行为。对于人群密度较高的场景,对人群整体建模可以有效的检测人群异常情况。然而存在一种人群检测方法既不需要对目标进行检测跟踪,也不需要背景建模即基于时空特性的人群行为检测。时空特性检测人群异常行为方法,

是一种不需要对目标进行检测跟踪,也不需要背景建模,直接对感兴趣的事件进行检测分析。Zhu等

[23]

结合候选兴趣点的光

流矢量值来对兴趣点进行筛选。对于视频中的第n帧图像In(

n=1,…,N-1)(N是视频的帧长度),利用SURF算法检测到的兴趣点集合为Scand。结合下一帧图像In+1可以计算出集合Scand中每个候选兴趣点的光流矢量。如果光流矢量的幅度值小于某个确定的阈值,

则认为这样的候选点为背景像素或者近似于背景的像素,从集合Scand剔除代表背景的兴趣点之后,就获得了最终的时空兴趣点如图3所示

图3 兴趣点检测对比

图3(a)是某监控视频序列中的一帧图像,3(b)是SURF算法检测到的兴趣点,3(c)是本文算法检测到的时空兴趣点,

可以发现,通过结合兴趣点光流矢量值检测到的时空兴趣点代表了图像中有明显人体运动的区域。

在人群事件检测中基于群体特征的方法应用于人群稀疏的情况下效果较差,而基于个体特征的方法对每个目标跟踪比较困难,多目标跟踪算法计算复杂度也非常高,

所以难以在密度高的人群中提取特征。如果将个体特征提取和群体特征提取结合,

可以提高事件检测的精度。6.4 人群行为识别

人群行为识别方法比较复杂一般可分为:基于统计的方法、基于描述的方法。6.4.1 基于统计的方法

基于统计的方法一般先根据特征序列对子动作进行识别,然后将这些子动作看作统计模型第二

层的观测。Park和Agg

aral[24~25]

采用分层贝叶斯网的方法对两个人交互行为识别进行分析,身体局部姿势和整个身体的行为分别采用低层贝叶斯网络和高层贝叶斯网络来估计,

利用贝叶斯网络描述姿势的变化。识别则通过加入时空约束的高层语义描述实现。

基于统计的方法应用于行为序列的识别非常合适,在训练数据足够的前提下,可以提供可靠的概率框架,但对于复杂的时序结构行为很难识别。另外,由于行为越复杂,所以需要更多的序列数据,这也就导致了该方法不适合于复杂行为。6.4.2 基于描述的方法

基于描述的方法能够保持行为的空间和时间结构,它将人群运动看作满足一定关系的子运动,因此对行为的识别通过搜索满足定义的子行为来完成。基于描述的方法可以处理同时发生的子运动,

通过描述子运动在时间和空间上的逻辑关系来表征复杂运动,因此人群行为分析就转化成了搜索满足一定关系的子行为。在基于描述的方法中,时间间隔一般与发生的子行为联系在一起,以说明子行为间的时间关系,

空间和时间关系的描述对复杂事件是非常重要的,

该方法从人群视频中自动的发现重要的上下文信息,并检测对应于上下文斑点的异常行为。

基于描述的方法的特点就是能够很好的理解识别复杂的人群行为,不仅对顺序发生的行为进行

识别,而且对于同时发生的子行为也可以进行识别。基于描述的方法的缺点就是无法弥补低层子行为的检测或识别的错误,对低层的检测结果过分依赖。

综上所述,两种方法各有优缺点,文章中对其优缺点有了详细的介绍在此不再赘述,针对两种方法各自的弱点,

发挥两者的优势,可以将两者结合,基于统计的方法能够准确识别低层子行为,为高层基于描述的方法的有效性提供保证,而基于统计的方法无需处理复杂的群行为,只需对子行为进行识别,

在训练数据较少的情况下,仍能在一定程度上保证准确性。

2016年第8期计算机与数字工程1561

 

7 存在问题

人的行为识别技术有着广泛的应用前景,而且得到长足的发展,但人的行为识别的研究并不是一帆风顺,人的行为识别研究仍处于起步阶段,一些难题仍未得到解决。1)对人的行为特征分析,在人的交互过程中不可能只有简单的几个身体动作,就目前的研究情况而言只能对人的行为进行简单的事件检测,不同的情况下人会本能地做出各种异常的行为,例如,蛙跳、高抬腿、锁骨等。由于人的动作多而且复杂,对其建模选择过多的特征其特征向量维数就会过高从而导致计算量提升,反之,则导致对人行为判断不准,而且研究起来有一定难度,一个行之有效的方法就是基于多分辨率的特征提取。2)关于重叠的问题,在现实生活中,人群之间的交互随处可见,人与人之间出现重叠问题在所难免,人群拥挤会给智能监控系统的检测与跟踪带来很大麻烦,尽管有研究人员提出了基于多摄像机的跟踪系统能够解决重叠问题,但在实际生活中普及还有一定的难度。3)人的行为识别问题,对其的研究仅限于对简单背景、固定视角且已分好的行为序列进行分析而对包含各种复杂动作、持续的行为序列的研究较少而且鲁棒差。在受到外界复杂环境的影响下识别率大大下降。4)对于人群的行为分析问题,在现实生活中的应用对智能监控系统的鲁棒性要求很高,尤其是车站、机场、地铁、公园等公共场所。现有的系统对于声音、光线、天气以及摄像头抖动因素影响太过敏感。当前对人群行为理解的研究还很不完善,研究仍受一些基础问题的束缚,如像素级的分割、遮挡以及处理可变性的能力。人群行为识别还处在初级阶段,由于人群行为复杂性高,变化较多,人群行为分析的研究现在主要是针对特定领域应用的研究,有些只是提取场景信息高层的语义,对人群行为分析还有一定困难。

8 结语

尽管人群行为识别还处在萌芽时期,很多算法只能解决基础的问题,但人群行为识别的前景比较光明。基于图像处理的人群行为识别正在逐渐的成为研究热点,其强大的识别能力,可以应用于诸多重要领域。近几年对人群行为识别领域研究逐渐增多,对其深入研究的却相对较少,所以基于图像处理的人群行为识别也面临诸多挑战,人群行为识别也可以说是一种全新的探索。对于行为识别理解的展望,行为理解可以与生物特征结合。生物特征技术已经在身份识别上得到了应用。计算机科学与社会学理论相融合也是一种新发展趋势,对于引进社会模式进入人群分析也是未来的研究方向之一。随着科学技术的的快速发展人群行为识别将会朝着抗扰性强、辨识度高、自动识别异常行为的方向发展,并在社会安全等方面发挥重要作用。

参考文献

[1]魏志强,纪筱鹏,冯业伟.基于自适应背景图像更新的运动目标检测方法[J].电子学报,2005,33(12):261-264.

WEI Zhiqiang,JI Xiaopeng,FENG Yewei.A Movingobject detection method based on self-adaptive updatingof background[J].Acta Electronica Sinica,2005,33(12):261-264.

[2]JAVED O,SHAH M.Tracking and object classifica-tion for automated surveillance[C]//Copenhagen:Procof the 7th European Conference on Computer Vision,2002:10-11.

[3]N.Bird,S.Atev,N.Caramelli,et al.Real-time,on-linedetection of abandoned objects in public areas[C]//Proceedings of IEEE InternationalConference on Robot-ics and Automation,2012:4-5.

[4]王亮,胡卫明,谭铁牛.人运动的视觉分析综述[J].计算机学报,2002,25(3):225-237.

WANG Liang,HU Weiming,TAN Tieniu.A surveyof visual analysis of human motion[J].Chinese Journalof Computers,2002,25(3):225-237.

[5]Vaswani N,Chowdhury A R,Chellappa R.“Shape ac-tivity”:A continuous-state HMM for moving defor-ming shapes with application to abnormal activity detec-tion[J].IEEE Trans Image Processing,2005,14(10):1603-1616.

[6]Sarvesh Vishwakarma,Anupam Agrawal.A survey onactivity recognition and behaviorunderstanding in videosurveillance[C]//Springer-Verlag Berlin Heidelberg,2012:4-6.

[7]Lipton A,Fujiyoshi H,Patil R.Moving target classifi-cation and tracking from real-timevideo[C]//IEEEWorkshop on Application of Computer Vision,Prince-ton,1998:8-14.

[8]黎昌林.基于时空特征的异常行为识别研究[D].成都:电子科技大学,2011:48-50.

LI Changlin.Research on abnormal behavior recogni-tion based on spatio-temporal feature[D].Chengdu:University of Electronic Science and Technology of Chi-na,2011:48-50.

1562

 高 玄等:基于图像处理的人群行为识别方法综述第44卷

[9]王庆帅.智能监控系统中人体行为识别技术研究与实现[D].西安:西安电子科技大学,2010:13-16.

WANG Qingshuai.Research and implementation ofhuman behavior recognition technology in intelligentmonitoring system[D].Xi’an:Xidian University,2010:13-16.

[10]阮涛涛.基于视觉的人体行为检测识别研究[D].杭州:浙江工业大学,2011:10-14.

RUAN Taotao.Research on human behavior detectionand recognition based on vision[D].Hangzhou:Zhe-jiang University of Technology,2011:10-14.

[11]Chen S,Zhang C.An Intelligent Framework Spatio-temporal vehicle Tracking[C]//Intelligent Transpota-tion Systems Conference Procedings,2001:213-218.[12]赵海勇,贾保先.基于轮廓特征的人体行为识别[J].计算机科学,2013,40(2):1547-1551.

ZHAO Haiyong,JIA Baoxian.Human behavior rec-ognition based on contour feature[J].Computer Sci-ence,2013,40(2):1547-1551.

[13]刘相滨,向坚持,王胜春.人行为识别与理解研究探讨[J].计算机与现代化,2004,(12):1-5.

LIU Xiangbin,XIANG Jianchi,WANG Shengchun.Exploration of Recognition andUnderstanding of Hu-

man Behavior[J].Computer and Modernization,2004,(12):1-5.

[14]游苏英.基于视频序列的人体异常行为检测研究[D].南京:南京邮电大学,2013:18-21.

YOU Suying.Research on human abnormal behaviordetection based on video se-quence[D].Nanjing:Nanjing University of Posts and Telecommunications,2013:18-21.

[15]SA Velastin,JH Yin,AC Davies,et al.Automatedmeasurement of crowd density and motion using imageprocessing[C]//International Conference on RoadTraffic Monitoring &Control,1994:127-132.

[16]N.Ihaddadene,C.Djeraba.Real-time crowd motionanalysis[C]//International Conference on PatternRecognition,2009:1-4.[17]Lin,S.,Chen,J.,Chao,H.Estimation of numberof people in crowded scenes using perspective trans-formation[J].IEEE Trans.Syst.Man Cybernet.A,2001,31(6):645-654.

[18]Wang Y,Vassileva J.Bayesian network-based trustmodel[C]//Proceedings of IEEE International Confer-ence on Web Intelligence,Halifax,Canada,2003:372-378.

[19]Duan-Yu Chen,Po-Chung Huang.Visual-based hu-man crowds behavior analysis based on graph model-ing and matching[J].IEEE Sensors Journal,2013,13:6-16.

[20]朱启兵.基于局部时空特征的人体行为识别以及打架行为检测[D].合肥:合肥工业大学,2012:20-22.

ZHU Qibing.Human behavior recognition and fight-ing behavior detection based on local space-time fea-tures[D].Hefei:Hefei University of Technology,2012:20-22.

[21]Park S,Aggaral J K.Semantic-level understanding ofhuman actions and interactions using event hierarchy[C]//Proceedings of International Conference onComputer Vision and Pattern Recognition Workshop,2004:12-20.

[22]Park S,Aggarwal J K.A hierarchical B recognition ofhuman actions and interactions[J].Multimedia Sys-tems,2004,10(2):164-179.

[23]F.Jiang,Y.Wu,A.K.Katsaggelos.Detecting con-textual anomalies of crowd motion in surveillance vide-o[C]//Proc.IEEE Int.Conf.Image Process.,2009:1117-1120.

[24]AGGARWAL J K,CA I Q.Human motion analysis:a review[C]//Proc of IEEE Nonrigid and ArticulatedMotion Workshop.Piscataway:IEEE Computer Soci-ety,1997:90-102.

[25]LU Si-jun,ZHANG Jian,FENG D D.Detecting un-attended packages through humanactivity recognitionand object association[J].Journal of the Pattern Rec-ognition,2007,40(8):

檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷檷

2173-2184.

(上接第1556页)

WANG Wenji.Key node localization algorithm for

wireless sensor networks based on energy factor[J].Journal of Electronics and Information,2014,36(7):1728-1734.

[10]Habib M Ammari,Sajal K Das.A study of K-cover-age and measures of connectivity in wireless sensor

networks[J].IEEE Transactions on Computers,2013,59(2):258-267.

[11]HA Le,Lijin,Yuanguo.A TCP Performance En-hancement Scheme in Infrastructure based on Vehicu-lar Networks[J].China Communications,2015,6

(13):73-84.

图像处理综述.

图像噪声分类及去噪方法综述 2013552070 王跃洋数字图像中,噪声主要来源于图像的获取或传输过程。成像传感器的性能受各种因素的影响,如图像获取过程中的环境条件和传感元器件自身的质量。例如,在使用CCD摄像机获取图像时,光照水平和传感器温度是影响结果图像中噪声数量的主要因素。图像在传输中被污染主要是由于传输信道中的干扰。例如,使用无线网络传输的图像可能会因为光照或其他大气因素而污染。 图像噪声的分类 图像噪声是图像在摄取或传输时所受的随机信号干扰,是图像中各种妨碍人们对其信息接受的因素。很多时候将图像噪声看成是多维随机过程,因而描述噪声的方法完全可以借用随机过程的描述,即用其概率分布函数和概率密度分布函数。图像噪声是多种多样的,其性质也千差万别,所以了解噪声的分类是很有必要的。 一.按产生的原因分类 1.外部噪声, 即指系统外部干扰以电磁波或经电源串进系统内部而引起的噪声。如电气设备,天体放电现象等引起的噪声。 2.内部噪声,一般有四个源头: a)由光和电的基本性质所引起的噪声。如电流的产生是由电子或空穴粒子的集合,定向运动所形成。因这些粒子运动的随机性而形成的散粒噪声;导体中自由电子的无规则热运动所形成的热噪声;根据光的粒子性,图像是由光量子所传输,而光量子密度随时间和空间变化所形成的光量子噪声等。 b)电器的机械运动产生的噪声。如各种接头因抖动引起电流变化所产生的噪声;磁头、磁带等抖动或一起的抖动等。 c)器材材料本身引起的噪声。如正片和负片的表面颗粒性和磁带磁盘表面缺陷所产生的噪声。随着材料科学的发展,这些噪声有望不断减少,但在目前来讲,还是不可避免的。

d)系统内部设备电路所引起的噪声。如电源引入的交流噪声;偏转系统和箝位电路所引起的噪声等。 这种分类方法有助于理解噪声产生的源头,有助于对噪声位置定位,对于降噪算法只能起到原理上的帮助。 二.按噪声频谱分类 频谱均匀分布的噪声称为白噪声; 频谱与频率成反比的称为1/f噪声;而与频率平方成正比的称为三角噪声等等。 三.按噪声与信号的关系分类 1.加性噪声:加性嗓声和图像信号强度是不相关的,如运算放大器, 信道噪声电视摄像机扫描图像的噪声的,这类带有噪声的图像g可看成为理想无噪声图像f与噪声n之和; 2.乘性噪声: 乘性嗓声和图像信号是相关的,往往随图像信号的变化而变化,如飞点扫描图像中的嗓声、电视扫描光栅、胶片颗粒造成等,由于载送每一个象素信息的载体的变化而产生的噪声受信息本身调制。在某些情况下,如信号变化很小,噪声也不大。 为了分析处理方便,常常将乘性噪声近似认为是加性噪声,而且总是假定信号和噪声是互相统计独立。 四.按概率密度函数(PDF)分类 1.高斯噪声:在空间域和频域中,由于高斯噪声(也称为正态噪声)在数学上的易处理性,这种噪声模型经常被用于实践中。 高斯随机变量z 的PDF有下式给出: 其中,z表示灰度值,表示z的均值,σ表示z的标准差。标准差的平方成为z的方差。 2.瑞利噪声:瑞利密度对于近似偏移的直方图十分适用。 瑞利噪声的PDF由下式给出:

基于骨骼数据的人体行为识别

基于骨骼数据的人体行为识别 摘要 人体动作姿态识别是计算机视觉研究领域中最具挑战的研究方向,是当前的研究热点。对人体动作姿态进行自动识别将带来一种全新的交互方式,通过身体语言即人体的姿态和动作来传达用户的意思,如在机场、工厂等喧闹的环境下,采用手势、动作姿态识别等人机交互技术能够提供比语音识别更加准确的信息输入。总之,在智能监控、虚拟现实、感知用户接口以及基于内容的视频检索等领域,人体动作姿态的识别均具有广泛的应用前景。该文首先简单介绍了人体动作姿态序列的分割,然后对人体动作姿态识别的方法进行了分类介绍,并对一些典型的算法的研究进展情况及其优缺点进行了重点介绍。 关键词:人体动作姿态识别; 人工智能; 隐马尔可夫模型; 动态贝叶斯网络; 模板匹配前言 人体姿态识别是计算机视觉的一个重要研究方向,它最终目的是输出人的整体或者局部肢体的结构参数,如人体轮廓、头部的位置与朝向、人体关节点的位置或者部位类别。姿态识别的研究方法应该说,几乎涵盖了计算机视觉领域所有理论与技术,像模式识别、机器学习、人工智能、图像图形、统计学等。到目前为止,已经有众多识别方法被提出,并且也取得了许多重要的阶段性的研究成果,但是以往的方法都是基于普通光学图像,比如常见的RGB 图像,这类图像容易受光照、阴影等外界变化的影响,尤其在环境黑暗的情况下无法来识别人体姿态,并且由于人体关节自由度大,及人的体型、着装较大差异性,常导致姿态识别系统识别率低。尽管有研究者利用多个摄像机获取采集的图像来获取人体深度信息以克服以上问题[1],但是该类方法恢复的深度信息不是唯一的,而且计算量非常大,尤其是这种方法要求事先用人工对传感设备进行标定,而在选取场景中的标定物时,往往又会遇到实际环境操作困难的问题。 随着光电技术的快速发展,深度传感设备的成本逐渐降低,人们获取深图像的途径及方法也越来越多。该方向的研究也逐渐成为计算机视觉领域的研究趋势。具体原因包括:一方面,深度传感设备不仅操作简单,并且极大简化了普通摄像机的标定过程;另一方面,得到的深度图像由于直接包含了人体的深度信息,能够有效的克服普通光学图像遇到的上述问题。到目前为止,较有影响力的基于该类图像的人体姿态识别算法,应该是 Shotton 等人利用一种深度传感器 Kinect 来实时捕捉人体运动的算法,该算法虽然能够满足人们对识别系统实时性的要求,但其对硬件要求特别高,并且不适合低分辨率图像中的人体关节点提取,容易导致人体骨架扭曲。下文将具体陈述人体运动分析的主要用途和前人在不同时期对这些难题的处理办法。 主题 基于计算机视觉的人体运动分析不仅在智能监控、人机交互、虚拟现实和基于内容的视频检索等方面有着广泛的应用前景,更是成为了未来研究的前瞻性方向之一。Gavrila 总结了它的一些主要应用领域[2,3,4],下面据此对其典型应用做出进一步的介绍。 智能监控(Smart Surveillance) 所谓“智能监控”是指监控系统能够监视一定场景中人的活动,并对其行为行分析和识别,跟踪其中的可疑行为(例如在一些重要地点经常徘徊或者人流密集的场合下突发的人群拥挤等状况)从而采取相应的报警措施。智能监控系统应用最多的场合来自于那些对安全

机器视觉技术发展现状文献综述

机器视觉技术发展现状 人类认识外界信息的80%来自于视觉,而机器视觉就是用机器代替人眼来做 测量和判断,机器视觉的最终目标就是使计算机像人一样,通过视觉观察和理解 世界,具有自主适应环境的能力。作为一个新兴学科,同时也是一个交叉学科,取“信息”的人工智能系统,其特点是可提高生产的柔性和自动化程度。目前机器视觉技术已经在很多工业制造领域得到了应用,并逐渐进入我们的日常生活。 机器视觉是通过对相关的理论和技术进行研究,从而建立由图像或多维数据中获机器视觉简介 机器视觉就是用机器代替人眼来做测量和判断。机器视觉主要利用计算机来模拟人的视觉功能,再现于人类视觉有关的某些智能行为,从客观事物的图像中提取信息进行处理,并加以理解,最终用于实际检测和控制。机器视觉是一项综合技术,其包括数字处理、机械工程技术、控制、光源照明技术、光学成像、传感器技术、模拟与数字视频技术、计算机软硬件技术和人机接口技术等,这些技术相互协调才能构成一个完整的工业机器视觉系统[1]。 机器视觉强调实用性,要能适应工业现场恶劣的环境,并要有合理的性价比、通用的通讯接口、较高的容错能力和安全性、较强的通用性和可移植性。其更强调的是实时性,要求高速度和高精度,且具有非接触性、实时性、自动化和智能 高等优点,有着广泛的应用前景[1]。 一个典型的工业机器人视觉应用系统包括光源、光学成像系统、图像捕捉系统、图像采集与数字化模块、智能图像处理与决策模块以及控制执行模块。通过 CCD或CMOS摄像机将被测目标转换为图像信号,然后通过A/D转换成数字信号传送给专用的图像处理系统,并根据像素分布、亮度和颜色等信息,将其转换成数字化信息。图像系统对这些信号进行各种运算来抽取目标的特征,如面积、 数量、位置和长度等,进而根据判别的结果来控制现场的设备动作[1]。 机器视觉一般都包括下面四个过程:

图像处理论文

图像处理技术近期发展及应用 摘要:图像处理技术的研究和应用越来越收到社会发展的影响,并以自身的技术特点反过来影响整个社会技术的进步。本文主要简单概括了数字图像处理技术近期的发展及应用现状,列举了数字图像处理技术的主要优点和制约其发展的因素,同时设想了图像处理技术在未来的应用和发展。 关键字:图像处理发展技术应用 1.概述 1.1图像的概念 图像包含了它所表达的物体的描述信息。我们生活在一个信息时代,科学研究和统计表明,人类从外界获得的信息约有百分之七十来自视觉系统,也就是从图像中获得,即我们平常所熟知的照片,绘画,动画。视像等。 1.2图像处理技术 图像处理技术着重强调在图像之间进行的变换,主要目标是要对图像进行各种加工以改善图像的视觉效果并为其后的目标自动识别打基础,或对图像进行压缩编码以减少图像存储所需要的空间或图像传输所需的时间。图像处理是比较低层的操作,它主要在图像像素级上进行处理,处理的数据量非常大。 1.3优点分析 1.再现性好。数字图像处理与模拟图像处理的根本不同在于,它不会因图像的存储、传输或复制等一系列变换操作而导致图像质量的退化。 2.处理精度高。按目前的技术,几乎可将一幅模拟图像数字化为任意大小的二维数组,这主要取决于图像数字化设备的能力。现代扫描仪可以把每个像素的灰度等级量化为16位甚至更高,这意味着图像的数字化精度可以达到满足任一应用需求。 3.适用面宽。图像可以来自多种信息源,它们可以是可见光图像,也可以是不可见的波谱图像(例如X射线图像、射线图像、超声波图像或红外图像等)。从图像反映的客观实体尺度看,可以小到电子显微镜图像,大到航空照片、遥感图像甚至天文望远镜图像。即只要针对不同的图像信息源,采取相应的图像信息采集措施,图像的数字处理方法适用于任何一种图像。 4.灵活性高。图像处理大体上可分为图像的像质改善、图像分析和图像重建三大部分,每一部分均包含丰富的内容。而数字图像处理不仅能完成线性运算,而且能实现非线性处理,即凡是可以用数学公式或逻辑关系来表达的一切运算均可用数字图像处理实现。 2.近期发展及应用领域

行为识别国内外现状

1.原始视频的特征提取 (1)光流场 光流场是空间运动物体在观测成像面上像素运动的瞬时速度。它利用图像序列中的像素强度数据的时域变化和相关性来研究图像的灰度在时间上的变化与场景巾物体结构及其运动的关系。光流法通常假设相邻帧的图像差异非常小,从而获取对真实运动场的近似估计【31。它不用预知任何先验知识,即能提供有关运动速度及图像中运动区域的简洁描述,适用于摄像机运动的情形。但光流法易受噪声及光照变化的影响,且计算较为复杂,很难用于实时的视频监控系统。 (2)点轨迹 目标的运动轨迹也可以作为特征,从而大致推断出目标运动所属的行为类别。但图像平面上的轨迹对平移、旋转和缩放等变换比较敏感,因此在大多情形下,此特征显得不够可靠。常用的替代特征表达有轨迹速度、时空曲率等【4,51。运动轨迹的获取比较依赖于精确的跟踪算法。从原始视频中提取点轨迹特征同样容易受到噪声、遮挡及混乱背景等的影响。(3)人体形状表达 在摄像机固定的情形下,假设背景已知,通过背景剪除法可以很容易得到运动人体形状。基于全局、边界及骨架等的描绘子都可以用来表达人体形状。全局方法16,71如剪影、矩等是在整体形状区域内计算描绘子,而边界方法仅考虑形状轮廓【8l,骨架i方法则是用一组lD 骨架曲线代表一个复杂的人体形状,比如中轴变换[91等。 (4)滤波器响应 空时滤波器响应是一个广义上的分类。Zhang等【lo】存时间轴上计算高斯导数,将滤波器响应较高的区域作为运动区域。LaptevI¨1利用一组空时高斯导数滤波器将Harris角点检测扩展应用于三维的视频数据从而检测出空时兴趣点。这类方法大都基于简单的卷积操作,运算快速而简便。当视频分辨率较低的情形下,提取光流或剪影特征较为困难,利用滤波器响应特性可以从视频数据中提取有效的底层特征。 2.低层特征的描述与识别 我们将低层特征的描述与识别方法分为三类①:非参数方法、空时体方法和参数时序法,分别对现有方法进行归类,并作一个简短的综述。 2.1非参数方法 (1)模板匹配法 这类方法需要对每种行为的特征建立相应的模板,将获取的特征数据与模板相匹配,通过计算两者之间的相似度进行识别。Polana和Nelson[4刀将整个序列分解为多个周期行为,利用二维网格特征识别各种行为。Bobick和Davis[391将图像序列转换为运动能量图像(膨酣)和运动历史图像(朋m)模板,MEI反映运动覆盖的范围及强度,而MHI反映运动在时间上的变化情况。Weinland等【拍】提出运动历史体积(MHV)模板,从多个视角重建目标并将其投影到圆柱坐标系,提取Fourier变换特征以描述行为。Wang和Suter[451也将整个行为过程融合为基于轮廓的平均运动形状(MMS)和基于运动前景的平均运动能量(彳^扭)两个模板。模板匹配法计算复杂度低、实现简单,但它本身无法描述动态系统,也不能完全反映数据在空问上的分布属性,具有一定的局限性。而且不同行为之间执行速率的不同、噪声、光照等因素都会影响模板匹配的准确性。 (2)目标建模法 行为可以通过建立人体动态表观模型进行描述。常见的人体模型有棍图模型【109]、2D模型例及3D模型51。3D人体建模是最常用的人体结构表征方法,通过跟踪人体模型中主要

图像处理文献综述

文献综述 1.1理论背景 数字图像中的边缘检测是图像分割、目标区域的识别、区域形状提取等图像分析领域的重要基础,图像处理和分析的第一步往往就是边缘检测。 物体的边缘是以图像的局部特征不连续的形式出现的,也就是指图像局部亮度变化最显著的部分,例如灰度值的突变、颜色的突变、纹理结构的突变等,同时物体的边缘也是不同区域的分界处。图像边缘有方向和幅度两个特性,通常沿边缘的走向灰度变化平缓,垂直于边缘走向的像素灰度变化剧烈。根据灰度变化的特点,图像边缘可分为阶跃型、房顶型和凸缘型。 1.2、图像边缘检测技术研究的目的和意义 数字图像边缘检测是伴随着计算机发展起来的一门新兴学科,随着计算机硬件、软件的高度发展,数字图像边缘检测也在生活中的各个领域得到了广泛的应用。边缘检测技术是图像边缘检测和计算机视觉等领域最基本的技术,如何快速、精确的提取图像边缘信息一直是国内外研究的热点,然而边缘检测也是图像处理中的一个难题。 首先要研究图像边缘检测,就要先研究图像去噪和图像锐化。前者是为了得到飞更真实的图像,排除外界的干扰,后者则是为我们的边缘检测提供图像特征更加明显的图片,即加大图像特征。两者虽然在图像边缘检测中都有重要地位,但本次研究主要是针对图像边缘检测的研究,我们最终所要达到的目的是为了处理速度更快,图像特征识别更准确。早期的经典算法有边缘算子法、曲面拟合法、模版匹配法、门限化法等。 早在1959年Julez就曾提及边缘检测技术,Roberts则于1965年开始了最早期的系统研究,从此有关边缘检测的理论方法不断涌现并推陈出新。边缘检测最开始都是使用一些经验性的方法,如利用梯度等微分算子或特征模板对图像进行卷积运算,然而由于这些方法普遍存在一些明显的缺陷,导致其检测结果并不

基于图像处理的人群行为识别方法综述_高玄

总第322期 2016年第8期 计算机与数字工程 Computer &Digital Engineering Vol.44No.8 1557   基于图像处理的人群行为识别方法综述* 高 玄1 刘勇奎2 汪大峰1 (1.北方民族大学计算机科学与工程学院 银川 750021)(2.大连民族学院计算机科学与工程学院 大连 116600) 摘 要 基于图像处理的人体行为识别是计算机视觉中一个活跃的研究领域,目前大部分研究者主要针对个人行为识别展开研究。对人群的行为识别研究相对较少而人群行为识别在智能监控、虚拟现实、公共安全等方面有着广泛的应用前景。例如,恐怖活动、可疑事件、群体性暴力事件的实时监控等。人体行为识别对包含人的图像序列进行检测、跟踪、目标分类、异常检测以及对人的行为理解与识别。论文通过从一般的单人行为识别出发,介绍了人群识别方面近年来研究发展状况以及当前该研究方向亟待解决的问题,并展望了未来可能的发展方向。 关键词 图像处理;行为识别;智能监控;人群 中图分类号 TP393 DOI:10.3969/j.issn.1672-9722.2016.08.034 Surveyon GroupBehavior Recognition Method Based on Image Processing GAO Xuan1 LIU Yongkui 2 WANG Dafeng1 (1.College of Computer Science and Engineering,Northern University for Nationalities,Yinchuan 750021)(2.College of Computer Science and Engineering,Dalian Nationalities University,Dalian 116600) Abstract Recognition of human action using image-based processing is an active research area in computer vision.Atpresent most of the researchers mainly study the recognition of individual behavior.For recognition of group activities re-search is relatively less while the recognition of group behavior in intelligent monitoring,virtual reality,public security,etchas a broad application prospect,such as ACTS of terrorism,suspicious event,mass violence in real-time monitoring.Hu-man behavior recognition consists of detection,tracking and object classification of image sequence,and image understandingand recognition of human behavior.By introducing the recognition of individual behavior,this paper analyzes the develop-ment and current status of group behavior in recent years and the research problems to be solved.And possible directions offuture are discussed. Key Words image processing,behavior identification,intelligent monitoring,the crowd Class Number TP393 1 引言 当前,基于图像处理的人体行为识别是一个非常活跃的研究领域,人体行为识别是对包含人的图像序列进行检测[1]、跟踪、目标分类[2]、异常检测[3]以及对人的行为理解与识别,而图像处理技术是通过提取运动物体的颜色和形状等特征信息,用于背景检测和跟踪[4]。就目前而言,绝大部分的监控系统只局限于简单的图像处理,而无法进行人体异常识别,对于人群行为的识别以及在人群发生异常行为时能够实时报警的研究相对较少[5]。由于在公共安全等领域有着广泛的应用前景,人群行为识别 *收稿日期:2016年2月1日,修回日期:2016年3月19日 基金项目:辽宁省科技基金项目“图形图像处理中形状表示的压缩方法研究”(编号:201102042);辽宁省自然科学基金项目“虚拟现实中三维图形的应用基础研究”(编号:20082175);辽宁省教育厅科学基金项目(编号:L2014544);中央高校基本科研业务费专项资金项目(编号:DC201502030201;DC201502030404)资助。 作者简介:高玄,男,硕士研究生,研究方向:计算机图像处理。刘勇奎,男,教授,研究方向:多媒体信息处理技术。 汪大峰,男,研究方向:计算机图像处理。

基于图像处理的森林火灾检测文献综述

本科毕业论文(设计) 文献综述 学生姓名文慧学号091014429 专业机械设计制造 班级机械09-4 及其自动化 指导教师郑嫦娥

基于红外图像处理的森林火灾识别方法研究 1国内外现状 国内外很多公司、科研机构和大学院校都对图像型火灾探测技术进行过大量的研究。 Bosque 公司的BSDS 系统采用红外和普通摄像机进行双波段监控,在准确识别森林火灾的同时还可以区别其它现象的干扰,误报率较低。在大空间火灾监控方面有ISLI 公司和Magnox Electric 公司联合开发的用于电站火灾监控的VSD-8 系统。该系统以视频运动检测软件为主体,使用各种滤波器技术,并与人工智能相结合,进行电站内的火灾监控。 国内相关单位对于图像型火灾探测技术也进行了深入的研究。其中,中国科技大学的火灾科学国家重点实验室的研究处于国际领先的地位。依托火灾科学重点实验室的科大立安公司已经研制出双波段火灾探测器LIAN-DC,并通过相关反面的验收,投入实际应用。同时,上海交通大学,西安交通大学都曾在火灾探测方面进行过积极的研究,并在工程实践中提出过一些算法,其探测手段主要集中在使用红外型摄像机,探测系统的抗干扰性还有待提高。 迄今为止,国内外图像型火灾探测系统还存在误报率高,自动灭火算法误差大等问题。还有待提出更多更好的探测算法以及算法的实现方法。 2常用的探测系统 国内外科研机构和各大公司开发的众多火灾探测系统基于各种火灾识别模式,常见的是感烟探测系统、感温探测系统、火焰探测系统、气体探测系统和复合式探测系统等,感烟探测系统占有量最高,约70%~80%。 2.1感烟探测系统 感烟式火灾探测器主要是利用烟雾传感器探测火灾中产生的烟雾气溶胶,如中国科技大学提出高灵敏度红外图像式烟雾相对浓度测试系统,该系统利用利

基于matlab的图像预处理技术研究文献综述

毕业设计文献综述 题目:基于matlab的图像预处理技术研究 专业:电子信息工程 1前言部分 众所周知,MATLAB在数值计算、数据处理、自动控制、图像、信号处理、神经网络、优化计算、模糊逻辑、小波分析等众多领域有着广泛的用途,特别是MATLAB的图像处理和分析工具箱支持索引图像、RGB 图像、灰度图像、二进制图像,并能操作*.bmp、*.jpg、*.tif等多种图像格式文件如。果能灵活地运用MATLAB提供的图像处理分析函数及工具箱,会大大简化具体的编程工作,充分体现在图像处理和分析中的优越性。 图像就是用各种观测系统观测客观世界获得的且可以直接或间接作用与人眼而产生视觉的实体。视觉是人类从大自然中获取信息的最主要的手段。拒统计,在人类获取的信息中,视觉信息约占60%,听觉信息约占20%,其他方式加起来才约占20%。由此可见,视觉信息对人类非常重要。同时,图像又是人类获取视觉信息的主要途径,是人类能体验的最重要、最丰富、信息量最大的信息源。通常,客观事物在空间上都是三维的(3D)的,但是从客观景物获得的图像却是属于二维(2D)平面的。 图像存在方式多种多样,可以是可视的或者非可视的,抽象的或者实际的,适于计算机处理的和不适于计算机处理的。 图像处理它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理最早出现于20世纪50年代,当时的电子计算机已经发展到一定水平,人们开始利用计算机来处理图形和图像信息。图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量,它以人为对象,以改善人的视觉效果为目的。图像处理中,输入的是质量低的图像,输出的是改善质量后的图像,常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国喷气推进实验室(JPL)。他们对航天探测器徘徊者7号在 1964 年发回的几千张月球照片使用了图像处理技术,如几何校正、灰度变换、去除噪声等方法进行处理,并考虑了太阳位置和月球环境的影响,由计算机成功地绘制出月球表面地图,获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理,以致获得了月球的地形图、彩色图及全景镶嵌图,获得了非凡的成果,为人类登月创举奠定了坚实的基础,也推动

机器视觉文献综述

文献综述 河北科技师范学院 文献综述 题目:基于计算机视觉测量技术 姓名:张力坤 一.国内外现状 机器视觉自起步发展到现在,已有将近20年的发展历史。应该说机器视觉作为一种应用系统,其功能特点是随着工业自动化的发展而逐渐完善和发展的。 目前全球整个视觉市场总量大概在70~80亿美元,是按照每年8.8%的增长速度增长的。而在中国,这个数字目前看来似乎有些庞大,但是随着加工制造业的发展,中国对于机器视觉的需求将承上升趋势。 何谓机器视觉? 简言之,机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品(即图像摄取装置,分CMOS和CCD 两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。 机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;同时在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成,是实现计算机集成制造的基础技术。 正是由于机器视觉系统可以快速获取大量信息,而且易于自动处理,也易于同设计信息以及加工控制信息集成,因此,在现代自动化生产过程中,人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。在中国,这种应用也在逐渐被认知,且带来最直接的反应就是国内对于机器视觉的需求将越来越多。 机器视觉在国内外的应用现状在国外,机器视觉的应用普及

基于matlab数字图像处理的开题报告

毕业设计(论文)开题报告 题目:基于Matlab的数字图像处理 学生姓名:学号: 专业:通信工程 指导教师: 2011年 3 月 13 日

一.文献综述: 随着人类社会的进步和科学技术的发展,人们对信息处理和信息及交流的要求越来越高。人们传递信息的主要媒介是语音和图像。在接受的信息中,听觉信息占20%,视觉信息占60%,其它如味觉,嗅觉,触觉总的加起来不超过20%。图像信息处理是人们视觉延续的重要手段。人的眼睛只能看到波长为380到780nm的可见光部分,而迄今为止人类发现可成像的射线已有很多种,他们扩大了人类认识客观世界的能力。 数字图像处理是一个跨科学的前沿科技领域,在工程学,计算机科学,信息学,统计学,物理,化学,生物医学,地址,海洋,气象,农业,冶金等许多科学中的应用取得了巨大的成功和显著地经济效益。 图像是当光辐射能量照在物体上,经过他的反射或透射,或有发光物体本身发出的光能量,在人的视觉器官中所重现出的物体的视觉信息。图像一般用Image表示,是视觉景物的某种形式的标记和记录。通俗的说,图像是指利用技术手段把目标原封不动的再现。由于图像感知的主题是人类,所以不仅可以将图像看作是二维平面上或三维立体空间中具有明暗或颜色变化的分布,还可以包括人的心理因素对图像接收和理解所产生的影像。 一般认为图片是图像的一种类型,在一些教科书中将其定义为“经过核实的光照后可见物体的分布”,图片强调了现实世界中的可见物体。图形是指人为的图形,如图画,动画等人造的二维或三维图形,他强调应用一定的数学模型生成图形。图形学是研究应用计算机生成,处理和显示图形的一门学科。它涉及利用计算机将有概念或数学描述所表示的物体图像进行处理和现实的过程,侧重点在于根据给定的物体描述数学模型,光照及想象中的摄像机的成像几何,生成一幅图像的过程。 而图像处理进行的却是与其相反的过程,提示基于画面进行二维或三维物体模型的重建,这在很多场合是十分重要。 从20世纪60年代起,随着电子计算机技术的进步,数字图像处理技术得到了飞跃发展。数字信号处理(DSP)技术通常是指利用采集,滤波,检测,均衡,变换,调制,压缩,去噪,估计等处理,已得到符合人们需要的信号形式。图像信号的数字处理是指将图像作为图像信号的数学处理技术,按照人们通常的习惯,也成为数字图像处理技术。最常见的使用计算机对图像进行处理,他是在以计算机为中心的包括各种输入,输出,存储及显示设备内的数学图像处理系统上进行的。

图像处理文献综述

文献综述 理论背景 数字图像中的边缘检测是图像分割、目标区域的识别、区域形状提取等图像分析领域的重要基础,图像处理和分析的第一步往往就是边缘检测。 物体的边缘是以图像的局部特征不连续的形式出现的,也就是指图像局部亮度变化最显着的部分,例如灰度值的突变、颜色的突变、纹理结构的突变等,同时物体的边缘也是不同区域的分界处。图像边缘有方向和幅度两个特性,通常沿边缘的走向灰度变化平缓,垂直于边缘走向的像素灰度变化剧烈。根据灰度变化的特点,图像边缘可分为阶跃型、房顶型和凸缘型。 、图像边缘检测技术研究的目的和意义 数字图像边缘检测是伴随着计算机发展起来的一门新兴学科,随着计算机硬件、软件的高度发展,数字图像边缘检测也在生活中的各个领域得到了广泛的应用。边缘检测技术是图像边缘检测和计算机视觉等领域最基本的技术,如何快速、精确的提取图像边缘信息一直是国内外研究的热点,然而边缘检测也是图像处理中的一个难题。 首先要研究图像边缘检测,就要先研究图像去噪和图像锐化。前者是为了得到飞更真实的图像,排除外界的干扰,后者则是为我们的边缘检测提供图像特征更加明显的图片,即加大图像特征。两者虽然在图像边缘检测中都有重要地位,但本次研究主要是针对图像边缘检测的研究,我们最终所要达到的目的是为了处理速度更快,图像特征识别更准确。早期的经典算法有边缘算子法、曲面拟合法、模版匹配法、门限化法等。 早在1959年Julez就曾提及边缘检测技术,Roberts则于1965年开始了最早期的系统研究,从此有关边缘检测的理论方法不断涌现并推陈出新。边缘检测最开始都是使用一些经验性的方法,如利用梯度等微分算子或特征模板对图像进行卷积运算,然而由于这些方法普遍存在一些明显的缺陷,导致其检测结果并不尽如人意。20世纪80年代,Marr和Canny相继提出了一些更为系统的理论和方法,逐渐使人们认识到边缘检测的重要研究意义。随着研究的深入,人们开始注意到边缘具有多分辨性,即在不同的分辨率下需要提取的信息也是不同的。通常情况下,小尺度检测能得到更多的边缘细节,但对噪声更为敏感,而大尺度检测

行为识别国内外现状资料

1.原始视频的特征提取 (1) 光流场光流场是空间运动物体在观测成像面上像素运动的瞬时速度。它利用图像序列中的像素强度数据的时域变化和相关性来研究图像的灰度在时间上的变化与场景巾物体结构及其运动的关系。光流法通常假设相邻帧的图像差异非常小,从而获取对真实运动场的近似估计【31。它不用预知任何先验知识,即能提供有关运动速度及图像中运动区域的简洁描述,适用于摄像机运动的情形。但光流法易受噪声及光照变化的影响,且计算较为复杂,很难用于实时的视频监控系统。 (2) 点轨迹目标的运动轨迹也可以作为特征,从而大致推断出目标运动所属的行为类别。但图像平面上的轨迹对平移、旋转和缩放等变换比较敏感,因此在大多情形下,此特征显得不够可靠。常用的替代特征表达有轨迹速度、时空曲率等【4,51。运动轨迹的获取比较依赖于精确的跟 踪算法。从原始视频中提取点轨迹特征同样容易受到噪声、遮挡及混乱背景等的影响。 (3) 人体形状表达在摄像机固定的情形下,假设背景已知,通过背景剪除法可以很容易得到运动人体形状。基于全局、边界及骨架等的描绘子都可以用来表达人体形状。全局方法16,71 如剪影、矩等是在整体形状区域内计算描绘子,而边界方法仅考虑形状轮廓【81,骨架i方法则是用一组ID 骨架曲线代表一个复杂的人体形状,比如中轴变换[91 等。 (4) 滤波器响应 空时滤波器响应是一个广义上的分类。Zhang等【Io】存时间轴上计算高斯导数,将滤波器 响应较高的区域作为运动区域。Laptevl " 1利用一组空时高斯导数滤波器将Harris角点检测 扩展应用于三维的视频数据从而检测出空时兴趣点。这类方法大都基于简单的卷积操作, 运算快速而简便。当视频分辨率较低的情形下, 提取光流或剪影特征较为困难, 利用滤波器响应特性可以从视频数据中提取有效的底层特征。 2.低层特征的描述与识别 我们将低层特征的描述与识别方法分为三类①:非参数方法、空时体方法和参数时序法, 分别对现有方法进行归类,并作一个简短的综述。 2.1 非参数方法 (1 )模板匹配法这类方法需要对每种行为的特征建立相应的模板, 将获取的特征数据与模板相匹配, 通过计算两者之间的相似度进行识别。PoIana 和NeIson[4 刀将整个序列分解为多个周期行为,利用二维网格特征识别各种行为。Bobick 和Davis[391 将图像序列转换为运动能量图像(膨酣)和运动历史图像(朋m)模板,MEI反映运动覆盖的范围及强度,而MHI反映运动在时间上的 变化情况。Weinland等【拍】提出运动历史体积(MHV)模板,从多个视角重建目标并将其投影到圆柱坐标系,提取Fourier 变换特征以描述行为。Wang 和Suter[451 也将整个行为过程融合为基于轮廓的平均运动形状(MMS)和基于运动前景的平均运动能量(彳A扭)两个模板。模 板匹配法计算复杂度低、实现简单, 但它本身无法描述动态系统, 也不能完全反映数据在空问上的分布属性,具有一定的局限性。而且不同行为之间执行速率的不同、噪声、光照等因 素都会影响模板匹配的准确性。 (2) 目标建模法行为可以通过建立人体动态表观模型进行描述。常见的人体模型有棍图模型【109] 、2D 模

人体行为识别技术

人体行为识别技术 在计算机视觉领域中,人体运动行为识别是一个被广泛关注的热点问题,在智能监控、机器人、人机交互、虚拟现实,智能家居,智能安防,运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程:数据图像预处理,运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题,即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现:人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。 特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上,从目标的运动信息中提取目标图像特征并用来表征目标运动状态;行为识别则是将输入序列中提取的运动特征与参考序列进行匹配,判断当前的动作处于哪种行为模型;高层行为与场景理解是结合行为发生的场景信息和相关领域知识,识别复杂行为,实现对事件和场景的理解。【2】 1、行为识别的应用 从应用领域的分类来讲,可以将人体运动分析的应用分成如下几个领域: ①智能监控 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过 运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造

成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动,并对其行为进行分析和识别,跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地,以实现对这些场所的智能监控。 ②虚拟现实 跟踪现实世界人的姿态,从而创建一个虚拟的仿真场景,实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口 指可以通过对用户手势的识别来代替传统的鼠标和键盘输入,从而实现人与计算机之间的智能交互。此外,通过对手势语言的理解,还可以进行聋人与计算机之间的手语交流。 ④运动分析 人体运动分析可以运用于基于容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间和精力。另外一种应用是用于各种体育项目中,提取运动员的各项技术参数(如关节位置、角度和角速度,等等),通过分析这些信息,可以为运动员的训练提供指导和建议,有助于提高运动员的训练水平。此外,还可以用于体育舞蹈动作的分析,以及临床矫形术的研究等领域。 ⑤基于模型的视频编码 通过提取一定的静态场景中人物的形态特征参数和3D姿态参数,以较低的数据量对视频数据流加以描述,实现视频数据的压缩和低比特率传送。可以用于在因特网上展开远程视频会议以及VOD(Video-On-Demand)视频点播。

人脸识别文献综述

文献综述 1 引言 在计算机视觉和模式识别领域,人脸识别技术(Face Recognition Technology,简称FRT)是极具挑战性的课题之一。近年来,随着相关技术的飞速发展和实际需求的日益增长,它已逐渐引起越来越多研究人员的关注。人脸识别在许多领域有实际的和潜在的应用,在诸如证件检验、银行系统、军队安全、安全检查等方面都有相当广阔的应用前景。人脸识别技术用于司法领域,作为辅助手段,进行身份验证,罪犯识别等;用于商业领域,如银行信用卡的身份识别、安全识别系统等等。正是由于人脸识别有着广阔的应用前景,它才越来越成为当前模式识别和人工智能领域的一个研究热点。 虽然人类能够毫不费力的识别出人脸及其表情,但是人脸的机器自动识别仍然是一个高难度的课题。它牵涉到模式识别、图像处理及生理、心理等方面的诸多知识。与指纹、视网膜、虹膜、基因、声音等其他人体生物特征识别系统相比,人脸识别系统更加友好、直接,使用者也没有心理障碍。并且通过人脸的表情/姿态分析,还能获得其他识别系统难以获得的一些信息。 自动人脸识别可以表述为:对给定场景的静态或视频序列图像,利用人脸数据库验证、比对或指认校验场景中存在的人像,同时可以利用其他的间接信息,比如人种、年龄、性别、面部表情、语音等,以减小搜索范围提高识别效率。自上世纪90年代以来,人脸识别研究得到了长足发展,国内外许多知名的理工大学及TT公司都成立了专门的人脸识别研究组,相关的研究综述见文献[1-3]。 本文对近年来自动人脸识别研究进行了综述,分别从人脸识别涉及的理论,人脸检测与定位相关算法及人脸识别核心算法等方面进行了分类整理,并对具有典型意义的方法进行了较为详尽的分析对比。此外,本文还分析介绍了当前人脸识别的优势与困难。 2 人脸识别相关理论 图像是人们出生以来体验最丰富最重要的部分,图像可以以各种各样的形式出现,我们只有意识到不同种类图像的区别,才能更好的理解图像。要建立一套完整的人脸识别系统(Face Recognetion System,简称FRS),必然要综合运用以下几大学科领域的知识: 2.1 数字图像处理技术 数字图像处理又称为计算机图像处理,它是指将图像信号转换成数字信号并利用计算机

医学图像处理综述

医学图像处理综述 墨南-初夏2010-07-24 23:51:56 医学图像处理的对象是各种不同成像机理的医学影像。广泛使用的医学成像模式主要分为X射线成像(X—CT) ,核磁共振成像(MRI),核医学成像(NMI)和超声波成像(UI) 这四类。 (1)x射线成像:传统x射线成像基于人体不同器官和组织密度不同。对x射线的吸收衰减不同形成x射线影像。(例如人体中骨组织密度最大,在图像上呈白影,肺是软组织并且含有气体,密度最低,在照片上的图像通常是黑影。)常用于对人体骨骼和内脏器官的疾病或损伤进行诊断和定位。现代的x射线断层成像(x—cT) 发明于20世纪70年代,是传统影像技术中最为成熟的成像模式之一,其速度已经快到可以对心脏实现动态成像。其缺点是医生要在病人接收剂量和片厚之间进行折衷选择,空间分辨率和对比度的还需进一步提高。 (2)核磁共振成像(MIR) 发展于20世纪70年代,到80年代才进入市场,这种成像设备具有在任意方向上的多切片成像、多参数和多核素成像、可实现整个空问的真三维数据采集、结构和功能成像,无放射性等优点。目前MRI的功能成像(fMRI) 是MIR设备应用的前沿领域,广泛应用于大脑功能性疾病的诊断,并为肿瘤等占位性病变提供功能信息。MRI 受到世人的广泛重视,其技术尚在迅速发展

过程中。 (3)核医学成像(NMI ) ,目前以单光子计算机断层成像(SPECT) 和正电子断层成像(PET) 为主,其基本原理是向人体注射放射性核素示踪剂,使带有放射性核素的示踪原子进入人体内要成像的脏器或组织通过测量其在人体内的分布来成像。NMI不仅可以提供静态图像,而且可提供动态图像。 (4)超声波成像(Ultrasonic Imaging ) ,属于非电离辐射的成像模态,以二维平面成像的功能为主,加上血液流动的彩色杜普勒超声成像功能在内,在市场上已经广泛使用。超声成像的缺点是图像对比度差、信噪比不好、图像的重复性依赖于操作人员。但是,它的动态实时成像能力是别的成像模式不可代替的 在目前的影像医疗诊断中,主要是通过观察一组二维切片图象去发现病变体.这往往需要借助医生的经验来判定。至于准确地确定病变体的空间位置、大小、几何形状及与周围 生物组织的空间关系,仅通过观察二维切片图象是很难实现的。因此,利用计算机图像处理技术对二维切片图象进行分析和处理。实现对人体器官,软组织和病变体的分割提取,三维重建和三维显示,可以辅助医生对病变体及其它感兴趣的区域进行定性甚至定量的分

图像处理文献综述

文献综述 近年来,随着计算机视觉技术的日益发展,图像处理作为该领域的关键方向受到越来越多研究人员的关注与思考。在现在的日常生活中,由于通信设备低廉的价格和便捷的操作,人们越来越喜欢用图像和视频来进行交流和分享,消费性的电子产品在消费者中已经非常普遍,例如移动手机和数码相机等等。在这个纷繁多变的世界,每天都有数以万计的图像产生,同时信息冗余问题也随之而来。尽管在一定的程度上,内存技术的增加和网络带宽的提高解决了图像的压缩和传输问题,但是智能的图像检索和有效的数据存储,以及图像内容的提取依然没有能很好的解决。 视觉注意机制可以被看做是人类对视觉信息的一个筛选过程,也就是说只有一小部分重要的信息能够被大脑进行处理。人类在观察一个场景时,他们往往会将他们的注意力集中在他们感兴趣的区域,例如拥有鲜艳的颜色,光滑的亮度,特殊的形状以及有趣的方位的区域。传统的图像处理方法是将整幅图像统一的处理,均匀的分配计算机资源;然而许多的视觉任务仅仅只关系图像中的一个或几个区域,统一的处理整幅图像很明显会浪费过多的计算机资源,减少处理的效率 [1,2]。因此,在计算机视觉领域,建立具有人类视觉系统独特数据筛选能力的数学模型显得至关重要。受高效的视觉信息处理机制的启发,计算机视觉领域的显著性检测应运而生。图像显著性检测是通过建立一定的数学模型,让计算机来模拟人类的视觉系统,使得计算机能够准确高效的定位到感兴趣的区域。 一般来说,一个信号的显著性可以表示为其和周围环境的差异性。正是因为这个信号和周围的其他信号的迥异性,使得视觉系统不需要对环境中的所有感兴趣的区域进行逐个的扫描,显著的目标会自动从环境中凸显出来。另外,一些心理学研究表明人类的视觉机制不仅仅是由低级的视觉信号来驱动的,基于记忆、经验等的先验知识同样能够决定场景中的不同信号的显著性,而这些先验知识往往是和一些高层次的事件以及视觉任务联系在一起的。基于当前场景的视觉显著性机制是低级的,慢速的。而基于先验知识的显著性机制通常是和高层次的任务关联在一起的,其效率通常低于由视觉信号驱动的显著性机制。人眼视觉系统通过显著性原理来处理复杂的视觉感知是不争的事实,这种显著性的处理机制使得复杂背景下的目标检测、识别有了很大程度的提升。 在模式识别、计算机视觉等领域,越来越多的计算机工作者致力于开发显著性计算模型,用以简单的表达图像的主要信息。这些显著性模型的检测结果是一个显著性灰度图,其每个像素点的灰度值表示了该像素的显著性,灰度值越大,表明该像素越显著。从信息处理的方式看,显著性模型大致可以分为两类:自顶向下(任务驱动)和自底向上(数据驱动)的方法。 自顶向下的显著性检测方法之所以是任务驱动,这是因为该类模型通常是和某一特定的任务相关。在同样的场景或模式下,检测到的结果因任务的不同而不同是自顶向下模型最突出的特点。例如在目标检测中,检测者需要首先告诉需要检测的目标是什么,检测到的显著性图则表示目标可能出现的位置。自顶向下的显著性检测方法的依据是:如果研究者事先知道需要检测目标的颜色、形状或者方向等特征,那么该检测算法自然会高效的检测到需要检测的目标。因此,自顶向下的算法通常需要人工标记,或是从大量的包含某种特定目标的图像中学习该类目标的特征信息,这些学习方法一般是监督的;然后求测试图像对于训练学习得到的信息的响应,从而得到测试图像的显著性图。现存的一些自顶向下的算法在某些特定的目标上取得了一定的效果,不过这些算法往往只对某些特定的目标有效,对于复杂多变的自然图像,该类算法存在很大的缺陷。自顶向下的模型是慢速的、任务驱动的,有意识的,以及封闭回路的。由于自顶向下模型的特点,其应用受到了很大的限制。

相关文档
最新文档