【CN109949341A】一种基于人体骨架结构化特征的行人目标跟踪方法【专利】
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910176928.8
(22)申请日 2019.03.08
(71)申请人 广东省智能制造研究所
地址 510000 广东省广州市越秀区先烈中
路100号大院13号楼
(72)发明人 钟震宇 马敬奇 雷欢 杨慧莉
(74)专利代理机构 广州粤高专利商标代理有限
公司 44102
代理人 罗晓林 杨桂洋
(51)Int.Cl.
G06T 7/246(2017.01)
G06K 9/00(2006.01)
G06K 9/46(2006.01)
G06K 9/62(2006.01)
(54)发明名称
一种基于人体骨架结构化特征的行人目标
跟踪方法
(57)摘要
一种基于人体骨架结构化特征的行人目标
跟踪方法，包括以下步骤，记录目标运动视频，对
目标运动视频图像进行均衡化预处理，提取行人
的骨架坐标信息，手动选择跟踪目标行人，建立
目标初始特征模板图像，跟踪目标行人；若目标
行人正常，继续跟踪，若目标行人丢失，执行下一
步；根据目标行人丢失前的视频图像和目标行人
的骨架坐标信息提取目标结构化特征图像并更
新目标特征模板图像，提取所有行人的结构化特
征图像并与目标特征模板图像进行逐一匹配，根
据匹配结果重新定位目标行人位置；然后继续跟
踪目标。本发明可实现在复杂多人场景下对目标
行人的稳定持续跟踪，解决目前跟踪算法在多人
重叠、遮挡等情况下跟踪目标容易丢失且难以自
动找回的问题。权利要求书2页 说明书8页 附图4页CN 109949341 A 2019.06.28
C N 109949341
A
权 利 要 求 书1/2页CN 109949341 A
1.一种基于人体骨架结构化特征的行人目标跟踪方法，包括以下步骤：
S1，利用摄像头记录目标运动视频，通过对目标运动视频图像进行均衡化预处理；
S2，针对目标运动视频图像，通过人体骨架检测提取行人的骨架坐标信息，手动选择跟踪目标行人，根据目标行人的骨架坐标信息建立目标初始特征模板图像，对目标行人进行跟踪；
S3，判断目标行人是否处于跟踪丢失状态，若目标行人正常，则保持当前状态继续跟踪，若目标行人丢失，则执行下一步，转入步骤S4；
S4，根据目标行人丢失前的视频图像和目标行人的骨架坐标信息提取目标结构化特征图像并更新目标特征模板图像，然后根据当前时刻视频图像和行人的骨架坐标信息提取所有行人的结构化特征图像，将当前时刻所有行人的结构化特征图像与目标特征模板图像进行逐一匹配，根据匹配结果重新定位目标行人位置；
S5，目标行人重定位后继续跟踪目标。
2.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述图像预处理是采用CLAHE算法对图像进行均衡化。
3.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述人体骨架检测过程为：采用OpenPose方法提取人体骨架关键点信息，包括人体骨架18个关键点P i＝{(x i,y i)|i＝0,1,...,17}，人体骨架关键点包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。
4.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述目标行人跟踪过程采用KCF、TLD、CSK或Struck算法进行跟踪。
5.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述结构化特征图像是指根据人体骨架结构提取的人体各部位区域的衣着特征图像，特征图像用R n(n＝1,2,3,4,...)表示，n为结构化特征图像个数，包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚图像。
6.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述目标初始特征模板图像是根据人体骨架所提取的目标行人各部位区域特征图像，是在执行目标行人跟踪前建立并保存的目标正常状态下的特征模板图像。
7.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述目标行人是否处于丢失状态是以跟踪置信度为标准进行判断，若当前跟踪过程的跟踪置信度小于跟踪置信度判断阈值，若判别目标处于丢失状态，则需要更新目标特征模板图像并重新定位目标行人；若当前跟踪置信度大于跟踪置信度判断阈值，则保持当前状态继续跟踪。
8.根据权利要求6所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，设跟踪置信度为q，q∈[0,1]，其中，0表示跟踪过程中目标行人的可信度最低，1表示跟踪过程中目标行人的可信度最高，跟踪目标处于丢失状态的跟踪置信度值为最低值且作为判断阈值记为Q0，正常跟踪过程的跟踪置信度值为最高值且记为Q1，具体判断方法如下：S3.1，对目标进行跟踪，计算获得跟踪置信度值q；
S3.2，当第N帧图像中的目标行人跟踪置信度q N大于跟踪置信度判断阈值Q0时，不需要更新目标特征模板图像，保持当前状态继续跟踪；当第N帧图像目标跟踪置信度q N小于跟踪
2
动态视频目标检测和跟踪技术(入门)
动态视频目标检测和跟踪技术 传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。 本文将目前几种常用的动态视频目标检测方法简介如下： 背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。 时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相
基于动态图像序列的运动目标跟踪
浙江工程学院学报,第19卷,第3期,2002年9月 Journal of Zhejiang Institute of Science and T echnology Vol .19,No .3,Sep 12002 文章编号:100924741(2002)0320165206 收稿日期:2002201222 基金项目:国家自然科学基金资助项目(60103016),浙江省自然科学基金资助项目(601019),浙江省教育厅科研资助项目(2000036) 作者简介:周志宇(1974— ),男,浙江诸暨人,在职硕士研究生,从事计算机视觉的研究。基于动态图像序列的运动目标跟踪 周志宇,汪亚明,黄文清 (浙江工程学院计算机视觉与模式识别研究中心,浙江杭州 310033) 摘要:介绍了运动目标跟踪中基于特征、32D 、变形模型和区域的4种跟踪方法,着重分析了变形模型 中Snake 的跳跃模型跟踪方法和基于区域的几个有代表性的跟踪方法,说明了其在智能交通监控中的应用, 并给出了区域跟踪的实验结果。 关键词:动态图像序列;运动目标;变形模型;区域跟踪 中图分类号:TP391141 文献标识码:A 0 前 言 基于动态图像序列的运动目标跟踪技术在军事、国防、工业过程控制、医学研究、交通监控、飞机导航等领域有着广泛的应用前景。运动目标跟踪的目的就是通过对序列图像进行分析研究,计算出运动目标在连续帧图像中的位移,给出运动目标速度等运动参数,从而对缓解城市交通拥挤、堵塞现象提供依据。利用图像捕捉并跟踪我们感兴趣的运动目标,形成运动目标的序列图像由于比静止目标的一帧图像提供了更多的有用信息,使得可以利用序列图像检测出在单帧图像中很难检测出的目标。在复杂背景下对运动目标的跟踪以达到特定的目的,可靠性和精度是跟踪过程中的两个重要指标,为此,人们提出了许多方法来解决跟踪问题,但归纳起来,主要有基于特征、32D 、变形模型和区域的4种跟踪方法。 1 运动目标的跟踪方法 111 基于特征的跟踪方法用于目标的跟踪的个体特征有许许多多,不管是刚体运动目标,还是非刚体运动目标,在序列图像中相邻的两帧图像,由于图像序列间的采样时间间隔很小,可以认为这些个体特征在运动形式上具有平滑性,因此可以用直线 [1]、曲线[2]、参照点[3]等个体特征来跟踪运动目标。Liu [1]等人介绍了灰度图像中一种边缘直线匹配的算法。在边缘直线的提取中,首先,用图像边缘聚焦技术处理图像数据,消除不必要的图像噪声,形成了一个边缘,然后从边缘中分割出直线,并从中提取直线。用一种以直线的几何关系和灰度图像的信息为基础的匹配函数描述了两幅图像边缘直线的相似性,在连续帧图像中采用直线匹配的方法进行了运动参数的估计。 基于特征的跟踪方法有其显著的优点:a )由于使用的符号模型运动方式简单,运动具有平滑性,因此跟踪目标的算法就简单了;b )这种方法已经假设特征符号运动是相互独立的运动,因此在运动分析时
基于骨骼数据的人体行为识别
基于骨骼数据的人体行为识别 摘要 人体动作姿态识别是计算机视觉研究领域中最具挑战的研究方向，是当前的研究热点。对人体动作姿态进行自动识别将带来一种全新的交互方式，通过身体语言即人体的姿态和动作来传达用户的意思，如在机场、工厂等喧闹的环境下，采用手势、动作姿态识别等人机交互技术能够提供比语音识别更加准确的信息输入。总之，在智能监控、虚拟现实、感知用户接口以及基于内容的视频检索等领域，人体动作姿态的识别均具有广泛的应用前景。该文首先简单介绍了人体动作姿态序列的分割，然后对人体动作姿态识别的方法进行了分类介绍，并对一些典型的算法的研究进展情况及其优缺点进行了重点介绍。 关键词：人体动作姿态识别; 人工智能; 隐马尔可夫模型; 动态贝叶斯网络; 模板匹配前言 人体姿态识别是计算机视觉的一个重要研究方向，它最终目的是输出人的整体或者局部肢体的结构参数，如人体轮廓、头部的位置与朝向、人体关节点的位置或者部位类别。姿态识别的研究方法应该说，几乎涵盖了计算机视觉领域所有理论与技术，像模式识别、机器学习、人工智能、图像图形、统计学等。到目前为止，已经有众多识别方法被提出，并且也取得了许多重要的阶段性的研究成果，但是以往的方法都是基于普通光学图像，比如常见的RGB 图像，这类图像容易受光照、阴影等外界变化的影响，尤其在环境黑暗的情况下无法来识别人体姿态，并且由于人体关节自由度大，及人的体型、着装较大差异性，常导致姿态识别系统识别率低。尽管有研究者利用多个摄像机获取采集的图像来获取人体深度信息以克服以上问题[1]，但是该类方法恢复的深度信息不是唯一的，而且计算量非常大，尤其是这种方法要求事先用人工对传感设备进行标定，而在选取场景中的标定物时，往往又会遇到实际环境操作困难的问题。 随着光电技术的快速发展，深度传感设备的成本逐渐降低，人们获取深图像的途径及方法也越来越多。该方向的研究也逐渐成为计算机视觉领域的研究趋势。具体原因包括：一方面，深度传感设备不仅操作简单，并且极大简化了普通摄像机的标定过程；另一方面，得到的深度图像由于直接包含了人体的深度信息，能够有效的克服普通光学图像遇到的上述问题。到目前为止，较有影响力的基于该类图像的人体姿态识别算法，应该是 Shotton 等人利用一种深度传感器 Kinect 来实时捕捉人体运动的算法，该算法虽然能够满足人们对识别系统实时性的要求，但其对硬件要求特别高，并且不适合低分辨率图像中的人体关节点提取，容易导致人体骨架扭曲。下文将具体陈述人体运动分析的主要用途和前人在不同时期对这些难题的处理办法。 主题 基于计算机视觉的人体运动分析不仅在智能监控、人机交互、虚拟现实和基于内容的视频检索等方面有着广泛的应用前景，更是成为了未来研究的前瞻性方向之一。Gavrila 总结了它的一些主要应用领域[2,3,4]，下面据此对其典型应用做出进一步的介绍。 智能监控(Smart Surveillance) 所谓“智能监控”是指监控系统能够监视一定场景中人的活动，并对其行为行分析和识别，跟踪其中的可疑行为(例如在一些重要地点经常徘徊或者人流密集的场合下突发的人群拥挤等状况)从而采取相应的报警措施。智能监控系统应用最多的场合来自于那些对安全
基于图像识别的目标跟踪系统(论文)
基于图像识别的目标跟踪系统 周立建1茅正冲2 （江南大学，江苏省无锡市 214122） 摘要：研究了在简单的背景下实现对图像的识别和跟踪。系统以ARM微处理器STM32为主控制器。在分析了驱 动电机和目标环境等因素的基础上，选择摄像头捕捉、采集图像并跟踪目标，通过合适的图像识别算法正确地处 理图像信息、识别目标。通过对水平和垂直驱动电机的控制，实现三维目标跟踪。能够实现系统对目标的大范围， 高精度的自动跟踪。 关键词：图像采集；图像信息处理；目标识别；目标跟踪 Target Tracking Based on Image Recognition System (IOT Engineering School of Jiangnan University,Wuxi Jiangsu Province ,214122) Abstract：Studied in the context of a simple implementation of image recognition and tracking. STM32 ARM microprocessor-based system controller. In the analysis of the drive motor and objectives on the basis of environmental factors, select the camera capture, image acquisition and target tracking, image recognition algorithm by an appropriate image processing information correctly, identify the target.Through horizontal and vertical drive motor control, to achieve three-dimensional tracking. System to achieve the target of large-scale, high-precision automatic tracking. Key words：Image acquisition；Image information processing；Target identification；Target tracking 1引言 图像处理技术的高速发展，相应地促进目标识别和跟踪技术的发展。尤其是在不同的环境下，如何实现目标识别和跟踪的稳定，具有很重要的理论价值和实际意义。 嵌入式平台集成度高,支持实时多任务操作系统,符合实时性和小型化的要求，同时克服了基于桌面pc机图像处理系统体积庞大，不具有实时特性等不足，可以面对日益复杂的应用。所以基于嵌入式平台的图像处理系统是未来图像处理系统的发展趋势。随着现代高速处理器的迅猛发展，图像处理技术也日益成熟。其中，移动目标的视频检测与跟踪是图像处理、分析应用的一个重要领域，是当前相关领域的研究前沿。移动目标视频检测与跟踪技术在诸多经济和军事领域有很广泛的应用，发挥重要的作用。 在最近二十几年间，随着计算机技术、VLSI技术和高分辨率传感器技术的迅速更新，图像识别方法已经有了更广泛的应用，如工业上的工业过程控制、自主运载器导航等等，尤其是它具有的许多突出的优点：可获得大量的目标信息(为其他形式的跟踪手段所无法相比)、抗电子干扰能力强、测量(角、面)精度高、保密性好、低空跟踪范围大、使用多种传感器(可见光、红外、微光等)、全天候工作能力强等。利用先进的数字图像处理技术去除许多自然及人为的干扰，加上预测等技术配合使用，可以实现记忆跟踪以及对瞬间丢失的目标再捕获。这种方法大量的运用在军事上的火控、导航、特别是制导方面。然而由于这一课题的发展历史较短而且内容又涉及到图像处理、模式识别和人工智能等多个新兴学科，其理论还很不完善，一些重要的问题尚未解决，新的方法和技巧还有待开发。因此进行有关图像目标识别与跟踪的研究无疑是一项既有理论意义又有实用价值的课题。 本文介绍了一种在简单背景下实现对图像目标的捕捉与跟踪。本系统设计应用了以ARM微处理器STM32为主控制器的嵌入式系统，使用OV7670图像处理器，尽可能达到了实时性与可靠性的要求。系统的工作流程如图1：
人体目标检测与跟踪算法研究
人体目标检测与跟踪算法研究 摘要：近些年以来，基于视频中人体目标的检测与跟踪技术研究越来越被重视。然而，由于受到目标自身特征多样性和目标所处环境的复杂性和不确定性的影响，现存算法的性能受到很大的限制。本文对目前所存在的问题进行了分析，并提出了三帧差分法和改进阈值分割法相结合的运动目标检测算法和多特征融合的改进运动目标跟踪算法。这两种算法不仅可以准确有效的检测出运动目标而且能够满足实时性的要求，有效的解决了因光照变化和目标遮挡等情况造成的运动目标跟踪准确度下降或跟踪目标丢失等问题。 关键词：三帧差分，Camshift，阈值分割 Research Based on Human Target Detectionand Tracking Algorithm Abstract: In recent years, human object detection and tracking become more and more important. However the complexity, uncertainty environment and the target’s own diversity limit the performance of existing algorithms. The main works of this paper is to study and analysis the main algorithm of the human object detection and tracking, and proposes a new moving target detection method based on three-frame difference method and threshold segmentation and improved Camshift tracking algorithm based on multi-feature fusion. These algorithm can satisfy the real-time, while accurately and efficiently detect moving targets, and also effectively solves the problem of tracking object lost or misplaced under illumination change or target occlusion. Keywords: three-frame difference, Camshift, threshold segmentation 一、绪论 （一）选题的背景和意义 人类和动物主要通过眼睛来感受和认知外部世界。人类通过视觉所获取的信息占了60%[1]，因此，在开发和完善人工智能的过程中，赋予机器视觉的功能这一操作极不可缺少。完善上述功能需要以许多技术为基础，特别是运动目标的检测与跟踪技术。近些年以来，此技术受到了越来越多的关注[2]。目前，此技术也在各领域得到了充分的应用，涵盖的领域有智能交通、导航、智能视频监控、精确制导、人机交互和多媒体视频编码压缩技术等。
图像定位及跟踪技术大解析
图像定位及跟踪技术大解析 在科学技术日新月异的今天，人们对机器设备的智能性、自主性要求也越来越高，希望其完全替代人的角色，把人们从繁重、危险的工作任务中解脱出来，而能否像人一样具有感知周围环境的能力已成为设备实现智能化自主化的关键。 广义的“图像跟踪”技术，是指通过某种方式(如图像识别、红外、超声波等)将摄像头中拍摄到的物体进行定位，并指挥摄像头对该物体进行跟踪，让该物体一直被保持在摄像头视野范围内。狭义的“图像跟踪”技术就是我们日常所常谈到的，通过“图像识别”的方式来进行跟踪和拍摄。 因为红外、超声波等方式，都受环境的影响，而且要专门的识别辅助设备，在实际应用中已经逐步被“图像识别”技术所替代。“图像识别”是直接利用了摄像头拍摄到的图像，进行NCAST图像差分及聚类运算，识别到目标物体的位置，并指挥摄像头对该物体进行跟踪。 图像跟踪系统采用特有的NCAST目标外形特征检测方法，被跟踪者无需任何辅助设备，只要进入跟踪区域，系统便可对目标进行锁定跟踪，使摄像机画面以锁定的目标为中心，并控制摄像机进行相应策略的缩放。系统支持多种自定义策略，支持多级特写模式，适应性强，不受强光、声音、电磁等环境影响。 目标物体的边缘检测 物体的形状特征在大多数情况下变化不多，基于目标形状轮廓的跟踪方法与基于区域的匹配方法相比，可以更精确的分割目标。 边缘是运动目标的最基本特征，表现在图像中就是指目标周围图像灰度有阶跃变化或屋顶变化的那些像素集合，它是图像中局部亮度变化最显著的部分。 边缘检测就是采用某种算法来定位灰度不连续变化的位置，从而图像中目标与背景的交界线。图像的灰度变化可以用灰度梯度来表示。
(最新版)人体行为检测和识别毕业设计
本科生毕业设计（论文） 题目：人体行为检测与识别 姓名： 学号： 系别： 专业： 年级： 指导教师： 2015 年 4 月20日 独创性声明 本毕业设计（论文）是我个人在导师指导下完成的。文中引用他人研究成果的部分已在标注中说明；其他同志对本设计（论文）的启发和贡献均已在谢辞中体现；其它内容及成果为本人独立完成。特此声明。 论文作者签名：日期： 关于论文使用授权的说明 本人完全了解华侨大学厦门工学院有关保留、使用学位论文的规定，即：学院有权保留送交论文的印刷本、复印件和电子版本，允许论文被查阅和借阅；学院可以公布论文的全部或部分内容，可以采用影印、缩印、数字化或其他复制手段保存论文。保密的论文在解密后应遵守此规定。 论文作者签名：指导教师签名：日期：
人体行为检测与识别 摘要 人体行为检测与识别是当前研究的重点，具有很高的研究价值和广阔的应用前景。主要应用在型人机交互、运动分析、智能监控和虚拟现实也称灵境技术（VR)领域，对于研究人体检测和识别有着重要的意义。因为人的运动的复杂性和对外部环境的多变性，使得人们行为识别和检测具有一些挑战。对人类行为和检测的研究目前处于初级阶段，有待进一步研究和开发。 本文基于matlab人体行为识别和检测的研究，本文主要研究的是从图像中判断出目标处于何种行为，例如常见的走、坐、躺、跑、跳等行为的识别。从现有的很多主流研究成果来看，最常见的行为识别系统结构包括几个模块：目标检测、目标跟踪、行为识别。本文首先对图像进行判断是否有人体目标，识别出人体后对图像进行灰度化，在对灰度图像用背景差法与背景图像比对，最后，比对提取出的人体来判断人体处于何种行为。 关键词：matlab，肤色识别，行为检测
(完整word版)基于图像处理的运动物体的跟踪与检测开题报告
1、课题来源 随着计算机技术的高速发展，运动物体的检测和跟踪在图像处理、计算机视觉、模式识别、人工智能、多媒体技术等领域越来越受到人们的关注。运动跟踪和检测的应用广泛，在智能监控和人机交互中，如：银行、交通、超市等场合常常使用运动跟踪分析技术，通过定位物体并对其行为进行分析，一旦发现物体有异常行为，监控系统就发出警报，提醒人们注意并即时的处理，改善了人工监督注意力分散、反应时间较慢、人力资源浪费等问题。运动目标的跟踪在虚拟现实、工业控制、军事设备、医学研究、视频监控、交通流量观测监控等很多领域也有重要的实用价值。特别在军事上，先进的武器导航、军事侦察和监控中都成功运用了自动跟踪技术。而跟踪的难点在于如何快速而准确的在每一帧图像中实现目标定位。正因如此，对运动目标的跟踪和检测的研究很有价值。 2、研究目的和意义 运动目标检测是图像处理与计算机视觉的一个分支，在理论和实践上都有重大意义，长久以来一直被国内外学者所关注。在实际中，视频监控利用摄像机对某一特定区域进行监视，是一个细致和连续的过程，它可以由人来完成，但是人执行这种长期枯燥的例行监测是不可靠，而且费用也很高，因此引入运动监测非常有必要。它可以减轻人的负担，并且提高了可靠性。概括起来运动监测主要包括三个内容：运动目标检测，方向判断和图像跟踪。运动目标检测是整个监测过程的基础，运动目标的提取准确与否，直接关系到后续高级过程的完成质量。3、国内外研究现状和发展趋势及综述 运动目标检测在国外已经取得了一些的研究成果，许多相关技术已经开始应用到实际系统中，但是国内研究相对落后,与国外还有较大差距。传统的视频目标提取大致可以分两类,一类以空间同性为准则,先用形态学滤波器或其他滤波器对图像作预处理;然后对该图像的亮度、色度或其他信息作空间上的分割以对区域作边缘检测;之后作运动估计,并合并相似的运动区域以得到最终的提取结果。如光流算法、主动轮廓模型算法。此类方法结果较为准确但是运算量相对较大。另一类算法主要以时间变化检测作为准则,这类算法主要通过帧差检测图像上的变化区域和不变区域,将运动物体与静止背景进行分割。此类方法运算量小,提取结果不如前类方法准确。此外,还有时空结合方法、时空亮度梯度信息结合的方法等等。 4、研究方法
【CN109949341A】一种基于人体骨架结构化特征的行人目标跟踪方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910176928.8 (22)申请日 2019.03.08 (71)申请人 广东省智能制造研究所 地址 510000 广东省广州市越秀区先烈中 路100号大院13号楼 (72)发明人 钟震宇 马敬奇 雷欢 杨慧莉 (74)专利代理机构 广州粤高专利商标代理有限 公司 44102 代理人 罗晓林 杨桂洋 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/00(2006.01) G06K 9/46(2006.01) G06K 9/62(2006.01) (54)发明名称 一种基于人体骨架结构化特征的行人目标 跟踪方法 (57)摘要 一种基于人体骨架结构化特征的行人目标 跟踪方法，包括以下步骤，记录目标运动视频，对 目标运动视频图像进行均衡化预处理，提取行人 的骨架坐标信息，手动选择跟踪目标行人，建立 目标初始特征模板图像，跟踪目标行人；若目标 行人正常，继续跟踪，若目标行人丢失，执行下一 步；根据目标行人丢失前的视频图像和目标行人 的骨架坐标信息提取目标结构化特征图像并更 新目标特征模板图像，提取所有行人的结构化特 征图像并与目标特征模板图像进行逐一匹配，根 据匹配结果重新定位目标行人位置；然后继续跟 踪目标。本发明可实现在复杂多人场景下对目标 行人的稳定持续跟踪，解决目前跟踪算法在多人 重叠、遮挡等情况下跟踪目标容易丢失且难以自 动找回的问题。权利要求书2页 说明书8页 附图4页CN 109949341 A 2019.06.28 C N 109949341 A
(完整版)基于视频图像序列的目标运动轨迹提取技术毕业论文
摘要 基于视频图像序列的目标运动轨迹提取技术是已经成为精确制导武器的关键技术之一，能够提高武器打击精度及力度；同时更能体现目标跟踪监控系统的智能化和自动化。而在众多模式下的基于视频图像序列的轨迹提取技术中，基于固定参照物视场变动模式的轨迹测量技术不受相机视野限制，能够有效地扩大目标跟踪范围，更有着重要的研究意义和工程应用价值。 固定参照物视场变动模式的轨迹测量技术要求相邻两帧之间必须具有一定的重复。由于运动目标瞬时空间位置坐标是通过相对前一时刻空间位置坐标的相对变化得到，因此存在轨迹计算的累积误差较大的问题，同时由于目标体运动过程中的姿态变化、参照环境的复杂性等因素，导致轨迹计算的精度很难得到保证。 本论文针对固定参照物视场变动模式下运动目标轨迹提取问题进行深入研究，设计开发了基于视频图像序列的目标运动轨迹提取系统，针对目标在运动过程中的姿态变化导致的相机坐标系变化问题，提出了成像系统外参实时校正方法，通过陀螺仪获取的数据和空间坐标系变换关系对相机姿态角参数实时校正；针对SIFT特征匹配算法中的欧式距离无法自适应调节问题，提出了多目标优化的SIFT特征匹配算法，建立了以相关系数和特征点之间的欧氏距离为目标函数，以置信度为约束条件的多目标优化模型，减少了特征点的误配率；最后通过车载CCD实验对系统功能和精度进行验证，数据表明该系统能够精确的实现运动目标的轨迹测量，并具有较强的适应性和可靠性。
1绪论 1.1课题研究背景及意义 基于视频图像序列的目标运动轨迹提取技术是动态视觉领域中一个具有重要意义和实际价值的研究课题。目标运动轨迹是反映一段时间内目标的运动路线，它的精确提取能够实现测量和分析目标的运动参数、运动行为评估等。在军事领域中，该技术已经成为精确制导武器的一项关键技术，它能够有效地提高武器的打击精度，强化武器的打击力度；同时在民用领域，以该技术为基础建立的人机交互系统，能够实现运动目标的智能跟踪、行为监管等，真正地体现运动目标监控系统的自动化和智能化。因此无论在民用上还是在军事领域中，该技术的研究都具有较强的理论意义和研究价值。 目前基于视频图像序列的目标运动轨迹提取技术根据相机视场和参照物的不同可分为固定视场内参照物运动、变化视场内参照物运动和固定参照物视场变动情况下的运动目标跟踪及轨迹检测。固定视场内参照物运动方式中，相机及其视野固定，对视野内的运动目标进行跟踪检测，具有空间和时间上的区域限制，仅能得到固定区域、固定时间段中的目标运动轨迹；变化视场内参照物运动是对固定视场方式的一种改进，通过云台等
图像目标跟踪技术
图像目标跟踪技术 ?作者：王鑫，徐立中著 ?出版社：人民邮电出版社 ?出版时间：2012-12-1 ?版次：1页数：178字数：221000 ?印刷时间：2012-12-1开本：16开纸张：胶版纸 ?印次：1I S B N：9787115288974包装：平装 内容推荐 《图像目标跟踪技术》系统阐述了图像目标跟踪的有关概念、原理和方法，共分9章，第1章介绍图像目标跟踪的意义、应用及分类，第2章介绍非线性优化序贯拟蒙特卡洛滤波，第3章介绍融合背景信息的序贯拟蒙特卡洛滤波目标跟踪，第4章讨论基于概率图模型的粒子滤波多目标跟踪，第5章介绍基于序贯拟蒙特卡洛滤波的多摄像机目标跟踪，第6章介绍基于信息融合技术的目标跟踪，第7章讨论受机械参数影响的多摄像机深度估计，第8章介绍基于自适应多信息融合的均值漂移红外目标跟踪，第9章介绍融合均值漂移和粒子滤波优点的实时目标跟踪。本书是图像目标跟踪方面的专著，反映作者近年来在这一领域的主要研究成果。《图像目标跟踪技术》内容新颖，理论联系实际，可作为大专院校及科研院所图像处理、计算机视觉和视频处理等领域的高年级本科生、研究生的教学和参考用书，也可供相关领域的教师、科研人员及工程技术人员作参考。 目录 第1章绪论 1.1 图像目标跟踪的意义和应用 1.2 单摄像机目标跟踪 1.2.1 目标表示模型 1.2.2 目标动态模型 1.2.3 目标状态估计模型 1.3 多摄像机目标跟踪 1.3.1 目标匹配 1.3.2 摄像机标定及拓扑关系估计 1.3.3 数据关联 1.4 红外图像中目标的跟踪 1.5 智能视频监控系统 1.5.1 智能视频监控的背景和意义 1.5.2 智能视频监控系统 参考文献 第2章非线性优化序贯拟蒙特卡洛滤波 2.1 引言 2.2 基于贝叶斯框架的跟踪问题描述 2.2.1 贝叶斯滤波的蒙特卡洛实现 2.2.2 贝叶斯滤波的拟蒙特卡洛实现 2.3 非线性优化序贯拟蒙特卡洛滤波 2.3.1 信赖域方法 2.3.2 基于信赖域的序贯拟蒙特卡洛滤波算法 2.4 实验与分析 2.4.1 非线性动态模型 2.4.2 二维点目标跟踪中的应用
人体行为识别技术
人体行为识别技术 在计算机视觉领域中，人体运动行为识别是一个被广泛关注的热点问题，在智能监控、机器人、人机交互、虚拟现实，智能家居，智能安防，运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程：数据图像预处理，运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现：人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。 特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上，从目标的运动信息中提取目标图像特征并用来表征目标运动状态；行为识别则是将输入序列中提取的运动特征与参考序列进行匹配，判断当前的动作处于哪种行为模型；高层行为与场景理解是结合行为发生的场景信息和相关领域知识，识别复杂行为，实现对事件和场景的理解。【2】 1、行为识别的应用 从应用领域的分类来讲，可以将人体运动分析的应用分成如下几个领域： ①智能监控 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过 运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造
成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其行为进行分析和识别，跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地，以实现对这些场所的智能监控。 ②虚拟现实 跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口 指可以通过对用户手势的识别来代替传统的鼠标和键盘输入，从而实现人与计算机之间的智能交互。此外，通过对手势语言的理解，还可以进行聋人与计算机之间的手语交流。 ④运动分析 人体运动分析可以运用于基于容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间和精力。另外一种应用是用于各种体育项目中，提取运动员的各项技术参数(如关节位置、角度和角速度，等等)，通过分析这些信息，可以为运动员的训练提供指导和建议，有助于提高运动员的训练水平。此外，还可以用于体育舞蹈动作的分析，以及临床矫形术的研究等领域。 ⑤基于模型的视频编码 通过提取一定的静态场景中人物的形态特征参数和3D姿态参数，以较低的数据量对视频数据流加以描述，实现视频数据的压缩和低比特率传送。可以用于在因特网上展开远程视频会议以及VOD（Video-On-Demand）视频点播。
数字图像处理与目标跟踪技术论文
“数字图像处理与目标跟踪技术”论文 [摘要]图像是一种重要的信息源，通过图像处理可以帮助人们了解信息的内涵。数字图像噪声去除涉及光学系统、微电子技术、计算机科学、数学分析等领域，是一门综合性很强的边缘科学，如今其理论体系已十分完善，且其实践应用很广泛，在医学、军事、艺术、农业等都有广泛且成熟的应用。本文概述了小波阈值去噪的基本原理。对常用的几种阈值去噪方法进行了分析比较和仿真实现。最后结合理论分析和实验结果，讨论了一个完整去噪算法中影响去噪性能的各种因素。为实际的图像处理中，小波阈值去噪法的选择和改进提供了数据参考和依据。 [关键字]：小波变换图像去噪阈值 [引言] 图像在生成和传输过程中常常因受到各种噪声的干扰和影响而使图像降质，这对后续图像的处理(如分割、压缩和图像理解等)将产生不利影响。噪声种类很多，如：电噪声、机械噪声、信道噪声和其他噪声。在图像处理中，图像去噪是一个永恒的主题，为了抑制噪声，改善图像质量，便于更高层次的处理，必须对图像进行去噪预处理。 计算机图像处理主要采取两大类方法：一是在空间域中的处理，即在图像空间中对图像进行各种处理；另一类是把空间域中的图像经过正交变换到频域，在频域里进行各种处理然后反变换到空间域，形成处理后的图像。人们也根据实际图像的特点、噪声的统计特征和频谱分布的规律，发展了各式各样的去噪方法。其中最为直观的方法，是根据噪声能量一般集中于高频而图像频谱则分布于一个有限区间的这一特点，采用低通滤波方式来进行去噪，或对图像进行平滑处理等，这属于第一类图像处理方法。还有就是在频域进行处理，如：傅立叶变换、小波基变换。 近年来，小波理论得到了非常迅速的发展，而且由于其具备良好的时频特性，实际应用也非常广泛。其中图像的小波阈值去噪方法可以说是众多图像去噪方法的佼佼者。基本思想就是利用图像小波分解后，各个子带图像的不同特性选取不同的阈值，从而达到较好的去噪目的。而且，小波变换本身是一种线形变换，而国内外的研究大多集中在如何选取一个合适的全局阈值，通过处理低于该阈值的小波系数同时保持其余小波系数值不变的方法来降噪，因而大多数方法对于类似于高斯噪声的效果较好，但对于混有脉冲噪声的混合噪声的情形处理效果并不理想。线形运算往往还会造成边缘模糊，小波分析技术正因其独特的时频局部化特性在图像信号和噪声信号的区分以及有效去除噪声并保留有用信息等方面较之传统的去噪具有明显的优势，且在去噪的同时实现了图像一定程度的压缩和边缘特征的提取。所以小波去噪具有无可比拟的优越性。小波去噪主要优点有： 低熵性，小波系数的稀疏分布，使得图象变换后的熵降低； 多分辨率，由于采用了多分辨率的方法，所以可以非常好地刻画信号的非平稳特征，如边缘、尖峰、断点等； 去相关性，因为小波变换可以对信号进行去相关，且噪声在变换后有白化趋势，所以小波域比时域更利于去噪； 选基灵活性，由于小波变换可以灵活选择变换基，从而对不同应用场合、不同的研究对象，可以选用不同的小波函数，以获得最佳的效果。 [正文] 1、图像与噪声：
运动人体识别技术
二、运动人体识别技术 1.概念 运动人体识别技术是一种以图像处理，模式识别，计算机视觉等技术为基础，为运动人体进行识别处理的一项技术。其中图像处理（影像处理）是用计算机对图像进行分析，以达到所需结果的技术；模式识别是通过计算机用数学技术方法来研究模式的自动处理和判读，其中环境与客体统称为“模式”；计算机视觉技术是一门研究如何使机器看的学科，简单的说，就是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步作图像处理，使电脑处理成更适合人眼观察或传送仪器检测的图像。 2.运动人体识别的研究进展与现状 运动人体识别的研究主要包括图像处理、多传感技术、虚拟现实、模式识别、计算机视觉和图形学、计算机辅助技术、可视化技术以及智能机器人等。针对人体运动图像系列进行分析处理的运动人体视觉分析技术，一般情况下可分为：运动目标检测，运动目标特征提取以及识别复杂背景下的运动目标身份。其主要的研究方法为结构化分量和动态分量。其算法又分为基于统计的方法和基于模型的方法。现状是运动人体科学由宏观向微观理论研究深入发展，与运动人体科学相关的一些学科，快速成长为深入研究性学科，运动人体科学的竞技体育和体育保健。研究方向为：智能安全监控、人机接口、视频会议等方面，这些方面具有广泛的应用前景和巨大的潜在经济价值。 3.运动人体识别算法概述 （1）运动人体识别过程一般分为目标检测和处理、特征提取和分析、模式分类和识别。 （2）主要方法：目标检测和处理的特点为检测出原始图像中的运动目标，在一副图像中，局部目标的表象和形状能够被梯度或者边缘的方向密度分布很好的描述；特征提取和分析的特点为通过映射和变换的方法可以将高维空间中的特征描述用低维空间的特征来描述；模式分类和识别的特点是通过计算机用数学技术方法来研究模式的自动处理和判读，其中环境与客体统称为“模式” （3）特征提取模式识别的方法 在很多实际问题中，往往不容易找到那些最重要的特征，或者因为外界干扰不能提取出自己想要的特征信息。因此在测量时，我们总希望能够获取更多的信息来加以判断。除此之外，我们还能够用数据，比值，梯形图等等的一些展现方法来突出自己想要的特征信息。为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择和变换处理，组成有效的识别特征。 4.未来的发展趋势以及存在的问题 人体识别技术的发展趋势是：面对着全球化、信息化越来越提倡的社会背景下，识别技术会越来越广，深度也会不断加深。其虽然有着自己独特的优势，但并不是没有缺点，举个例子，在指纹识别上，面临指纹膜冒充指纹蒙混过关的问题；人面识别也许简单易个容就能过关；虹膜识别技术对黑眼睛存在识别难得问题；对于盲人和眼睛有疾病的患者实在是无能为力；声音、笔记也并不难以模仿；静脉识别也存在着易受温度干扰影响识别率的问题。
红外小目标的检测与跟踪
基于图像处理技术的红外小目标的检测与跟踪 王琛廖庆王亚慧 （电子科技大学，光电信息学院学院） 摘要：验证了一种基于红外小目标视频图像序列的跟踪算法，主要研究了基于形心计算的跟踪方法和基于kalman滤波器多帧数据关联方法的跟踪法。分别仿真验证，并从实现结果出发得出了两种算法的适用范围和各自存在的不足。 关键字：远红外小目标检测与跟踪 Detection and Tracking of Far - infrared Small Target Wang Chen Liao Qing Wang Yahui (University of Electronic Science and Technology of China) Abstract: Verify that a tracking Algorithm for Infrared small target based on video image sequence, the main study on tracking method based on centroid computation and multi - frame data association based on Kalman Filter Method for tracing method.Simulation, respectively, and proceeding from the implementation of the results reached the scope of the two algorithms and their insufficient. Key words: Far-infrared;Small targets; Detection and Tracking 0 引言 随着近十几年信息技术的飞速发展，计算机硬件的处理能力不断提高，存储成本大幅下跌，一些研究人员开始重点研究计算机视觉中有关运动的问题。与处理单幅图像相比，图像序列引入了新的时间维以及时间相关性约束，这一额外的约束激发了人们对视频理解的研究.视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析，一旦目标被确定，就可获得目标的特征参数选择。 。 由于视频跟踪具有广泛的应用范围，因而引起了世界范围内广大研究者的兴趣。 在1996年至1999年间，美国国防高级研究项目署（DARPA）资助卡内基梅隆大学、戴维SARNOFF研究中心等著名大学和公司合作，联合研制视频监视与监控系统VSAM，主要研究目的是开发用于战场及普通民用场景的自动视频理解技术。DARPA在2000年又资助了重大项目HID计划，其任务是开发多模式的监控技术以实现远距离情况下人的检测、分类
基于图像处理的目标跟踪系统
中南民族大学 毕业论文(设计) 学院：生物医学工程学院 专业：生物医学工程年级： 2008 题目: 基于图像处理的目标跟踪系统 学生姓名：熊章靖学号：08073103 指导教师姓名: 谢勤岚职称: 教授 2012年5月10日
中南民族大学本科毕业论文（设计）原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承担。 作者签名： 2012年5月10日
目录 摘要 (1) Abstract (1) 1 引言 (2) 2 OpenCV的体系结构 (3) 2.1 OpenCV中的常用数据结构体系 (3) 2.2 OpenCV中常用类体系 (4) 2.3 OpenCV常用的函数 (4) 3视频处理 (7) 3.1用HighGUI对视频进行读写处理 (7) 3.1.1获取摄像头，显示图像 (7) 3.2对AVI文件的处理 (8) 4运动目标检测 (11) 4.1运动目标检测的基本方法 (11) 4.2本文的检测算法 (12) 4.3开运算和闭运算 (14) 5程序编辑及结果分析 (15) 5.1配置Visual C++ 6.0 (15) 5.1.1全局设置 (15) 5.1.2项目设置 (17) 5.2程序运行演示 (17) 5.3运行结果分析 (18) 结论 (19) 参考文献 (20) 致谢词 (21)
基于图像处理的目标跟踪系统 摘要：介绍了一种基于OpenCV的运动物体跟踪算法，用于实现在背景中检测出运动目标并实施警戒等特定提示的目的。该算法利用背景差分法得到当前帧中的静止的背景模型，并在不断更新的视频图像中检测前景图像，提取出运动目标。简单介绍了必要的函数和数据结构，以及重要的程序板块。实验结果表明，该方法可以较好地实现视频序列中运动目标的检测，具有实时性，并能得到较好的检测结果。相信在安防监督领域有更为广泛的运用。 关键字：运动目标检测；背景差分法；OpenCV The target tracking system based on image processing Abstract：It's introducing a kind of moving objects tracking algorithm based on OpenCV,which is used to realize the purpose of detection on moving objects in background and implementing of specific tips for warning.The algorithm gets the static background model in the current frame with the background-finite-difference method, and tests the foreground images in the constantly updated video images ,and extracts the moving targets from them, .In addition, it introduces the necessary functions,data structures and the important program plates. The results we get from the experiment shows that this method can well realize moving targets detection in video sequences, which are defined, and we can get a good test results from it with believing that this method will be more used of in the security supervision areas. Key Words：Moving targets detection;Frame difference;OpenCV