改进的基于多示例学习的目标跟踪方法研究

目标跟踪相关研究综述

Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.360docs.net/doc/5b9302672.html,/journal/airr https://www.360docs.net/doc/5b9302672.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.360docs.net/doc/5b9302672.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.360docs.net/doc/5b9302672.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述徐佳龙海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.360docs.net/doc/5b9302672.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日摘要目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。

多目标跟踪

多目标跟踪的基本理论所谓多目标跟踪，就是为了维持对多个目标当前状态的估计而对所接收到的量测信息进行处理的过程。目标模型不确定性是指目标在未知的时间段内可能作己知的或未知的机动。一般情况下，目标的非机动方式及目标发生机动时的不同的机动形式都可以通过不同的数学模型来加以描述。在进行目标跟踪过程中，采用不正确的目标运动模型会导致跟踪系统跟踪性能的严重下降。因而在目标跟踪过程中，运动模型采用的正确与否对目标的跟踪性能是至关重要的。观测不确定性是指由传感器系统提供的量测数据可能是外部的干扰数据，它有可能是由杂波、虚警和相邻的目标所引起的，也可能是由被跟踪目标的对抗系统所主动发出来的虚假信息。这种不确定性在本质上显然是离散的，给目标跟踪问题提出了极大的挑战，相应地也就产生了数据关联的问题。数据关联数据关联的作用主要有：航迹保持、航迹建立和航迹终结。数据关联算法主要有：“最近邻”方法，“全邻”最优滤波器方法、概率数据关联滤波器方法、多模型方法、相互作用多模型一概率数据关联滤波器方法、联合概率数据关联滤波器方法、多假设方法、航迹分裂方法。 1.“最近邻”方法的思想是：在落入跟踪波门中的所有量测中，离目标跟踪预测位置最近的量测认为是有效量测。“最近邻”方法的好处是算法最简单，但是精度差，抗杂波干扰的能力差。“最近邻”方法因为简单，算法易实现，因此也是目前广泛采用的一种数据关联算法． 2 .“全邻”最优滤波器 Singer,Sea和Housewright发展了一类“全邻”滤波器，这种滤波器不仅考虑了所有候选回波（空间累积信息），而且考虑了跟踪历史，即多扫描相关（时间累积信息）假定多余回波互不相关并且均匀分布于跟踪门内，则任何跟踪门的体积V内多余回波的数目Cx服从均值为βV的泊松分布。假定在K-1时刻，轨迹a′正确的概率为Pa(k-1)。关键问题是计算k时刻轨迹的正确概率Pa(k)。

静止背景下的多目标追踪(附matlab程序)

静止背景下的多目标追踪随着计算机技术以及智能汽车行业的发展，多目标的检测与追踪的实用性与研究价值逐渐提高。在计算机视觉的三层结构中，目标跟踪属于中间层，是其他高层任务，例如动作识别以及行为分析等的基础。其主要应用可包括视频监控，检测异常行为人机交互，对复杂场景中目标交互的识别与处理，以及虚拟现实及医学图像。目标跟踪又包括单目标跟踪和多目标跟踪。单目标跟踪可以通过目标的表观建模或者运动建模，以处理光照、形变、遮挡等问题，而多目标跟踪问题则更加复杂，除了单目标跟踪回遇到的问题外，还需要目标间的关联匹配。另外在多目标跟踪任务中经常会碰到目标的频繁遮挡、轨迹开始终止时刻未知、目标太小、表观相似、目标间交互、低帧率等等问题。静止背景下的多目标追踪可分为两步来实现，第一步是在视频文件的每帧中检测出移动的目标，第二步是将检测到的目标与跟踪轨迹实时匹配。在本次实验中，利用混合高斯模型进行背景减除，使用形态学操作消除噪声，通过卡尔曼滤波预测目标位置，最后利用匈牙利算法进行匹配，实现静止背景下的多目标追踪。 1 实验原理 1.1 混合高斯模型单高斯模型是利用高维高斯分布概率来进行模式分类： 11()exp[(x )(x )] 2T x N C μσμ-=--- 其中μ用训练样本均值代替，σ用样本方差代替，X 为d 维的样本向量。通过高斯概率公式就可以得出类别C 属于正（负）样本的概率。而混合高斯模型就是数据从多个高斯分布中产生，每个GMM 由k 个单高斯分布线性叠加而成。相当于对各个高斯分布进行加权，权系数越大，那么这个数据属于这个高斯分布的可能性越大。 (x)(k)*p(x |k)P p =∑ 利用混合高斯模型(GMM)可以进行背景减除，将前后景分离，得到移动的目标。对每个像素点建立由k 个单高斯模型线性叠加而成的模型，在这些混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。单个像素点在t 时刻服从混合高斯分布概率密度函数： ,,,1 (x )(x ,,)k t i t t i t i t i p w ημτ==∑ 其中k 为分布模式总数， ,,(x ,,)t i t i t ημτ为t 时刻第i 个高斯分布，,i t μ为其均值，,i t τ为其协方差矩阵。在获得新一帧图像后更新混合高斯模型。用图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。当背景更新完成后，高

视频目标跟踪算法综述_蔡荣太

1引言目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033）【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed．【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）

目标跟踪算法的研究毕业论文

目录摘要 (1) ABSTRACT (2) 第一章绪论 (4) 1.1课题研究背景和意义 (4) 1.2国外研究现状 (5) 1.3本文的具体结构安排 (7) 第二章运动目标检测 (8) 2.1检测算法及概述 (8) 2.1.1连续帧间差分法 (9) 2.1.2背景去除法 (11) 2.1.3光流法 (13) 第三章运动目标跟踪方法 (16) 3.1引言 (16) 3.2运动目标跟踪方法 (16) 3.2.1基于特征匹配的跟踪方法 (16) 3.2.2基于区域匹配的跟踪方法 (17) 3.2.3基于模型匹配的跟踪方法 (18) 3.3运动目标搜索算法 (18) 3.3.1绝对平衡搜索法 (18) 3.4绝对平衡搜索法实验结果 (19) 3.4.1归一化互相关搜索法 (21)

3.5归一化互相关搜索法实验结果及分析 (22) 第四章模板更新与轨迹预测 (26) 4.1模板更新简述及策略 (26) 4.2轨迹预测 (28) 4.2.1线性预测 (29) 4.2.2平方预测器 (30) 4.3实验结果及分析： (31) 致 (36) 参考文献 (37) 毕业设计小结 (38)

摘要图像序列目标跟踪是计算机视觉中的经典问题，它是指在一组图像序列中，根据所需目标模型，实时确定图像中目标所在位置的过程。它最初吸引了军方的关注，逐渐被应用于电视制导炸弹、火控系统等军用备中。序列图像运动目标跟踪是通过对传感器拍摄到的图像序列进行分析，计算出目标在每帧图像上的位置。它是计算机视觉系统的核心，是一项融合了图像处理、模式识别、人工只能和自动控制等领域先进成果的高技术课题，在航天、监控、生物医学和机器人技术等多种领域都有广泛应用。因此，非常有必要研究运动目标的跟踪。本论文就图像的单目标跟踪问题，本文重点研究了帧间差分法和背景去除法等目标检测方法，研究了模板相关匹配跟踪算法主要是：最小均方误差函数(MES)，最小平均绝对差值函数(MAD)和最大匹配像素统计(MPC)的跟踪算法。在跟踪过程中，由于跟踪设备与目标的相对运动, 视野中的目标可能出现大小、形状、姿态等变化, 加上外界环境中的各种干扰, 所要跟踪的目标和目标所在的场景都发生了变化, 有可能丢失跟踪目标。为了保证跟踪的稳定性和正确性, 需要对模板图像进行自适应更新。由于目标运动有一定得规律，可以采取轨迹预测以提高跟踪精度，本文采用了线性预测法。对比分析了相关匹配算法的跟踪精度和跟踪速度；对比不采用模板更新和模板跟新的跟踪进度和差别，实验表明，跟踪算法加上轨迹预测及模板跟新在很大程度上提高了跟踪帧数，提高了跟踪精度，具有一定的抗噪声性能。

基于RGB-D的在线多示例学习目标跟踪算法

２０１５年７月第３６卷第７期计算机工程与设计ＣＯＭＰＵＴＥＲＥＮＧＩＮＥＥＲＩＮＧＡＮＤＤＥＳＩＧＮＪｕｌｙ２０１５Ｖｏｌ.３６Ｎｏ.７基于ＲＧＢ‐Ｄ的在线多示例学习目标跟踪算法高毅鹏１，２，郑彬２＋，曾宪华１（１．重庆邮电大学计算机科学与技术学院，重庆４０００６５；２．中国科学院重庆绿色智能技术研究院，重庆４００７１４）摘要：基于２Ｄ特征的目标跟踪算法缺少３维信息，因此在目标尺度、姿态变化和平面旋转时会引起跟踪不稳定易丢失目标的问题，为此提出一种基于ＲＧＢ‐Ｄ的在线多示例学习目标跟踪算法。利用深度数据的特性在深度图中和ＲＧＢ图中构建多尺度空间，提取多尺度的Ｈａａｒ‐Ｄ特征和Ｈａａｒ特征；利用多实例学习策略将多尺度的Ｈａａｒ‐Ｄ特征和Ｈａａｒ特征融合。实验结果表明，该算法能很好得处理室内或室外环境下目标姿态变化、平面旋转和部分遮挡的问题。关键词：目标跟踪；Ｈａａｒ‐Ｄ特征；多尺度特征空间；多示例学习；深度图中图法分类号：ＴＰ３９１.４文献标识号：Ａ文章编号：１０００‐７０２４（２０１５）０７‐１８６５‐０６ｄｏｉ：１０.１６２０８／ｊ.ｉｓｓｎ１０００‐７０２４.２０１５.０７.０３６收稿日期：２０１４‐０７‐２４；修订日期：２０１４‐０９‐２９基金项目：国家自然科学基金项目（６１１７９０５９）；重庆市“１５１”科技重大专项基金项目（ｃｓｔｃ２０１３ｊｃｓｆ‐ｚｄｚｘｑｑＸ００５）作者简介：高毅鹏（１９８９），男，甘肃定西人，硕士研究生，研究方向为计算机视觉、目标跟踪；＋通讯作者：郑彬（１９７２），男，四川内江人，副研究员，硕士生导师，研究方向为优化设计、可靠性设计；曾宪华（１９７３），男，四川攀枝花人，副教授，硕士生导师，研究方向为流形学习、（半）监督机器学习。Ｅ‐ｍａｉｌ：７７３９７７７６５＠ｑｑ.ｃｏｍＲｅａｌ‐ｔｉｍｅｏｂｊｅｃｔｔｒａｃｋｉｎｇｖｉａｏｎｌｉｎｅＲＧＢ‐ＤｍｕｌｔｉｐｌｅｉｎｓｔａｎｃｅｌｅａｒｎｉｎｇＧＡＯＹｉ‐ｐｅｎｇ１，２，ＺＨＥＮＧＢｉｎ２＋，ＺＥＮＧＸｉａｎ‐ｈｕａ１（１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ４０００６５，Ｃｈｉｎａ；２．ＣｈｏｎｇｑｉｎｇＩｎｓｔｉｔｕｔｅｏｆＧｒｅｅｎａｎｄＩｎｔｅｌｌｉｇｅｎｔＴｅｃｈｎｏｌｏｇｙ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｃｈｏｎｇｑｉｎｇ４００７１４，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｒａｄｉｔｉｏｎａｌ２Ｄｆｅａｔｕｒｅ‐ｂａｓｅｄｔｒａｃｋｉｎｇａｌｇｏｒｉｔｈｍｉｓｅａｓｙｔｏｆａｉｌｔｒａｃｋｔａｒｇｅｔｓｔａｂｌｙｉｎｐｏｓｅ，ｓｃａｌｅｖａｒｉａｔｉｏｎｏｒｐｌａｎｅｒｏｔａ‐ｔｉｏｎｂｅｃａｕｓｅｉｔｉｓｌａｃｋｏｆ３Ｄｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｏｂｊｅｃｔ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ａｒｅａｌ‐ｔｉｍｅｏｂｊｅｃｔｔｒａｃｋｉｎｇａｌｇｏｒｉｔｈｍｖｉａｏｎｌｉｎｅＲＧＢ‐Ｄｍｕｌｔｉｐｌｅｉｎｓｔａｎｃｅ（ＲＧＢ‐Ｄｔｒａｃｋｅｒ）ｗａｓｐｒｅｓｅｎｔｅｄ．Ｔｈｅｍｕｌｔｉ‐ｓｃａｌｅｆｅａｔｕｒｅｓｐａｃｅｗａｓｂｕｉｌｔｂａｓｅｄｏｎｔｈｅｄｅｐｔｈｏｆｄａｔａ，ａｎｄｔｈｅｎｍｕｌｔｉ‐ｓｃａｌｅＨａａｒ‐ＤｆｅａｔｕｒｅｓａｎｄＨａａｒｆｅａｔｕｒｅｓｆｒｏｍＲＧＢｉｍａｇｅａｎｄｄｅｐｔｈｉｍａｇｅｗｅｒｅｅｘｔｒａｃｔｅｄ．ＴｈｅｍｕｌｔｉｐｌｅｉｎｓｔａｎｃｅｓｌｅａｒｎｉｎｇｓｔｒａｔｅｇｙｗａｓｅｘｐｌｏｉｔｅｄｆｏｒｆｕｓｉｎｇＨａａｒ‐ＤｆｅａｔｕｒｅａｎｄＨａａｒｆｅａｔｕｒｅ．Ｒｅｓｕｌｔｓｏｆｅｘｔｅｎｓｉｖｅｅｘｐｅｒｉｍｅｎｔｓｄｅｍｏｎｓｔｒａｔｅｔｈｅｅｆ‐ｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｐｒｏｐｏｓｅｄｔｒａｃｋｉｎｇａｌｇｏｒｉｔｈｍｉｎｉｎｄｏｏｒａｎｄｏｕｔｄｏｏｒｅｎｖｉｒｏｎｍｅｎｔｓｗｈｅｒｅｔｈｅｔａｒｇｅｔｓｕｎｄｅｒｇｏｌａｒｇｅｃｈａｎｇｅｉｎｐｏｓｅ，ｐｌａｎｅｒｏｔａｔｉｏｎａｎｄｐａｒｔｉａｌｏｃｃｌｕｓｉｏｎ．Ｋｅｙｗｏｒｄｓ：ｔａｒｇｅｔｔｒａｃｋｉｎｇ；Ｈａａｒ‐Ｄｆｅａｔｕｒｅｓ；ｍｕｌｔｉ‐ｓｃａｌｅｆｅａｔｕｒｅｓｐａｃｅ；ｍｕｌｔｉｐｌｅｉｎｓｔａｎｃｅｌｅａｒｎｉｎｇ；ｄｅｐｔｈｉｍａｇｅ０引言近年来一种称为“ｔｒａｃｋｉｎｇ‐ｂｙ‐ｄｅｔｅｃｔｉｏｎ”的方法受到了广泛关注，该算法通过建立在线更新分类器实现目标跟踪，其关键在于将序列图像中的前景目标从背景中分割出来，将跟踪视为一种特殊的二元分类问题［１］。例如，文献［２］中融入先验知识的在线Ｂｏｏｓｔｉｎｇ跟踪算法；文献［３］提出将跟踪、学习、Ｐ‐Ｎ检测进行整合以此来跟踪的框架的方法；文献［４］提出一种半监督的在线增值学习算法，利用将第一帧的样本进行标记而其它样本不进行标记的方式来跟踪；文献［５］提出一种实时压缩跟踪方法，它利用随机感知矩阵对图像特征进行降维，从而提高运算速度，但跟踪过程中尺度无法随目标尺度自适应改变，容易导致跟踪失败；ＭＩＬ（在线多示例学习跟踪算法）利用多示例学习算法构建出一个鲁棒的跟踪框架然，但由于时间复杂度较大而难以实际应用［６］；ＷＭＩＬ（在线加权多示例学习目标跟踪算法）赋予不同的正样本不用的权值，以此来加快特征选择提高算法的实时性，然而由于算法本身特征尺度单一又缺乏目标的３Ｄ运动信息，因此，当目标外观模型的尺度，姿态变化和平面旋转时容易导致跟踪失败［７］。

多目标跟踪算法

多目标跟踪算法先来回顾下卡尔曼滤波器：假定k k x |表示当前k 时刻目标的状态，k 1k x |+表示下一个时刻目标的状态，k z 则表示k 时刻的实际观测。一般地模型都假定为线性的：这里的1k x +为k+1时刻目标的状态，k x 为k 时刻的状态，为状态转移矩阵，而是服从均值为0方差为的正态分布，表示由噪声等引起的干扰。卡尔曼滤波采取初步估计：这里的估计只是初步的估计，状态估计与实际状态的误差矩阵等于状态1k x +的的方差，即：更新（修正）：这里已知了实际观察，同样是假定观测与状态的似然关系是线性的，即满足：服从一个均值为0方差为的正态分布。卡尔曼滤波器给出了经过更新后得到的比较合理的k+1时刻的估计为：相应地得到了更新后方差的估计：这里：其实这些都是通过最小二乘法推出来的，即使得误差：最小，而初步估计也是通过最小二乘法获得，即使得：最小。有了上述估计方程后，便可以获得一个估计流程：

下面再介绍下贝叶斯公式先看一个定义马氏链：设{} ,,,k j i E =为有限集或可列集，称()0n n X ≥为定义在概率空间()P F,,Ω上，取值于空间E 的马氏链，如果满足下面的马氏性：对一切n 10i i i ,,, 有 [][]1n 1n n n 1n 1n 00n n i X i X P i X i X i X P ----======|,,| 若左边的条件概率有定义，则称[]i X j X P 1n n ==-|为在n-1时刻状态为i,在n 时刻在j 的转移概率函数，若它与n 无关，则记为ij p ，并称为时齐的或齐次的。显然这里的马氏性接近于独立性，在一定程度上可以称为无记忆性或无后效性。下面我们来推导贝叶斯公式：容易由条件概率公式定义知而 ()()()()()()( ) ()() ()( ) ()() ( )() ()()() 1 k 1 k 1k k k 1 k k 1k k k 1k k 1k k k 1k k k k k 1k 1k 1k k k 1k k k k k 1k 1k 1k k k 1k 1k 1k k k 1k 1k 1k 1k 1k z x f dx x f x z f x f x z f z f dx x f x z f x z f z f x f x z f x z f dx z x f x z f z x f x z f x f +++++++++++++++++++++++== ? == ?? ?||||||||||||||||||||||||| 就得到了更新后的公式如下：这里记于是就可以得到贝叶斯滤波器跟踪流程如下：实际上可以证明，卡尔曼滤波器是贝叶斯滤波器的一种特殊形式，由于假定噪声服从正态分布，同样地观测与状态估计的误差也是服从正态分布，那么不难得：

(完整版)视频目标检测与跟踪算法综述

视频目标检测与跟踪算法综述 1、引言运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1 帧差法帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ，y)的象素值,则这两帧图像的差值图像就如公式2-1 所示： 1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1) 2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +；2、对所得到的差值图像1k Diff +二值化（如式子2-2 示）得到Qk+1；3、为消除微小噪声的干扰，使得到的运动目标更准确，对1k Q +进行必要的滤波和去噪处理，后处理结果为1k M +。 111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T +++>?=?≤? （T 为阈值）（2-2）

目标跟踪算法综述

。目标跟踪算法综述大连理工大学卢湖川一、引言目标跟踪是计算机视觉领域的一个重要问题，在运动分析、视频压缩、行为识别、视频监控、智能交通和机器人导航等很多研究方向上都有着广泛的应用。目标跟踪的主要任务是给定目标物体在第一帧视频图像中的位置，通过外观模型和运动模型估计目标在接下来的视频图像中的状态。如图1所示。目标跟踪主要可以分为5 部分，分别是运动模型、特征提取、外观模型、目标定位和模型更新。运动模型可以依据上一帧目标的位置来预测在当前帧目标可能出现的区域，现在大部分算法采用的是粒子滤波或相关滤波的方法来建模目标运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是被跟踪目标的可能性，进行目标定位。由于跟踪物体先验信息的缺乏，需要在跟踪过程中实时进行模型更新，使得跟踪器能够适应目标外观和环境的变化。尽管在线目标跟踪的研究在过去几十年里有很大进展，但是由被跟踪目标外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对最近几年本领域相关算法进行综述。二、目标跟踪研究现状 1. 基于相关滤波的目标跟踪算法在相关滤波目标跟踪算法出现之前，大部分目标跟踪算法采用粒子滤波框架来进行目标跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了一种新颖的循环采样方法，并利用循环样本构建循环矩阵。利用循环矩阵时域频域转换的特殊性质，将运算转换到频域内进行计算，大大加快的分类器的训练。同时，在目标检测阶段，分类器可以同时得到所有循环样本得分组成的响应图像，根据最大值位置进行目标定位。相关滤波用于目标跟踪最早是在MOSSE算法[1]中提出的。发展至今，很多基于相关滤波的改进工作在目标跟踪领域已经取得很多可喜的成果。 1.1. 特征部分改进 MOSSE[1] 算法及在此基础上引入循环矩阵快速计算的CSK[2]算法均采用简单灰度特征，这种特征很容易受到外界环境的干扰，导致跟踪不准确。为了提升算法性能，CN算法[3]对特征部分进行了优化，提出CN（Color Name）空间，该空间通道数为11（包括黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄），颜色空间的引入大大提升了算法的精度。与此类似，KCF算法[4]采用方向梯度直方图（HOG）特征与相关滤波算法结合，同时提出一种将多通道特征融入相关滤波的方法。这种特征对于可以提取物体的边缘信息，对于光照和颜色变化等比较鲁棒。方向梯度直方图（HOG）特征对于运动模糊、光照变化及颜色变化等鲁棒性良好，但对于形变的鲁棒性较差；颜色特征对于形变鲁棒性较好，但对于光照变化不够鲁棒。STAPLE算法[5]将两种特征进行有效地结合，使用方向直方图特征得到相关滤波的响应图，使用颜色直方图得到的统计得分，两者融合得到最后的响应图像并估计目标位置，提高了跟踪算法的准确度，但也使得计算稍微复杂了一些。图1 目标跟踪算法流程图

目标跟踪算法设计与实现

实验六、目标跟踪算法设计与实现一、实验目的 1、熟悉各种图像预处理方法，如直方图处理、图像去噪声、图像增强与复原、图像变换等，了解这些方法在图像分析与识别、目标检测及跟踪等各种应用中所起的作用。 2、熟悉基本的图像分割原理。 3、能够利用matlab工具完整实现从图像预处理、图像分割、特征提取与分析及各种实际应用的完整流程。 4、该实验为一个综合设计及应用的实验，目的是要求学生综合利用学到的光电图像处理知识，解决图像识别、目标检测及目标定位与跟踪问题。进一步深入理解光电图像处理的重要性，提高学生利用光电图像处理基本理论、方法等解决实际问题及提高分析问题的能力。二、实验内容 (一)序列图像中的运动目标形心跟踪 1、序列图像的读取与显示本实验提供了200帧的图像序列，为BMP文件，文件名后缀的序号按场景出现的先后顺序排列，序列图像读取及显示。 2、图像分割首先对图像进行必要的阈值分析，确定合适的阈值后，再对图像进行二值化处理（图像分割）。 3、形心计算在分割的单帧图像上，计算图像的形心坐标（Xc，Yc）,确定目标在

像素平面上的位置。 4、形心跟踪 1)确定跟踪波门：即以形心位置为中心，在图像中包含目标的区域添加一个合适的矩形框 2）实时跟踪：循环读取序列图像，对每帧图像均计算形心，和进行包含目标区域的波门绘制。实现对200帧序列图像中运动目标的实时稳定跟踪，如图1所示（仅为示意图，并非原图）。实验结果：通过合适的波门选择和阈值修正，基本实现了200帧的连续跟踪，跟踪的效果较好，如下图所示：

源码： clear;clc;close all path='C:\1\'; filecount=200; for i=1:filecount name=num2str(i); if i<=9 filename=strcat('0000000',name,'.bmp'); elseif i<=99 filename=strcat('000000',name,'.bmp'); elseif i<=199 filename=strcat('00000',name,'.bmp'); end I=imread([path filename]); I1=imcrop(I,[0,0,505,272]); I2=mat2gray(I1); figure(1),imshow(I2); level=graythresh(I2);%%求二值化的阈值[height,width]=size(I2); Level_fixed=level-0.05;%%阈值修正 bw=im2bw(I1,Level_fixed);%%二值化图像 figure(3),imshow(bw);%%显示二值化图像 [L,num]=bwlabel(bw,8);%%标注二进制图像中已连接的部分plot_x=zeros(1,1);%%用于记录质心位置的坐标 plot_y=zeros(1,1); sum_x=0;sum_y=0;area=0; [height,width]=size(bw);

多目标跟踪方法研究综述

经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管制、医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。１、多目标跟踪的一般步骤基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要流程是相同的，如图１所示，其主要包括图像预处理、运动目标检测、多目标标记与分离、多目标跟踪四个步骤。图１多目标跟踪基本流程图２、多目标跟踪方法多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。２．１单视点的方法单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟踪。例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失，跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡的情况。另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。２．２多视点的方法随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确位置的需要，多视点的方法成为研究的热点。多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的背景提取中获得的连接块并应用其去匹配和跟踪目标。除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。３、总结动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４．［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述苏州联讯图创软件有限责任公司陈宁强［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。目标跟踪多目标标记与分离匹配目标模型运动检测当前帧图像背景提取去噪ＲＯＩ预处理视频序列（下转第２６页）

多目标跟踪雷达

多目标跟踪雷达 GE GROUP system office room 【GEIHUA16H-GEIHUA GEIHUA8Q8-

多目标跟踪雷达路口存在检测方案采用多维式扫描雷达天线和先进DSP跟踪算法，对路口单方面向最少四车道、最多八车道的车辆进行精准的存在检测或感应检测，同时还能提供精准的单车及时测度、车辆位置信息以及停止线的车流量、平均速度和占有率等交通刘统计数据。路段多功能检测，能对横向四车道八车道、纵向160米范围的大视域内车辆进行实时检测。跟踪区域内所有车辆的行为轨迹、真实量化还原路况状态，提供精准的单车即时时速度、车辆位置、车型信息，同时提供精准的断面的车流量平均车速和占有率等交通流统计数据，以及对区域内多种异常事件及时报警，为交通诱导系统和交通事件检测系统提供数据支撑，

随着城市车辆快速增长，路口的管理压力越来越大，配套的信号控制系统、交通诱导、交通仿真系统等对数据的要求也越来越高。而路口车辆存在信息是实现高效、稳定信号控制的基本要求，也是现阶段国内外主流交通信号控制系统应用最为成熟的数据模型之一。因此，交叉路口的车辆存在信息就显的尤为重要。城市路口车辆存在检测系统通过建立覆盖路口特定位置的采集点位，配备前端感知检测，实时吧存在信息传送之信号机控制及系统，对路口信号配时，优化提供支撑。同时，公安交通管理部门可以根据车流量历史统计数据、分析路口车辆运行规律，针对性制定控制管理策略。需求说明：城市路口存在检测系统，主要完成路口停车线、或特定断面的车辆存在信息采集，可以及时掌握路口特定位置车流量状态，为信号机控制、交通诱导等系统提供数据支撑。 1、在城市重要路口设立和完善的存在检测点、检测各方的车流量信息。 2、建立城市的数据传输、应用接口模块。实现无缝对接信号机控制系统。 3、用户可以通过实时数据库、以及客户端管理进行查看每个路口车辆存在信息、车流量、占有率等，可以连续24时实时检测。 4、具备数据存储功能。可以作为路口管理的数据支撑。系统说明：

目标跟踪的研究背景意义方法及现状

目录 ? 1.课题背景与研究意义? 2.国内外研究现状 ? 3.存在的问题 ? 4.总结，发展与展望 ? 5.参考文献

1课题背景与研究意义 ?运动目标的跟踪就是在视频图像的每一幅图像中确定出我们感兴趣的运动目标的位置，并把不同帧中同一目标对应起来。 ?智能视频监控(IVS: Intelligent Video Surveillance)是计算机视觉领域近几年来发展较快，研究较多的一个应用方向。它能够利用计算机视觉技术对采集到的视频信号进行处理、分析和理解，并以此为基础对视频监控系统进行控制，从而使视频监控系统具备更好的智能性和鲁棒性。智能视频监控系统主要涉及到图像处理、计算机视觉、模式识别、人工智能等方面的科学知识，它的用途非常广泛，在民用和军事领域中都有着极大的应用前景。

2.国内外研究现状视频目标跟踪算法基于对比度分析基于匹配核方法运动检测其它方法特征匹配贝叶斯跟踪 Mean shift方法光流法

基于对比度分析的方法 ?算法思想：基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。 ?分类：边缘跟踪，型心跟踪，质心跟踪。 ?优缺点：不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。

基于特征匹配的目标跟踪算法 ?算法思想：基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的过程就是特征匹配过程。 ?目标跟踪中用到的特征主要有几何形状、子空间特征、外形轮廓和特征点等。其中，特征点是匹配算法中常用的特征。特征点的提取算法很多，如Kanade Lucas Tomasi （KLT）算法、Harris 算法、SIFT 算法以及SURF 算法等。?优缺点：特征点一般是稀疏的，携带的信息较少，可以通过集成前几帧的信息进行补偿。目标在运动过程中，其特征（如姿态、几何形状、灰度或颜色分布等）也随之变化。目标特征的变化具有随机性，这种随机变化可以采用统计数学的方法来描述。直方图是图像处理中天然的统计量，因此彩色和边缘方向直方图在跟踪算法中被广泛采用。