基于差分图象的多运动目标的检测与跟踪
基于OpenCV的运动目标检测与跟踪
基于OpenCV的运动目标检测与跟踪基于OpenCV的运动目标检测与跟踪摘要：运动目标检测与跟踪在计算机视觉和图像处理领域中具有重要的应用价值。
它可以应用于视频监控、自动驾驶、行人识别等多个领域。
本文将介绍如何使用OpenCV库实现运动目标的检测与跟踪，并通过实例演示其应用。
其中包括运动物体检测、运动轨迹跟踪和背景建模等关键技术。
通过对运动目标的检测和跟踪，可以提供实时的监控和追踪能力，为各种应用场景提供技术支持。
1. 引言运动目标检测与跟踪是计算机视觉领域的一个重要研究方向，它的核心任务是从图像序列中提取有意义的运动目标，并对其进行跟踪和分析。
运动目标检测与跟踪在实际应用中有着广泛的需求和应用场景。
例如，在视频监控系统中，可以通过运动目标的检测和跟踪来提供实时的监控和报警能力。
在自动驾驶系统中，可以通过识别和跟踪其他车辆和行人来实现智能的行车决策。
因此，研究和实现高效准确的运动目标检测与跟踪技术对于提升计算机视觉系统的性能和可靠性具有重要意义。
2. 基于OpenCV的运动目标检测与跟踪方法2.1 运动物体检测运动物体检测是运动目标检测与跟踪的第一步，其目标是从图像序列中分离出具有运动的物体。
在OpenCV中，可以使用背景差分法实现运动物体的检测。
背景差分法基于假设每一帧图像中静止部分为背景，通过对当前帧图像与历史帧图像之间的差异进行比较，提取出具有运动的前景物体。
这种方法简单有效，在实际应用中具有广泛的应用场景。
2.2 运动轨迹跟踪运动轨迹跟踪是对运动目标进行持续追踪的技术，其目标是实时获取目标物体在图像序列中的位置和运动情况。
在OpenCV中，可以使用卡尔曼滤波器实现运动轨迹的跟踪。
卡尔曼滤波器是一种能够根据过去的位置和速度信息来预测当前物体位置的滤波器。
通过不断更新目标物体的位置和速度信息，可以实现准确的运动轨迹跟踪。
2.3 背景建模背景建模是用于建立背景模型的方法，用于对比和识别运动目标。
基于差分法和概率估计方法的运动目标检测
第 １ 期
天
津
理
工Ｖｏ ． １２８ Ｎｏ． １
２１ ０ ２年 ２月
Ｊ ｏＵＲＮＡＬ ＮＪ Ｎ Ｉ ｏＦ Ｔ Ｉ Ｉ Ｉ ＶＥＲＳ Ｔ ｏＦ Ｉ Ｙ ＴＥＣＨＮＯＬｏＧＹ
Ｆ ｂ２ ２ ｅ ． ０１
文 章 编 号 ：６ ３０ ５ ２ １ ）１０ ６ —５ １７ —９ Ｘ（０ ２ ０ －０ ３ ０
ｂ ｔ ｎ ｏ ｓ ｓｄｔ ｍ ｒ ｅ ｖ ｇｏｊｃ ｃｔ ｎ ｈ ｌ ｒ ｇ ｍ ｒｈｌｇ ａ ｐｏ ｅｓ ｇｔａ ｗ ｓ ｔ ｆｉ ｕｉ ．Ａ ｂ ｘｉ ｕｅ ａｋｔ ｉ ｂｅｔ ｌ ａ ｏ．Ｔ ｅｆｔ ｉ ， ｏｐ ｏｏｉ ｌ ｒｃｓｉ ｔ ａｔ ａ ｏ ｏ ｍｅ ｏ ｏ ｈ ｍｏ ｎ ｓｏ ｉ ｉ ｅｎ ｃ ｎ ｈ ｅ ｌ ｔ
ａ ｉｔ ｉ ｔｅｇａｓａｅｈｓ ｇａ ｗ ｓ ｉ ｎｆ ｅｓｇ ｎｉｇｐｏｅｓ ｇｏ ｅｍ ｖｎ ｂｅｔｒ ａｋ ｒ ｎ ｏ ｉｇ ｂｌｙ ｎ ｈ ｒｙｃｌ ｉｏｒｍ， ａ ｖ ｒｈ ｅｍｅｔ ｒ ｓｉ ｆｈ ｏ ｉ ｏｊｃ ｆ ｍ ｂｃ ｇ ｕ ｄｉ ｓｌ ｎ ｉ ｔ ｇｅ ｏｔ ｎ ｃ ｎ ｔ ｇ ｏ ｏ ｎ ｖ
（ ．ｃｏｌ ｆ ｏ ｕｅ ａｄＣ ｍ ｕ ｉ ｔ ｎ ｎｉｅｒ ｇ Ｔａｊ ｅ ａｏａｏ ｆ ｉ ｌｃ ｏｉ ａ ｄ ａ Ｓｈｏ ｏ Ｃ ｍｐｔ ｎ ｏ ｍ ｎｃ ｉ ｓＥ ｇｎｅ ｎ ， ｉ ｉ Ｋ ｙＬ ｂｒｔ ｙｏ ｌ Ｅｅｔ ｎｃ ｎ ｒ ａｏ ｉ ｎｎ ｒ Ｆｍ ｒ
Ｃｏ ｍｍｕ ｉａｉ ｎ Ｄｅ ｉｅ ；ｂ Ｓ ｈ ｏ ｆ ｅ ｔ ｎ ｃ Ｉｆ ｒ ｔ ｎ Ｅ ｇｎ ｅｉ ｇ， ａ ｎ ｎ ｃ ｔ ｖｃ ｓ ． ｃ ｏ ｌｏ ｃｒ ｉ ｎ ｏｍａ ｉ ｎ ｉ ｅ ｒｎ Ｔｉ ｉ ｏ Ｅｌ ｏ ｏ
《运动目标检测和跟踪算法的研究及实现》
《运动目标检测和跟踪算法的研究及实现》一、引言运动目标检测和跟踪是计算机视觉领域中的一项重要技术，广泛应用于智能监控、自动驾驶、人机交互等众多领域。
本文旨在研究并实现一种高效、准确的运动目标检测和跟踪算法，为相关领域的研究和应用提供参考。
二、运动目标检测算法研究1. 背景及意义运动目标检测是计算机视觉中的一项基础任务，其目的是从视频序列中提取出感兴趣的运动目标。
传统的运动目标检测方法主要包括帧间差分法、背景减除法等，但这些方法在复杂场景下往往存在误检、漏检等问题。
因此，研究一种适用于复杂场景的、高效的、准确的运动目标检测算法具有重要意义。
2. 算法原理及实现本文采用基于深度学习的运动目标检测算法。
该算法利用卷积神经网络（CNN）提取视频帧中的特征，并通过区域生成网络（RPN）生成候选目标区域。
接着，利用分类网络对候选区域进行分类，确定是否为运动目标。
最后，通过边界框回归和NMS （非极大值抑制）等技术对检测结果进行优化。
在实现过程中，我们采用了PyTorch等深度学习框架，利用GPU加速计算，提高了算法的运算速度。
同时，我们还针对不同场景的实际情况，对算法进行了优化和改进，提高了算法的准确性和鲁棒性。
三、运动目标跟踪算法研究1. 背景及意义运动目标跟踪是在检测出运动目标的基础上，进一步对目标进行跟踪和定位。
传统的运动目标跟踪方法主要包括基于特征的方法、基于模型的方法等，但这些方法在复杂场景下往往存在跟踪不准确、易丢失等问题。
因此，研究一种适用于复杂场景的、稳定的、准确的运动目标跟踪算法具有重要意义。
2. 算法原理及实现本文采用基于深度学习的Siamese网络进行运动目标跟踪。
Siamese网络通过学习目标模板和搜索区域的特征表示，实现目标的快速定位和跟踪。
在实现过程中，我们采用了离线训练和在线更新的方式，提高了算法的准确性和适应性。
同时，我们还结合了光流法等技术，进一步提高了算法的稳定性和准确性。
帧间差分法运动目标检测过程及原理
帧间差分法运动目标检测过程及原理帧间差分法是一种常用的运动目标检测方法，它通过比较相邻帧之间的差异来判断是否存在运动目标。
其基本原理是利用目标在连续帧之间的运动导致像素值的变化，通过对像素值差异的分析来判断是否存在目标。
1. 选择连续的帧：首先选择需要进行运动目标检测的视频序列，并选择连续的几帧作为输入。
通常情况下，选择相邻的两帧或者多帧进行比较。
2. 图像预处理：对选取的帧进行预处理，包括图像增强、降噪等操作。
常用的预处理方法包括平滑滤波、中值滤波等。
3. 帧间差分计算：对连续帧之间的像素进行差分计算，得到差分图像。
差分图像可以通过计算相邻像素的差异来获得，常用的差分计算方法包括绝对差分、平方差分等。
4. 二值化处理：将差分图像进行二值化处理，将差异像素标记为目标像素，无差异像素标记为背景像素。
常用的二值化方法包括阈值法、自适应阈值法等。
5. 目标提取：从二值化的差分图像中提取出目标区域。
可以通过连通区域分析、形态学操作等方法来实现目标提取。
6. 目标跟踪：将提取出的目标区域与原始图像进行叠加，实现目标的跟踪。
可以通过目标的位置、大小等信息来实现目标的跟踪。
帧间差分法的原理是基于连续帧之间的差异来判断是否存在目标。
当目标发生运动时，连续帧之间的像素值会发生变化，差分图像中会出现明显的差异区域。
通过对差分图像进行二值化和目标提取操作，可以得到目标的位置和形状信息。
进一步结合目标跟踪算法，可以对目标进行跟踪和分析。
帧间差分法具有简单、快速、实时性好等优点，适用于对静态相机下的运动目标进行检测。
由于光照变化、背景噪声等因素的干扰，帧间差分法也存在一定的局限性。
在实际应用中通常需要结合其他方法来进行运动目标检测。
第二章 运动目标监测和跟踪
第二章运动目标监测和跟踪2.1运动目标检测运动目标检测(Motion Detection)是指在输入视频图像中判断与背景图像相比是否存在相对运动的前景目标和物体，并根据灰度、边缘、纹理等二维图像特征将运动前景进一步分割为若干独立目标。
在实际应用中，一个好的运动目标检测算法，通常应该具有以下几个特征【12】：◆不受环境的变化(如天气和光照变化等)而影响结果；◆不受背景中个别物体的运动(如水波、风吹树动等)而影响结果；◆不受目标及背景中的阴影而影响结果；◆对复杂背景和复杂目标仍然有效；◆检测的结果应满足后续处理(跟踪分析)的精度要求；图2-1描述了检测算法的一般流程图。
常见的运动目标检测算法有：帧间差分法、背景差分法及光流法等，以下将分别进行介绍。
Fig.2—1Flow chart of detection algorithm2.1.1帧间差分法帧间差分法[23-241就是将视频序列中相邻的两帧或几帧做象素域上的减法运算，以得到帧间的不同图像的信息。
在摄像头固定的情况下，对连续的图像序列中的相邻两帧图像采用基于像素的帧差法来提取图像中的运动区域，设k 帧和第k+l 帧(或者看做21t t 和时刻)采集到同一背景下的两幅运动图像的灰度值为1),(+k k f y x f 和，则差分图像的定义为：),(),(),(11y x f y x f y x D k k k -=++ （2.1）对上式的差分结果进行阈值处理，就可以提取出运动物体。
对差分图像),(y x f d 二值化，当某一像素的灰度值大于给定阈值T 时，认为该像素为目标像素，即该像素属于运动目标；反之，则属于背景。
这一步的目的就是为了区分背景像素和目标像素，得到：T y x D T y x D k k k y x R >≤+++=),(),(10111{),( (2.2)其中，l 表示前景像素值，0表示背景像素值。
然后再对),(1y x R k +进行连通性分析，就可以得到连通区域的面积。
运动目标检测与跟踪知识讲解
移动平台下的目标跟踪
先前帧
特征熵
抽取的特征区域
Approach
? Covariance Matching
R (x, y)
G ( x, y)
B (x, y)
I xy ( x, y )
Covariance matrices
d ( x, y)
D
t
(x,
y)
=
??1,
? ?
0,
I(t x, y)- It-1 otherwise
(x,
y) > T
Default:T=60
优点：鲁棒性好，运算量小，易于软件实现 缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现 象，阈值 T缺乏自适应性，当光照变化时，检测算法难以适应环境 变化
背景相减法
检测实例：
（a）第 1帧图像
（b）第 2帧图像
（ c）变化区域图像
（d）提取出的背景图像 （e）变化区域与背景差分图像 （f）运动目标检测结果
国内外对此类问题的解决办法：
基于目标建模定位：
目标建模
相似度度量
目标定位
基于滤波、数据关联： Kalman Filter , Particle Filter, PDAF
帧间差分法
这种方法就是将前后两帧图像对应像素点的灰度值相减 ，在环境亮度变化不大的情况下，如果对应像素灰度相差很 小，可以认为此处景物是静止的，如果图像区域某处的灰度 变化很大，可以认为这是由于图像中运动物体引起的，将这 些区域标记下来，利用这些标记的像素区域，就可以求出运 动目标在图像中的位置。
2020/6/11
形状上下文（shape context):
运动目标检测方法
运动目标检测方法
运动目标检测是计算机视觉领域中的一个重要任务，旨在识别图像或视频中的运动目标并将其从背景中分割出来。
以下是几种常见的运动目标检测方法：
1. 基于背景差分的方法：该方法通过建立静态背景模型并通过计算当前帧与背景之间的差异来检测运动目标。
常见的背景差分算法有帧差法、高斯混合模型（GMM）法等。
2. 基于光流的方法：光流是描述图像中像素运动方向和速度的一种方法。
基于光流的运动目标检测方法通过计算两个相邻帧之间的光流场，并根据光流的一致性来检测运动目标。
常见的光流算法有Lucas-Kanade算法、Horn-Schunck 算法等。
3. 基于运动轨迹的方法：该方法通过跟踪目标的运动轨迹来检测运动目标。
常见的运动目标跟踪算法有卡尔曼滤波算法、粒子滤波算法等。
4. 基于深度学习的方法：近年来，深度学习技术在计算机视觉领域取得了显著的进展。
基于深度学习的运动目标检测方法通过使用深度学习模型，如卷积神经网络（CNN）或循环神经网络（RNN），来学习图像或视频中的运动目标特征，并进行目标检测。
5. 基于多目标跟踪的方法：运动目标检测通常是多目标跟踪的前置任务。
基于
多目标跟踪的方法可以通过结合目标检测和目标跟踪的技术，实现对连续帧中的多个目标进行准确的检测。
这些方法各有特点和适用领域，选择适合任务需求的方法能够提高运动目标检测的效果。
如何利用计算机视觉技术进行运动目标检测和跟踪
如何利用计算机视觉技术进行运动目标检测和跟踪计算机视觉技术的快速发展使得运动目标检测和跟踪成为可能。
这项技术不仅在安防领域起到重要作用，还应用于自动驾驶、智能监控和虚拟现实等众多领域。
本文将介绍如何利用计算机视觉技术进行运动目标检测和跟踪。
一、运动目标检测运动目标检测是指利用计算机视觉技术，通过分析连续的图像序列，检测出视频中出现的运动目标。
运动目标可以是人、车辆、动物等各种物体。
以下是运动目标检测的主要步骤。
1. 前景提取前景提取是运动目标检测的第一步，其目的是将视频中的前景目标从背景中分离出来。
常用的前景提取方法包括帧差法、基于统计学模型的方法和基于深度学习的方法。
帧差法是最简单的方法，基于像素之间的差异来识别前景目标。
而基于统计学模型的方法则通过建立像素值的分布模型来识别前景目标。
基于深度学习的方法通常使用卷积神经网络（CNN）来提取特征并进行分类。
2. 运动检测运动检测是利用差分技术或光流法等方法，检测出视频中的运动目标。
差分技术通过对相邻帧之间的差异进行计算，来确定运动目标的位置。
而光流法则通过跟踪关键点在连续帧之间的移动来检测运动目标。
3. 目标分割和识别目标分割和识别是将前景目标分割并分类的过程。
它通常通过图像分割算法和目标识别算法实现。
图像分割算法将前景目标从图像中提取出来，并通过边缘检测、区域生长或图像分割神经网络等方法实现。
目标识别算法则通过比较目标特征和已知类别的模型特征，来对目标进行分类。
二、运动目标跟踪运动目标跟踪是指通过分析视频序列中的目标位置，持续追踪目标的运动轨迹。
以下是运动目标跟踪的主要步骤。
1. 目标初始化目标初始化是运动目标跟踪的第一步，其目的是在视频序列的初始帧中确定目标的位置。
常用的目标初始化方法有手动框选和自动检测。
手动框选是通过人工在初始帧中标记目标的位置。
而自动检测则通过运动目标检测算法自动获取初始目标位置。
2. 特征提取和匹配特征提取和匹配是运动目标跟踪的核心步骤。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第4卷(A版) 第6期中国图象图形学报Vol.4(A),No.6
1999年6月JournalofImageandGraphicsJune1999
基于差分图象的多运动目标的检测与跟踪①
王 栓 艾海舟 何克忠(清华大学计算机科学与技术系,北京 100084)(清华大学智能技术与系统国家重点实验室,北京 100084)
摘 要 运动目标的检测与跟踪在许多领域有着广泛的应用,它是应用视觉研究的焦点之一。文中介绍了一种基于差分图象的运动目标检测算法,检测结果是符号化了的图象,其中运动目标由其外接矩形表示,然后根据连续性约束假设,实现了运动目标的跟踪。实验表明这种检测和跟踪方法是快速有效的,与现有其它方法相比它能更好地处理跟踪目标之间的重叠以及目标的暂时消失等情况。关键词 差分图象 运动检测 目标跟踪
0 引 言运动目标的检测与跟踪是应用视觉研究领域的一个重要课题。在现实生活中,大量的有意义的视觉信息包含在运动之中,甚至有些动物的眼睛经过进化,只能看见运动的物体。尽管人类视觉既能看见运动又能看见静止的物体,但是在许多场合,比如说交通流量的监测、重要场所的保安、航空和军用飞行器的制导、汽车的自动驾驶或辅助驾驶等,我们往往对运动的物体更感兴趣。因此研究只对运动目标敏感的检测与跟踪系统是很有意义的。此外,运动目标的研究对象是图象序列,而对图象序列的研究一般要比对单帧图象作静态分析容易。一般而言,运动检测与跟踪研究的难点在于:
(1)运动物体的正确检测与分割
;
(2)物体之间的遮挡与重叠
;
(3)初始运动参量的确定。
关于运动目标的检测与跟踪研究大致可分为两类:
(1)摄像头随着运动目标移动,始终保持目标
在图象的中心附近[1-3];
(2)摄像头固定,只对视场内的目标进行跟
踪[4-6]。已有的算法包括基于模板匹配的算法[9]、基于镶嵌图的算法[6],基于主动轮廓线的算法[4,8]等,多
数是对目标模型的直接匹配,实际上是对静态(目标)图象的处理分析,显然计算量大,难以实时应用。另外还有一些针对点目标的跟踪算法,如R.Mehro2tra[7]对图象序列中的兴趣点进行匹配以确定运动轨
迹的算法:依据运动轨迹尽可能光滑、位移尽可能小的假设在相邻帧中对点进行匹配。该方法的缺点是不能处理点的重叠(即使一个点被多个运动轨迹所匹配)以及点的暂时消失等情况。实际上,这是许多现有的跟踪方法的共同问题。另外需指出的是,把目标作为点来处理过于简单化。我们的工作介于他们之间,主要研究了在固定摄像头的情况下对视场内的目标进行跟踪的问题,首先将运动区域用外接矩形表示(相当于符号化),然后考虑对这些矩形序列进行匹配跟踪,所实现的系统能够处理跟踪目标之间短暂(秒的数量级)重叠或者目标暂时消失情况下的跟踪问题,而且具有准实时性。所谓目标的暂时消失是指在序列的若干帧中某些跟踪目标由于种种原因没有被检测出来,但它实际上并没有运动出视场的情况。所用的核心方法是基于运动预测的最近邻法。
1 运动目标的检测算法和实验在应用视觉系统中,检测运动目标常用差分图象的方法,一般有两种情况:
①收稿日期:1998209211;收到修改稿日期:19982102
20(1)当前图象与固定背景图象之间的差分;
(2)当前连续两幅图象(时间间隔Δt)之间的差分。第1种情况即固定背景法检测物体的优点是位置精确、速度快,因为它只需获取当前的一幅图象。不足之处是受环境光线变化的影响,在非受控环境下需要加入背景图象更新机制,且不适用于摄像头运动或者背景灰度变化很大的情况。第2种情况即相继图象差分法的优点是它只对运动物体敏感,实际上它只检测相对运动的物体,而且因2幅图象的时间间隔较短,差分图象受光线变化影响小,检测有效而稳定;缺点是检测出的物体的位置不精确,其外接矩形在运动方向上被拉伸,这实际上是由相对运动与物体位置并非完全一致引起的。相对运动受物体本身的运动速度及相继图象之间的时间间隔影响。C.Vieren[4]提出了一种获取运动物体精确位置的方法,但该方法需要连续3帧图象,并要计算梯度图象,算法的计算量大且有一帧时间的滞后性。运动目标的检测过程如图1所示,其结果由运动目标的外接矩形表示。图2给出了一组在固定背景情况下的检测实验图片,图片大小是128×128。
图1 多运动目标的检测算法流程
图2 运动目标检测2 运动目标跟踪的算法和实验运动目标的跟踪是确定同一物体在不同帧中位置的过程,当运动物体被正确检测出来时,它就是对相邻帧中检测出的物体进行匹配的问题,匹配的依据主要是物体的大小和位置关系。假设在一帧的时间间隔内跟踪目标的运动轨迹是平滑的,即它的运动参量(速度和加速度)的改变应该尽可能的小。对n帧图象(即对应的矩形数组)序列进行跟踪的步骤如下,其细节将随后分别描述。(1)置运动序列为空;
(2)从第1帧到第n帧图象做:①为每个未置出界标志的运动序列在当前帧中寻找最佳匹配;②
174第6期
王 栓等:基于差分图象的多运动目标的检测与跟踪如果当前帧中有未与任何运动序列匹配的物体,并且它不是其它物体的碎片,那么为它初始化一个新的运动序列。(3)结束。2.1 确定跟踪目标的运动参量假设当前帧C中物体M已被确定属于某运动序列,该运动序列中最后一个物体是第L帧中的N,那么M的速度VC,M和加速度aC,M定义为:VC,M=(PC,M-PL,N)/ΔtaC,M=(VC,M-VL,N)/Δt其中PX,Y表示第X帧中Y物体的位置,Δt为C和L之间的时间间隔。由于运动参量在跟踪过程中起十分重要的作用,使得初始运动参量的估计特别重要。我们假设新出现的目标在此后最初的几帧中不连续发生重叠和消失。这个要求是合理的,符合实际情况。对于新出现的目标,在随后最初的几帧中找匹配时,因为无法估计运动参数,我们暂时不考虑其运动参数,直接根据它与待匹配物体在空间上的近邻性以及大小差异的程度,在整个帧中找最佳匹配,若匹配程度超过一选定阈值,则该匹配作为新运动序列的候选且该帧作为新目标出现的另1帧图象,直到找到新目标出现的3帧图象时,再根据如下的匹配平滑性度量进行重新匹配具体确定新目标的最初跟踪序列。设新目标出现的3帧图象是ft-2,ft-1,ft,假设在ft-1中与新目标匹配的物体是M,在ft中与新目标匹配的物体是N,那么它的匹配平滑性度量定义为:PtM,N=1-|Vft-1,M-Vft,N|maxX∈ft-1,Y∈ft(|Vft-1,X-Vft,Y|)在图象ft-1,ft中找出使PtM,N最大者,如果该最大值大于阈值,则更新运动序列及运动参量,完成了运动序列的初始化过程,否则在以后的帧中按上述方法继续寻找最佳匹配。2.2 确定最佳匹配运动序列经过初始化过程之后,对某个特定运动序列S在当前帧C中进行最佳匹配的过程如下:(1)确定匹配候选区域。根据S中最后一个物体N(非重叠)的位置和运动参量,预测出它在C中的位置,由此确定一个候选区域R,下面的匹配在R中进行。(2)求匹配区域中物体的匹配概率。对在R中的运动物体M,计算它们与S相匹配的概率pC,M,S。pC,M,S
定义为两个因素的加权和,这两个因素分别
是:
①根据与预测位置接近程度而得出的平滑匹配概率pdC,M,S。②根据它们的相对大小而得出的大小匹配概率pSC,M,S。
于是pC,M,S可表示为pC,M,S=wdpdC,M,S+wSpsC,M,S
其中wd和ws分别为平滑匹配概率和大小匹配概率
的权重。(3)找出匹配概率最大者。在R的所有物体中
找出pC,M,S最大者F,如果pC,M,S大于阈值且F未与其它运动序列匹配过,那么可将F加入S中,否则跟踪目标可能出现重叠、暂时消失或者运动出视场的现象。下面对以上三步作详细说明:
(1)确定候选区域,就是根据N的运动参量,在
C中确定一个椭圆形的区域,如图3所示。图中点P1是L帧中N的位置,点P3
是根据N的运动参量
图3 候选区域的确定预测出的该物体在C中的位置,假使坐标原点是O,那么OP3=OP1+VL,NΔt+12aL,N
Δt
2
P2点在P1和P3
的延长线上且
|P1P2|=1.5|P1P3| P1和P2是椭圆的焦点,再根据实际情况确定椭圆的焦距就可定出候选区域,以后的匹配就在该区域中进行。P4是该物体在C中的实际位置。(2)物体的匹配概率,如前所述,它应为平滑匹配概率和大小匹配概率的加权和。平滑匹配概率 它用来表示跟踪目标运动参量的连续性或目标运动的可预测程度。如果目标运动的连续性越好,即它运动的可预测性越好,则我们根
274 中国图象图形学报 第4卷(A版)据它以前的运动参量预测出它在当前帧中的位置越精确。鉴于此,我们用当前帧R中物体的实际位置与预测位置的偏差程度来确定平滑匹配概率PdC,M,S=1-dC,M,S/DdC,M,S=adh+bdvD=maxX∈R(dC,X,S)其中dh,dv的含义见图4,它们分别表示物体相对于预测位置在运动方向上的偏差以及垂直于运动方向上的偏差,由于这两个方向上的偏差对运动连续性的影响不一样,因此有必要对它们乘上不同的系数,a、b是加权系数。大小匹配概率 大小匹配概率主要由运动目标N和待匹配物体的外接矩形的宽和高决定。(3)找出匹配概率最大者F。在这里我们要求如果发生重叠,那么F外接矩形的大小应该大于N外接矩形的大小,且在发生重叠的情况下,不对物体的运动参量进行更新。而判断是否出界的依据是F的匹配概率小于阈值且根据S运动参量预测的位置在视场之外,判断暂时消失的依据是F的匹配概率小于阈值但预测位置在视场之内,但对于连续两帧都消失的跟踪目标作出界处理。在实验中,我们用玩具车作为被跟踪的物体,
图4是运动序列中的3帧图象。无论是用固定背景的方法还是用相继图象差的方法检测出的运动物体,都是对应于一系列的矩形框,即图象已经被符号化了,图5给出了两辆车的运动序列的矩形框,及其匹配跟踪的结果,跟踪的结果通过每次只回放一个运动序列的方式显示出来。从图中可以看出运动序列1和2在第4、5帧发生重叠,即它们被同一个矩形框所代表。图6是三辆车在视场中运动的情况,在图6
(b)
中所示的第1个运动序列由于开始几帧存在噪音干扰致使检测出的前几帧存在丢帧的现象,但随后整个匹配趋于正常。在图6(c)所示的第2个运动序列中,小车在第4帧暂时消失,而在第6和第7帧和第
图4 两辆玩具车从视场中平行驶过图5 两辆车有重叠时的跟踪结果3个运动序列中的小车发生重叠,同样在图6(d)所
示的第3个运动序列中,小车在第5帧时消失,随后在第6和第7帧和运动序列2中的小车发生重叠,图示检测出的运动结果是令人满意的。此外,我们做了多组实验,包括仿真及实际采集的数据,对于仿真数据(人工生成的矩形数组框序列)跟
374第6期
王 栓等:基于差分图象的多运动目标的检测与跟踪