动态图象运动矢量多重跟踪搜索算法及实现
双重跟踪三步法及其在帧频提升中的应用
［ ｓｒｃ］Ｂ ｓｄ Ｏｌｈ ｌｓｉ Ｔ ｆｅ Ｓｅ ｅｒｈＴ Ｓ ｌｏｉ ｍ， ｒ ｆ ｃ ｎ ｔ ｎｅｔ ｔ ｎｍｅ ｏ ， ｕ ｌ ｒｃｎ ｈｅ ｔｐ Ａｂ ｔａ ｔ ａｅ ｉｔｅｃａｓ ｈｅ ｔｐＳ ａｃ （ Ｓ ）ａｇｒ ｃ ｈ ｔ ａｍｏｅ ｅ ｉｉ ｔｍｏｉ ｓｍａｏ ｔ ｄ Ｄｏ ｂｅＴａｉｇ Ｔ ｒｅＳｅ ｅ ｏ ｉ ｉ ｈ
２个最优匹配点为下一步 的起始点进行双重跟踪 ， 保持较高搜索速度 的前提下 ， Ｔ Ｓ 在 Ｄ Ｔ Ｓ可有效避免 Ｔ Ｓ中搜索 陷入 局部最优 的问题 。 Ｓ 将 该算法应 用于运动 估计， 运动补偿的帧频提升系统 。 将实验 结果 与全搜索法、 局部全搜索法 、 三步法进行对比分析 ， 根据平均每块搜索点数 、 准确度、 内插帧视觉效果及其 峰值信 噪比验证该算法的有效性 。 关健 诃 ：双重跟踪 ；运动 估计 ；运动补偿 ；帧频提升
点 Ｓ Ｄ２ 。 Ａ ３
４个测试序列 帧平面大小为 ２ ８ ３ ２像 素，匹配块大小 ８ｘ ５
ｒ ｓ ｌ ｈ ｗ ｅｅ ｅ ｔ ｅ ｅ ｓｉ ｈ ｖ ｒｇ ｕ ｅ ｆｓ ａｃ ｏｎｔ ｆｅ ｃ ｌｃ ， ｅａ ｃ ｒｃ ，ｔｅｖ ｓａ ｆｅ ｔｏ ｈ ｎｅｐ ｌｔｄｆａ ｄｉｓ ｅ ｕｔ ｓ ｏ ｔ ｆ ｃｉ ｎ ｓ ｈｔ ｅａ ｅ ａ ｅｎ ｍｂ ｒｏ ｅ ｈｐ ｉ ｓｏ ａ ｈ ｂｏ ｋ ｔ ｃ ｕ ａ ｙ ｈ ｉｕ ｌｅｆ ｃ ｆｔｅ ｉｔｒ ｏ ａｅ ｍｅａ ｓ ｈ ｖ ｒ ｈ ｌ ｎ ｔ
人体运动追踪技术的原理与实现步骤
人体运动追踪技术的原理与实现步骤人体运动追踪技术是一种通过计算机视觉和图像处理技术对人体运动进行实时跟踪和分析的技术。
它在许多领域中有着广泛的应用，如体育训练、医疗康复、安防监控等。
本文将介绍人体运动追踪技术的原理和实现步骤。
一、原理1. 图像采集：人体运动追踪技术首先需要获取人体运动的图像或视频。
通常使用摄像机、深度相机或红外热像仪等设备进行图像的采集。
这些设备能够捕捉到人体运动时的位置、姿态、速度等信息。
2. 特征提取：从采集到的图像中提取出与人体有关的特征。
这些特征可以是人体关节的位置、骨骼的姿态、身体的形状等。
通常使用计算机视觉和图像处理技术来进行特征提取，例如边缘检测、图像分割等算法。
3. 运动估计：根据特征的变化来估计人体的运动。
通过分析特征在连续帧之间的差异和变化，可以计算出人体的运动轨迹和轨迹的速度。
常用的运动估计算法包括光流法、KLT算法等。
4. 姿态估计：根据人体的运动估计出人体的姿态。
姿态估计是一个复杂的问题，通常需要先推测人体的骨骼结构，再通过寻找最佳匹配的方法来估计人体的姿态。
现在常用的姿态估计算法有基于模型的方法、基于深度学习的方法等。
二、实现步骤1. 数据采集：使用合适的设备对人体的运动进行采集。
常见的设备包括摄像机、深度相机、红外热像仪等。
采集时需要注意灯光、背景等环境因素的影响，确保图像的质量和准确性。
2. 特征提取与选择：根据具体的应用需求选择合适的特征。
例如，如果需要检测人体的关节位置和姿态，可以选择提取关节点的坐标信息。
如果需要检测人体的形状和轮廓，可以选择进行图像分割和形态学处理。
3. 模型训练与优化：根据采集到的数据进行模型的训练和优化。
常见的方法有机器学习算法和深度学习算法。
在训练时需要对数据进行预处理、特征选择和模型调优，以提高运动追踪的准确性和鲁棒性。
4. 运动追踪与分析：使用训练好的模型对实时的图像或视频进行运动追踪和分析。
根据采集到的特征，计算人体的运动轨迹、姿态和速度等信息。
视频检测和运动目标跟踪方法总结
视频检测和运动目标跟踪方法总结目前常用的视频检测方法可分为如下几类：光流法，时域差分法，背景消减法，边缘检测法，运动矢量检测法[2]。
一、光流法光流法[1]是一种以灰度梯度基本不变或亮度恒定的约束假设为基础对运动目标进行检测的有效方法。
光流是指图像中灰度模式运动的速度，它是景物中可见的三维速度矢量在成像平面上的投影，表示了景物表面点在图像中位置的瞬时变化，一般情况下，可以认为光流和运动场没有太大区别，因此就可以根据图像运动来估计相对运动。
优点：光流不仅携带了运动目标的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够检测独立运动的对象，不需要预先知道场景的任何信息，并且能够适用于静止背景和运动背景两种环境。
缺点：当目标与背景图像的对比度太小，或图像存在噪音时，单纯地从图像灰度强度出发来探测目标的光流场方法将会导致很高的虚警率。
且计算复杂耗时，需要特殊的硬件支持。
二、时域差分法时域差分法分为帧差法和改进的三帧双差分法。
1.帧差法帧差法[8]是在图像序列中的相邻帧采用基于像素点的时间差分, 然后阈值化来提取出运动区域。
视频流的场景具有连续性，在环境亮度变化不大的情况下，图像中若没有物体运动，帧差值会很小；反之若有物体运动则会引起显著的差值。
优点：时域相邻帧差法算法简单，易于实现，对背景或者光线的缓慢变化不太敏感，具有较强的适应性，能够快速有效地从背景中检测出运动目标。
缺点：它不能完全提取运动目标所有相关像素点，在运动实体内部不容易产生空洞现象。
而且在运动方向上被拉伸，包含了当前帧中由于运动引起的背景显露部分，这样提取的目标信息并不准确。
2.三帧双差分法三帧双差分法与相邻帧差法基本思想类似，但检测运动目标的判决条件上有所不同。
三帧双差分较两帧差分提取的运动目标位置更为准确。
三、背景消减法背景消减法[4]是将当前帧与背景帧相减，用阈值T判断得到当前时刻图像中偏离背景模型值较大的点，若差值大于T则认为是前景点（目标）；反之，认为是背景点，从而完整的分割出目标物体。
静止背景下的多目标追踪(附matlab程序)
静止背景下的多目标追踪随着计算机技术以及智能汽车行业的发展，多目标的检测与追踪的实用性与研究价值逐渐提高。
在计算机视觉的三层结构中，目标跟踪属于中间层，是其他高层任务，例如动作识别以及行为分析等的基础。
其主要应用可包括视频监控，检测异常行为人机交互，对复杂场景中目标交互的识别与处理，以及虚拟现实及医学图像。
目标跟踪又包括单目标跟踪和多目标跟踪。
单目标跟踪可以通过目标的表观建模或者运动建模，以处理光照、形变、遮挡等问题，而多目标跟踪问题则更加复杂，除了单目标跟踪回遇到的问题外，还需要目标间的关联匹配。
另外在多目标跟踪任务中经常会碰到 目标的频繁遮挡、轨迹开始终止时刻未知、目标太小、表观相似、目标间交互、低帧率等等问题。
静止背景下的多目标追踪可分为两步来实现，第一步是在视频文件的每帧中检测出移动的目标，第二步是将检测到的目标与跟踪轨迹实时匹配。
在本次实验中，利用混合高斯模型进行背景减除，使用形态学操作消除噪声，通过卡尔曼滤波预测目标位置，最后利用匈牙利算法进行匹配，实现静止背景下的多目标追踪。
1 实验原理1.1 混合高斯模型单高斯模型是利用高维高斯分布概率来进行模式分类：11()exp[(x )(x )]2T x N C μσμ-=--- 其中μ用训练样本均值代替，σ用样本方差代替，X 为d 维的样本向量。
通过高斯概率公式就可以得出类别C 属于正（负）样本的概率。
而混合高斯模型就是数据从多个高斯分布中产生，每个GMM 由k 个单高斯分布线性叠加而成。
相当于对各个高斯分布进行加权，权系数越大，那么这个数据属于这个高斯分布的可能性越大。
(x)(k)*p(x |k)P p =∑利用混合高斯模型(GMM)可以进行背景减除，将前后景分离，得到移动的目标。
对每个像素点建立由k 个单高斯模型线性叠加而成的模型，在这些混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。
单个像素点在t 时刻服从混合高斯分布概率密度函数：,,,1(x )(x ,,)kt i t t i t i t i p w ημτ==∑其中k 为分布模式总数，,,(x ,,)t i t i t ημτ为t 时刻第i 个高斯分布，,i t μ为其均值，,i t τ为其协方差矩阵。
自动化学科中动态目标追踪控制算法的模型与性能分析
发哥归来——大上海周末的时候，不小心又看了一部爱情片，剧情实在一般，然而因为男神发哥的演技，还是很入迷的看完了。
让我印象深刻的，不是那些扑朔迷离的感情，也不是大先生坚定的内心和明辨的大是大非，而是发哥的几次落泪，触动人心！痛失知秋战乱纷争，日本人的飞机在上海空中盘旋、轰炸，大先生坐在电话旁边不肯离去，他在等一个电话，他不知道知秋在哪儿，是不是需要他的帮助，众人劝他离开的最后一秒，他终于等到那个电话，却是知秋通知他日本人意欲绑架他的消息，然后知秋就消失在电话的那头。
大器在人群中逆流而上，直奔知秋居住的酒店，一个炸弹落下来，整个酒店都泡在大火中，无人生还。
大器站在酒店面前，无法自抑的大声哭喊：“知秋……”，那个叱咤整个上海的大先生，那一刻成了一个无助的孩子，痛的没有地方躲藏，他丢掉的是自己一生的牵挂，那根最软的肋骨！告别大嫂大器年轻时崇拜的师傅被总督儿子关进大牢，为救师傅，大器跪走一路玻璃渣，并用自己的股份换回师傅的安全，从此，洪寿亭烧了大器的拜师贴，与他兄弟相称，同闯上海滩，而洪寿亭的夫人，就成了大先生的大嫂，幕后辅助他们同行。
于洪寿亭一家，大器已然是他们的亲人，有福同享有难同当，这也是黑道人该有的样子！当洪寿亭被日本人抓走，知道自己的老婆被关在慰安所，心理一下子崩溃了，他玩乐为主的后半生理想瞬间破灭，半真半假的痴呆，泡在水池子里，摆弄着一只玩具鸭子。
而大器在深思熟虑之后，忍辱负重闯进日本军营，救出被抓的地下党，和大嫂！此时的大嫂已经奄奄一息，等着大器的到来，见到大器，她使出最后一丝力气说了最后一句话：“好好活着！”，然后不能瞑目的死去了。
大器心疼的抱起大嫂，亲了亲她的额头，昏暗的灯光下，看到他的眼泪吧嗒吧嗒的掉了又掉，那一刻，一个铮铮铁骨的英雄有情有义的形象无比高大！一路同行大器心里一直爱着知秋，那仿佛是他的人生理想，去打拼的时候身边能有她陪伴，便是一生的完美！然而，知秋应该更爱刀马旦，在大器身负枪伤几乎没命的时候，她更关注的是自己的安危和前途。
基于图像处理的运动轨迹跟踪技术研究
基于图像处理的运动轨迹跟踪技术研究近年来，随着人工智能技术的飞速发展，图像处理技术已成为许多领域不可或缺的一部分。
其中，基于图像处理的运动轨迹跟踪技术应用广泛，具有极高的实用性和可操作性。
一、运动轨迹跟踪技术的概述运动轨迹跟踪技术，顾名思义，即针对运动物体进行跟踪定位，以获取其运动轨迹。
这种技术大量应用于场馆监控、交通监管、行人跟踪等领域，有时还可以用于目标识别、模式分类等领域。
二、运动轨迹跟踪技术的基本原理通常情况下，运动物体会生成一个像素点的运动轨迹，但该轨迹是不连续的，不能直接看出该物体的轨迹。
因此，需要利用基于图像处理的算法来实现运动轨迹的跟踪定位。
主要通过以下三个步骤实现运动轨迹跟踪：（一）前景提取我们知道，在视频监控中，场景中会存在不少背景噪声。
因此，实现运动轨迹跟踪必须进行前景提取，以分离其它物体与运动物体，保证跟踪的准确性和可靠性。
（二）目标选择在提取出前景后，会剩下一些与运动物体无关的信息。
这时，需要运用目标选择算法对前景中的目标进行特征描述、识别和筛选，以实现对运动物体的精确跟踪。
（三）运动轨迹反投影运动轨迹反投影技术是估计运动物体运动状态的重要方法。
运动观测信号和目标状态信息是通过一个关系转换使用反投影映射更新状态的。
在这个过程中，可以通过计算得到物体的位置、大小和方向等信息，来实现运动轨迹的跟踪。
三、运动轨迹跟踪技术的应用基于图像处理的运动轨迹技术已经得到广泛应用，例如在交通管理、场馆安保、行人跟踪、双人互动、虚拟现实、机器人导航等领域中得到了广泛应用。
在交通管理中，摄像头中的图像可以实时监视道路、车辆和行人的运动，以及通过路口和人行横道的流量情况，为交通规划和紧急处理提供了重要参考。
在场馆安保方面，通过布置摄像头对场馆内外人员进行拍照和录像，在发生紧急事件时可以实时定位相关人员，并对其进行相应的处理。
在行人跟踪中，利用摄像头对街道或商业区进行监控，可以实时地监测行人的位置、行动和活动轨迹，并用于人口流量分析和预测。
基于运动矢量场和方向自适应的快速运动估计算法
中图分类号 ： Ｐ９ Ｔ ３１
文献标识码 ： Ａ
文 章编号 ： ０９５９（０６１．２７０ ｌ０－ ６ ０）２ ７．６ ８ ２ ２
Ａ ｓ ｏ ｉ ｎ Ｅｓｉ ｔ０ ｇ ｒｔ ｍ ｓ ｄ ０ ｏ ｉ ｎＶｅ ｔ ｒＦｉｌ ｎ Ｆａ ｔＭ ｔｏ ｔｍａ ｉｎＡｌ ｏ ｉｈ Ｂａ ｅ ｎ Ｍ ｔｏ ｃｏ ｅｄ ａ ｄ
第28卷第12期2006年12月电子与信息学报joumalelectronicsinformation1echnology0128no12dec2006基于运动矢量场和方向自适应的快速运动估计算法叶西安电子科技大学智能控制与图像工程研究所西安710071清华大学自动化系宽带网络媒体实验室北京lo0084摘要该文提出了一种基于运动矢量场和方向自适应的快速搜索算法
维普资讯
第 ２ 卷第 １ 期 ８ ２ ２０ 年 １ ０ ６ ２月
电
子 与
信
息
学
报
Ｖｂ．８ ．２ １ ＮＯ １ ２
Ｊ ｕ ａ ｆ ｅ ｔｏ ｉｓ Ｉｆ ｒ ｏ ｒ ｌ Ｅｌｃｒ ｎｃ ＆ ｎ ｍ￣ｉｎＴ ｃ ｎ ｌｇ ｎ ｏ ｏ ｏ ｅ ｈ ｏｏ ｙ
ｉ ｉｔｏ ｕ ｅ ｅｅ ｔｈ ｔｔ ｎ ｒ ｃｏ ｌ ｋ ｔｕ ｒ ｉａｉｇｃ ｒｅ ｔ ｅ ｒｈｉ ｓ ｎｒ ｄ ｃ ｄｔ ｄ ｔｃ ｅｓａｉ ａｙｍａ ｒｂｏ ， ｓｔｍ ｎ ｔ ｕｒ ｎ ａｃ ｍｍｅ ｉｔｌ． ｗｏｎ ｖ ｌ ｅ ｒ ｈｓｒ ｔｇｅ ｏ ｔ ｏ ｃ ｈ ｅ ｎ ｓ ｄａｅｙ Ｔ ｏ ｅ ａ ｃ ｔａｅ ｉｓ ｓ ｗｉ ｔ ｎ ｉｅ ｔ ｎ ｌ ｒｐ ｒ ｒ ｏ ｔｄ ｎ ｌｄｎ ｈ ｎ － ａ ｎ ｅ ｒ ｈ ｆｒｔｅ ｍａ ｒ ｂｏ ｋ ｗｉ ｏ ｏ ｉｈ ｈ ｔ ｓｒ ｇ ｄｒｃｉ ａ ｏｅ ｔ ａｅ ａ ｐｅ ，ｉｃｕ ｉｇ ｔｅ ＬｉｅＤｉｍｏ ｄ Ｓ ａｃ ｏ ｈ ｃ ｌ ｔ ｌｗ ｒｈ【 ｏ ｏ ｐ ｙ ｄ ｏ ｃ ｈ ｇ
一种快速运动矢量场搜索的块匹配运动估计算法
宁波大学学报（理工版）首届中国高校优秀科技期刊奖JOURNAL OF NINGBO UNIVERSITY ( NSEE ) 浙江省优秀科技期刊一等奖一种快速运动矢量场搜索的块匹配运动估计算法摘要: 运动估计作为实时视频编解码中最重要最耗时的部分，大量的研究都是通过减少搜索点数来降低计算量。
而块匹配算法以其简单、高效，便于硬件实现等优点被使用到运动估计中。
针对这一特点，提出一种基于块匹配的快速运动矢量场搜索算法（FMVS）。
FMVS算法通过将视频序列时间相关性与空间相关性相结合，提出的一种新算法。
该算法包括以下五部分：预测搜索起点、动态阈值进行静止块判断、方向性类型判定、运动类型判定及混合模板运用。
对视频标准测试序列的实验结果表明,该算法较MVFAST算法,搜索点数降低30%-50%，对于运动复杂的视频序列峰值信噪比提高0.21dB。
关键词: 运动估计；块匹配算法；运动矢量场；（矢量场自适应搜索）MVFAST；峰值信噪比中图分类号: TP393 文献标识码: A 文章编号:对于视频序列图像，由于相连帧之间存在很大的时间相关性，通过减少时间冗余，可以提高视频编码的效率。
而基于块匹配算法以其简单、高效，便于硬件实现等优点，已经被许多视频编码标准所采纳。
运动估计算法占整个编码器的60%~80%的运算量，很大程度决定编码器的效率。
在块匹配运动估计算法中，全搜索算法精度最高，但是运算量也最大大。
为了解决运算量大，产生了很多快速搜索算法。
一类是快速算法是按照某种搜索策略只对搜索窗口的相关参考点进行计算；如一些经典算法3步法[1]，菱形搜索算法[2]，六边形搜索算法[3]。
菱形搜索算法，六边形搜索算法为了避免局部最优，采用大的搜索模板，但带来了搜索点数的大量增加；而小菱形搜索算法采用小菱形减少搜索点数，但是带来局部最优的问题。
另一类快速搜索算法是利用运动矢量相关性来预测当前运动矢量。
此类算法考虑时域或空域相关预测当前搜索起点，性能优于前一种。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
动态图象运动矢量多重跟踪搜索算法及实现皇甫正贤钱昱明(东南大学自动控制系,南京210096)摘要针对动态图象运动矢量搜索过程中,使用普通的对数搜索方法有可能无法搜索到真实最优运动矢量的问题,分析了产生该问题的原因,并提出使用运动矢量多重跟踪方法进行运动矢量搜索。
在图象匹配的过程中应用亚采样模板有效地降低了该方法的计算量。
对大量数据的分析试验证实,该方法具有很好地适应多极点匹配图象的特点,能准确搜索到真实最优运动矢量点。
关键词图象压缩,图象匹配,运动矢量,多重跟踪,亚采样模板1 引言在各种动态图象压缩编码中,为达到较高的压缩率,一般都采用帧相关压缩的技术,以使相邻帧之间的数据冗余度最小。
不论采用何种压缩方法进行帧相关的压缩,对运动矢量的搜索计算都是必不可少的,而运动矢量的精确获得又对尽可能大地压缩数据量至关重要,因此如何能够即快又准地搜索到运动矢量就关系到整个压缩算法的优劣。
目前已经有一些广泛使用的帧搜索算法,如全局搜索[1,2],2-D搜索[2],对数搜索[3,4],以及其他一些滤波匹配算法[5~7],就精度而言,全局搜索的精度显然最高,它在选定的搜索范围内对所有位移情况进行评价,选取最为匹配的位移作为运动矢量,因此可以将其搜索结果作为近似的真实运动矢量,但这种方法的计算量过大而不实用,从而有了改进的2-D搜索策略,但仍过于费时。
对数搜索策略的产生使计算量降低到可接受的范围之内,但就搜索精度而言较全局搜索差,很多情况下搜索不到运动矢量的最优点。
这种情况的产生主要是由于图象内容具有复杂性,导致匹配的结果具有多极值的特点。
本文据此进行了研究,提出一种运动矢量多重跟踪搜索策略,该策略是对数搜索策略的改进算法,使其能够适应多极值的匹配结果,进而搜索到真实的运动矢量。
试验结果表明该搜索方法比对数搜索方法的准确度有较大提高,而计算量却没有显著增加。
2 图象匹配的多峰值特性图1显示了一个典型的图象多峰值匹配结果,该图是使用全局搜索方法在某2幅连续图象间选取40×40点阵进行逐点匹配的结果。
由图中可以看出,匹配的结果具有2个凹点,前方的凹点是真实的最优匹配点,而后方的凹点属于假匹配。
在该图中取不同的初始点作对数运动矢量搜索,得到的结果肯定是这2点之一,但最后的结果属于哪一个凹点则由于初始点取值及所采用搜索策略的不同而不同。
如果进行对数搜索,对这一过程可以进行以下分析:由于对数搜索策略搜索方向的选取规则是在8个方向分别取一点进行匹配,取其匹配值最小点所在方向为新的初始点,并缩小网格距离,进行二次匹配,直到网格距离缩小到1/2点距。
这正如图2所示,由于匹配结果的不均匀性和多极点性,很可能出现某次匹配时真实最优点附近的匹配值反而比虚假最优点附近的匹配值大,导致搜索方向向虚假最优点前进,从而使搜索范围脱离真实最优点区间而进入虚假最优点的收敛区间,最终的搜索结果收敛于虚假最优点。
2 多重跟踪搜索方法对数搜索策略存在上述问题的关键原因在于,在每一次网格计算的8点匹配值中仅选取一点最佳匹配值,并以该点作为起始点进行下一步的跟踪。
由于开始搜索时范围较大,步长较长,因此匹配值较小的点很可能接近某个局部最优点,但所选取的匹配点可能均离真实的全局最优点较远,由此导致离全局最优点最近的匹配点匹配结果可能反而不及离局部最优点最近的点的匹配结果。
由于以后的搜索以上一次搜索的最佳匹配点为基准将步长减半进行,一旦某一次选错了最优匹配点,就不可能再搜索到真实最优点的区间。
因此该方法搜索到的点仅能说明是局部最优,但并不能保证全局最优。
对此的一个解决办法是同时进行多个方向的矢量跟踪搜索,方法如下:在每一步的匹配结果得到以后,选取2个最佳匹配值的点作为进一步跟踪的起始点,在每个起始点周围选取8点作进一步匹配,并比较这18个点的匹配值,从中再次选取2个最小值点,重复该过程,直到网格间距达到1点。
此时比较出2个最小值点中的一个最小点,并按照对数搜索方法进行半象素点匹配,就基本可以得到准确的最优运动矢量。
对这一过程的分析可以得知,使用该方法,在第1步就选取了2个最优方向进行2重跟踪,2个最优方向上找到真实运动矢量的可能性要大大高于仅选取一个方向时的可能性。
在进行第二次及以后更多次的跟踪步骤时,由于搜索步长减小,因此所选取的匹配点距离真实最优点较近,所匹配的结果也较接近真实最优点的匹配结果。
虚假最优点附近的匹配点由于离真实最优点较远,它能够取得较小匹配结果的可能性就小得多。
对匹配结果的比较就导致放弃虚假最优点附近的继续跟踪转而跟踪真实最优点附近的匹配值,最终搜索到真实最优运动矢量。
该方法在保持了对数搜索方法计算量较少的基础上改进了匹配点的选取规则,因而得到较高的搜索精度。
对于使用并行硬件实现该算法来讲,由于搜索的步数与对数搜索相同,因此耗时也相同。
经过对大量的图象进行统计分析表明,一般在一个匹配极值点的正负5点之内为单调收敛区间,在该收敛区间内的起始点进行对数运动矢量搜索都可以收敛于该极值点。
超出5点范围之外就很可能有其它的极值点收敛区间存在,因此单纯的对数搜索策略对于小范围运动矢量的搜索较为有效,但对于运动矢量较大时的应用一如可视电话,图象监控等低码率应用失配,的可能性就大大增加了。
对于这类情况,使用运动矢量多重跟踪搜索策略就能够得到较好效果。
以16×16点阵范围内的搜索为例,标准的对数搜索需要进行26次匹配。
而多重跟踪搜索需要匹配39次。
因此从计算量的角度看似乎多重跟踪算法要多出1/3,这一问题可以通过对图象匹配过程的加速处理来消除3 图象匹配的加速算法在运动矢量搜索过程中正确选取匹配函数对于能够既快又准地进行搜索有很大关系,这是由于块匹配函数处于矢量搜索过程的最底层,以对数搜索为例,每一宏块运动矢量的搜索至少都要进行9次到9n次块匹配(n为搜索的迭代次数)。
如果可以将块匹配运算的计算量减少一半就可以使所有矢量的搜索速度都提高一倍。
块匹配的准则也有几种,效果较好的是运动补偿块与当前块间的均方误差最小,另一种较简单算法是补偿块与当前块间的平均绝对误差较小。
在一般的活动图象压缩算法中对块匹配准则的建议是采用绝对误差平均值MAD作为最优化目标函数。
绝对误差均值函数[8]算法简单,只包含加法和绝对值运算,效率较高。
(m,n)为当前块左上角坐标值。
M为该宏块的行列数。
上述函数是将该宏块内的所有象素点都参与块匹配,这样的结果当然精度较高,但效率则并不很高。
为了在满足精度的条件下尽可能提高效率,一个可行的方法就是采用模板方式进行块匹配。
模板匹配方法在文献[8]中有介绍,它的理论基础是在一幅图象中,图象的相邻象素点具有很大的相关性,在粗略的情况下可以使用相邻象素点代替当前象素点。
特别是经过对对数搜索流程的分析表明,只有最后进行整象素点和半象素点匹配时需要较高的精度以保证获得运动矢量的准确性,其他中间搜索环节所获得的运动矢量误差都大于2个象素点,此时以单象素点精度进行块匹配并不能起到提高整体运动矢量搜索精度的目的,是对计算能力的浪费。
在非单象素点和半象素点匹配时,对于标准的16×16宏块,可以采用上述模板进行亚抽样匹配,由图5可以看出,采用亚抽样后需要计算的数据点数减少为全匹配图象的1/2,相应的计算速度也提高到原有匹配算法的2倍。
在对数搜索的最后阶段,即使用单象素点和半象素点搜索时,使用上述模板便不能够满足精度要求,仍然需要使用全象素点匹配。
使用图5中的亚抽样匹配模板,利用多重搜索策略进行16×16点搜索与原有对数搜索算法的计算量之比为:(假设各运动矢量可能性均等)运用多重搜索,共需要进行非单象素点匹配24次,单象素点及半象素点匹配16次。
对于非单象素点匹配过程使用亚抽样模板,需要的匹配计算量为(1/2 * 24 +16)*Cn(Cn为单次全象素点匹配所需的计算量)。
使用对数搜索,需要匹配的点共有26个,计算量为26*Cn,故二者计算量之比为:这表明使用该多重搜索方法对计算量的需求与对数搜索方法基本相当。
4 试验结果为了验证该方法的有效性,对上百幅连续图象的运动矢量进行了搜索测试。
由于采用全局搜索算法可以准确地找到运动矢量匹配值的最小点,故将全局搜索的结果作为真实最优点,同时使用对数搜索算法和多重搜索算法进行矢量搜索,计算两种方法能够找到最优点的比例及所花费时间,结果如下:由图6可以看出,两种方法的计算量需求基本相当,但使用普通对数搜索策略可能有20%的情况找不准最优运动矢量,在运用了运动矢量多重跟踪搜索策略后,这一比例下降到了5%左右。
而这最后的5%的情况并不一定表明搜索结果错误,很可能是运动矢量根本不存在,在本试验中由于将全局搜索的结果作为运动矢量,因此不论何种条件都可以得到一个最小值点,但这个最小值点并不一定就是运动矢量。
这种情况下,实际应用中的处理一般是该帧作为非相关帧直接进行帧内编码。
5 结束语测试结果表明运动矢量多重跟踪搜索算法对于图象匹配所产生的多极点现象具有很好的适应能力,与对数搜索算法相比较,在整体计算量基本持平的情况下能够使运动矢量搜索的准确率有较大的提高。
在不要求搜索精度很高的情况下,也可以仅采用算法中的亚采样匹配模板,这时可以将对数搜索的计算量减少1.6倍。
参考文献1 Arum ravali,Barry G.Haskell.Digital Pictures, represen-tation and compression Plenum Press.1988.2 Puri A Aravind R. Motion Comprnstated Video Coding withAdaptive Perceptual Quantization. IEEE Trans on Circuits andSystems for V ideo Technology, 1991,1.3 ITU-T Draft Recommendation H.263, Video Coding for Low Bi-tRate Communication,1995.4 CCITT Recommenxdation H.261, Codec for audioVisual ser-vices at px64k bits/s ,Geneva, 1990.5 Chang, Shifan. Scalable array architecture design for full searchblock matching.IEEE Transactions on Circuits and Systems for Video Technology, 1995, 5(4):332~343.6 Y eo, Hangu.Novel modular systolic array architecture for full-search blockmatching motion estimation, Special Sessions ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing-Proceedings v 5 1995. IEEE, Piscataway,NJ,USA,95CH35732:3303~3306.7 Namazi N M.Nonuniform image motion estimation using Kalmanfiltering, Proceedings -ICASSP, IEEE International Conferenceon Acoustics,Speech and Signal Processing v 5 1994. IEEE, Pis-cataway, NJ, USA,94CH3387-8:229~232.8 陈廷标,夏良正.数字图象处理.北京:人民邮电出版社, 1989.。