一种有效的基于时空信息的视频运动对象分割算法_鲁梅
基于时空建模的视频帧预测模型

基于时空建模的视频帧预测模型随着计算机和人工智能技术的快速发展,视频处理领域也得到了很大的发展。
视频帧预测是视频处理中的一个重要任务,它可以用于视频编解码、视频超分辨率重建、视频编辑等多个领域。
而基于时空建模的视频帧预测模型正是近年来备受关注的一个研究领域。
基于时空建模的视频帧预测模型通过学习视频序列的时空特征来预测未来帧的内容,相比传统的预测方法,这种模型能够更准确地捕捉到视频序列中的复杂时空信息,从而获得更好的预测效果。
在本文中,我们将探讨基于时空建模的视频帧预测模型的原理、研究现状以及未来发展方向。
基于时空建模的视频帧预测模型利用了视频序列中时空信息的相关性,通过学习视频序列之间的时空特征来实现对未来帧内容的预测。
其原理可以简要概括为以下几个步骤:1. 时空特征提取:模型需要学习视频序列中的时空特征,包括帧间的时序关系和像素间的空间关系。
这通常可以通过卷积神经网络(CNN)和循环神经网络(RNN)等深度学习模型来实现。
2. 特征融合与编码:学习到的时空特征需要被合理地融合和编码,以便模型能够更好地理解视频序列中的信息。
这一过程通常需要设计合适的特征融合模块和编码器结构。
3. 预测与重构:模型利用学习到的时空特征进行未来帧的预测和重构。
这一过程可以利用卷积神经网络等模型来实现,以便生成高质量的预测帧。
基于时空建模的视频帧预测模型是一个备受关注的研究领域,在近年来取得了许多进展。
研究者们提出了许多不同的模型架构和方法,以实现更好的视频帧预测效果。
一些研究工作提出了利用卷积神经网络和循环神经网络相结合的深度学习模型来进行视频帧预测。
这些模型能够较好地捕捉视频序列中的时空信息,并实现对未来帧内容的有效预测。
一些研究工作还利用生成对抗网络(GAN)等模型来优化视频帧的质量和真实感。
一些研究者还提出了一些新的技术和思路,以进一步提高基于时空建模的视频帧预测模型的性能。
一些研究工作提出了利用光流信息来增强模型对帧间时序关系的建模能力;一些研究工作还推动了基于迁移学习和增强学习等方法的应用,以加速模型的训练和提高预测效果等。
一种视频序列中的运动对象自动分割算法

关 键词 运 动对象 , 背景噪声方差 , 帧差 图, 活动轮廓
A N w Meh dfr vn jc eme tt nA tmai l d oS q ec e to o Mo ig0bet g nai uo t al i Vie eu n e S o c yn
es h n tersd a n i n h no ee ak ru dd et e t n f bet aefs n f c vl l i a.T e , iu l o ea teu cv rdb cg o n u Ot i so jcs r t de et eye m — h e s d h mo o o a a i i h t ymop ooi l prt n dit sc o fwo y ae b rh lgc eai s n e et no mmer a mo i es d ao o a nr i t s t cl v a a.Th stent l vn bet n i g n r u ia moi o jc a d h i i g
c m etes o to n fsti h au fb c g o n os ain eb x ein e wee t t h au y hso o h h rc migo e t t ev leo a k r u d n iev ra c y e p re c , si et ev leb it g n ma
g a fti g Att es me t r m it . n h a i , s h i nfc n e ts O t r s o d t ed fe e c g n x r c h v n r me weu e t e sg ii c e tt h e h l h i r n ei a f a m e a d e t a t emo i a — t g
利用空域和时域信息自动分割MPEG-4视频对象

利用空域和时域信息自动分割MPEG-4视频对象
鲁照华;李华;孟伟
【期刊名称】《天津大学学报》
【年(卷),期】2004(037)005
【摘要】从视频序列中分割出视频对象是实现基于内容压缩编码方法的关键.该文提出了利用空域和时域信息实现MPEG-4视频对象的自动分割方法,利用相邻两帧的帧差和当前帧的纹理、颜色信息及面部定位、梯度滤波等技术,实现目标的初始化,再利用快速Hausdorff距离法跟踪目标.处理结果表明,该方法对处理相对静止的头肩序列图像具有较强的稳定性,处理速度较快,能取得较好的分割效果.
【总页数】4页(P410-413)
【作者】鲁照华;李华;孟伟
【作者单位】天津大学电子信息工程学院,天津,300072;天津大学电子信息工程学院,天津,300072;天津大学电子信息工程学院,天津,300072
【正文语种】中文
【中图分类】TN919.81
【相关文献】
1.一种融合时域和空域信息的运动目标分割新方法 [J], 刘天明;戚飞虎;詹翊强
2.运动法自动分割MPEG-4帧视频对象(VOP) [J], 夏金祥;鲍乐群;黄顺吉
3.基于时空域信息的视频对象分割算法 [J], 张阳;李家兵;符茂胜;罗斌
4.利用浮点图像对视频对象进行自动分割 [J], 魏冬梅;张之超;李海腾
5.基于时空域的自动视频对象分割算法 [J], 程淑红;胡春海
因版权原因,仅展示原文概要,查看原文内容请购买。
基于时空信息融合的视频对象分割方法

1 全局运动补偿
视频序列通常包括两种运动信息 : 局部运动信息和全局运动信息。局部运动即视频对象的运动 , 为前景
对象相对于背景所做 的运动。而全局运动是在视频流的记录过程中, 摄像机随目标运动产生的, 如高空无人
机的图像侦察等, 摄像机在很多监控场合需要做旋转和平移等运动 , 全局运动造成的图像变化是一致的。因
模型足以描述一般视频序列 中的摄像机运动, 而且在运动模型复杂性和模型参数估计的准确性之间也有较
好 的 6个参 数 , 最小 化 误 差 函数 ( , , n , n ) 即 n , n , n ,
=
[ 0 +ay +口 一 ) c +ay +0 一 ) 。 (。 2; 3 +(4 t s 6 ] 式中: N为帧图像的像素数。 采用奇异值分解方
法求解 6 个参数 , 可以得到可靠的数值解 。
2 基于改进分水 岭方法 的空域分割
由Vnet o l提出来的基于浸没模型的分水岭方法… 是常用的图像分割方法之~, i n 和S ie c l 但是分水岭方
法对图像梯度噪声特别敏感, 容易过度分割 , 且计算耗时非常大 。 引 本文采用一种快速的优化分水岭方
维普资讯
第 7卷第 2期
20 0 6年 4月
空
军
工
程
大
学
学
报( 自然科学版 )
V 17 N . 0. o 2 A r2 0 p.06
JU N LO I 0 C N IE RN NV R rY N T R LSIN EE IIN O R A FARF R EE GN E IGU IE Sr ( A U A CE C DTO l
目前, 基于变化区域检测运动对象的时空信息分割算法应用 比较广泛 , 此类方法先通过检测序列 中的变
一种简单快速的多媒体视频序列中运动对象分割方法

检 索等方 面很 多领域中都有广泛的应用 。 目前运 动 对 象 分 割 的 算 法 基 本 可 分 为 光 流 法 … 、 景 差 背 法 和帧 间差法 等 。光流法 的分 割效果 不错 , 但是 容易受 到 噪声 和光照 变化等 的影 响 , 并且 计算 起来 比较复 杂 , 时性 较 实
tem v g ojc r ini f l i r i l a e.E p r ns h w ta ti agr h a e ag o e m nigrs l w t h a n d h o i be t e o l dw t oi n l s x e me t s o t hs loi m c n g t o d sg e t u i s o e e n g s ie h gavu i h t n e t h
p o e s n i e r c s i g tm .
Ke w r s y od
S mm t cl F G a i t m g Mo igr i s Mo i be t a k y e ia D D r rd n a e e i v e o n g n v g ojc m s n
Abs r t tac I r r t mp o e t e r a i e ie n nd t e uto i os g n ai n o de o i r v h e ltme rqu r me ta her s l fvde e me t t on,t s p p rp e e t i hi a e r s ns asmpl n a tmo i g e a d f s vn
ec aea dtegai tm g.T r g te ai l o hlg rcsi n i cnigw e em vn bet ak tat nei g n r e ae ho hma m t a m r ooypoes gadt c sann egth oigojc m s.A s m h d ni u h c p n we t l
基于时空Transformer的遥感视频目标跟踪

基于时空Transformer的遥感视频目标跟踪基于时空Transformer的遥感视频目标跟踪摘要:随着遥感技术的迅速发展,遥感视频目标跟踪成为研究的热点之一。
传统的目标跟踪算法在处理大尺度、遥感视频时面临挑战,因此需要一种新的、高效的算法来解决这一问题。
本文提出了一种基于时空Transformer的遥感视频目标跟踪方法,通过利用Transformer得到的时空上下文关系,以及编码器-解码器结构的引入,提高了目标跟踪的准确性和鲁棒性。
一、引言遥感技术具有广阔的应用前景,尤其在环境监测、农业灾害预警、城市规划等方面发挥着重要作用。
遥感视频目标跟踪可以对遥感图像中的感兴趣目标进行连续追踪,从而提供重要的信息支持。
然而,由于遥感图像通常具有大尺度、复杂背景、低分辨率等特点,传统的目标跟踪算法在遥感视频中往往效果不佳。
因此,研究一种适应遥感视频目标跟踪的新算法具有重要意义。
二、相关工作近年来,目标跟踪领域出现了一些新的方法,比如深度学习方法和Transformer方法。
深度学习方法通过神经网络学习目标的表征,可以有效地进行目标跟踪。
然而,在处理大尺度、遥感视频时,深度学习方法往往受限于计算资源和数据量的问题。
Transformer方法作为一种新兴的序列建模方法,可以捕捉目标在时空上的关系,具有良好的表现。
因此,我们将基于Transformer的目标跟踪方法应用于遥感视频中,希望能够提高目标跟踪的准确性和鲁棒性。
三、方法本文提出了一种基于时空Transformer的遥感视频目标跟踪方法。
该方法首先将遥感视频分为多个时序帧,然后通过一个编码器-解码器结构对每个时序帧进行特征提取。
编码器利用Transformer模块对时序帧进行编码,提取时空上下文信息。
解码器根据编码器的输出进行目标跟踪并预测目标的位置。
将编码器的输出和解码器的输出进行融合,得到最终的目标跟踪结果。
四、实验结果为了验证所提出算法的有效性,我们在常见的遥感视频数据集上进行了实验。
一种具有可分级转码能力的无线视频鲁棒传输方法
一种具有可分级转码能力的无线视频鲁棒传输方法
钱团结;孙军;苏鹏程;解蓉;王嘉
【期刊名称】《上海交通大学学报》
【年(卷),期】2006(40)9
【摘要】结合空时正交频分复用(OFDM)和转换编码技术,提出一种无线衰落信道下具有可分级转码能力的鲁棒视频传输方法.该方法可将高质量的MPEG-2压缩视频转换为低码率、低分辨率H.264可分级码流,以满足网络带宽和终端设备显示的要求.同时,考虑分级码流的重要性,转码输出的可分级码流经过分层空时编码的OFDM系统实现不对等保护传输.实验结果表明:在典型的随机突发错误的无线环境下,本文可分级转码能力的视频传输系统性能优于非分级转码的视频传输系统.【总页数】6页(P1511-1515)
【关键词】可分级转码;空时码;正交频分复用
【作者】钱团结;孙军;苏鹏程;解蓉;王嘉
【作者单位】上海交通大学图像通信与信息处理研究所
【正文语种】中文
【中图分类】TN919
【相关文献】
1.基于场景模型的视频无线信道鲁棒传输 [J], 周有喜;肖嵩;吴成柯
2.无线多媒体电子商务系统中视频传输的鲁棒性 [J], 葛静燕;黄培清;王东华
3.一种具有可分级转码能力的空时OFDM视频传输方法 [J], 钱团结;孙军;解蓉;苏
鹏程;王嘉
4.一种鲁棒灵活的非平衡多描述视频编码和传输方案 [J], 李彬;黄峰;孙立峰;杨士强
5.一种联合速率控制和缓冲管理的VBR视频鲁棒传输方法 [J], 张源海;李凯慧;许长桥;孙利民
因版权原因,仅展示原文概要,查看原文内容请购买。
基于LBP核密度估计的HEVC运动物体分割算法
基于LBP核密度估计的HEVC运动物体分割算法周巧娣;刘松茹;蒋洁【摘要】针对相对运动缓慢的目标物体在低分辨率视频中分割精度不高的问题,结合高效视频编码(HEVC)压缩码流信息,提出了一种基于局部二值模式(LBP)核密度的运动物体分割方法.首先从视频码流中得到初始运动矢量和块划分信息,初始运动矢量经预处理得到稳定的运动矢量,再利用块信息增强运动矢量区域的可信度,然后采用LBP对运动矢量区域进行特征提取,最后结合核密度估计方法进行背景建模,分割图像并得到运动目标物体.使用多个标准序列进行对比测试实验,结果表明,提出的算法有效提高了相对运动缓慢的目标物体在低分辨率视频图像中的分割精度,综合评价指标的平均值达到81.70%,相比于常用的视频分割方法有较大的提高;对于高分辨率视频图像,其综合评价指标的平均值也较高.【期刊名称】《杭州电子科技大学学报》【年(卷),期】2018(038)003【总页数】6页(P7-12)【关键词】HEVC;运动矢量;LBP;核密度估计【作者】周巧娣;刘松茹;蒋洁【作者单位】杭州电子科技大学电子信息学院 ,浙江杭州310018;杭州电子科技大学电子信息学院 ,浙江杭州310018;杭州电子科技大学电子信息学院 ,浙江杭州310018【正文语种】中文【中图分类】TP391.40 引言在银行、地铁站、学校等监控场景中,往往通过对监控视频序列中相对运动缓慢的物体进行分割来实现目标的识别和跟踪。
但是这些场景中,运动物体识别率的高低很大程度上取决于物体的位置、光照和天气条件以及背景复杂程度等因素。
同时,有限的数据存储空间、不完善的传输技术和设备等因素也导致获得的视频分辨率较低。
目前,视频分割领域的研究多基于图像背景复杂、运动模式多样等情况,而对于运动相对缓慢的物体分割的研究较少。
局部二进制模式(Local Binary Patterns,LBP)算子及其变体在纹理图像检索和分类中扮演重要角色[1],如文献[2]提出了一种从偏振图像中提取LBP特征的方法,将LBP特征与颜色特征结合形成新的特征空间。
基于HOSVD和TV的动态背景下的运动目标提取
基于HOSVD和TV的动态背景下的运动目标提取徐联微;杨晓梅【摘要】为将动态背景从提取的运动目标中分离出来,提出一种基于高阶奇异值分解(HOSVD)和全变分(TV)的运动目标提取方法.将观测视频表示为张量,将其视为低秩的平稳背景、稀疏且在时间和空间上连续的运动目标、更加稀疏的动态背景3个部分之和,用TV正则项约束运动目标,建立动态背景下的运动目标提取模型,用交替方向乘子法(ADMM)求解该最小化约束问题.实验结果表明,在动态背景情况下,该方法相对于其它两种经典算法能更好克服动态背景带来的干扰,提取运动目标准确度更高.%To separate the dynamic background parts from moving object,an approach of moving object extraction based on highorder singular value decomposition (HOSVD) and total variation (TV) was proposed.The observed video was characterized as a tensor and regarded as a combination of three portions,including a low-rank static background,a sparse foreground with spatial and temporal continuity as well as a sparser dynamic background.The TV regularization was used to constrain moving object and the moving object extraction model for the dynamic backgrounds was established.The alternating direction method of multipliers (ADMM) was employed to solve this constrained minimization problem.In the case of dynamic backgrounds,compared with other two methods,experimental results show the proposed method can better overcome the interference caused by dynamic backgrounds and more accurately extract the moving objects.【期刊名称】《计算机工程与设计》【年(卷),期】2017(038)004【总页数】6页(P1045-1050)【关键词】动态背景;高阶奇异值分解;全变分;运动目标提取;张量;低秩;稀疏;交替方向乘子法【作者】徐联微;杨晓梅【作者单位】四川大学电气信息学院,四川成都610065;四川大学电气信息学院,四川成都610065【正文语种】中文【中图分类】TP391.41运动目标的提取是目标跟踪[1]、图像分割[2]、行为识别[3]、场景理解和增强现实[4,5]等的基础,在计算机视觉和模式识别领域扮演了极其重要的角色。
一种基于水平集的运动视频对象分割算法
一种基于水平集的运动视频对象分割算法
陆悌亮;龚声蓉
【期刊名称】《微电子学与计算机》
【年(卷),期】2007(24)7
【摘要】视频对象的分割是基于内容的视频处理的重要组成部分。
提出并实现了一种基于水平集的运动视频对象分割算法。
算法通过视频帧间的亮度差值提取初始轮廓曲线,将该曲线作为水平集算法的初始零水平集,采用窄带水平集方法演化曲线,得到最终的分割结果。
实验表明该算法简单高效,具有很好的分割效果。
【总页数】3页(P105-107)
【关键词】水平集;视频分割;曲线演化;亮度差
【作者】陆悌亮;龚声蓉
【作者单位】苏州大学计算机科学与技术学院
【正文语种】中文
【中图分类】TP31
【相关文献】
1.一种基于区域Gibbs势能函数的视频运动对象分割算法 [J], 包红强;张兆扬
2.一种有效的基于时空信息的视频运动对象分割算法 [J], 鲁梅;卢忱;范九伦
3.一种新的基于吉布斯随机场的视频运动对象分割算法 [J], 刘龙;韩崇昭;刘丁;梁盈富
4.一种基于运动背景的视频对象分割算法 [J], 张庆利;张兆扬
5.一种基于内容的快速视频运动对象分割算法 [J], 倪峰;龚声蓉;沈项军
因版权原因,仅展示原文概要,查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
计 算 机 应 用 研 究 Application Research of Computers
Vol. 30 No. 1 Jan. 2013
一种有效的基于时空信息的视频运动对象分割算法
鲁
摘
1 梅 ,卢 2 1 忱 ,范九伦
*
( 1. 西安邮电大学 通信与信息工程学院,西安 710061 ; 2. 武警工程大学 通信工程系,西安 710086 ) 要: 为实现视频编码标准 MPEG-4 中语义对象的自动提取, 提出一种基于时空信息的运动对象分割算法 。
在时域上通过双边加权累积帧差和分块高阶统计算法得到目标的运动区域检测模板, 以在充分利用时域信息的 同时提高算法的速度; 在提取空域信息时, 先对视频序列的灰度图进行对比度增强处理, 然后利用自适应 Canny 算子获取准确的空间边缘信息; 最后进行时空融合, 用空域边缘信息修正过的时域运动模板来提取运动对象。 实验结果表明, 本算法可以快速准确地分割视频运动对象测模板; 空间边缘信息 中图分类号: TP391. 4 文献标志码: A 文章编号: 1001-3695 ( 2013 ) 01-0303-04 doi: 10. 3969 / j. issn. 10013695. 2013. 01. 078
Abstract: To achieve the automatic extraction of semantic objects in video coding standard MPEG4 ,this paper proposed a moving object segmentation algorithm based on temporalspatial information. The proposed algorithm firstly obtained the moving region detection template of the target in temporal domain by using the bilateral weighted cumulative frame difference and blocked higherorder statistics algorithm,and it increased the speed of the algorithm while taking full information of temporal. it enhanced the contrast of the grayscale in video sequence at first, and then Secondly ,in the extraction of spatial information, obtained accurate information of spatial edge by using an adaptive Canny operator. Finally,the proposed algorithm merged the temporal information and spatial information together,extracted the moving objects with the temporal moving template which had been corrected by the spatial edge information. The experimental results show that the proposed algorithm can obtain an accurate segmentation of moving objects in video with a high speed. Key words: video moving objects segmentation; temporalspatial segmentation; moving region detection template; spatial edge information
Effective video moving objects segmentation algorithm based on temporalspatial information
LU Mei1 ,LU Chen2 ,FAN Jiulun1
( 1 . School of Communication & Information Engineering, Xi’ an University of Posts & Telecommunications, Xi’ an 710061 , China; 2 . Dept. of Communication Engineering,Armed Police Engineering University,Xi’ an 710086 ,China)
[4 ] [5 ] [6 ] 、 基于聚类的分割法 以及基于形态学的分割法 等。
理念, 即在编码时将一幅景物分成若干在时间和空间上相互联 4 和 MPEG7 的关 系的视频对象。 视频对象分割作为 MPEG键技术, 在计算机视觉及模式识别等领域具有广泛的应用, 是 视频图像处理的一个研究热点 。目前, 已提出许多自动分割运 动对象的算法, 这些算法都是利用运动对象的时空域信息 。根 据分割过程所利用信息的不同, 视频对象分割可分为时域分 割、 空域分割和时空分割。 时域分割主要通过检测视频相邻帧间的变化来得到运动 对象的位置、 大小和运动方向, 如背景差法 光流法
0
引言
4 和 MPEG7 采用基于对象的编码 视频编码标准 MPEG-
依赖于选择的帧间时间间隔 。 基于时域光流场对运动对象进 行分割的光流法, 其性能受到估计的光流场准确性的影响, 对 噪声敏感, 且涉及光流场的计算很复杂 。 空域分割通过将图像分割成不同的纹理一致区域来获取 运动 对 象 的 区 域 和 准 确 边 缘, 主要有基于阈值的图像分割 法