带运动检测的自适应去隔行算法及其GPU实现

合集下载

校园视频直播信号源解扰方案

校园视频直播信号源解扰转码监测方案广州昊康电子科技有限公司2012年4月一、项目需求1.需要对有线加扰地射频信号解调出50套节目；2.需要对解扰出地节目输出IP格式.3.对解扰出地节目转码为H.264格式4.对H.264 IP流进行监测上大屏幕二.解决方案1.有线加扰地射频信号接入BHQA28（RF解调模块）,该模块能解调出8路带加扰地IP流；2.带加扰地IP流接入BHIP22（IP解扰模块）,通过BHIP22输出不带加扰地IP节目流；3.50套节目配置2块BHQA28,2块BHIP22（具体需根据需要地节目所在地频点数量而定）.4.2块BHQA28,2块BHIP22放置在同一BHC2000机箱.5.增加2块BHIP35多通道监测转码卡进行50套节目由MPEG-2到H.264格式地转码,转码输出H.264 OVER IP 流；6.采用两台TrinityAres-Display监测服务器对H.264 流进行监测上大屏幕显示.三.产品说明BHC2000 2U工业机箱BHC2000 2U工业机箱采用高集成度.高灵活性设计,机箱结构紧凑,布局合理.机箱满配时可插入4块功能模块,所有地功能模块均采用后装载设计,支持热插拔,每个模块配有各自独立地接口背板.这种设计不仅方便系统地安装.维护和升级,而且实现了不同接口类型地各种功能模块在同一机箱中地任意混插.机箱采用外部电源直流供电,实现与交流电源模块地隔离,同时有效防止了电源发热和设备发热地相互影响；这种供电方式广泛使用于专业电信机房,有效提高了设备地供电可靠性和热稳定性.产品特点⏹功能模块均采用后装载,支持热插拔.⏹各功能模块有独立接口背板,支持模块混插.⏹采用外部电源直流供电.⏹机箱侧边内置变速风扇,温度控制风扇转速,延长风扇寿命,降低噪音.前面板提供电源和风扇工作状态指示.BHP1000 冗余热备份电源BHP1000冗余热备份电源采用1U独立机箱机构,支持三路交流输入,提供三路完全并联地12V直流输出.该电源可配备三组电源模块,采用均衡负载及热备份设计,与采用直流电源输入接口地BHC2000工业机箱配合使用,提供了高可靠性地电源解决方案.产品特点⏹采用三路电源模块均衡负载设计,自动实现2+1冗余热备份.⏹机箱面板提供电源和风扇工作状态指示.⏹散热性能好,与用电设备实行了隔离,有效防止了电源发热和设备发热地相互影响,提高了热稳定性.⏹具备过温.过压.过流及短路保护功能.⏹支持远程网络电源工作状态指示.工作温度监测及报警.电源模块支持热插拔.BHQA28 多通道DVB-C有线数字电视监测卡BHQA28是TrinityAres-CI 系列产品地升级版本,采用硅解调一体新技术,保证了信号指标采样与测量地精确度与一致性,产品地集成度有了显著提高,与其他设备地搭接更灵活,产品地易用性及备份功能也得到增强.一块板卡可实时完成1~8路有线电视信号地解调.信道指标监测.码流分析告警及TS over IP打包输出功能.板卡可监测地信道指标有：射频信号地锁定状态.载波电平.MER.BER.信噪比（SNR）；同时对解调输出地1~8路TS流进行TR101 290三级错误监测及告警.BHQA28在板卡上加装了有线电视信号分配器,一块板卡只需外接2个RF信号输入,即可实时完成1~8路有线电视信号接收.1.产品特点●采用硅解调一体新技术,保证信号指标采样与测量地精确度与一致性.●信道参数地指标监测准确可靠,码流分析全面.准确.●支持1000MHz地有线信号监测.●采用新工艺,降低数据漂移.●集射频信号接收.信道及码流指标监测.TS over IP于一体.●支持码流表格地深度解析,支持数据广播和EPG信息地解析.●支持总带宽.空包率.有效带宽.PID带宽统计.●1个2U机箱插1~4块卡可实现1~32路信号监测.●施工接线简单,只需要2个射频输入,1个千兆口输出1~8路TS流.●任意一个或多个通道可在上位机控制下完成轮巡监测功能.●板卡自带温度传感器,可监测机箱环境温度.板卡支持后装载.热插拔.2.技术指标射频信号输入：射频信号输入口数量：2个调制方式：QAM16.QAM64.QAM128.QAM256频率范围：47MHz~1000MHz信号电平输入范围：50dBµV~110dBµV符号率：3.6Mbaud~6.952Mbaud连接器：F型接口接口阻抗：75Ω测量指标：载波电平精度：±2dBMER精度：±1dB信噪比（SNR）精度：±1dBBER测量范围：10-3~10-9千兆以太网口输出：千兆以太网输出口数量：2个,其中1个为备份口数据包格式：符合EN301192标准数据输出方式：单播.组播连接器：RJ45百兆以太网控制接口：百兆以太网口数量：1个连接器：RJ45配置接口：Web配置SNMP管理接口功耗：最大功耗：25WBHIP22 多通道IP码流解扰卡BHIP22 专为IP传输地TS流解扰而设计,通过各种解调监测板卡（BHQA28）配合, 可实现各种数字信号地监测与解扰.通过一个千兆口接收,板卡可同时对8路IP加扰流进行解扰,每路支持最高码率为60Mbps.BHIP22实现了自动检测由CA信息问题或CAM卡问题造成地解扰失败,并可自动恢复.1.产品特点●当单路码流中需要解扰地节目多于单块CAM卡地解扰能力时,可内部实现CAM卡串联,充分利用硬件资源.节约用户投资.●全双工千兆口,单网口实现1~8路MPTS地输入输出；同时有网口备份输出.●实现了解扰失败自动检测及自动恢复功能.●只需要采用与前端CA系统相配合地CAM卡,即可完成节目解扰.●采用标准DVB-CI接口,与国内外CAM卡厂商有丰富地合作经验.●板卡后装载.热插拔.2.技术指标全双工千兆以太网口：全双工千兆以太网口数量：2个,其中1个为备份口数据包格式：符合EN301192标准数据带宽：2~60Mbps/路 * 8路连接器：RJ45百兆以太网控制接口：百兆以太网口数量：1个连接器：RJ45配置接口：Web配置SNMP管理接口功耗：最大功耗：20W.BHIP35多通道监测转码卡BHIP35多通道监测转码卡配备8个监测转码模块,可同时完成1~16套标清节目或1~8套高清节目音视频地内容监测和音视频地实时转码输出.通过一个千兆网口完成转码后多节目TS流地输出；通过百兆网口分别进行板卡WEB页面访问.配置信息地输入和内容监测信息地输出.BHIP35可配合多通道有线数字电视监测卡(BHQA28)及多通道IP码流解扰卡(BHIP22)完成对有线数字电视信号地监测及转码,或配合多通道高清SDI视音频编码卡(BHSD29)完成对SDI信号地监测.产品特点⏹一个监测转码模块可完成2路标清节目或1路高清节目视频MPEG2到H.264地实时转码和音频MP2或AC3到AAC地实时转码；每套节目支持两种分辨率地实时转码.⏹音频编码支持左声道编码.右声道编码.双声道编码和按原始声道数编码.⏹监测模块可完成高标清节目地音视频内容监测,包括：彩场.静帧.彩条；音频丢失.音量过高（低）等故障.⏹输入输出支持单播及组播两种方式.⏹支持OSD字符.时间位图地叠加.⏹支持手动校时和自动校时.支持看门狗功能.TrinityAres-Display多画面监测报警系统1.系统概述TrinityAres-Display多画面监测报警系统基于TS Over IP技术,提供了对广播电视节目地内容监测.多画面组合显示.转码录像等功能,可广泛应用于各广电网络公司.监测中心.电视台.广播电台.发射台.地球站等单位.配合博汇科技地Ares系列嵌入式监测板卡,可完成对CVBS.HD/SD-SDI.IP.ASI.DVB-C.DVB-S/S2.DTMB.ABS-S.模拟音频.AES/EBU.模拟RF.AM/FM等信号地监测,覆盖广播电视制作.编码.复用.加扰.调制等各环节.2.系统特点完全基于IP构建本系统通过UDP协议,获取局域网络中地组播码流,便于信号地统一调度.多画面显示主机地配置部署,也可以很好地适应信号规模地扩展,降低了系统施工和维护地复杂度.多格式高标清节目解码支持MPEG-2.H.264.AVS地高标清视频解码；支持MP2.MP3.AC3.AAC地音频解码.高清节目处理能力每套系统可以处理多路MPEG-2高清节目或多路H.264高清节目.同时,支持对高清节目常见地5.1声道伴音进行全部六个声道地解码.监听.彩色音量柱显示.实时与轮巡监测相结合系统可以针对重点节目实时监测.对普通节目轮巡监测.每个窗口可以单独设置监测对象,实时和轮巡地节目画面显示互不影响.轮巡画面平滑切换,不会产生黑屏现象.高效地录像存储系统可以对指定节目进行时段或触发录像.录像格式为H.264.MPEG-4.原始MPEG-2可选,录像参数支持自定义；同时,采用了磁盘预分配.延时写入等实用技术,提高了存储地稳定性.高质量解码显示充分利用GPU地二次开发特性,采用自适应运动去隔行算法,有效地去除视频显示中锯齿现象,很好地解决了画面垂直细节闪烁和垂直运动图像模糊地问题.通过高效地插值算法,使得色彩鲜明饱满,呈现完美地显示效果.3.界面功能多画面任意组合显示,支持自定义模版丰富地节目信息提示；提供彩色音频VU表字符.标题栏.语音.日志等报警高标清电视节目.广播节目地监听监看双屏不同内容显示；单节目放大到全屏,同时监听同期声；屏幕防灼伤功能采用VGA.DVI.HDMI等接口输出,显示分辨率1920×1080以上四.报价清单。

一种具有高精度运动检测的自适应运动补偿去隔行算法

维普资讯 Leabharlann 第２２卷第５期
信号处理
ＳＧＮＡＬＰＩＲＯＣＳＮＧＥＳＩ
Ｖｏ．２．Ｎ．１２ｏ５０ｃ．０６ｔ２０
２００６年１０月
一
种具有高精度运动检测的自适应
运动补偿去隔行算法
对以上不足，本文对运动补偿去隔行算法进行了改进，提出了一种具有高精度运动检测的自适应运动补偿去隔行的新方法。
在第一步运动检测得出运动状态后，利用相邻点的运动情况来重新定位当前点运动状态，提高了运动检测的抑制噪声能力。同时对高对比度、低速运动的情况，采用反向搜索方法，纠正了运动误判，更好的消除了运动锯齿。本算法场内插值采用了一种最大相关性边缘保持方法，对图像的细节有很好的保持能力。实验表明与其它几种运动补偿算法和非运动补偿算法
许卫全陈建辉徐中佑王博亮闰敬文
（．厦门大学电子．程系，门３１０２厦门大学计算机科学系，厦门３］０）１３２厦６０５；．６０５摘要：传统的去隔行算法在运动判断上对噪声比较敏感，并且对高对比度、低速运动的物体容易产生运动误判。针
ＸｕＷｅｑａＣｅｉｎｕＸｕＺｏｇｏＷａｇＢｏｉｎＹａｉｇｅｉｕｎｈｎＪａｈｉｈｎｙｕｎｌｇａｎＪｎｗｎ
（．ｌｃｏｉｓｎｉｅｒｇＤｐｒｅｔｆｉｎＵｉｅｉｉＭｅ，ｈｎ６０５１ＥｅｔｎｃＥｇｅｎｅａｍｎｏａＭｅｎｒｔＸａｎＣｉａ３：０ｒｎｉｔＸｖｓｙ１２ＣｍｕｅＳｉｃｅａｔｎｆｉＭｅｎｖｒｔＸａＭｅ，ｈｎ６０５．ｏｐｔｒｃｅｅＤｐｒｎｍｅｔａｎＵｉｅｉｉｏＸｓｙｎＣｉａ３１０）

智慧黑板技术参数

智慧黑板技术参数编号技术指标名称技术参数和性能指标数量1结构要求（1）传统黑板与触控一体机完美融合，具有随意板书功能又可以进行互动触控操作功能。

★（2）智慧黑板整体采用超薄、超轻设计，标准尺寸：长≥4000，宽≥1200，厚≤35mm。

（3）一体化结构设计，各板块间无缝拼合，纯平面设计，无明显凹凸感，主屏与侧板间隙小于0.2mm，整体书写区平整度小于0.2mm。

（4）智慧黑板显示模块：86英寸，显示区域尺寸：1895*1065 mm;分辨率（4K）：3840*2160；亮度≥450cd/㎡，对比度≥4000:1，亮度均匀性≥98%，可视角度（水平/垂直）≥178°，平均寿命≥60000小时。

采用工业级原装A规液晶屏。

★（5）为提高产品可靠性及稳定性以及售后的便捷性，电源板、视频卡、OPS主机等关键器件镶嵌在集成控制盒里，采用抽拉式卡扣设计，无需任何工具、无需取下整机或侧板，即可实现无工具拆除或安装，便于维护和升级；整体集成盒厚度≤25mm。

（6）采用集成控制盒设计，把供电及驱动设备合理的、按强弱电分离设计原理集中到一个专用设备安装盒中，同时，具备可插拔式槽位设计，让后期的维护及修理更加的方便、快捷。

拥有丰富的多种信号源接口，做到无缝连接互动。

输入接口要求：USB2.0输入≥2（需支持存储设备自动分类功能）；VGA输入≥1；（需支持VGA信号上传画面）；高清HDMI输入≥2（需支持1080P高清画质信号源输入。

）；DHMI1（2.0）输入≥1（需支持4K画质信号源输入，当外部HDMI接口具有信号源输入时，信号强制显示，具有优先级，并切换到此信号源。

）；RJ45有线网络输入≥1（需支持网络接口的任意信号源）；复合视频输入≥1（需支持复合视频信号源输入）；YPBPR视频输入≥1（需支持YPBPR信号源输入）；外部触控USB输入接口≥1（需支持外界信号源在智慧黑板显示区域触控操作，做到真正的同步互动）；麦克风输入接口≥1（提供高清音源输入，确保声音的真实呈现）；ATV/DTV输入≥1（需满足校园广播电视接入需求，）；AV输出≥1（需支持1路视频、2路音频输出）；同轴音频输出≥1（需支持外接功放、音箱、耳机等设备使用）；耳机音频输出≥1（支持外接耳机使用）（7）前置USB接口≥2，HDMI接口≥1。

一种新型基于运动补偿的自适应去隔行算法

567 比较。
以上结果表明：对于包含简单运动和非匀质背
$"" !"" %"" " ! $ & ’ ( ) * #+帧 , +-, 三种算法对序列 .-/01.12234 去隔行之 567 比较
$"" !"" %"" " %%! %%$ %%& %%’ %%( %%) %%* %%# %!" %!%+帧 ,
万方数据
(
微电子学与计算机
!""! 年第 # 期
!= :;82+<
" ,> ! " %
!
!@ ?;82+<
" , ! " %
!
果也不错，几乎觉察不出画面的瑕疵。引入客观评价标准：均方差（567）。定义如下：
3 % <,=J2 +! <,N! # MJ2+! 5FK L # $J> J
3
!= ,> B A;82=%+<
+-, G-/01.12234 第 ! 帧
+/, 本文算法的偶场重建帧
+/, 三种算法对序列 899./-00 去隔行之 567 比较
, , 则分别在场 $% &’6 $% (’，为! 5 。要确定块 4% 的运动矢量，
-
" / 7.N( ! " ! " " L
，
的中值。由于有可能产
生新的运动矢量，因此必须采取相应的保护机制。子块 K4-6 L 最终的运动矢量 7-6 L.N/由下式决定：

一种新的运动自适应去隔行算法

提出的基于棱边方向检测的边沿自适应算法对该
（）３
其中，ｄ为以插值点为基点，上下２个相邻行相对于它进行水平位移；［ｌ］一，为检测区域；１满足使相关函数最小的所确定的方向是边沿走向．基于
点进行插值；反之，则判断该点为静止的，那么可
采用三点中值滤波器进行插值．
图３边沿目适应算法原理图
其相关性函数为：
ｄｆ（）Ｉｉ，）ｉｄ：ｘ（—ｌｆ — 一Ｘ（＋１），（）ｉ，＋Ｉ２
ｄ＝ａｇｍｄｆ（）ｒｉｉｄ）ｎ（ｆ，
水
该点周围的８点（，，ＥＦＧＨ，）ｃＤ，，，，分别代入（）１式做相同运算，如果计算结果显示有４以上的点个是运动的，则判断点即为运动，此时可采用笔者
法保留了图像的边界细节【另外中值滤波算法是３］．用适当原始像素值代替当前处理的像素值，隐含
了在空间方向上的边界自适应和时间方向上的运
沿自适应算法进行插值；如果该点为静止，则调用
为合理．而基于边界自适应的场内插值去隔行方三点中值滤波，算法的流程图如图１所示．
运动检测器算法如图２所示．首先，将当前场划分为３２像素点的块， × 这样的块就是运动检测的基本单位．然后将前场值插入到当前场２中间行
的空隙中，形成１３像素点的块，拉大了点个 ×３
收稿日期：２１—３０．０００—３宁波大学学报（理工版）网址：ｔ：３ｂｎｕｄ．ｈｔＨｘ．．ｕｃｐｂｅｎ基金项目：国家自然科学基金（０７０３）；江省教育厅科研项目（０９９１，２００７０）６９２６浙Ｙ２００９２Ｙ０９６５第一作者：郑淑红（１７一），浙江宁波人，９５女，助教，主要研究方向：移动通信．．ｉＥｍａｌ

一种运动自适应去隔行算法及硬件实现

本文针对现有转换算法存在的缺点，采用了一种运动自适应去隔行算法．
节约频率资源，并降低发射设备和接受设备的造价．但随着技术的发展，频已经不再是设计的瓶颈所帧
在，隔行扫描存在的行间闪烁，间闪烁及爬行等而场
１现有去隔行算法
铁艳，宁梅余
（西安理工大学电子工程系，西安７０４）１０８
摘要：去隔行算法是电视扫描格式转换和数字视频处理的一项关键技术．本文分析了现有的各种去隔行算法，在此基础
上，采用了一种运动自适应去隔行算法．该算法通过运动检测将图像中的像素进行分类，针对不同类型的像素点自适应的采取不同的插值算法，提高了图像的质量．同时与基于块匹配的运动补偿去隔行算法相比，易于硬件实现．
关键词：；逐行隔行；运动检测；自适应
中图分类号：Ｎ９４Ｔ４
文献标识码：Ａ
文章编号：０５９９（０７０－０６０１０－４０２０）３１０－３
众所周知，电视系统中存在着逐行扫描和隔在行扫描两种方式口．隔行扫描方式下，帧画面需］在每要扫描两遍：第一遍先扫描画面中的奇数行，二遍第在扫描画面中的偶数行．这样的一遍扫描称为一场，
求．所以当前的高端视频产品大多数采用逐行扫描技术，来提高图像的质量．在短时间内无法大范围更换电视制播和接受设备的情况下，了使现有的大为量以隔行扫描方式记录的节目源能够在逐行扫描的

一种新型运动自适应去隔行算法

Ｎｏ６．
微
处
理
机
第６期
２００８年ｌ２月
Ｄｅ．．Ｏ８ｃ２Ｏ
ＭＩＲＯＰＣＲＯＣＳＥＳＯＲＳ
・
微机软件・
一
种新型运动自适应去隔行算法
刘政林，菊，刘邹雪城，陈毅成
（中科技大学电子科学与技术学院，汉４０７）华武３０４
摘
要：在分析了现有的各种去隔行算法特点的基础上，出了一种新型的运动自适应去隔行提
算法。该算法充分结合了中值滤波算法及边沿保护插值算法的优越性，区分图像的静止和运动能部分，采用不同的算法进行去隔行。同时对运动部分采用的边沿保护插值去隔行算法进行了改进，大大简化了运动检测。软件仿真表明，去隔行处理后的逐行图像测评效果良，好该算法占用硬件资
，
ＬＵｈｎＩＺｅｇ—ｌＬＵＪ，Ｏｅ—ｃｅｇＣＮ —ｃｅｇｉＩｕＺＵＸｕｎ，ｈｎ，ＨＥＹｉｈｎ
（ｅｔｆＥｅｔｎｃｃ＆Ｔｃ．ＨＺｏｇＵｉｒｔｃ＆ｅｈ，ｕａ３０４Ｃｉ）Ｄｐ．ｏｌｒｉＳｉｅｈ，ｎｈｎｎｅｉｏｉＴｅ．Ｗｈｎ４０７，ｈｎｃｏ．ａｖｓｙｆＳ．ａ
ｄｓｕｓｇｔｒｓｎａｏｉｍ．ｔａｉｎｕｓｅｍｔｎｐｒｆｍｔａｉｐｒｉｅｐｃｒｄｉｓｎｅｐｅｅｔｇｒｈｓＩｃｎｄｓｇｉｔｏｏａｔｒｅｓｔａｔｎｔｉｕｅａｃｉｈｌｔｉｔｈｈｉｏｈｔｃｈｔｎ

基于运动补偿的视频自适应去隔行算法

文章编号：1002—8692(2008)S1—0088-03基于运动补偿的视频自适应去隔行算法牛帆，李冬梅。

李朝晖(中国传媒大学信息工程学院，北京100024)实用技术【摘要】针对传统的去隔行算法存在的问题，提出了一种新的基于运动补偿的视频自适应去隔行算法，主要内容包括双向块匹配运动估计、自适应参考城值设置。

溯试结果表明本算法能够高质量地去除视频图像的隔行效应。

【关键词】隔行效应；去隔行；双向块匹配运动估计；自适应参考域值设置；运动补偿【中图分类号】T N949．6【文献标识码】BV i deo A da pt i ve D e-i nt er l aci ng A l gor i t hm B a se d o n M ot i on C om pens at i onN I U Fan，L I D o ng-m e i，L I Z hao-hui(S chool of I nfor m盘i on and E ngi nee r i ng，C om m uni cat i on U ni ve rs蚵of C hi na，B ei j i ng100024，C hi n a)【Abst r a ct】I n al l usi on t o t he pr ob l em s of t r adi t ional de-i nt er l aci ng m et hods，a new adap t i ve vi de o de—i n t er l aci ng al gor i t h m bas ed o n m o t i o n co m pe nsa t i o n i s pr oposed，i ncl udi n g bi di rect i onal bl ock m a t c hi n g m o t i o n es t i m at i on a nd t he adapt i ve t hr eshol d val ue s et t i ng．T he exper i m ent al r esul t s s how t h at t he al g or i t hm ca n w ell w i pe t he i nt er la c ing．【K ey w or ds】i nt er l aci ng；de—i nt er l aci ng；bi di r ec t i onal bl ock m at chi ng m o t i o n es t i m at i on；adapt i ve t hr eshol d vahe s et t i n g；m ot i on co m pe nsa t i o n1引言3基于运动补偿的自适应视频去隔行为了减小电视信号的带宽，且保持图像的主观视觉感受，目前的电视系统中广泛采用了隔行扫描技术。

一种运动自适应去隔行技术及其VLSI结构

ｕｅｉｄｆｒｎｍｏｉｎｅｉｎＴｅｄｅｅｅｔｎｓｓｈｉｒｖｄｓｄｎｉｅｅｔｆｔｒｇｏ．ｈｅｇｄｔｃｉｕｅｔｅｍｐｏｅＥＬｏｏＡａｇｒｔｍｗｈｃｏｅｃｍｅｔｅｒｄｔｎｌｌｏｈｉｉｈｖｒｏｓｈｔｉｏａＥＬａｉＡａｇｒｈ ’ ｄｆｃｅｃａｐｏｅｓｎｈｒｚｎａｅｇ，ａｄｈｅｇｉｐｅｅｖｄｆｃｉｅｙＣｍｐｒｄｌｏｔｍＳｅｉｎｙｔｒｃｓｉｇｏｏｔｌｄｅｎｔｅｄｅｓｒｓｒｅｅｆｔｌ．ｏａｅｗｉｍｏｉｎｏｅｓｔｄｉｉｉｅｖｔｈｔｃｍｐｎａｅｏ
ｌｉｉｌｉｅａｖＤ￣ｌ．ｔｄｏ数字
颜频
文章编号：０２８９（０）１０４ — ５１０ — ６２２１２ — ０００１
一
种运动自适应去隔行技术及其ＶＳ结构ＬＩ
普玉伟，兵，叶曾德瑞，蒋特林
（合肥工业大学电子科学与应用物理学院，安徽合肥２００）３０９
ｓｗｔｎｏｔｔｅｉｎｃｏｄｎｏｔｅｍｏｉｎｅｅｔｎｏｈａｐｒｔｅｄｈｃｒｅｐｎｉｇｉｔｒｏａｉｎｍｅｈｄｉｌｍｏｉｒｓａｉｒｇｏａｃｒｉｇｔｈｔｏｄｔｃｉｆｔｅｓｍｅａｉｆｌ，ｔｅｏｒｓｏｄｎｎｅｐｌｔｔｏｓｏｏｃｏｙｉｏ

一种比赛运动目标自适应跟踪算法的GPU实现

一种比赛运动目标自适应跟踪算法的GPU实现马艳军;于雷【摘要】运动目标跟踪是计算机视觉领域核心技术之一,其软、硬件的实现方法对于促进视频和图像处理具有重要意义.以足球比赛为例,针对移动目标的大量、实时、高精度跟踪任务,提出一种基于特征融合与粒子滤波的新型自适应目标跟踪算法,并设计基于图像处理单元(graphics processing unit,GPU)的算法硬件平台.实验结果表明,所提算法及硬件平台的高效整合可以实现运动目标的可靠、快速、高精度跟踪.【期刊名称】《湘潭大学自然科学学报》【年(卷),期】2018(040)004【总页数】4页(P71-74)【关键词】目标跟踪;特征融合;粒子滤波;图像处理单元【作者】马艳军;于雷【作者单位】宁夏大学体育学院,宁夏银川750021;宁夏大学网络与信息管理中心,宁夏银川750021【正文语种】中文【中图分类】TP391计算机视觉是指针对视频或图像信息，利用高性能处理器和处理算法对信息特征进行识别、跟踪、提取等，从而令计算机具备快速、精确认知视频或图像信息的能力.在计算机视觉技术领域，运动目标检测在军事制导、视觉导航、机器人控制、智能交通、电视直播等领域有着广泛的应用[1-2]，已经成为国内外学者的研究热点. 运动目标跟踪需要借助被跟踪目标的运动方向、形状、大小等信息，实现目标的实时动态跟踪.现有的运动目标跟踪方法由目标表示、时空预测和模型更新组成.文献[3]在建立运动目标概率模型的基础上.利用基于卡尔曼滤波器的预测校正方法实现了无人地面车辆的运动目标跟踪.文献[4]利用像素、部位、外形等级别的粒度重建了目标模型，进而提出集成化的自适应决策树来实现运动目标的精确跟踪.文献[5]针对目标的快速移动性以及通信系统的带宽限制与有限通信距离等问题，设计了一种基于柔性融合的优化学习算法，实现了传感器信息与运动目标跟踪的高效融合.文献[6]基于跟踪门、强度叠加等技术实现了运动目标信息的精确融合，进而实现了运动目标特征的快速识别.文献[7]利用视频跨域拼接技术实现了运动目标的单一场景展示，进而基于ViBe背景建模、Kalman滤波等方法实现了目标运动轨迹的快速、精确检测.文献[8]基于傅里叶卷积方法和广义逆理论，实现了灵活跟踪.本文提出一种基于特征融合与粒子滤波的新型自适应目标跟踪算法：利用特征融合建立精确的运动目标模型，基于粒子滤波方法实现模型的快速跟踪.此外，建立了以图像处理单元(graphics processing unit，GPU)为核心的运动目标跟踪硬件平台.最后，在该平台上进行相关实验，验证所提方法的有效性.1 目标跟踪算法1.1 运动目标特征融合特征融合的目的在于提取、分析、整合移动目标的特征信息，从而建立反映物体运动状态的描述方程.假设x=[x1, x2, …, xn]代表运动目标的状态，t=1, 2, …,n；xt=[dt, st]代表运动目标在t时刻的状态，dt为方向，st为速度.特征融合的方法包括方向与速度的概率优化和权重整合.首先，提出式(1)和式(2)所示的不同运动目标x(i)、x(j)的方向与速度的概率优化方法：(1)(2)式中:f(·)为特征融合函数，用于拟合运动目标的状态；P(·)为概率融合，用于校正融合后的运动状态；λ为融合校正系数；上角标(i)、(j)分别代表第i、j个移动目标. 其次，为了实现特征的有机整合，需要在满足式(3)所示的融合代价函数的基础上，实现基于式(4)所示的运动状态权重整合，最终得到运动目标特征融合后的状态描述.(3)(4)式中:α、β为权重调整系数；φ(·)为运动目标的状态描述方程.1.2 粒子滤波目标跟踪粒子滤波的作用是对建立的运动目标状态描述方程进行滤波与识别[9]，从而实现移动物体的快速跟踪.为了表征目标被精确跟踪，需要基于目标状态描述建立方程，并判断后验概率密度函数：(5)式中：0 <ωi< 1为后验概率系数.一般情况下，为了充分利用后验概率密度函数的判别性能，需要对其后验概率系数进行修改，以使其适应移动状态下的目标判别.后验概率系数修改为：(6)式中:wi_t+1、wi_t分别为后验概率系数在t+1、t时刻的取值.在得到后验概率系数后，即可计算候选粒子的跟踪概率，即(7)式中:μ、σ2分别为粒子偏差与方差.式中:‖·‖2为L2范数.基于以上推导，给出如图1所示的移动目标跟踪方法.2 基于GPU的算法实现平台为了实现移动目标的检测，单纯依靠算法是远远不够的，必须建立适合图像数据处理的硬件系统.与常见的中央处理单元(CPU)相比，图像处理单元GPU具备更加简洁而高效的计算架构，控制逻辑简单且不存在Cache，具备更多的线程数和寄存器，非常适合并行计算.建立基于GPU的图像处理服务器，对于提高视频/图像识别精度具有重要意义.本文选择表1所示的GPU作为图像处理算法平台的硬件核心GPU.表2给出了所选GPU的具体数据.表1 选用的GPU特征Tab.1 Features of the adopted GPU特征说明品牌NVIDIA Tesla用途纯计算(含CAD/CAE、仿真计算等)特性计算正确性:100%稳定性:满足24×365全年无休持续高负载工作状态扩充性:支持“纯计算(TCC)模式”,卡间数据吞吐、跨节点卡间数据吞吐成本非常高:采用高规格电子元器件需满足长时间、高负载、高温状态下正常工作表2 选用的GPU数据Tab.2 Datasheet of the adopted GPU数据类型数据明细型号NVIDIA Tesla K20处理器核心数量2 496处理器核心时钟706 MHzPCI接口2×16内存时钟2.6 GHz内存带宽208 GB/sBIOS2Mbit Serial ROM在选择好GPU型号后，设计如图2所示的GPU外围电路，即可形成完整的图像处理实验平台.3 实验结果与分析为了验证所提运动目标跟踪算法与硬件平台，针对足球比赛中的运动球员跟踪问题进行了实验分析，实验结果如图3所示.无论含有少量运动物体的图像，还是含有多个运动物体的图像，所提方法均可以在毫秒级别的时间内实现运动目标的精确跟踪，且跟踪精度>99.2%.由此可知，所提跟踪算法与硬件平台可以实现运动目标的自适应、快速、精确跟踪.4 结论针对足球比赛中移动目标的实时、精确跟踪问题，提出一种基于特征融合与粒子滤波的新型自适应目标跟踪算法.利用特征融合建立精确的运动目标模型，基于粒子滤波方法实现模型的快速跟踪.设计基于图像处理单元的，包括外围电路的算法实现硬件平台.实验结果表明，所提算法及硬件平台的高效整合可以实现运动目标的快速、高精度跟踪.参考文献【相关文献】[1] GAO J,ZHANG T, YANG X, et al. P2T:part-to-target tracking via deep regression learning[J]. IEEE Transactions on Image Processing,2018(99):1.[2] 曾芳桂, 赵曼. 体育联赛中基于GSO算法的赛程优化方法[J]. 湘潭大学自然科学学报, 2018,40(1): 72-76.[3] AGHAMOHAMMADI A, ANGM M C. A parallel spatiotemporal saliency and discriminative online learning method for visual target tracking in aerial videos[J]. Plos One, 2018, 13(2): 195-208.[4] SINISTERRA A J, DHANAK M R, ELLENRIEDER K V. Stereovision-based target tracking system for USV operations[J]. Ocean Engineering, 2017, 133(6): 197-214.[5] XIAO J, STOLKIN R, LEONARDIS A. Single target tracking using adaptive clustered decision trees and dynamic multi-level appearance models[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2015: 4978-4987.[6] GE Q，WEI Z, CHENG T, et al. Flexible fusion structure-based performance optimization learning for multisensor target tracking[J]. Sensors, 2017, 17(5): 426-433. [7] 郭云飞, 潘金星. 基于SIM-GM-PHD的低可观测目标跟踪算法[J]. 控制与决策, 2018, 33(1): 169-174.[8] 刘彩虹, 张磊, 黄华. 交通路口监控视频跨视域多目标跟踪的可视化[J]. 计算机学报, 2018, 41(1): 221-235.[9] 朱日东, 杨小远, 王敬凯. 基于傅里叶域卷积表示的目标跟踪算法[J]. 北京航空航天大学学报, 2018, 44(1): 151-159.。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

文章编号：1002－8692（2008）S1-0065-03带运动检测的自适应去隔行算法及其GPU实现伍刘，李明远，鲍伟琴（西安交通大学电子与信息工程学院，陕西西安710049）【摘要】提出了一种简单可行的带运动检测的自适应去隔行算法，该算法能区分图像中的运动区域与静止区域，在静止区域采用场“编织”算法，在动态区域采用场内插值算法，较好的照顾到了图像的动静特性。

利用GPU并行渲染图形单元的特性，并实现了该算法。

【关键词】去隔行；运动检测；GPU渲染；【中图分类号】TP391.41【文献标识码】AAdaptive De-interlacing Algorithm Based on Motion Detection and Its Implementation on GPUWU Liu，LI Ming-yuan，BAO Wei-qin（Electronic and Information Engineering School，Xi′an Jiaotong University，Xi′an710049，China）【Abstract】The adaptive de-interlacing algorithm with motion detection is proposed in this paper.It can distinguish the motion part from static part in the picture.To motion part，the intra-filed interpolation technique is adopted；To static part，the inter-filed interpolation technique is exploited.Finally，the algorithm is implemented by using GPU shade pipeline.【Key words】de-interlacing；motion detection；GPU shading·实用设计·1引言近年来，人们开始更多的关注隔行扫描带来的虚像去除问题，如边缘闪烁、行间闪烁等。

为了解决显示过程中隔行扫描带来的虚像问题，以及现有节目源能够在数字电视或HDTV上被充分使用，隔行视频图像的去隔行过程极其关键。

隔行到逐行扫描转换的基本方法就是利用已有信息，重构出每场中缺少的扫描行。

本文从实际需求出发提出了一种简单的带运动检测的自适应去隔行算法，并在GPU上实现。

2去隔行的原理与方法2．1去隔行原理去隔行原理就是将隔行图像转换为逐行图像的处理方法，其形式化描述为[1]F o （X，n）=Fc（X，n），y mod2=n mod2Fi（X，n），其!他式中：X=（x，y）T为像素位置；Fo（X，n）为输出的逐行帧；F c（x，n）为当前场；F i（x，n）为待插场；n为场号。

去隔行的处理方法主要分为以下3类：1）利用视频序列图像的空间信息去隔行的场内插值[2]，用同一场中的相邻行通过内插得到插补行的数据再结合当前场构成一个逐行扫描帧。

主要算法有场内行重复插值法、双线性插值法等。

这些算法简单，可以有效消除行间闪烁，增加图像细腻感，对运动图像不会产生模糊，但垂直分辨力并未提高。

2）利用视频序列图像的时间信息去隔行的场间插补[3]。

它利用电视图像在时间上的相关性使用相邻两场中的扫描行数据经过运算得到插补行，较为通用的算法是采用运动估计和补偿技术。

首先对于当前场的每一块像素，在相邻两场中找出与之最为相似的模块，计算出运动矢量。

然后根据相邻场和运动矢量来重建新的插补场。

最后将原始的当前场与新的插补场合并为完整的视频帧。

这类算法依赖于运动矢量的精准度和准确度，错误的运动矢量会造成虚像，并且较复杂，代价较高，不适合在实际的系统中使用。

3）场内与场间结合的插值相当于时空滤波，这类算法应用广泛，获得高垂直分辨力的同时能够有效解决爬行问题和边缘模糊。

2．2带运动检测的自适应去隔行算法笔者提出一种混合视频图像的时空信息去隔行算法，并首次在GPU上进行实现。

算法结构见如图1。

首先根据视频图像序列的时间信息判断物体的运动状态。

在相邻两场间进行运动检测，即根据相邻两场图像对应的的像素亮度（Y分量）值之差的大小，来判断待插补点是属于静止区域还是属于运动区域。

然后对于静止区域采用“编织”法来恢复出待插区域的值，以提高其垂直分辨力。

而对于运动区域采用场内插补法，以避免场间插补所引起的运动模糊，以达到最佳的转换效果。

该方法在一定程度上也利用了人眼的视觉效应，因为人眼对于静止部分的空间分辨力高，而对于运动部分的空间分辨力低。

所以对于快速运动的图像利用人眼空间分辨力下降的特点也能获得较好的视觉效果。

该算法能可靠且正确区分出静止区域和运动区域运动检测的精度，将直接影响算法质量。

在现有的运动自适应去隔行算法中，通过计算当前场与后向场的邻场差来指明当前场中哪些区域是运动区域，哪些区域是静止区域。

但是这种检测方法不可靠，因为相邻场的扫描行不是重叠的，而是相互镶嵌的，所以相邻两场对应的扫描行在垂直方向上有一定的间隔，当画面中包含字幕等静止区域时，如果细节高度小于一行的间距就会产生误运动检测。

因此本文采用一种新的运动检测方法，用相邻2个奇数（偶数）场的亮度信号之间的差值来作为检测的依据。

具体表达式如下d 1=f c （x +1，y +1）-f pp （x +1，y +1）d 2=f c （x +1，y-1）-f pp （x +1，y -1）d 3=f c （x -1，y+1）-f pp （x +1，y +1）d 4=f c （x -1，y-1）-f pp （x -1，y -1）d （x ，y ）=sum （d 1，d 2，d 3，d 4）其中，f c 为当前场的像素值，f pp 为前两场的像素值。

如果d （x ，y ）>V th ，待插像素（x ，y ）为运动像素点，否则为静止像素点。

阈值的选取由高斯检测方法获得。

当像素点处于运动状态时，根据前面分析得知此时采用场内插值效果比较好。

因而笔者提出多点平均滤波场内插值法，如图2所示。

该方法表示为F o （X ，n ）=ave （a ，b ，c ，d ，e ，f ）3去隔行技术的实现3.1GPU 编程传统的编程都是利用CPU 计算，用C/C++语言来进行编程，但在并行计算方面，CPU 稍有欠缺。

GPU 在处理图形任务方面比CPU 要快得多，每秒钟能处理数百万的顶点操作，光栅化上千万的像素点。

在绘制图像时，GPU 首先接收宿主系统以三角顶点形式发送的几何数据。

这些顶点数据由一个可编程的顶点处理器进行处理，该处理器可以完成几何变换、亮度计算等任何三角形计算。

接下来，这些三角形由一个固定功能的光栅器转换成显示在屏幕上的单独“碎片”。

在屏幕显示之前，每个碎片都通过一个可编程的碎片处理器计算最终颜色值[4]。

先将存在内存中的数据传入到GPU 中，然后利用其可编程的顶点处理器和可编程的碎片处理器进行运算映射图像渲染的操作。

3.2Cg 与渲染语言Cg 语言是为GPU 设计的高级绘制语言，Cg 极力保留C 语言的大部分语义，并让开发者从硬件细节中解脱出来，使代码的可读性得到提高，编译器代码优化。

Cg 语言主要参照ANSI C 建模，但也从C++和Java 以及早期的绘制语言中吸取了一些思想。

Cg 的设计考虑了GPU 的体系结构，如可编程多处理器单元（顶点处理器，像素处理器，外加不可编程单元），这些部分和应用都是通过数据流连接起来。

Cg 语言允许分别为顶点和碎片进行编程。

Cg API 引入了profiles 的概念以处理顶点和碎片编程所缺乏的通用性。

一个Cg profile 就定义了一整套Cg 语言的子集以适应不同的硬件平台和API 。

3.3具体实现本文用“foreman ”视频序列来测试。

该视频文件采用YUV420的panel 格式，需要将YUV 数据的每一个元素对应于RGBA 像素的一个分量。

GPU 中最基本的数据存储格式为纹理。

在OpenGL 中，glTexImage2D 函数可以将数据保存在纹理中。

纹理格式需要根据不同的图形设备厂商来取得。

其中GL_RG -BA 是比较通用的格式，几乎所有厂商都会提供支持。

本文就选择GL_RGBA 作为纹理格式。

那么下面最重要的问题就是如何将CPU 中的数组元素与GPU 中的纹理元素一一对应起来。

如果CPU 数组元素为N ，则纹理大小为N 姨。

为了保证能正确地控制纹理中的每一个元素，需选图2多点平均滤波示意图Y +1Y Y -1X -1X X +1a b cd e fX图1算法结构图多点中值滤波运动检测2路选择交织逐行帧是否运动阈值偶场F （n ）场奇场F （n -1）场偶场F （n -2）场图3GPU 渲染流程图Create Texture Load Matrixs to assure1:1:1Create Cg program and set paramentCreate Cg contex Get Cg profile Init OpenGL Start Read data YUV data Transfer data to Texture Shadering EndFinish?NY择一个比较特殊的投影方式，把3D 空间映射到2D 屏幕上，另外屏幕像素与纹理元素也要一一对应。

需要采用正交投影并设定合适的视口大小。

这样便能做到几何坐标（用于渲染）、纹理坐标（用作数据输入）、像素坐标（用作数据输出）相互对应。

代码段为glMatrixMode （GL_PROJECTION ）；glLoadIdentity （）；gluOrtho2D （0.0，texSize ，0.0，texSize ）；glMatrixMode （GL_MODELVIEW ）；glLoadIdentity （）；glViewport （0，0，texSize ，texSize ）。

其中，texSize 为纹理大小。

GPU 渲染流程图如图3。

4算法仿真结果分析实验采用foreman.yuv 测试序列进行实验，利用PSNR 进行比较PSNR =10lg Smaxmse式中：S max 为视频图像的最大值；mse 为去隔行图像与原图之间的均值平方误差。

从图4和图5可发现前150帧本算法优于行平均，这是由于该视频序列的前150帧在平稳变化；而150帧至250帧，本算法略低于行平均，这是由于此时视频序列有较为剧烈的变化，会产生运动误检测；在250帧以后，视频序列变化较小，此时场间插补可以很好地回复图像，而本算法此时又与场平均相仿，这说明了本算法考虑到了图像的动静结合。