基于CPLD的多路视频帧切换技术研究
邮局订阅号：８２－９４６３６０元／年技术创新
ＰＬＤＣＰＬＤＦＰＧＡ应用
《ＰＬＣ技术应用２００例》
您的论文得到两院院士关注
基于CPLD 的多路视频帧切换技术研究
Research of the method of switching multi-channel video signal base on frame using CPLD
(中山大学)
黄海路蒋念东
ＨＵＡＮＧＨａｉ－ｌｕＪＩＡＮＧＮｉａｎ－ｄｏｎｇ
摘要:多路视频监控中常常会用到视频切换,而现行的各种视频切换多为基于播放时间的切换,切换瞬间会有图像损失,这对
视频监控是不利的。基于这种问题,本文设计一个应用在嵌入式系统的基于帧切换的多路视频切换系统,使用复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)提高电路集成度并简化开发流程。仿真结果显示切换瞬间扰动时间只有一帧图像的十万分之一,结果良好。
关键词:多路视频;视频切换;CPLD;TVP5150;帧切换;嵌入式中图分类号:TN911.73文献标识码:B
Abstract:Most of the in existence multi-channel video switching method is base on time.And the picture may be partly broken at the moment of switching.It is a disadvantage in video monitoring.Aim to solute the problem,we design a system that switches mul -ti-channel video signal base on https://www.360docs.net/doc/4e5757278.html,ing complex programmable logic device (CPLD)can upgrade the integration of the circuit and simplify the designing flow.The simulation show a nice effect that the disorder signal just hundred thousandth of a frame in time.
Key words:multi-channel video;video switching;CPLD;TVP5150;frame switching;embedded systems
文章编号:1008-0570(2010)09-2-0125-03
1引言
目前我国交通量随着经济的高速发展迅猛增长,同时交通状况也不断恶化,交通事故的频发导致了大量的人员伤亡和经济损失。其中群死群伤的重特大交通事故大多涉及客运车辆和运输车辆。导致事故的主要原因就是超载、超速、疲劳驾驶[1]等。同时,由于治安问题,乘客的生命安全和财产安全时有受到威胁。而对运营车辆进行视频监控不仅可以防患于未然,有效监控和约束司机行为,也能对车上的违法犯罪行为有威慑作用。
虽然基于PC 平台的视频采集卡已有大量成品并已投入市场,但现存的应用在嵌入式系统的视频监控系统多为单路视频监控,要进行多路监控,只能购入多套系统。在一辆运营车辆内安装多套系统,安装布线麻烦,设备占用空间大且成本高。而且如果需求改变则必须更换整套系统,不利于设备的升级。
现有的视频切换技术,多是基于时间的视频切换,即每隔一定的时间间隔切换一路视频信号。这种切换方法控制简单,但缺点也显然易见,切换的瞬间并不一定是视频信号两帧图像的切换时刻。切换更多的是发生在某帧图像的中段,于是切换瞬间的图像质量会相当不可靠,会出现半幅图像、黑屏、花屏等现象。由此造成图像失真,这将不利于监视与取证。
基于以上原因,本文研究设计一个使用CPLD 芯片对多路视频数据进行帧切换的系统,保证多路视频切换瞬间图像的完整性。
2系统基本原理
本系统从摄像机接收模拟视频信号,通过视频信号模数转换芯片(视频AD 芯片)将信号转化为数字信号。以CPLD 对数字信号进行处理,并选择输出,总体结构如图1所示。常见的视频数字信号编码方式有YUV 和RGB 两种,本文采用YUV422编码。在YUV422编码下的数字图像信号中,每帧图像开始时都会处在奇场且垂直同步信号为高电平,因此可利用这个特性准确地判断图像的开始。本系统用CPLD 芯片捕捉各路视频图像数据的开始信号,并根据选择信号判断输出某一路视频图像。
图1系统总体示意图
一般的视频AD 芯片都需要在上电时进行寄存器设置,设置的工作量不大,但每次上电开机时都必须设置一次,因此本文使用低端的单片机对多块视频AD 芯片进行设置,这样既满足需要又可降低成本。
3硬件系统
设计中使用4路模拟视频输入,视频制式可以是PAL(B,D,
G,H,I,M,N)、NTSC(M,4.43)或SECAM(B,D,G,K,K1,L)中的
任意一种。通过视频数据模数转换芯片将模拟信号转换为数字信号,然后输入CPLD 芯片进行多路信号的切换,最后通过数据线将被选通的一路视频信号输送出去。
3.1TVP5150:视频AD 转换
本文使用的视频AD 转换芯片是TI(Texas Instruments 德州仪器公司)的TVP5150。该芯片使用1.8V 供电,是超低功耗、支
黄海路:硕士研究生125--
技术创新
《微计算机信息》（嵌入式与ＳＯＣ）２０１０年第２６卷第９－２期
３６０元／年邮局订阅号：８２－９４６
《现场总线技术应用２００例》
ＰＬＤＣＰＬＤＦＰＧＡ应用
持NTSC/PAL/SECAM 等格式的高性能视频解码器,在正常工作时,它的功耗仅115mW,并且具有32脚的TQFP 超小封装,这种封装尺寸只有7mm*7mm 。它可以接收2路复合视频信号
(CVBS)或1路S-Video 信号。通过单片机I2C 总线设置内部寄存器,可以输出8位4:2:2的ITU-R BT.656信号(同步信号内嵌),以及8位4:2:2的ITU-R BT.601信号(同步信号分离,单独引脚输出)。
3.289C2051、CBT3257:TVP5150的I 2C 总线设置
对TVP5150进行I 2C 总线设置使用的单片机是89C2051,该芯片成本低,技术成熟,编程方便,使用芯片座可便捷地拔插。由于I 2C 总线只支持两个设备在线,于是使用CBT3257多路复用芯片使单片机通过一个总线设置四个TVP5150芯片。
3.3EPM7192S:多路视频的切换
CPLD 是在PAL 、GAL 、PLD 等可编程器件的基础上进一步发展的产物,采用逻辑单元阵列,内部包括可配置逻辑模块、输入输出模块和内部连线三个部分。用户可以对CPLD 内部的逻辑模块和IO 模块重新配置,以实现用户的逻辑。由于它具有静态可重复编程和动态在系统重构特性,使得硬件功能可以通过编程来修改。设计者可以用软件仿真验证设计的正确性,电路板完成后,还可在不改动电路的情况下修改设计。由于其集成度高,可减少电路板面积。同时,由于技术的成熟,CPLD 芯片成本
相对较低。
本次设计中使用的CPLD 芯片是ALTERA 公司MAX7000S 系列中的EPM7192S 。该芯片采用5V 核心供电电压、3.3V 输入输出口工作电压。其提供给用户自定义的IO 管脚有124个,支持JTAG 在线编程。在输出部分,为保证输出信号有足够的驱动能力,使用74ALVC164245驱动芯片对信号进行增强。整体硬件设计如图2所示。
图2.硬件系统示意图
4软件系统
本文软件系统包括89C2051的I 2
C 总线设置程序和
EPM7192S 中对视频信号的切换程序。
TVP5150使用内部寄存器进行功能的设定,而寄存器的值
需要通过I 2
C 总线进行设置。本文利用89C2051担负此项工作,
其软件按照I 2
C 协议编写,并预留了读取寄存器数据的子程序
可供调用。
EPM7192S 的视频切换程序,根据TVP5150输出视频信号
的特点,判定一帧图像的开始,并通过选择信号选通指定视频信号。利用CPLD 芯片的并行处理特性,使用状态机提升程序的效率。
4.189C2051中的I 2C 总线设置程序
I2C 设置程序以C 语言编写。I 2C 总线是由数据线SDA 和时钟线SCL 构成的串行总线,可发送和接收数据。I 2C 总线在传送数据过程中有以下3种类型信号:
1)开始信号(Start)。SCL 为高电平时,SDA 由高电平向低电平跳变,开始传送数据。
2)结束信号(Stop)。SCL 为高电平时,SDA 由低电平向高电平跳变,结束传送数据。
3)应答信号(AcK)。接收数据的IC 在接收到8bit 数据后,向发送数据的IC 发出特定的低电平脉冲,表示已收到数据。
I 2C 总线在传送数据时,必须保证在SCL 高电平时SDA 上数据稳定,否则就判断为开始或结束信号。三种信号如图2所示
图3I 2C 总线基本信号
由于TVP5150只能设置为两个不同的I 2C 总线地址,本文系统利用89C2051,先设置好其中两块TVP5150芯片,然后向
CBT3257多路复用芯片发出片选信号,设置另外两块TVP5150
芯片。
4.2TVP5150输出时序
TVP5150将每一个像素点的视频数据分为八位,另有行同
步信号、场同步信号、奇偶场标识、场消隐信号及有效图像标识信号。由于不进行视频画面缩小,所以有效图像标识信号并不接入CPLD 进行处理。TVP5150输出的数字信号时序如图4所示。
图4TVP5150输出的数字信号时序图
图2中Composite Video 信号是复合视频信号,一格代表一行数据;VSYNC 为垂直同步信号;FID 是奇偶场校验信号,低电
平代表偶场,高电平代表奇场;VBLK 则为场消隐信号。
其中Composite Video 中,每格数据为一行。前六行不承载任何图像,同时发出场同步信号,该信号下跳变时,奇偶场标识信号跳变为1,此时为奇场。此时输出的是奇数行的信号。第314到319个行信号也不承载图像,发出场同步信号,场同步信号下跳变时,奇偶场标识信号跳变为0,此时为偶场。此时输出的是偶数行的信号。
4.3EPM7192的视频信号切换程序
视频切换程序为每路视频信号设定四种状态,并参考
Moore 型状态机的设计方法进行状态切换。
126--
邮局订阅号：８２－９４６３６０元／年技术创新
ＰＬＤＣＰＬＤＦＰＧＡ应用
《ＰＬＣ技术应用２００例》
您的论文得到两院院士关注
状态一:该状态为传输准备状态。在这个状态下等待图像的开始信号,得到开始信号后就进入下一状态,否则在此状态等待。
状态二:该状态为奇场图像传输状态,在该状态下,传输奇场的图像数据,当检测到奇偶场校验信号转为偶场时,进入下一状态。
状态三:该状态为偶场图像传输状态,此时传输偶场信号,检测到图像尾部时进入下一状态。
状态四:该状态为传输结束状态。此时图像停止传输,若接收到线路选择信号则转入状态一,否则保持在此状态。
在状态机中,设定两个变量:现态和次态。进程A 进行状态切换工作,即将次态值赋予现态。而进程B 则进行状态的变换,即根据垂直同步信号和奇偶场校验信号的值变换次态。两个进程同步工作,使现态可以从状态一到状态四轮询。同时也更大限度地利用CPLD 芯片的同步执行特性。
(1)状态切换进程:进程A
当某一线路的片选信号或垂直同步信号发生变化时,状态切换进程将被激发。若片选信号为1,则将该路视频信号的当前状态设为状态一;否则,若垂直同步信号为上跳变,则将次态值赋予现态。
(2)状态变换进程:进程B
当奇偶场校验、垂直同步信号或“当前状态”任意一个发生变化时,该进程被激发。在这个进程里,在不同时刻“下一状态”值将不断变化,配合前述的状态切换进程,实现状态的滚动变化。程序中,各状态变换的具体流程图如图5所示。图中,
SWITCH 为线路选择信号,1为选中状态,对该路信号进行传输,0则不传输该路信号;VSYNC 为垂直同步信号;FID 为奇偶场校验信号,1为奇场,0为偶场。
图5状态变化流程图
由流程图可见,程序利用奇偶场校验和垂直同步信号的组合状态判断是否改变状态。当进入状态一后,由于一帧视频中一定会有FID=0且VSYNC=1的时候,所以当前状态进入状态一则准备传输该路图像。而当计入状态四后,程序将状态锁死在此,要重新开始状态的轮询,则必须等待状态切换进程检测到线路片选信号为1,并将状态更改为状态一才行,于是进入状态四则结束图像传输并等待下一次传输。
5软件仿真结果
把程序下载到器件前,可利用软件仿真,由于仿真已经考虑到器件的延时及处理能力,仿真结果比较接近实际电路的工作情况,因此有较高的参考价值。
图6为QUARTUS II 的仿真结果。YOUT 为输出信号,为了方便观察,四路视频信号并不是实际信号,而是用了简单的信号代替。从图中可见,在激活第三路视频信号后(方框1),程序仍在传输第一路信号,在红框2的时刻,第一路视频的“当前状态”处在状态三,而“下一状态”转为状态四,到红框3的时刻,“当前状态”变为状态四,此后停止该路视频信号的传输。在这期间,第三路进入状态一准备传输。当程序停止传输信号(方框4),即输出高阻“ZZZZZZZZ ”一小段时间后,开始传输第三路信号。输出高阻的时间约为40纳秒,这个时间足以让芯片区分两路信号,使之互不干扰,而这么短的时间,肉眼是无法分辨的。而且在传输过程中,并没有出现在一帧图像的中段开始传送数据的情况,图像质量将比基于时间的视频切换系统要好,可以有效减少切换瞬间的图像失真现象。
图6软件仿真结果
使用CPLD 芯片可以很好地实现多路视频的帧切换,但由于视频信号所需IO 口较多,同时并行处理数据量不小,同时对处理时间有一定要求,不能使用过于老旧的型号。在考虑成本的情况下,可选择ALTERA 公司的MAX II 系列或CYCLON 系列。
6结语
由于程序检测到帧头才开始传输图像数据,因此可以保证每帧图像都是完整的,减少了失真情况。而应用CPLD 芯片又让系统有了更大的升级能力,可以方便地调整每路图像的输出时间,或者使用手动切换。该系统将可适用于各类公共区域的视频监控。
参考文献
[1]段里仁.道路交通事故概论[M].北京:中国人民公安大学出版社,2003
[2]刘韬,楼兴华.FPGA 数字电子系统设计与开发实例导航[M].人民邮电出版社,2005:3-5.
[3]广州周立功单片机发展有限公司.I2C 总线规范[EB/OL].广州周立功单片机发展有限公司主页,2009-6-3
[4]俞鸿波,陈怀新,吴必富.基于FPGA 的视频传输流发送系统设计[J].微计算机信息,2004,5-2:197-198
[5]TEXAS INSTRUMENTS (TI).TVP5150PBS Ultralow -Power NTSC/PAL Video Decoder Data Manual[OL].TI Home Page https://www.360docs.net/doc/4e5757278.html,,2006-5
[6]任爱锋,初秀琴,常存,孙肖子.基于FPGA 的嵌入式系统设计[M].西安:西安电子科技大学出版社,2004:60
作者简介:黄海路(1984-),男(汉族),广东广州人,中山大学理工学院,中山大学工学院智能交通中心,硕士研究生,主要从事CPLD 与FPGA 在视频处理中的应用;蒋念东(1951-),男(汉族),上海市人,中山大学工学院智能交通中心,中山大学理工学院,研究员,教授,硕士生导师,从事嵌入式系统在智能交通中应用、软
件开发以及编程、计算机数据采集、无线数据传输方面等方面的技术工作。
Biography:HUANG Hai-lu (1984-),male (Han),Guangdong Province,Sun Yat-sen University,Master,Major in Power Elec -tronics and Drives,Working on video application of CPLD and FPGA.
(510275广东广州中山大学工学院智能交通中心)黄海路
蒋念东
(510275广东广州中山大学理工学院)黄海路蒋念东
通讯地址:(510275广东广州中山大学工学院智能交通中心)
黄海路
(收稿日期:2009.11.21)(修稿日期:2010.02.25)
127--
视频摘要技术
视频摘要技术综述 欧阳建权1,2,3张勇东1 北京 100080??ì? 411105±±?? 100039基于内容的视频分析视频摘要主要分为两类视频略 览包括基于MPEG-1/2的关键帧表示和MPEG-4的关键对象表示视频梗概包括视频概述和精彩片段 心理学等视频摘要模型 视频摘要关键对象精彩片段 Survey on Video Abstraction Technolgy OUYANG Jianquan1,2,3 , LI Jintao1 , ZHANG Yongdong 1 (1.Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100080 3.Graduate School of Chinese Academy of Sciences, Beijing 100039) Content-based video analysis is the hot issue in multimedia. This paper describes the recent advance in video abstraction. There are two kinds of video abstracts: still and moving image abstract. The still image abstract, namely video summary includes key frame pattern in MPEG-1/2 video and key object pattern in MPEG-4 video. The moving image abstract, namely video skimming includes summary sequence and highlight. Moreover, it introduces the new video abstraction approach affective–based video summary. Video abstraction; Key frame; Key object; Summary sequence; Highlight 计算机工程 Computer Engineering 第31卷第10期 V ol.31 ·￠?1?÷ê?/热点技术10000007 A 中图分类号 国内外很多大学和公司在进行视频摘要研究 如Virage[1] IBM的CueVideo和卡耐基CMU 1ú?ú?D??μ￥?? 清华大学复旦大学等也研究出了 一些原型系统 视频略览 和视频梗概 而视频梗概是视频内容的浓缩 视频略览往往为静态视频摘要模式 对象概括表示镜头 内容而视频梗概为动态视频摘要模 式一 般是智能选择能够刻画原视频内容的小片段加以编辑合成 静态视频摘要只考 虑其关键帧生成摘要的速度比 动态的快 通常以镜头的方式表示声音和文字等信息 主要是基于关键帧表示视频序列的概略信息 用于表示镜头的内 容并能够与视频索引技术 等相结合其浏览方式包 括故事板 基于故事板的浏览方式为将提取后的关键帧以缩略图 的形式按照时间顺序显示和浏览 包括该镜头持续时间和摄像机运动等 即首先通过镜 头分割技术将视频转换为镜头的集合 该方法实现最简单但是对摄像机 快速运动的镜头表现能力有限 其原理为对当前帧 若大于预设的阈值否则加入距 离最近的类关键帧表示方法可以分 为基于视频特征相似性聚类和基于多模式 其视 频低层特征有一定的相似性比如lin[5] 基于主颜色进行相似匹配,其它还有基于匹配块 但是视频帧低层特征相似距离小并不一定表示帧本 身的内容相似 1.1.2基于多模式 基于多模式的方法主要是模仿人类感知能力进行精简 视频内容表示,一般是综合视频音频因为 在电影视频与音频内容往往同 时变化 该镜头边界为新的场景边界 如图 1所示 欧阳建权(1973男研究方向为多媒体分析 研究员博士 定稿日期oyjq@https://www.360docs.net/doc/4e5757278.html,
视频处理技术
S3 视频处理 S1.1 视频基础知识 视频信息是连续变化的影像，通常是指实际场景的动态演示，例如电影、电视、摄像资料等。视频信息带有同期音频，画面信息量大，表现的场景复杂，通常采用专门的软件对其进行加工和处理。 S3.1.1 视频设备 常用的视频设备主要有采集卡（用于采集模拟信号）、1394卡（用于采集数字视频信号）、DVD/CD 刻录机（存储视频）。 S3.1.2 视频格式 1、AVI AVI的英文全称为Audio Video Interleaved，即音频视频交错格式。它于1992年被Microsoft 公司推出，随Windows3.1一起被人们所认识和熟知。所谓“音频视频交错”，就是可以将视频和音频交织在一起进行同步播放。这种视频格式的优点是图像质量好，可以跨多个平台使用，其缺点是体积过于庞大，而且更加糟糕的是压缩标准不统一，最普遍的现象就是高版本Windows媒体播放器播放不了采用早期编码编辑的AVI格式视频，而低版本Windows媒体播放器又播放不了采用最新编码编辑的AVI格式视频，所以我们在进行一些AVI格式的视频播放时常会出现由于视频编码问题而造成的视频不能播放或即使能够播放，但存在不能调节播放进度和播放时只有声音没有图像等一些莫名其妙的问题，如果用户在进行AVI格式的视频播放时遇到了这些问题，可以通过下载相应的解码器来解决。 DV-AVI格式：DV的英文全称是Digital Video Format，是由索尼、松下、JVC等多家厂商联合提出的一种家用数字视频格式。目前非常流行的数码摄像机就是使用这种格式记录视频数据的。它可以通过电脑的IEEE 1394端口传输视频数据到电脑，也可以将电脑中编辑好的的视频数据回录到数码摄像机中。这种视频格式的文件扩展名一般是.avi，所以也叫DV-AVI格式。 2、MPEG MPEG-1制定于1992年，为工业级标准而设计，可适用于不同带宽的设备，如CD-ROM、Video-CD、CD-i。它可针对SIF标准分辨率(对于NTSC制为352X240；对于PAL制为352X288)的图象进行压缩，传输速率为1.5Mbits/sec，每秒播放30帧，具有CD(指激光唱盘)音质，质量级别基本与VHS相当。MPEG的编码速率最高可达4-5Mbits/sec，但随着速率的提高，其解码后的图象质量有所降低。 MPEG-2制定于1994年，设计目标是高级工业标准的图象质量以及更高的传输率。MPEG-2所能提供的传输率在3-10Mbits/sec间,其在NTSC制式下的分辨率可达720X486，MPEG-2也可提供并能够提供广播级的视像和CD级的音质。MPEG-2的音频编码可提供左右中及两个环绕声道,以及一个加重低音声道，和多达7个伴音声道(DVD可有8种语言配音的原因)。由于MPEG-2在设计时的巧妙处理，使得大多数MPEG-2解码器也可播放MPEG-1格式的数据，如VCD。 MPEG-4标准主要应用于视像电话(videophone)，视像电子邮件(VideoEmail)和电子新闻(Electronicnews)等，其传输速率要求较低，在4800-64000bits/sec之间，分辨率176X144。 MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图象质量。与MPEG-1和MPEG-2相比，MPEG-4的特点是其更适于交互AV服务以及远程监控。
视频流关键技术的研究进展
视频流关键技术的研究进展 卓 力,沈兰荪,朱 青 (北京工业大学信号与信息处理研究室,北京100022) 摘 要: 视频流是在因特网上进行视频信息传送的主流方式.为了在因特网上传输高质量的视频流,需要采取 相应的传输机制.本文从视频流传输框架出发,系统讨论了当前视频流关键技术的研究进展,分析了各种技术的特点,并指出进一步发展的前景. 关键词: 因特网;流媒体;视频流;阻塞控制;差错控制中图分类号: T N915101 文献标识码: A 文章编号: 037222112(2002)0821213206 Re search Advance s in K ey Technology of Video Streaming ZH UO Li ,SHE N Lan 2sun ,ZH U Qing (Signal and Information Processing Lab ,Beijing Polytechnic Univer sity ,Beijing 100022,China ) Abstract : Video streaming is the mainstream manners in delivery of video content over the Internet.T o deliver high quality video streaming over the Internet ,suitable transmission mechanism must be adopted.S tarting from introduction to video streaming deliv 2ery framew ork ,research advances in key technology of video streaming are summarized.The characteristics of techniques are analyzed and prospect is als o pointed out. K ey words : internet ;streaming media ;video streaming ;congestion control ;error control 1 引言 目前,因特网已经发展成为一个跨区域、跨国界、跨文化 的信息传输平台,网络多媒体化成为因特网的发展趋势.在网络上传输多媒体信息时,可以采用下载(D ownload )和流式(Sreaming )传输两种方案.音/视频数据文件一般都比较大,由于网络带宽的限制,下载需要很长的时间,需要的存储容量很大.为了解决这些问题,一种遵守特定网络协议的流式媒体(S treaming media )技术应运而生. 流式媒体技术是一种新的传送时间连续的数据和音/视频媒体的技术.流式传输时,用户不必等到整个文件全部下载完毕,只需经过几秒或十数秒的启动延时即可进行观看.当音/视频等媒体在客户端播放时,文件的剩余部分继续下载,用 户不需要存储文件就可以边下载边连续、不中断地播放.这样流式传输不仅使启动延时大大缩短,还不需要太大的缓存容量[1～5]. 在流式媒体中,视频流(Video sreaming )技术是最为重要的.本文从视频流的传输框架出发,讨论了视频流的关键技术及应用前景. 2 视频流传输系统框架及其特点 根据因特网上视频流业务的特点可以将视频流分为两种 传输模式[1～3]:直播(Live streaming )和点播(On 2demand stream 2ing ).点播与直播之间最大的区别在于视频编码器是否实时地对视频信息进行编码.点播是将编码后的视频码流存储起来,编码离线进行,而直播需要编码器实时地对视频信息进行编码.点播可以支持快进/快退/停止/回放等VCR (Video Cas 2sette Recording )功能,而直播一般难以具有这样的功能.点播和直播可以采用单播(Unicast )和组播(Multicast )两种传输机制,两种机制的视频流传输框架如图1所示. 图1 视频流传输框架 收稿日期:2002201210;修回日期:2002204215 基金项目:国家自然科学基金(N o.90104013);国家“863”计划(N o.2001AA121061) 第8期2002年8月 电 子 学 报 ACT A E LECTRONICA SINICA V ol.30 N o.8 Aug. 2002
基于关键帧提取的静态视频摘要技术研究
基于关键帧提取的静态视频摘要技术研究 随着互联网的广泛使用和视频采集技术的逐渐成熟,数字视频数 量呈爆炸式增长。为了从海量视频中快速准确搜索到有效信息,通过 精简的关键帧概括原始视频的主要内容,视频摘要技术应时而生。现 有视频摘要方法,不仅专门用于解决视频关键帧相似性度量问题的理 论仍处于形成期,而且大多数的图像相似性计算方法主要依据的是传 统图像特征,较少考虑到图像像素空间的拓扑结构。针对以上问题, 围绕静态视频摘要技术,本文对关键帧提取和关键帧图像相似性计算 中涉及的关键技术进行了研究,主要工作概括如下:(1)以光流运动分 析为基础,提出将光流技术与改进的爬山搜索相结合的关键帧提取方法。首先,使用光流法计算视频帧序列的运动曲线。然后,通过改进的爬山法实现对搜索初始点的预设,引导算法向更合理的解空间搜索运 动曲线的局部极小值;通过变步长搜索,使算法迅速地收敛于局部最 优解。最后,提取运动局部极小值对应的视频帧作为关键帧。该方法 根据连续帧之间光流位移的变化剧烈程度提取关键帧,其获得的关键 帧不仅较全面地涵盖视频内容,而且能突出视频的重要内容;同时可 应用于视频的快速浏览和检索。(2)提出基于超像素分割的关键帧相 似性计算方法。该方法使用超像素分割算法对关键帧图像的像素进行局部聚类,可将像素点提升至更具语义空间的图像区域。如此操作, 能够有效地利用像素间的区域拓扑关系,以实现对图像块的准确比对。利用该方法对提取出的相邻关键帧进行相似性计算,并以此为依据压 缩关键帧间类似的冗余帧,同时不会遗漏人们感兴趣的视频信息,进
而得到更有效且性能更优的静态视频摘要结果。(3)将本文提出的静态摘要方法在两个公开基准数据集,即OVP数据集和YouTube数据集上完成实验,并与几种具有代表性的静态视频摘要方法进行对比。通过主观展现及客观性能分析,证明本文获取的视频摘要与人工摘要结果具有更高的一致性,且比以往方法表现出更好的性能,从而验证本文所提方法的有效性和先进性。
图像拼接技术的研究历史悠久
图像拼接技术的研究历史悠久。早期用于航空遥感照片合成，由于飞机或卫星上相机和地面景物之间距离很远，这种图像配准采用简单的模板匹配法。这种方法在现在也有广泛应用，可应用于航空图片合成、大文档扫描合成，视频压缩。在20世纪90年代随全视函数、全景建模、光场与光照图、同心拼图、全景图概念的提出，模型维数不断下降。自1994年Chen等人提出全景图拼接技术，国内外出现很多关于全景图生成技术的文章。 全景图生成技术的基本思想是通过普通相机或摄像机对场景信息进行照片图像或视频图像采样，在固定的视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列:将图像由相机坐标投影到空间坐标:利用图像配准方法寻找将环绕一周的这组图像中，两两相邻的图像间的重叠的区域;将确定的重叠区域利用图像融合方法进行图像序列的无缝拼合，得到一幅全景图像。全景图像根据其选取视点空间的不同可分为:平面、柱面、球表面、立方体表面。 目前图像配准的研究方法主要集中为基于灰度相关的方法、相位相关法、基于特征的方法。基于灰度相关方法的计算量较大，很多力求缩小模版配准计算量的改进算法被提出来。国防科大开发的HVS系统,采用的是一种基于特征线段的图像匹配算法。封静波提出相似曲线的拼接算法通过匹配两幅图像重叠区域每列梯度最大值曲线完成拼接，大大减少了传统模板匹配方法的计算量。薛峰综合基于灰度相关和特征相关算法的优点提出了基于最大梯度和灰度相关的两步配接方法。于乱采用形状模板对模板内图像的边缘点与模板边界的最短距离统计实现特征点匹配。李文辉提出采用基于粒子群优化(POS)的多分辨率算法。 1975年相位相关法由Kuglin和Hines提出，具有场景无关性，能够对纯粹二维平移的图像精确地对齐。DeCastro和Morandi发现用傅立叶变换确定旋转对齐就像平移对齐一样。Reddy和Chatterji改进了Decastro的算法，大大减少了需要转换的数量。张世阳采用了基于2幂子图像的FFT对齐方法，从而减小了FFT的计算量加快图像对齐速度和减小图像间重叠率。吴飞采用基于快速傅立叶变换的图像配准算法求取两相邻视频帧之间的配准系数。 基于特征的图像对齐典型的是基于图像几何特征的对齐方法。几何特征分为低级的 学硕士学位论文基于特征点的嘴卜任曰生成执术的研究 特征，如边、角和高级特征如物体的识别、特征之间的关系。文(34)通过二维高斯模 糊过滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。因为角模型提供了 比坐标点更多的信息，文〔35)中基于几何角模型提出了图像对齐算法，文〔36〕中基 于几何点特征优化匹配和文(37)中利用小波变换提取保留边(。dge一preserving)的视 觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者通过识别 出的物体实现对齐。文(38)利用特征图像关系图进行图像对齐。而如何选择特征是其 中的关键技术，许多研究人员也在从事这方面的究，如提取特征点算子:Morave。算子〔3，，、Forstner算子〔‘0，、susan算子〔“，、HarriS算子〔‘，，，sIFT算子〔‘3，等。边缘检测算 子:Canny算子〔44]、LoG〔46]算子等。此外用于提高特征点配准精度的算法很多，赵炫利用 概率模型理论精确特征点的匹配〔46]。胡社教提出利用KLT跟踪算法精确确定角点位置，提高变换矩阵的求解精度〔4v]。李寒通过引导互匹配及投票过滤方法提高特征点的检测精度〔#8]。赵辉采用相位相关法进行自动排序的特征角点匹配算法〔49]。
视频摘要检索介绍
随着科学技术的发展，视频监控得以在人们的生活中广泛应用的应用。越来越多的监控摄像头安装在我们身边，随着电脑处理速度的大大提升，磁盘容量的增大、因特网的广泛使用，每天这些设备生成了成千上万的数据。因此，从这些海量的数据中找到重要事件就变得异常困难。所以，找出一种方法去压缩视频，甚至自动地搜索整个文件集就尤为紧迫监控录像的检索与查看依然是一项高成本的、耗时、费力的工作。它往往需要一个庞大的团队来进行集中查看和分析捕获的视频录像，用于调查取证。这样不仅使监控成本提高，且高强度的查看分析容易使人疲劳、出现纰漏、不利于安全监控。深圳久凌技术软件有限公司视频摘要、检索软件的出现，解决了这个棘手的问题，使通过视频调查取证不在费时和繁琐。 智能视频分析是计算机视觉与人工智能领域研究的一个分支，融合了计算机视觉、人工智能及图形分析等多项技术，其发展目标是在监控场景与事件描述之间建立一种映射关系，实现从“看得见到看得明白”。它突破了传统的视频监控中使用的移动侦测，上升到了“识别及分类”层级，能回答“检测到的是什么？”的问题，具有一定的人工智能，相比传统监控具有检测精度高、虚警相对少的特点，可过滤一些干扰因素，具有一定的适应能力。 智能视频分析行业技术及产品现状：在实际应用中，实时事件检测与目标检索，容易受到环境变化（包括光照，阴影，强光源，天气，风吹树摇等背景的动态变化）、摄像机的动态范围窄图像模糊及摄像机本身的抖动等多种因素的影响，智能视频分析往往会有误差；同时，从海量的视频文件中发现重要事件线索如同大海捞针。另一方面，由于监控录像抓拍的人脸不是正面照，分辨率低，表情、姿态、光照以及拍摄年龄与身份证照片有差异，导致传统人脸识别有很大挑战。上述两方面问题容易导致虚警，每天成百上千的误报容易导致用户的不信任度提升，影响智能视频分析技术的推广与普及。 视频摘要主要面临下列三方面挑战1.实时事件检测误警率高，2.事后线索查找犹如大海捞针，3.非受控监控环境下人脸识别率低。深圳久凌软件技术有限公司针对上述情况展开了长期技术研究，推出了相关产品，以下介绍视频浓缩摘要的主要应用和目前可以达到的技术水准： 视频浓缩供快速检索：透过智能视频分析，实现将某个摄像机一天的录像压缩到1小时甚至数分钟以内，同时保留人/车辆或感兴趣目标的活动细节。在视频摘要中，对于人或车辆目标，显示目标出现的时间，并且支持用户通过点击目标，播放目标出现前后的原始视频。 节省存储硬盘空间：数字摄像机产生的压缩视频按100:10:1的比例存储：为了节省海量视频的存储空间，
对视频文件的剪切、合并、转换及压缩方法指南说明
对视频文件的剪切、合并、转换及压缩方法指南： 前言： 1、本文档的编写目的---当你从网上看到一部宣传得很好的电影，历尽千辛万苦下载到电脑中的时候，播放它，却发现清晰度不高，被人压缩的画质太 低；字幕占了很大地方；片头的网站广告令人讨厌，你的感觉会是什么？估计和吃饭时吃出了苍蝇是一回事。 2、我希望大家凭借此帖的说明，自己动手编辑电影文件，把电影精华拿出来与大家共享。 1、让大家可以把自己喜欢的每部优秀电影作品中的精华取出，去掉那些让人昏昏欲睡的内容； 2、然后将精华片断合并起来； 3、保证一次性压缩影片为RMVB格式成功---即便突然停电，开机后仍能继续压缩；且压缩后的电影文件与原文件画面大小、清晰度都没什么两样。正式说明： 一、必须具备的软件：（本人尽可能给大家在种子里带全） 1、windows media player播放器、终极解码final code 2008（一种集合了很多解码器的播放器） 说明：windows media player播放器是微软公司自带并默认的播放器，windows xp操作系统一定是带有它的。其它网上的播放器都已经假定你的电脑中已经有了它，所以，终极解码final code 2008虽然是目前网上带有最多解码器的播放器，但是一旦电脑中没有了windows media player播放器，，终极解码还是不能正常工作的。至于大家非常熟悉的暴风影音播放器，Real、Real One播放器、超级解霸播放器，它们所含的解码器与终极解码相比，简直就是小儿科了。 2、剪切软件： ①AVI MPEG ASF WMV Splitter →VideoSplitter.exe ②Rm / Rmvb 切割软件 3、转换成其它格式文件的软件：当某些电影不能直接剪切时要用到它。 Total Video Converter →tvc.exe 该软件有自己设定电影文件起始时间并进行格式转换的功能，还带有一个tvp.exe（播放软件） 4、合并软件：WMV Joiner V4.82 汉化绿色版（视频合并工具） 适用于同一部影片剪辑出来的各个电影片断的合并，因为同一部片子的各个片断往往采用的解码器完全相同。 5、压缩软件： Easy RealMedia ProducerV1.94 菜鸟都会使用的“傻瓜型”电影压缩软件，不需要参数设置，直接就可压缩成Rmvb格式电影的软件。 不过，菜鸟们经常抱怨它压缩慢，且有时候遇见突然停电，压缩又要从头开始，这一点是最令人头疼的。 压缩慢，那我没办法。但是，电脑重启后继续压缩的方法，我已经找到了。 ===================================================================== 二、下面全面介绍视频文件的剪切、合并、转换及压缩方法和一些简单的原理： 1、播放器的解码器问题： ①windows media player播放器目前版本有9、10、11等。版本10适中，在你的控制面板→添加或卸载程序，看看你的windows media player播放 器版本号。不必升级到版本11。 ②终极解码final code 2008， 大小：71.49mb 语言：含有中文简体免费软件 安装前,先卸载干净暴风影音播放器，Real、Real One播放器、超级解霸播放器，然后开始安装它。安装过程中还会有提示，说某种解码器没有卸载，建议不安转或安装不完全，所以终极解码有时会安装若干次。终极解码final code 2008集合有四种播放器。 安装完毕后，桌面上会有一个和，双击，看到下面的对话框：
视频技术
数字技术论文 摘要: 为了满足数字通信及其它商业应用的需求，语音压缩编码技术得到了迅速发展。介绍了目前语音压缩编码技术的研究进展，主要包括连续可变斜率增量调制(CVSD)、小波分析、多脉冲激励线性预测编码、散布脉冲码(MPD-USACELP)、波形内插(WI)、线谱对(频率)(LSP)的量化。激励线性预测(DP-CELP)、多重脉冲散布非均匀代数码本激励线性预测。 关键词: 数字通信语音压缩编码 近30 年来, 通信技术一直在发生着深刻的变化, 编码技术日臻完善,高质量、低速率的语音编码算法纷纷出现, 各国相继成立了一些国际通信标准化组织, 及时地制定专门的通信编码标准, 语音编码技术的发展也体现在这些不断制定的标准中。由于实现方式的不同, 语音压缩编码技术种类很多, 一直向着高质低速方向发展, 并出现了不少令人振奋的成果。 随着信息技术的发展, 信道资源显得更加宝贵, 为了在有限的信道内进行更多的信息传输, 必须对语音信号进行压缩。语音信号能够压缩的基本依据是语音信号中存在的冗余和人类的听觉感知机理。语音信号存在多种多样的冗余, 可分别从时间域和频率域描述。从时间域分析: 幅度的非均匀分布, 即语音中的小幅度样本出现的概率高, 信息主要集中在低功率上;采样数据间的相关, 相邻的语音信号间有很强的相关性, 研究表明, 当采样率为8 kHz 时, 相邻样值之间的相关系数大于0.85, 如果采样率提高, 相关性将更强; 周期间的相关, 浊音语音段具有准周期性, 反映在波形上出现图形的重复, 即信息冗余; 语音间隙, 实际语音通信中, 存在通话间隙, 通话分析表明, 全双工话路的典型效率约为通话时间的40%, 即静止系数为0.6;长时自相关, 除了本间、同期间的相关外, 在较长的时间间隔上, 语音信号也存在相关, 统计表明, 8 kHz 采样时的平均相关系数高达0.9。从频率域分析: 非均匀的长时功率谱密度, 从相当长的时间内统计平均, 语音信号的功率谱呈现强烈的非平坦性, 这说明语音信号对给定的频段利用的不充分, 存在固定的冗余度; 语音特有的短时功率谱密度, 语音信号的短时功率潜在某些频率上出现峰值, 而在另一些频率上出现谷值, 这些峰值频率是能量较大的频率, 称为共振峰( Formant) , 语音特征主要由前3 个共振峰频率决定, 随着频率的增高, 对整个功率谱的影响会快速递减。语音压缩的第二个依据是人的听觉生理和心理特性对语音的感知,其影响主要表现在: 第一, 人的听觉系统( Human Auditory System, HAS)对声音具有掩蔽效应( Mask Effect) , 即一个强的声音能够抑制另一个同时存在相对较弱的声音, 利用这一性质可以抑制与信号同时存在的量化噪声。第二, 对不同频段的声音的敏感程度不同。人的听觉对低频端比较敏感, 而对高频端不太敏感, 这主要是因为浊音的周期和共振峰在这里。第三, 人耳对语音信号的相位变化不敏感。人耳的听觉不像人的视觉对感知
图像拼接算法及实现(一).
图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this
二维图像拼接技术
专业设计报告 设计题目：基于机器人视觉的图像处理方法研究 ——二维图像处理 姓名：学号： 学院：专业： 指导教师： 同组人姓名：
摘要： 在实际应用中，经常会用到超过人眼视野范围甚至是全方位的高分辨率图像，普通数码相机的视野范围往往难以满足要求。为了得到大视野范围的图像，人们使用广角镜头和扫描式相机进行拍摄。但这些设备往往价格昂贵、使用复杂，此外，广角镜头的图像边缘会难以避免的产生扭曲变形，不利于一些场合的应用。为了在不降低图像分辨率的条件下获取大视野范围的图像，人们提出了图像拼接技术，将普通图像或视频图像进行无缝拼接，得到超宽视角甚至360度的全景图，这样就可以用普通数码相机实现场面宏大的景物拍摄。利用计算机进行匹配，将多幅具有重叠关系的图像拼合成为一幅具有更大视野范围的图像，这就是图像拼接的目的。 图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。最初主要是对大量航拍或卫星的图像的整合,也可运用于军事领域网的夜视成像技术,。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。在医学图像处理方面，把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，图像拼接技术的应用也日益广泛。 通过本课题的研究，初步了解图像拼接技术的基本应用，并了解sift语言的应用，将两幅具有相同特征点的图拼接在一起，实现二维图像的初步拼接处理。 关键词： 图像获取，图像配准，图像融合，图像合成，SIFT。 一、设计的任务和目的 二维和三维图像测量方法，具有非接触,自扫描,高精度的优点，已得到广泛应用。但在保证高精度的条件下，要实现大范围,多参数测量，单纯提高摄像机性能往往受到限制，而且成本高。图像拼接技术能够实现上述测量目的，达到较高的性能价格比。二维图像拼接是利用已获得的多幅被测物图像，提取图像间的公共特性，并通过公共特征将多图数据统一到同一坐标下，从而挖掘出数据中的深层次信息。 二维图像拼接依据特征信息提取方法的不同，可以分为基于区域和基于特征两种。基于区域的拼接一般通过求相关系数实现，计算量大，运行时间长。基于特征的拼接可以提取有旋转,平移,缩放不变性的不变量，具有快速,准确的特点，在工业测量中还可人为加入特制标记，使测量更有实用性。 图像拼接的关键是精确找出相邻图像中重叠部分的位置，然后确定两张图像的变换关系，然后进行拼接和拼缝融合。但是由于照相机受环境和硬件等条件影响，所要拼接的图像往往存在平移、旋转、大小、色差及其组合的形变与扭曲等差别。本设计采用基于特征的图像拼接技术，首先对图像进行轮廓提取，然后再对提取的轮廓进行匹配，从
无损分割MKV高清视频 刻录DVD便于珍藏
无损分割MKV高清视频刻录DVD便于珍藏随着技术的发展，高清电影已经慢慢成为主流——优秀的高清影片不仅拥有完美的音画质量，还具备极高的收藏价值。因此，很多高清发烧友都会选择将看过的高清电影刻成光盘并收藏起来。但是问题也随之而来——高清电影文件的体积很大，一张DVD光盘根本容纳不下。如果自己喜欢的影片出了更好的音轨，如何调整已经收藏的电影版本？这些都是让认头疼的问题。本期，就为大家介绍如何用最简单的方法去解决这些收藏高清电影时遇到的难题，以帮助广大的高清发烧友解决后顾之忧，尽享高清娱乐! 高清视频刻录无损分割是重点 标准的刻录盘容量都是固定的，DVD-5是4500MB左右，DVD-9是8500MB左右。因此，刻录保存高清视频时常会遇到一个问题：高清视频的文件尺寸和刻录盘的容量不匹配。例如要刻录的视频文件是6600MB，用DVD-5刻不下，用DVD-9又浪费了，实在让人头疼。要解决这个问题，最好的办法就是把视频文件按照刻录盘的标准容量进行分割。可能有读者会问：这样做不会影响高清视频的音画质量吗？不会引起声画不同步吗？其实这些担心都是多余的，因为我们给大家介绍的是一种完全无损的高清电影分割方法。 要做到完全无损地分割视频，我们推荐大家使用Mkvtoolnix软件【点击下载】中的MkvmergeGUI程序。MkvmergeGUI支持多种格式的视频、音频文件和字幕文件。
提示：MKV格式是一种先进的多轨道视频文件格式，支持将一个视频轨道和多个音频轨道、字幕轨道整合在一起，极大地方便了视频的制作和传播。目前大部分的高清视频采用的都是MKV格式，所以本文介绍的方法也是针对MKV格式的高清视频文件。 分割操作很简单方式要注意 首先，在Mkvtoolnix软件的文件夹中找到“mmg.exe”，双击打开MkvmergeGU主界面，点击“添加”按钮，选择要进行分割的视频文件。这样就可以在“输入文件”窗口中看到该视频文件，并在“轨道”窗口中显示出该视频文件包含的所有轨道(如图1所示)。一般来说AVI和RMVB格式的高清视频文件都只包含一条视频轨道和一条音频轨道。而MKV格式的视频可能会包含多条音频轨道，甚至还会有多条字幕轨道。 “轨道”窗口中显示该视频文件包含的所有轨道 然后，打开“输入”旁边的“全局”标签，勾选“允许分割”。在这里，软件提供了按文件尺寸、按持续时间和按时间代码三种分割方式(如
视频摘要
· 157 · 中华肩肘外科电子杂志 2017年5月第5卷 第2期 Chin J Shoulder Elbow（Electronic Edition），May 2017，Vol.5.No.2肱骨近端钢板固定并发症的治疗 肩关节锁定后脱位的治疗 柴益民 东靖明 【摘要】 肱骨近端骨折是一种常见的损伤，占全身骨折的4％~5％，任何年龄段都可发病。超过 80% 的肱骨近端骨折为无移位或轻度移位的稳定性骨折，可以通过非手术方法进行治疗，但是，对于有移位的不稳定骨折，采用非手术治疗常常会导致骨折畸形愈合，影响患者的功能，因此对于该类型骨折常常需要手术治疗。肱骨近端骨折术后并发症发生率约为9.6%，其术后常见并发症主要包括骨不连、畸形愈合、内植物位置不理想、大结节固定不良、创伤性关节炎、感染、缺血性坏死、神经血管损伤、关节僵硬、肩袖损伤、异位骨化等。有移位的部分骨折手术治疗难度很大，术者详细掌握肩关节局部解剖，术前准确选择合适的固定方法及内植物，术中尽量避免手术带来的创伤是减少并发症的有效方法。对于已存在的术后并发症，需对损伤进一步进行评估，判断是软组织、骨性因素还是两者因素，并选择合适的治疗方法。关节置换是治疗复杂肱骨近端骨折的较好方法，但此方法同样也存在发生术后骨不连、畸形愈合、创伤性关节炎等并发症的风险。 【关键词】 肱骨近端骨折； 并发症； 畸形 【摘要】 肩关节由肩胛骨的关节盂和肱骨头构成，属球窝关节，是人体诸多关节中活动度最大的关节，也是脱位发生率最高的关节，约占全身关节脱位的50%。肩关节后脱位比较少见，占肩关节脱位的1%~5%，发生率约为1.1/100 000，多发生于直接高能量损伤，也可见于癫痫发作、电休克治疗过程中等。肩关节后脱位急诊漏诊率较高，本院2010年至2016年共收治肩关节脱位患者218例，其中肩关节后脱位9例，首诊医院急诊漏诊6例，漏诊率66.67%。根据肩关节受伤机制，肩关节后脱位可分为外伤型、肌肉收缩型、混合型。肩关节后脱位治疗与骨质缺损情况密切相关，对于肱骨头关节面缺损少于20%，脱位时间少于3周的肩关节后脱位可进行闭合复位，反之则需要行手术治疗。闭合复位需复位前行CT 检查，排除隐匿性骨折线，并在全麻下轻柔复位。对于肩关节后脱位合并以下情况均需行手术治疗:存在有移位的小结节骨折、移位明显的关节盂后方的骨折、无法闭合复位者、开放脱位者、不稳定复位者。手术治疗主要包括McLaughlin 术、改良McLaughlin 术、前入路植骨术、肱骨头置换术、球囊肱骨头成型术等。术后需要将肩关节置于20°外旋外展位固定4周，之后进行规范化康复训练。 【关键词】 肩关节； 锁定后脱位； 漏诊； 治疗 DOI :10.3877/cma.j.issn.2095-5790.2017.02.018 作者单位: 200233 上海交通大学附属第六人民医院骨科 通信作者:柴益民，Email:chaiyimin@https://www.360docs.net/doc/4e5757278.html, DOI :10.3877/cma.j.issn.2095-5790.2017.02.019 作者单位: 300211 天津医院创伤骨科 通信作者:东靖明，Email:dy010712@https://www.360docs.net/doc/4e5757278.html, ·视频摘要· ·视频摘要·
视频图像拼接技术研究.
南京理工大学 硕士学位论文 视频图像拼接技术研究 姓名：林学晶 申请学位级别：硕士 专业：控制理论与控制工程 指导教师：茅耀斌 20100620 硕士论文视频图像拼接技术研究 摘要 视频图像拼接技术是视频应用领域研究的一个热门课题，可广泛应用于全景图生成、双目机器人应用等多个方面。本文主要针对三类视频图像序列拼接应用进行了研究： 针对仅存在平移变换关系的视频图像序列，本文研究了一种基于频域的相位相关方法。论文首先介绍了相位相关方法的原理和利用这种方法实现视频拼接的算法流程，然后通过实验证明该方法适用于帧与帧问有较大重叠区域的视频序列，并且允许视频中存在少量小的运动物体。在此基础上设计实现了适用于小平移视频序列的实时拼接软件。 针对在不同的视角位置同时采集得到的双实时视频图像序列，本文研究了两种基于点特征的拼接技术。论文首先介绍了Ｈａｒｒｉｓ角点和ＳＩＦＴ算子的原理，然后阐述了基于点特征的双摄像头拼接技术的各个环节，包括特征点匹配、ＲＡＮＳＡＣ去除误匹配点对、透视变换矩阵模型参数计算、插值处理和融合等。本
文比较了几种图像的融合方法，采用了一种自动调节亮度值和加权融合方法，消除了图像拼接后可能出现的拼接缝隙和颜色过渡不自然的现象。由于Ｈａｒｒｉｓ角点易受噪声影响，本文提出了一种投票机制的改进方法，增强了Ｈａｒｒｉｓ角点定位的准确性。本文最后搭建了基于ＤｉｒｅｃｔＳｈｏｗ的双摄像头采集平台、设计实现了基于Ｈａｒｒｉｓ角点和ＳＩＦＴ算子两种点特征的双摄像头实时视频拼接程序，前者适用于摄像机采集的视频图像存在平移、旋转的情况，后者适用于存在平移、旋转和尺度缩放的情况。 本文最后针对低分辨率图像序列，研究了基于ＳＩＦＴ算子的拼接问题，并将之应用于手机连续抓拍文本序列图像的拼接。关键词：相位相关方法，Ｈａｒｒｉｓ角点，ＲＡＮＳＡＣ，透视变换矩阵，加权融合 Ａｂｓｔｒａｃｔ硕士论文 Ａｂｓｔｒａｃｔ Ｖｉｄｅｏｍｏｓａｉｃｉｓａｐｏｐｕｌａｒｔｏｐｉｃｏｎｖｉｄｅｏｔｅｃｈｎｏｌｏｇｙｔｈａｔｓｈｏｗｓｓｉｇｎｉｆｉｃａｎｔｉｍｐｏｒｔａｎｔ ａｐｐｌｉｃａｔｉｏｎｆｏｒｐａｎｏｒａｍｉｃｉｍａｇｅｓ，ｂｉｎｏｃｕｌａｒｒｏｂｏｔａｎｄ ＳＯｏｎ．Ｄｉｆｆｅｒｅｎｔｔｅｃｈｎｉｑｕｅｓｏｆｖｉｄｅｏｍｏｓａｉｃ ａｒｅｕｓｅｄｉｎｄｉｆｆｅｒｅｎｔａｐｐｌｉｃａｔｉｏｎｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｒｅｅｔｙｐｅｓｏｆｃａｓｅａｒｅｓｔｕｄｉｅｄ： Ｔｈｅｍｅｔｈｏｄｏｆｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎｂａｓｅｄｏｎｆｒｅｑｕｅｎｃｙｄｏｍａｉｎｉｓｓｔｕｄｉｅｄｆｏｒａｖｉｄｅｏ
关于视频图像处理系统关键技术的研究
关于视频图像处理系统关键技术的研究 摘要：对视频图像处理系统的关键环节-图像采集，预处理，压缩编码进行了详细分析，并对该领域目前出现的具体实现技术进行了优缺点总结。 关键词：视频图像处理图像处理图像压缩图像编码实现 所谓视频图像处理系统，小到照相机，摄影机，录像机，大到地质成像扫描系统，气象卫星图像显示系统，视频监控系统都属于该范畴，但他们却千差万别，各有自己所属的专业领域、独特之处。本文旨在具体分析其中的关键环节，在广泛比较各种图像处理系统具体实现方式的基础上，总结出它们的优缺点、注意事项。为以后对视频图像处理系统的理论研究和项目实践提供系统决策阶段的方案选型参考。 1.视频图像采集 ①图像采集部分的主要工作是从图像采集传感器输出的模拟视频信号中提取图像，实现数字化后作后续处理和分析。 目前，市场上通用的图像采集传感器主要有两种：CCD传感器和CMOS 传感器。CCD器件具有高信噪比和高电荷转换效率。但是要实现这一目标，需要专门处理器、高电压、多重电源，因此也带来高功耗，高价位。CMOS传感器简化了配套电路，降低了功耗和价位，但无法保证每个像点的放大率都保持严格一致，所得图像品质低于CCD传感器。 2.视频图像预处理 ②图像预处理部分的主要工作是把经过图像数字化后的图像信号进行亮度信号提取,奇偶场合并及图像尺寸剪裁,使最终读出的图像数据大小,数据位宽,象素时钟达到目标系统的要求。在要求较高的应用中，预处理还需要完成去噪声，平滑话等功能算法，例如比较知名的直方图均衡化处理，中值滤波降噪处理。 视频信号预处理过程以前多由数字电路组合产生，这样做不但电路复杂、体积大，而且不够灵活；逐渐被采用单片机处理的方案取代，用单片机处理视频信号能够解决电路的复杂度和灵活性问题，但精度不高，难以用于对同步要求严格的场合；后来出现了利用DSP来进行视频信号的处理方案,DSP具有更高的集成度和更快的运行速度，比普遍采用的单片机在数字图像处理领域有着明显的优势，但是成本却居高不下；近年来，利用低成本的FPGA芯片来实现预处理逐渐流行开来,FPGA具有丰富的10端口数，触发器数量多，适宜进行复杂时序功能设计，缺点是开发门槛高，需要在FPGA专用开发平台下使用硬件描述语言实现预处理算法的调试，硬编码等一系列高级数字系统设计流程；同时，市场上也出现了以ARM处理器位为核心的精简处理方案：数字摄像头接收ARM送来的控制指令和工作时钟，并在采集到适当信号后放入指定的高速缓存，然后由ARM