利用运动强度自适应传输视频内容
基于内容自适应的视频超分辨率算法-SRVC
基于内容⾃适应的视频超分辨率算法-SRVC1. 介绍论⽂全名是《Efficient Video Compression via Content-Adaptive Super-Resolution》，作者全部来⾃⿇省理⼯计算机科学与⼈⼯智能实验室（MIT CSAIL），这篇论⽂主要是使⽤视频超分辨率（video super-resolution）技术来完成视频压缩任务，从⽽应⽤于视频的传输（节省带宽）。
2. 算法详解2.1 传统视频编码管线众所周知，将图像序列转成⼀个视频可以⼤⼤减少数据存储量（绝⼤部分情况）。
但是，⽣成的视频如果要在⽹络上传播的话会严格收到⽹络带宽的限制。
在固定带宽（固定传输速率）的情况下，使⽤更⾼的视频压缩算法（同时保证视频质量不损失，或者损失在⼀定范围内），可以传输更⾼分辨率的视频。
⽐如，1M的带宽，使⽤某个视频压缩算法只能传输480P的视频，在使⽤了更加⾼效的另外⼀个视频压缩算法，可以传输720P了。
⽬前常⽤的视频压缩算法有H.264、H.265等。
这⾥以H.265为例，其⼯作原理⼤致如下：在上⾯加⼊超分的思想，就是先把1080P的视频下采样⾄480P，压缩传过去解码后，再⽤超分变回1080P的视频，⼤致流程如下这样的好处是视频压缩算法真正要压缩的其实是480P的视频，所以传输的数据量会⼤⼤减少。
坏处则是传输者在下采样视频的时候其实已经丢掉了⼀部分信息，⽽接收者最后获得的1080P视频的质量很⼤程度上依赖于超分算法的选择。
超分算法可以使⽤最简单的Bicubic（双三次插值）。
Bicubic⽹上的资料很多，简单来说它跟bilinear（双线性插值）⼀样，插值的结果依赖邻域的像素，也就是可以⽤图像中的卷积来完成。
但是Bicubic的卷积kernel是固定的，这就很不科学。
“科学”来讲，kernel应该根据图像中的不同区域产⽣不同的变化。
此外，视频经过H.265编码、解码后，已经不是原来的视频了（因为H.265是有损压缩），所以超分的过程还需要尽量恢复这⾥丢失的信息。
广播电视台技术中心专业技术试题
广播电视台技术中心专业技术试题最新广播电视技术中心考试题第一章概述小结一、广播：一种“定点发送、群点接收”的通信方式。
广播有两层含义：1、泛指：通过无线电波或有线系统向广大听众或观众传送节目的过程。
2、特指：声音广播。
二、广播电视三个特点1、形象化：以声音和图像的形式来传递信息。
2、及时性：以电波传播的速度来传送信息。
3、广泛性：覆盖范围最广泛的一种传播媒介。
三、广播电视的“四化”1、数字化，2、网络化，3、产业化，4、信息化。
四、广播电视的发展沿革1、三代广播：（第一代）AM-调幅声音广播，（第二代）FM-调频声音广播，（第三代）DAB-数字声音广播。
2、三代电视：（第一代）黑白电视广播，（第二代）彩色电视广播，（第三代）数字电视和高清晰度电视广播。
五、广播电视系统组成和作用1、节目制作与播出：利用必要的广播电视设备及技术手段制作出符合标准的广播电视节目信号，并按一定的时间顺序（节目表）将其播出到发送传输端。
2、发送与传输：将广播电视节目信号进行一定的技术处理（如编码、调制等）后，经过某种传输方式（如地面射频传输、卫星广播、有线传输等）传送到接收端。
3、接收与重现：接收广播电视节目信号，并对其进行必要的处理和变换，最终还原成图像及声音。
六、广播电视传输方式1、地面无线电开路传输：主要业务有调幅中、短波广播、调频广播、VHF/UHF频段电视广播等。
2、有线网络传输：利用同轴电缆、光缆等媒介进行传输，通过一定的分配网络，为用户提供多套广播电视节目的网络系统。
3、卫星传输：利用地球同步卫星上的转发器进行信号的传输。
七、广播电视制播设备和技术1、声音信号：录音室（或播音室）、传声器、拾音技术、调音台、录音设备、声音节目的编辑加工设备、高质量的监听系统等。
2、图像信号：演播室、摄像机、录像机、编辑制作设备、视频切换台等。
第二章声音广播基础知识小结一、声音：物体振动产生的声波通过介质对人耳产生的感觉。
1、声音的产生：粒子波动运动的结果，由物体机械振动或气流扰动引起弹性媒质发生波动产生。
自适应码率算法
自适应码率算法随着互联网的普及和数字化媒体内容的不断丰富，视频流媒体服务已成为现代人日常生活不可或缺的一部分。
在视频流媒体服务中，码率是影响视频质量和用户体验的重要因素，不同的网络环境和设备性能会对视频的传输和播放造成影响。
因此，自适应码率算法的研究和应用具有重要意义。
自适应码率算法是一种根据网络环境和设备性能实时调整视频码率的算法。
该算法通过监测网络带宽和设备性能，动态地调整视频的码率，以达到最佳的视频质量和用户体验。
自适应码率算法主要分为两种类型：基于网络带宽的自适应码率算法和基于设备性能的自适应码率算法。
基于网络带宽的自适应码率算法是根据当前网络环境的带宽情况动态地调整视频的码率。
该算法通过测量网络带宽，实时地判断网络带宽是否足够支持当前视频的播放。
如果网络带宽不足，算法会降低视频的码率以保证视频的稳定播放。
反之，如果网络带宽充足，算法会提高视频的码率以提高视频质量。
基于设备性能的自适应码率算法是根据设备硬件性能和软件状态动态地调整视频码率。
该算法通过监测设备的CPU、GPU、内存等硬件性能以及软件状态，实时地判断设备是否能够支持当前视频的播放。
如果设备性能不足，算法会降低视频的码率以保证视频的稳定播放。
反之，如果设备性能充足，算法会提高视频的码率以提高视频质量。
自适应码率算法的优势在于能够根据实际情况动态地调整视频码率，保证视频的稳定播放和高质量观看体验。
同时，自适应码率算法还能够减少网络流量，降低服务器压力，提高视频服务的可靠性和稳定性。
总之，自适应码率算法是视频流媒体服务中不可或缺的一部分。
未来，随着网络技术和设备硬件的不断发展，自适应码率算法将变得更加智能化和高效化，为用户带来更好的视频观看体验。
设计自适应适应不同屏幕尺寸播放
设计自适应适应不同屏幕尺寸播放设计自适应不同屏幕尺寸播放在当前数字化时代，随着移动设备的广泛应用，人们对视频播放的需求也日益增长。
然而，不同屏幕尺寸的设备给视频播放带来了一定的挑战。
为了在各种设备上实现最佳的播放效果，设计自适应适应不同屏幕尺寸播放的技术应运而生。
本文将介绍这一技术，探讨其原理和实现方式。
一、自适应播放技术的原理自适应播放技术通过识别用户设备的屏幕尺寸和网络带宽，自动选择最合适的视频分辨率和码率进行播放。
这样可以在不同的设备上实现最佳观看体验，同时也能够节省带宽和提高加载速度。
其原理主要包括以下几个方面：1. 设备屏幕尺寸的检测：通过CSS媒体查询或JavaScript代码等方式，获取用户设备的屏幕尺寸信息。
这些信息可以包括设备的宽度、高度和像素密度等。
2. 网络带宽的检测：通过测量用户设备的网络下载速度，评估网络带宽的可用性。
根据不同的网络条件，选择适当的视频码率和分辨率。
3. 视频编码格式的适配：根据不同的设备和平台要求，将原始视频文件转换为适应不同屏幕尺寸的编码格式。
比如，对于移动设备和低带宽环境，可以选择较低分辨率和较低码率的视频文件。
4. 流媒体传输的应用：采用流媒体传输协议（如HTTP Live Streaming，HLS）来实现适应性播放。
流媒体可以根据网络状况动态调整视频质量，从而保证视频播放的流畅性和稳定性。
二、自适应播放技术的实现方式设计自适应适应不同屏幕尺寸播放的实现方式多种多样，下面将介绍常见的几种方式：1. 多版本视频：通过提供多个不同分辨率和码率的视频文件，实现对不同设备的适配。
通过在HTML代码中嵌入适当的代码，根据设备的屏幕尺寸和网络带宽，自动选择最佳的视频文件进行播放。
2. 自适应流媒体传输：采用流媒体传输协议（如HLS）来实现自适应播放。
通过将视频切分为多个小片段，并根据网络状况动态选择片段的码率和分辨率，实现流畅的播放效果。
3. 响应式设计：使用CSS媒体查询和弹性布局等技术，对视频播放器进行响应式设计。
视频流媒体传输技术中的码率自适应优化
视频流媒体传输技术中的码率自适应优化随着互联网的发展和宽带网络的普及，视频流媒体服务已经成为人们日常娱乐和学习的重要方式。
然而，视频流媒体服务的质量往往受到网络带宽和不稳定性的限制。
为了提供更好的用户体验，视频流媒体传输技术中的码率自适应优化应运而生。
码率自适应是指根据网络条件和终端设备能力，动态调整视频的传输比特率。
它的核心目标是在网络环境变化的情况下，确保视频播放的连续性和稳定性，同时避免视频卡顿和画质下降。
首先，码率自适应技术需要通过网络监测和评估来获取有关网络带宽、延迟和丢包率等信息。
这些信息是决定码率自适应策略的关键因素。
一般来说，网络带宽越高，视频的传输比特率就可以设置得越高，并且可以提供更好的画质。
而网络延迟和丢包率较高时，为了保持视频的连续播放，传输比特率就需要调整到较低的水平。
其次，码率自适应技术需要根据网络信息和设备能力来选择合适的视频码率。
一般来说，传统的视频编码器会生成多个不同比特率的视频副本，在传输过程中根据网络条件选择最适合的副本进行传输。
这就需要在视频传输过程中实时进行码率切换。
具体来说，当网络带宽较高时，可以选择高比特率的视频副本以提供更好的画质，而当网络带宽较低时，则需要选择较低比特率的视频副本以保证视频的连续播放。
同时，设备能力也是选择码率的考虑因素，因为不同的终端设备可能有不同的处理能力和屏幕分辨率。
另外，码率自适应技术还需要考虑用户观看体验和应用场景。
例如，对于实时视频会议或体育赛事直播等对实时性要求较高的应用场景，码率自适应技术需要更快地响应网络变化并迅速调整视频码率。
而对于非实时播放，例如点播服务或社交媒体平台上的视频，码率自适应技术可以更加灵活地根据网络情况选择合适的码率。
在实际应用中，码率自适应技术可以通过两种方式实现：基于客户端和基于服务器。
基于客户端的码率自适应技术在终端设备上进行，它根据客户端收集到的网络信息和设备能力来选择合适的视频码率。
而基于服务器的码率自适应技术则将码率选择的任务放在服务器端进行，服务器根据客户端提交的网络信息和设备能力来选择合适的视频副本传输给客户端。
H.264视频编码标准分析和算法优化
H.264编码标准的分析和算法优化一、研究背景：随着社会的不断进步和多媒体信息技术的发展，人们对信息的需求越来越丰富，方便、快捷、灵活地通过语音、数据、图像与视频等方式进行多媒体通信已成不可或缺的工具。
其中视觉信息给人们直观、生动的形象，因此图像与视频的传输更受到广泛的关注。
然而，视频数据具有庞大的数据量，以普通的25帧每秒，CIF格式（分辨率为352×288）的视频图像为例，一秒钟的原始视频数据速率高达3.8M字节。
不对视频信号进行压缩根本无法实时传输如此庞大的数据量，因此，视频压缩技术成为研究热点。
随着近几年来视频图像传输领域的不断扩展，以往的标准己经难于适应不同信道的传输特征及新兴的应用环境。
为此，ISO/IEC&ITU-T共同开发了最新视频编码标准H.264/AVC。
相对以前的视频编码标准，H.264集成了许多新的视频压缩技术，具有更高的压缩效率和图像质量。
在同等的图像质量条件下，H.264的数据压缩比是应用于当前DVD系统MPEG-2的2~3倍，比MPEG-4高1.5~2倍，并且具有更好的网络友好性。
但是H.264高压缩比的代价是编码器计算复杂度大幅度地提高。
因此在保持编码效率几乎不变的同时尽可能提高编码速度是H.264/AVC视频编码标准能否得到广泛应用的关键。
在上述研究背景下，本文深入探讨了H.264/AVC标准，分析了编码器主要耗时模块的工作原理，提出三种降低H.264/AVC高计算复杂度的优化算法――快速帧内预测模式选择算法、快速帧间预测模式选择算法以及快速运动估计算法。
实验结果表明：本文所提快速算法都可大幅度地降低H.264编码器的计算复杂度，并且保持基本不变的编码效率。
二、新一代视频编码标准H.264简介：编码标准演进过程：H.261 MPEG-1 MPEG-2 H.263 MPEG-4从视频编码标准的发展历程来看，视频编码标准都有一个不断追求的目标：在尽可能低的码率（或存储容量）下获得尽可能好的图像质量。
一种自适应的时空视频去噪算法
（ ｓｔｔ ｏ ｆｒ ａ ｏ ｎ ｏ ｍｕ ｉ ｔ ｎＥ ｇｎｅ ｎ， ｈ ｉ ｇＵ ｉ ｒ ｔ， ａｇｈｕ３０２， ｈ ａ Ｉ ｔｕｅ ｆ ｎｏｍ ｔ ｎａ ｄＣ ｍ ｎｃ ｉ ｎ ｉｅｍ ｇ Ｚ ￣ａ ｎｖ ｓｙ Ｈ ｎｚｏ １０７ Ｃ ｉ ） ｎｉ Ｉ ｉ ａｏ ｎ ｅｉ ｎ
第３ ０卷第 ｌ ０期
２０ ０ ８年 １ ０月
电
子
与
信
息
学
报
Ｖ６．０ ．０ １ ＮＯ １ ３
Ｊ ｕ ｎ ｌ ｆＥｌｃｒ ｎ ｃ ｏ ｒ ａ ｅ ｔｏ ｉｓ＆ Ｉ ｆｒ ａ ｉｎ Ｔ ｃ ｎ ｌｇ ｏ ｎ ｏ ｍ ｔｏ ｅ ｈ ｏｏ ｙ
Ｏｃ算法
ａ ｊ ｓ ｄ ｂ ｅｓｒ ｎ ｔ ｆ ｈ ｏｓ ｎ ｈ ｄ ｅｉｆ ｒ ｔ ｎ ｄ ｕ ｔ ｙ ｔ ｔｅ ｇ ｈ ｏ ｅｎ ｉ ａ ｄ ｔ ｅｅ ｇ ｏ ｍａ ｉ ． ｅ ｈ ｔ ｅ ｎ ｏ
Ｋｅ ｒ ｓ ｙ ｗｏ ｄ ：Ａｄ ｐ ｉｅ ｐ ｔｏｔ ｍｐｏ ａ ｆ ｔｒ ａ ｔｖ ｓ ａ ｉ－ｅ ｒ ｌ ｉ ｅ ；Ｍ ｏ ｉｎ ｓｉ ａ ｉｎ；Ｎｏ ｓ ｓｉ ｔｏ ｌ ｔｏ ｅｔｍ ｔｏ ｉｅ ｅ ｔｍａ ｉｎ；Ｓ ｍｉ ｒｔ ｍｅ ｕ ｅ ｉ ｌ ｉｙ ａ ｓ ａ ｒ ；Ｅｄ ｅ ｇ
ａ ａ ｔｖ ｔ ｅ ｇ ｈ ｏ ｈ ｌｅ ｎ ｒ ｔ ｃ ｈ ｐ ｃ ａ ｅ ａ ｌ ｗｈ ｎ ｔ ｅｓｚ ｒｔ ｅ ｗｅ ｇ ｔｏ ｈ ｌｅ ｓｉ ａ ｔｖ ｌ ｄ ｐ ｉ ｅｓ ｒ ｎ ｔ ｆｔ ｅ ｆ ｔ ｒａ ｄ ｐ ｏ ｅ ｔｔ ｅｓ ｅ ｉ ｌ ｔ ｉ ｉ ｄ ， ｅ ｈ ｉｅ ｏ ｈ ｉ ｈ ｆ ｅｆ ｔ ｒ ｓａ ｐ ｉ ｅｙ ｔ ｉ ｄ
一种基于运动补偿的时域自适应视频降噪算法
( 2) 在运动轨迹上 , 根据当前宏块和参考宏块 二者的共同信息检测当前宏块的运动强度 . ( 3) 根据运动强度设置当前宏块的滤波强度, 从而确定当前宏块和参考宏块滤波的权重 . ( 4) 按照当前宏块和参考宏块的权重, 进行加 权平均滤波 , 完成沿着运动轨迹的自适应加权平均 滤波. 2. 2 运动补偿技术 在本文提出的算法中, 采用 16* 16 像素大小的 宏块进行运动补偿. 在当前帧中的每个宏块采用最 小 SAD( Sum o f Abso lut e Dif ferences) 准则, 在前一 帧中进行搜索, 找到对应当前宏块 SAD 值最小的宏 块 , 这个宏块是前一帧内对应于当前宏块最匹配的 宏块, 我们称它为参考宏块 . 按照文献 [ 6] , SAD 定 义如公式( 1) 所示 : SAD =
Abstract: Noise in video signals w ill deg rade t he quality of image. A t emporal adapt ive f il ter based o n a mo t ion com pensation is proposed f or noise reduct ion. T he no ise in video sequence is t racked by t he m ot io n com pensat io n in t emporal do main. T he f ilt er ing st reng th can be adaptiv ely chang ed on the mot ion sit uat ion of a subject . T he exper im ent al result s show that t he pr opo sed filt er is bet ter t han that in spat ial domain. T he noise in v ideo signals can be ef fectively reduced and t he imag e w ill not be so blurry as the result of spat ial f ilt er. Key words: mot ion compensation; adapt ive temporal filt er; motion st rength detect ion; video noise reduction EEACC: 6430H
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图1 1～5 级运动强度视频示例图
1. 2 运动强度对视频质量的影响
j) 块在 x 和 y 方向上的运动向量 .
Step2. 计算每个宏块的平均向量幅度
Cavg mv =
1
IJ
I
J
i =1 j =1
∑∑C
mv
( i , j) ,
其中 I , J 分别代表一个 P 帧中 x 和 y 方向上的宏块数目 .
一般量化为 1～5 级 , 分别对应超低 、 低、 中等 、 高和 超高运动强度 . 从实验的结果考虑 ,公用中多分辨率 格式 ( co mmo n intermediate format , CIF ) 、 25 帧Π s 视频的运动强度量化值分别为 50 ,80 ,100 和 120 , 这与 M P E G27中给定的参考值有些区别 . 典型的测试视频帧序列如图 1 所示 , 从上到下 运动强度依次为 1 ～ 5 级 . 从图 1 中可以直观地看 到 ,视频的运动激烈程度不断增加 ,第 1 行的视频序 列是序幕 ,字母缓缓出现 ,测得的运动幅度标准差的 期望值为 6. 86 , 属于超低类 ; 第 2 行视频序列是一 个人在讲话 , 移动非常缓慢 , 测得最终值为 69. 50 ; 第 3 行视频序列是一个人在走动 , 移动速度稍微变 快 ,背景也在变化 , 测得最终值为 80. 13 ; 第 4 行视 频序列是一辆车开过来 , 其中背景 、 前景都有变化 , 测得最终值为 110. 56 ; 第 5 行视频序列是很多人在 熙熙攘攘地下楼梯 ,整个画面激烈变化 ,测得最终值 为 126.79.
第 21 卷 第 6 期 2009 年 6 月
计算机辅助设计与图形学学报
J OU RNAL O F COMPU TER2A ID ED D ESIGN & COM PU TER GRA P H ICS
Vol. 21 , No . 6 J une , 2009
利用运动强度自适应传输视频内容
于俊清
1) 2)
Step3. 计算该 P 帧的运动幅度标准差
S =
I J
视频的运动强度对传输时视频质量影响很大 , 下面从 2 个方面来分析运动强度对视频传输质量的 影响 . 1) 运动强度在丢帧时视频质量的影响 在视频传输中 ,位速率是变化的 ,不同运动强度 和质量视频的位速率 ( kbp s) 的关系如图 2 所示 . 从 图 2 可以看出 ,在相同质量条件下 ,运动强度越高的 视频位速率越高 ,丢帧时可以更有效地解决网络拥 塞 . 从实验结果来看 ,假定网络不丢包且发送速率级 别一致 ,在丢帧处理后的播放过程中 ,视频运动强度
Abstract Adaptive video t ransmissio n is dedicated to deliver video co ntent over dynamic and heterogeneo us net works and devices. U sing Darwin st reaming server , a set of adaptive st rategy is p ropo sed based o n motio n intensit y. To avoid net wo rk co ngestio n , t he sending rate level o n t he server is co nt rolled by detecting t he packet lo ss rate in real time. To eliminate t he mo saic effect bro ught by f rame dropping , an algorit hm of certain P f rame dropping is p ropo sed. A s for different motio n intensit y , t he video qualit y is different when t he f rame dropping rate is same , so t he motio n intensit y descripto r f ro m M P E G27 standard is int ro duced to t he adaptive st rategy as a parameter . Experimental result s demo nst rate t hat t he p ropo sed st rategies can not o nly imp rove t he overall video qualit y , but al so eliminate t he mo saic effectively. Key words motio n intensit y ; adaptive t ransmissio n ; Darwin st reaming server ; f rame dropping ; mo saic
以达尔文流媒体服务器为实验平台 ,提出一套基于运动强度的视频自适应传输策略 . 在服务器端通过检测丢包率来 控制发送速率等级 ,避免网络拥塞 ,并采取一定策略消除因丢帧而产生的马赛克 ; 在自适应策略中加入了运动强度 信息 ,针对不同的运动强度级别进行不同的处理 ,使得综合视频质量得到提高 . 实验结果表明 ,文中的自适应策略不 仅可以避免网络拥塞 ,而且可以改善视频播放质量 . 关键词 运动强度 ; 自适应传输 ; 达尔文流媒体服务器 ; 丢帧 ; 马赛克 中图法分类号 TP391
848
计算机辅助设计与图形学学报
2009 年
的研究方面 , 哥伦比亚大学 DVMM 实验室的研究 工作具有一定的代表性 . Chang 等实现的实时内容 自适应视频传输针对网球和篮球等体育视频 , 提取 其中重要的和有意义的信息 , 有选择地在低带宽网 络中传输 [ 2 ] . Wang 等实现的基于内容的有效预测 及视频自适应主要是为了满足不同的终端设备 、 网 络环境和用户需求 , 并用来设计视频流的自适应策 略 [ 3 ] . 本文在实现选帧自适应传输策略的基础上 ,通 过引入运动强度信息 ,使得选帧更加合理 . 该自适应 传输策略以 H.264 编码为例 ,在达尔文流媒体服务 器 ( Darwin st reaming server , DSS) 上进行了测试 . 在 DSS 中首先将网络状况分为 7 级 , 参考加法增 加、 乘法 减少 ( additive increase and multiplicative decreasing ,A IMD) 策略来进行丢帧 , 并设计算法消 除了因 P 帧丢失而产生的马赛克现象 ; 然后在自适 应策略中加入运动强度信息作为重要参数 , 以在相 同丢帧率的条件下使用户得到较好的视频质量 .
1
IJ
i =1
∑ ∑( C
j =1
avg mv
- Cmv ( i , j) ) 2 .
-
Step4. 求运动幅度标准差的期望值 S = E ( S ) .
将 S 值进行量化就可以得到场景的运等 : 利用运动强度自适应传输视频内容
849
低的视频由于内容变化少 ,画面一般不会剧烈变化 , 即使只播放 I 帧 , 用户也可以清晰地观看视频画面 的变化过程 . 随着视频中运动强度不断增高 ,变化程 度越来越大 ,视频会因为丢帧而产生越来越多的信 息丢失 . 当运动强度达到第 5 级时 , 如果只播放 I 帧 ,看到的将是一幅幅跳动很大的图片 ,视频中的一 些动作被丢失了 ,视频质量很差 . 因此在网络不丢包 且发送速率级别一致时 ,运动强度越大 ,丢帧对视频 质量的影响就越大 .
1 运动强度分析
1. 1 运动强度的提取
在 M P E G27 标准中 ,运动活力描述符用于描述 视频的运动程度 ,其中的运动强度则描述了视频镜 头的运动强烈程度[ 4 ] ,它是按镜头提取的 . 但在实际 视频中 ,一方面视频镜头非常短 ,另一方面一个场景 中的多个连续镜头的运动强度比较接近 . 为了与视 频内容相符合 ,并方便进行自适应控制 ,本文针对场 景而不是镜头提取运动强度特征 . 运动强度的提 取可以在 M P E G21 的压缩域中进行 , 提取算法步骤 如下 :
1)
刘 冲 何云峰 胡胜红
1)
1)
1 ,2)
( 华中科技大学计算机科学与技术学院 武汉 430074) ( 湖北经济学院计算机学院 武汉 430205) (yjqing @hust . edu. cn)
摘
要 在异构的网络环境下 ,如何自适应地传输满足多种终端设备和不同用户需求的视频内容具有重要的意义 .
质量有着非常大的影响 , 高运动强度的视频应该尽 可能少丢帧 , 而且在网络传输中应尽可能不丢包 .
2 基于运动强度的自适应传输
本文通过引入运动强度与视频质量之间的关 系 ,在 DSS 上设计并实现了基于运动强度的视频自 适应传输系统 . 下面对该系统中使用的自适应策略 进行系统阐述 . 2. 1 服务器端的丢帧策略 本文系统传输的视频数据是加入 Hint Track 的 H.264 视频 ,其中 Hint Track 主要用来协助服务 器端打包媒体数据 ,实现流媒体的传输 . 通过分析不 同运动强度 、 不同视频质量的视频场景打包后的不 同帧的数据包数目所占的比例 ,可以得出以下结论 : 1) I 帧的包所占比例不超过 20 % ,B 帧和 P 帧的包 占绝大多数 , 而且 P 帧所占比例最多 ; 2 ) 在低视频 质量时 ,B 帧与 P 帧比例相差不大 ,当视频质量升高 时有先增后减的趋势 . 由于 B 帧对其他帧图像没有影响 , 而 P 帧对 B 帧有影响 , 因此服务器端的丢帧策略是先丢弃 B 帧 ,这样对网络带宽的缓解具有明显的效果 ; 丢完 B 帧后可以继续丢弃 P 帧 ,同样会大幅度缓解网络带 宽 ,直到只剩下 I 帧 . 本文将视频流的发送速率分为 7 个等级 ,如表 1 所示 .