数字视频技术论文-多视点视频编解码
多视点分布式视频编码的研究

多视 点 分 布 式 视 频 编 码 的研 究
林 昕 , 刘海 涛 王嘉 男 ,
(. 1 中科 院 上海微 系统与信息技术研 究所 , 上海 2 05 ;. 0 2 0 2 上海 交通 大学 技术 学院, 上海 2 10 ;. 尔滨工程 大学 自动化 0 1 13 哈
学院 , 黑龙 江 哈 尔滨 10 0 ) 50 1
t n b s d o live g o ty frus n a i a e n mu t— i w e mer e i n MW S o o N.Th n a d p ie ln a o i ain f so lo t m s e n a a t i e rc mb n to u i n a g r h wa v i u e o g tb te ie i fr to s d t e etr sd n o ma in. Ex rme t h we h tt p ta i e if r ain g n r to t o fe — pe i n s s o d t a he s a ilsd n o m to e e ai n me h d efc t ey i r v d t e q aiy o i e if r to .The b sc r t — itrin g i s a u B n h u in a g — i l mp o e h u lt fsd n omai n v a i a e d so t an wa bo t2 d a d te f so lo o rt i hm o i e n a iin li r v me to b ut0. pr vd d a ddto a mp o e n fa o 3 dB. Ke ywo d mu t— iw;d srb td v d o c d n r s: liv e iti u e i e o i g;sd n o main;ln a o i a in mo e i e if r to i e r c mb n t d l o
数字视频处理在视频编解码中的应用:技术、原理与应用研究

数字视频处理在视频编解码中的应用:技术、原理与应用研究第一章:引言数字视频处理是指通过使用计算机算法和技术来对视频进行各种处理的一种方法。
它在视频编解码中起着至关重要的作用。
随着数字技术的不断发展,数字视频处理的应用也越来越广泛。
本文将探讨数字视频处理在视频编解码中的技术、原理和应用研究。
第二章:数字视频处理的技术与原理2.1 视频编解码技术概述视频编解码是指将原始视频信号压缩为较小的文件以便传输或存储,并在需要时将其解压缩以还原为原始视频信号的过程。
视频编解码技术主要包括压缩算法、编解码标准和编解码器等方面。
2.2 数字视频处理的基本原理数字视频处理的基本原理是通过对视频信号进行采样、量化和编码来实现对视频的压缩和处理。
采样是指以一定的频率对视频信号进行抽样,将连续的视频信号转换为离散的数字信号;量化是指将采样后的离散信号映射为有限数量的离散值;编码是指将量化后的信号进行编码,以便于传输或存储。
2.3 数字视频处理的常用算法数字视频处理的常用算法包括运动估计算法、变换编码算法、熵编码算法等。
运动估计算法通过对视频序列的帧间关系进行分析,找出运动目标的运动矢量,从而实现对视频的压缩;变换编码算法通过将视频信号转换为频域表示,并利用频域的特性进行压缩;熵编码算法通过对视频信号的统计特性进行编码,实现进一步的压缩。
第三章:数字视频处理的应用研究3.1 视频压缩与传输数字视频处理在视频压缩与传输领域有着广泛的应用。
通过使用数字视频处理的技术和算法,可以将视频信号压缩为较小的文件,以便于传输和存储。
同时,数字视频处理还可以通过对视频信号的编码和解码,实现对视频传输过程中的错误纠正和丢包恢复。
3.2 视频分析与识别数字视频处理在视频分析与识别领域也有着重要的应用。
通过使用数字视频处理的技术和算法,可以对视频进行运动目标检测、行为识别、人脸识别等分析与识别任务。
这对于视频监控、智能交通等领域有着重要的意义。
数字视频编码论文.doc

数字视频处理变换编码综述变换编码1.变换编码原理变换编码不是直接对空域图像信号进行编码,而是首先将空域图像信号映射变换到另一个正交矢量空间(变换域或频域),产生一批变换系数,然后对这些变换系数进行编码处理。
变换编码是一种间接编码方法,其中关键问题是在时域或空域描述时,数据之间相关性大,数据冗余度大,经过变换在变换域中描述,数据相关性大大减少,数据冗余量减少,参数独立,数据量少,这样再进行量化,编码就能得到较大的压缩比。
在变换编码中的比特分配中,分区编码是基于最大方差准则;阈值编码是基于最大幅度准则。
目前在视频图像压缩中可采用的正交变换主要有:傅里叶变换(FT )、K-L 变换、离散余弦变换(DCT )、小波变换(WT )等,其中DCT 是目前最常用的变换方法,小波变换是变换编码研究的新方向。
2.离散余弦变换编码2.1正交变换编码的理论基础视频图像帧序列可以看作是一个联合信源的输出。
如果视频图像帧包含M ×N 个像素,则此联合信源有M ×N 个单信源组成,这些信源是相关的。
要获得更好的编码效率,既可以对此联合信源的每一组输出编码,也可以对各个单信源进行处理使之变成相互独立的信源后再对各个信源输出进行编码。
正交变换采取的是第二种方法,先通过变换把各个信源变成独立信源,去除各个信源输出(也就是每个像素)之间的相关性,再对每个输出编码,这就是正交变换编码的原理。
一方面,由于图像各个像素的相关性与相互之间的距离正相关,距离越远,相关度越小;另一方面,对大的图像块进行正交变换计算过于复杂,不利于实现,因此,在图像压缩编码中,先把图像分成块,再对每个块进行正交变换和编码,折中计算复杂度和编码效率。
实验表明,对大部分图像信号,每个块为8×8或16×16是一个比较好的选择。
常用的正交变换主要有傅里叶变换、K-L 变换、离散余弦变换等。
在目前图像压缩标准中离散余弦变换占有重要位置。
基于光场渲染的多视点视频编解码方法研究

JOURNAL OF UNIVERSITY OF SCIENCE AND TECHNOLOGY OF CHI NA
Vo l. 40, No. 8 Aug. 2 0 1 0
文章编号 : 0253 2778( 2010) 08 0812 06
基于光场渲染的多视点视频编解码方法研究
814
中国科学技术大学学报
第 40 卷
列表为 ( T 1 , T 2 , ∀, T k ) , 可见视点列表 为 ( V 1 , V 2 , ∀, V l ) . 将每个三角面投影到每一个可见视点中, 通 过纹理映射分别计算出三角面在每个视点下像素的 颜色值 , 最终获得所有视点下三角扇面的采样值. 然后是视点位置的采样 , 对于上面获得的所有 可见视点, 将其投影到顶点 v j 的局部坐标系的 x y 平面上 , 对平面上的离散投影视点进行 Delaunay 三
程 龙, 郭 立, 陈晓琳, 袁红星
( 中国科学技术大学电子科学与技术系 , 安徽合肥 230027)
摘要 : 首先提出一种面向移动设备的多视视频纹理编码方法 , 编码端利用重建的 3D 网格信息对 4D 光场重采样, 得到顶点的光场矩阵 ; 然后提出一种基于奇异值分解 ( SVD) 的自适应分解级数选 取方法, 保证真 实感的同 时尽可能 减少光场 数据量 . 为了配 合解码端 的图 形硬件 加速, 采用了 S3T C 纹理压缩标准对分解后的矩阵进一步压缩, 减少编码端数据量以及解码端纹理渲染的带宽 需求 . 实验结果表明 , 在保证较好的渲染效果下, 提高了压缩比 , 并且满足实时渲染要求 . 关键词: 多视点视频 ; 光场渲染; S3T C; 自适应奇异值分解 中图分类号: T P391. 41 文献标识码 : A do i: 10. 3969/ j. issn. 0253 2778. 2010. 08. 00
基于MPEG_4的多视点视频编解码技术研究的开题报告

基于MPEG_4的多视点视频编解码技术研究的开题报告一、研究背景和意义多视点视频(Multi-View Video,简称MVV)是一种将多个摄像机的视频流融合成一个立体图像来呈现立体感的技术,可以让观众在欣赏视频时感受到更加真实和沉浸的体验。
MVV技术被广泛用于3D电影、虚拟现实和增强现实等领域,具有非常广泛的应用前景。
MPEG-4是一种基于视频压缩标准的编解码技术,它包含了许多用于音视频编码的技术,其中就包括了MVV编解码技术。
MPEG-4多视点视频编解码技术可以将多个视点的视频流合并成一个立体图像,从而实现3D视频的播放。
因此,该技术的研究对提高视频编解码的质量和效率,进一步推动3D视频应用的发展,具有重要的理论和实践意义。
二、研究内容和方法1. 研究多视点视频编解码的基本原理和技术:MVV编解码技术主要包括视频压缩、视差估计和视点合成等方面,需要深入了解MPEG-4多视点视频编解码技术的三维模型、帧差法、梯度法等算法,掌握多视点视频的压缩原理和技术。
2. 分析MPEG-4多视点视频编解码技术的有效性和局限性:通过调研现有MVV编解码算法的优点和不足之处,系统地剖析MPEG-4的MVV编解码技术的优缺点,分析其适用范围和局限性。
3. 提出改进方法和优化策略:针对MPEG-4多视点视频编解码技术的不足,结合国内外相关的研究成果和实践经验,提出适合该技术的改进方法和优化策略,例如基于深度学习的多视点视频编解码算法等。
4. 设计实验方案和开展实验研究:根据上述研究内容,制定实验方案,利用多视点视频编解码的样本视频,结合设计的改进算法,进行实验研究,比较各种算法的性能和实际效果,并进行量化分析。
三、预期研究成果1. 深入了解MPEG-4多视点视频编解码技术的基础理论;2. 剖析MPEG-4的MVV编解码技术的优缺点,提出改进方法和优化策略;3. 实验研究得到多视点视频编解码算法的性能和实际效果,并进行量化分析;4. 探索基于深度学习的多视点视频编解码算法的可行性和效果。
多视点视频编码与传输技术研究

多视点视频编码与传输技术研究随着互联网的飞速发展和人们对多媒体内容需求的增加,多视点视频编码与传输技术成为了研究的热点之一。
该技术可以实现对多个视角下的视频内容进行编码与传输,为用户提供更为沉浸式的观影体验。
本文将从多视点视频编码技术和传输技术两方面进行详细探讨。
在多视点视频编码技术方面,以三维视频为例,多视点视频编码需要解决的主要问题是如何有效地压缩多个视角的视频信号。
由于多视点视频中会有大量的冗余信息,传统的视频编码方法已经无法完全满足对于多视点视频的要求。
因此,研究人员提出了一系列的多视点视频编码算法。
其中,多视点视频压缩算法是最关键的一项。
通过对多个视角的视频进行压缩,可以大幅度减少传输的带宽要求。
主流的多视点视频编码算法包括:视角补偿法、混合图像编码法、多视点视频右表示法等。
这些算法在压缩比、视觉质量和实时性等方面都有不同的性能表现,需要根据具体的应用场景进行选择。
另外,多视点视频的压缩算法还涉及到数据预测和补偿技术。
通过分析多个视角之间的相关性,可以实现对多视点视频数据的更好压缩。
同时,为了提高传输的实时性,还需要对压缩算法进行优化,减少编码和解码的延迟。
在多视点视频传输技术方面,主要考虑的是如何在不同的网络环境下,实现多视点视频的高效传输。
多视点视频的传输需要解决的主要挑战是带宽不足和传输延迟过高的问题。
为了解决这些问题,研究人员提出了一系列的多视点视频传输技术。
一种常用的解决方案是自适应流媒体传输技术。
通过对多视点视频进行切割和分段,并将其编码成不同的质量级别,可以根据网络状况和终端设备的能力,选择合适的视频分段进行传输。
这种方式可以在不同的带宽和延迟条件下,实现对多视点视频的无缝播放。
此外,多视点视频传输技术还涉及到对传输路径和网络拓扑的优化。
通过在不同节点之间选择最短的传输路径,并利用多路径传输和网络编码等技术进行优化,可以提高多视点视频的传输效率和稳定性。
值得一提的是,多视点视频编码与传输技术的研究还面临一些挑战。
多视角视频编码与传输技术研究

多视角视频编码与传输技术研究随着多媒体技术的不断发展,多视角视频编码与传输技术作为其中的重要组成部分,也越来越受到人们的关注。
本文将从多视角视频编码与传输技术的概念、研究现状、应用前景等方面进行分析与解读。
一、多视角视频编码与传输技术的概念多视角视频编码与传输技术是指将来自不同摄像机拍摄的视频信号进行编码、传输和解码,以达到呈现多个角度、全景视角的效果。
通过多摄像机系统的协同工作和编码传输技术的支持,可以提供更加丰富、逼真的视频体验。
多视角视频编码与传输技术在虚拟现实、增强现实、视频监控、视频会议等领域有着广泛的应用前景。
二、多视角视频编码与传输技术的研究现状多视角视频编码与传输技术的研究主要集中在以下几个方面:1. 视频编码算法:多视角视频编码算法是多视角视频传输的核心技术之一。
目前,常用的编码算法包括基于传统的视频编码标准如H.264/AVC、H.265/HEVC的扩展以及基于深度学习的新型编码算法。
这些算法通过提取和压缩视频中的空间、时间和视角信息,以实现高效的编码和传输。
2. 视频传输协议:为了支持多视角视频的传输,研究者们致力于开发可靠、高效的视频传输协议。
目前,常用的视频传输协议有RTP(Real-time Transport Protocol)、RTCP(Real-time Control Protocol)等。
这些协议通过分割、压缩和优化视频数据的传输,提高了视频流的稳定性和可靠性。
3. 视频质量评价:为了保证多视角视频的使用体验,需要对其质量进行评价和优化。
目前,研究者们主要通过主观评价和客观评价两种方法来评价多视角视频的质量。
主观评价主要通过用户的主观感受和意见来评价视频的质量;而客观评价则通过分析视频的编码参数、误码率、帧率等指标来量化评价视频的质量。
三、多视角视频编码与传输技术的应用前景多视角视频编码与传输技术的应用前景广阔,涉及的领域及应用场景包括但不限于:1. 虚拟现实(VR)和增强现实(AR):多视角视频技术可以为虚拟现实和增强现实应用提供更加真实、沉浸式的视觉体验。
数字视频技术论文

数字视频技术论文数字视频就是以数字形式记录的视频,和模拟视频相对的。
下面是店铺整理的数字视频技术论文,希望你能从中得到感悟!数字视频技术论文篇一数字视频压缩的发展摘要:简述图像压缩国际标准MPEG定义、特点、性能与应用,近年来压缩标准的趋势。
关键词:视频压缩 ; MPEG;标准世界通信与信息技术迅猛发展时代的来临,对多媒体技术包括声音、图形、数据以及图像在内多种媒体信息的传送和处理提出更高要求,而研究多媒体数据压缩编码尤其是数字视频压缩技术更成为其核心技术。
现有的国际通用的视频压缩标准主要有MPEG、H、JPEG等。
一、视频压缩标准的原理MPEG是活动图像专家组(Moving Picture Exports Group)的缩写,是国际标准化组织ISO/IEC下一个制订动态视频压缩编码标准的组织,实质即利用数字压缩手段使运动图像频带压缩的国际标准,于1988年成立。
MPEG标准的视频压缩编码技术主要利用了具有运动补偿的帧间压缩编码技术以减小时间冗余度,利用DCT技术以减小图象的空间冗余度,利用熵编码则在信息表示方面减小了统计冗余度。
目前MPEG已颁布了两个活动图像及声音编码的正式国际标准,分别称为MPEG-1和MPEG-2。
二、视频压缩国际标准1、MPEG-1标准。
MPEG-1标准是在数字存储介质中实现对活动图像和声音的压缩编码,编码码率最高为1.5Mbit/s,支持SIF格式的输入图像即525/625两种格式:352x240x30和352x288x25。
特点是它是一种有损的(即低比特率、及伴随着一些图像和伴音信息的丢失),非平衡(即压缩一幅图像比解压缩慢的多)编码。
具有CD音质,质量级别基本与VHS相当。
MPEG-1是一个开放的、统一的标准,被用于数字电话网络上的视频传输,也被用于做记录媒体或是INTERNET上传输音频,在商业上尤其是小型激光视盘(VCD)等家庭视像上获得成功应用。
尽管图像质量优于VHS视频的质量,但还不能满足广播级要求。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
多视点视频编解码吕永超[摘要]与二维视频编码有所不同,多视点视频编码还存在不同视点间的空间冗余,因此除了进行运动估计和运动补偿外,还需要对立体视频进行视差补偿预测,来消除视点间的空间冗余,提高视频压缩的效率。
大模块所占比率大,耗时少,小模块所占比例小,但是耗时多。
而且,立体视频编码中,小模块模式相对于平面视频编码所占的比例更少,这也说明了立体视频编码中模式选择的重要性。
JMVC测试模型遍历所有模式然后选择最优编码模式,致使编码速度低下。
我们通过快速模式选择,尽可能的减少小模块模式的预测,在保证图像质量和压缩效率的基础上,大幅度的提高了立体视频编码速度。
CPU单独解码效率较低,最多仅能支持6个视点1280X720P格式的高清视频实时解码。
而基于本文提出的CPU和GPU混合解码技术,由于IDCT和彩色空间变换这些并行运算均有GPU完成,充分发掘了当前GPU的特点,CPU主要负责解码控制类型的运算,整体解码运算效率较高,可以实时解码8个视点的1280X720P格式的高清视频。
[关键词] 多视点视频快速帧间模式选择 IDCT和图像彩色空间变换目录第一章绪论 (1)第二章多视点视频编码 (1)2.1多视点视频编码原理 (1)2.2视频编码方案 (2)2.3立体视频运动估计搜索算法 (3)2.4快速帧间模式选择 (3)2.5本章小结 (3)第三章基于GPU和CPU混合运算的解码技术 (4)3.1 IDCT运算在GPU上实现的基本原则 (4)3.2图像彩色空间变化在GPU上的实现 (4)3.3 本章小结 (4)参考文献 (5)第一章绪论立体视频压缩与平面视频压缩的主要区别在于立体视频压缩利用了视点间的视差信息进行编码,大幅度的提高了压缩率,从而也解决了立体视频庞大数据信息的存储和传输问题。
编码优化包括快速运动估计搜索算法的实现以及快速帧间模式选择算法的实现,它们都是在保证立体视频编码质量的前提下,提高立体视频的编码速度。
解码器移植包括PC端和WM手机端实现H.264解码并显示。
视频编码框图,主要包括参考帧管理,运动估计,模式选择,变换,量化,重排列和嫡编码几个部分。
JMVC是通过参考帧管理实现进行运动估计和视差估计的,从而确保了视频编码的高效率。
本文主要工作集中在虚线框中的运动估计和模式选择部分,在帧间预测时通过实现S-UMHexagon Search算法提高运动搜索的速率,在模式选择部分进行快速模式选择,提前判断最优模式,降低编码复杂度,从而提高编码速率。
变换一般是用来去除图像信号中的相关性并减少图像编码的动态范围,量化则是用来减少图像编码长度,减少图像恢复中不必要的信息,二者的目的都是降低码率,实现图像压缩。
嫡编码是无损压缩,解码时能够无失真的恢复原数据,它实现了图像信息到数字信号的转换。
第二章多视点视频编码本章首先介绍了多视点视频编码原理方案和立体视频运动估计搜索算法;然后详细介绍了快速帧间模式选择。
2.1多视点视频编码原理多视点视频编码原理如下图所示,ME代表运动估计,DE代表视差估计,MD代表模式选择,T代表变换,Q代表量化,R代表重排列,E代表嫡编码,T−1代表反变换,Q−1代表反量化。
以两视点为例,进行立体视频编码。
(1)第一视点按照二维视频编码(H.264的步骤进行编码。
(2)第二视点第一帧,采用帧内预测的同时,以第一视点第一帧为参考进行视差补偿预测,并存储视差矢量和残差。
(3)第二视点非第一帧,以第二视点己编码帧为参考进行运动补偿预测,遍历所有模式,记录最优预测块的运动矢量MV 1、残差D开销COST1;然后以第一视点同一时间的图像为参考进行视差补偿预测,遍历所有模式,记录最优块的视差矢量DV2、残差D2及开销COST2;选择开销最小的模式为最佳编码模式,记录矢量和残差。
借鉴单视点视频编码的运动补偿技术来实现视差补偿,消除视点间的冗余信息。
具体实现方法如下:首先将视点间的参考图像和同一视点编码的参考图像统一放入参考图像列表进行管理,然后利用匹配算法搜索得到最佳匹配块,接着将当前编码块和预测块做差值,得到残差和矢量(MV/DV),最后对残差进行压缩编码。
这也是JVT推荐的测试模型JMVC中使用的处理方法。
2.2视频编码方案JMVC测试模型在立体视频压缩方面有着高效的压缩效率及优良的参考帧管理机制。
我们选择使用JMVC测试模型进行立体视频压缩,但是其编码速度极其缓慢,我们就必须进行JMVC编码速率优化。
本文主要从运动估计搜索算法和快速模式选择算法两个方面着手,实现编码速率的提高。
2.3立体视频运动估计搜索算法几种常见的搜索算法有:全局搜索算法、三步搜索法、菱形搜索法、以及复合搜索算法等。
由于物体的运动千变万化,很难用一种简单的模型去描述,所以实际上大多采用多种搜索算法的组合方式,即复合搜索算法。
采用符合搜索算法可以很大程度上提高预测的编码效率和性能。
2.4快速帧间模式选择在立体视频编码过程中,由于视差估计的存在,使得模式8x8, 8x4, 4x8,4x4所占比例减少,但是这些小预测块消耗的时间最长。
因此我们为了大幅度缩短编码时间,必须进行帧间模式的快速选择,尽可能的减少小预测块的遍历。
视频图像的内容可以粗略分为3种:平坦背景区域、复杂背景区域、运动区域。
背景区域在视频中占有较大的比例,我们选用较大的预测块(如16x16,16x8,8x16),这也意味着用于表示运动矢量和分割区域类型的比特会比较少。
而对于运动区域,它所占的比例小,同时我们必须选用较小的预测块或者intra预测,这也意味着用于表示运动矢量和分割区域类型的比特会比较多,并且搜索过程耗时比较长,视差补偿预测的引用运动区域的“转变”,使得小模块预测比例更小。
如果能够较早的判断当前宏块是较大预测块还是较小预测块,就能够大幅度缩短编码时间。
(1)利用率失真损耗模块越小,搜索时间越长,我们应当尽可能少的遍历小模块模式。
1.对16x16模块进行运动估计,并判断是否为SKIP模式。
若为是,则不进行其他模式的预测;2.计算16x8, 8x16模块的率失真损耗,若16x16模块的率失真损耗小于这两种模式,则认为采用大模块预测,不进行8x8, 8x4, 4x8模块预测;3.计算8x8, 8x4, 4x8子块的率失真损耗,若8x8的率失真损耗小于8x4,4x8模块,则不进行4x4模块预测;4.择率失真损耗最小的模块作为最优模式进行编码。
(2)利用细节块能量通过计算细节块能量,提前判断宏块是采用大尺寸还是小尺寸模式进行编码,能够降低计算复杂度,缩短编码时间。
1.对16X16模块进行运动估计,并判断是否为SKIP模式。
若为是,则不进行其他模式的预测;2.将16x16分成4个8x8的块,通过DCT变化系数计算其细节程度,当高细节块数目大于2,并且尺6X16 > 0.7时,认为当前宏块要进行小模块模式预测,否则,只进行大模块模式预测(16x16, 16x8, 8x16)3.计算8x8模块的4个4x4DCT系数块的能量,当细节块数目大于2,并且尺Xs > 0.7时,认为要进行4x4模块的预测,否则只进行8x8, 8x4, 4x8模式预测。
4.选择率失真损耗最小的模块最为最优编码方式进行编码。
(3)利用运动矢量较大预测块预测说明用来表示运动矢量和分割区域的比特比较少,较小预测块预测说明用来表示运动矢量和分割区域的比特较多。
如果两种预测块的运动矢量相等,那么我们就采用较大预测块进行预测。
以16x16, 16x8, 8x16为例,当16x16的运动矢量和16x8, 8x16的运动矢量相同时,我们就可以认为当前块为大模块模式,采用16x16进行编码。
1.对16x16模块进行运动估计,并判断是否为SKIP模式。
若为是,则不进行其他模式的预测;2.进行16x16, 16x8, 8x16模块预测,并比较3种模式的运动矢量,当3种模式的运动矢量相等时,则采用16x16模式进行编码。
否则跳转3;3.进行8x8, 8x4, 4x8模块预测,如果运动矢量相等,则不进行4x4模块预测;4.选择率失真损耗最小的模块最为最优编码方式进行编码。
经过试验测试,这种方法比较适合单一参考帧的情况,对于立体视频编码效果不太理想,只有SKIP模式判断提高了编码速度,这是因为立体视频编码中绝大部分都是B-Slice,并且参考帧为视点间参考,利用运动矢量判断约束条件太多,提高的编码速度不理想。
2.5本章小结一般而言,一个编码器主要包括5个基本功能模块:帧间和帧内预测、变换和反变换、量化和反量化、环路滤波、熵编码。
与二维视频编码有所不同,立体视频编码还存在不同视点间的空间冗余,因此除了进行运动估计和运动补偿外,还需要对立体视频进行视差补偿预测,来消除视点间的空间冗余,提高视频压缩的效率。
大模块所占比率大,耗时少,小模块所占比例小,但是耗时多。
而且,立体视频编码中,小模块模式相对于平面视频编码所占的比例更少,这也说明了立体视频编码中模式选择的重要性。
JMVC测试模型遍历所有模式然后选择最优编码模式,致使编码速度低下。
我们通过快速模式选择,尽可能的减少小模块模式的预测,在保证图像质量和压缩效率的基础上,大幅度的提高了立体视频编码速度。
第三章基于GPU和CPU混合运算的解码技术本章详细介绍了使用于立体视频解码的IDCT和图像彩色空间变换的GPU实现方法。
3.1 IDCT运算在GPU上实现的基本原则国内外学者己经研究了很多年基于CPU等通用处理器的快速二维DCT/IDCT算法。
传统的基于CPU的IDCT快速算法中,基本思想是利用加法和移位操作来代替乘法操作。
但是这些算法的运算结构类似于FFT的蝶形运算,它会导致每个参与变换的点都经过不同的计算路径,这与GPU 要求对海量的输入数据执行相同的操作是相违背的,对于GPU来说,这种传统的算法都是不合适的。
所以本文认为要在GPU上实现IDCT算法,最合适的还是采用类似矩阵相乘的算法。
因为基于矩阵乘法的IDCT算法对于每个块中的每个数据来说会经历相同的计算流程,这是相当符合GPU的工作特性的。
Y=K*F*K T就是采用矩阵相乘的IDCT变换公式其中,K是变换核矩阵,F是输入数据,Y是输出数据。
3.2图像彩色空间变化在GPU上的实现颜色空间变换的算法非常简单,只要按照下式进行计算即可。
R=Y+128+1.402CrG=Y+128-0.34414Cr-0.71414CbB=Y+128+1.772Cb这种算法本身对于每个像素的计算都是独立的,因此很适合使用GPU来并行运算。
最简单的方法就是利用GPU数据多通道的特性,依次把YCbCr放入同一个像素的不同通道来输入。
这样不用做任何额外的纹理访问或纹理坐标变换操作,即可完成颜色空间变换的计算。