基于摄像机几何模型的视间预测方法

ISSN 1000-0054CN 11-2223/N

清华大学学报(自然科学版)J T singh ua Un iv (Sci &Tech ),2009年第49卷第8期

2009,V o l.49,N o.8w 18

http://qhx bw.chinajo https://www.360docs.net/doc/6114623205.html,

　

基于摄像机几何模型的视间预测方法

朱　刚,　梅顺良

(清华大学电子工程系,北京100084)

收稿日期:2008-05-12

作者简介:朱刚(1977—),男(汉),江西,博士研究生。

通讯联系人:梅顺良,教授,E-mail:meis l@https://www.360docs.net/doc/6114623205.html,

摘　要:多视视频编码是实现自由视角电视和三维立体电视等应用的关键技术。为了有效地提高视间预测的效率,该文基于摄像机几何模型,提出了一种新的视间预测算法,其特点是利用摄像机参数和深度信息对视差矢量进行预测,并运用亮度补偿工具和亚像素插值技术减少视差补偿误差。将新的算法集成到目前最新的多视视频编码框架H.264/A V C M V C 中后,实验结果表明,新的算法最高能节省32.82%的码率,编码增益最高可达2.067dB 。

关键词:多视视频编码;自由视角电视;摄像机几何;

JM V M

中图分类号:T N 919.81

文献标识码:A

文章编号:1000-0054(2009)08-1156-04

Inter -view prediction method based

on camera geometry

ZH U G an g ,MEI Shun liang

(Department of Electronic Engineering ,Tsinghua University ,Beij ing 100084,China )Abstract :M ulti-view video codin g (M VC )is a fundamental en coding techn iqu e for FT V (free-view point televis ion)and 3DTV (3D televis ion ).T hat effectively im proves the inter-view pr ediction efficiency.An inter-view prediction algorithm bas ed on a camera geom etry model w as developed w here the camera parameters and dep th in formation are used to predict

th e dis parity vector.

Illu mination compensation and s ub-pixel in terpolation are also us ed to reduce th e distortion of the dis parity compensation.H.264/AVC M VC is us ed as an exam ple to illus trate h ow the m ethod can be integr ated with conven tion al vid eo codin g https://www.360docs.net/doc/6114623205.html,par isons sh ow that th e bit rate can be reduced by up to 32.82%by this algorithm w ith a coding gain of up to 2.067dB.Key words :mu lti-view

video

coding

(M VC );

free-viewp oin t

televis ion (FT V);cam era geometry ;JM VM

多视视频编码研究是实现三维电视、自由视角电视等应用的重要技术。由两大国际标准化组织ISO/IEC M PEG(ISO/IEC m oving pictur e ex perts gr oup )和IT U -T VCEG (IT U -T video coding

ex pert g roup )组成的JVT (joint video team )已经开

始制订多视视频编码标准H.264/AVC M VC [1]

的工作,并建立了软件测试平台JMV M [2]

。

多视视频编码中,视差估计是视间预测的重要手段。在目前的H.264/AVC M VC 编码框架中,H.264/AVC 中一些经典的时域预测算法应用到了视间预测中。然而时域上运动和视间运动本质上的不同,造成这些算法对于视间预测效率的提高贡献不大。德国的Fraunhofer-HHI 研究院[3]提供的数据验证了视间预测的效率明显低于时域预测。

根据摄像机几何模型,视差矢量和物体深度以及摄像机参数密切相关。和运动矢量的随机性相比,视差矢量应该有着更好的可预测性。近年来,人们开始考虑通过摄像机几何模型或多视几何模型来提高

视间预测效率。Guo X [4]

提出了一种直接模式,运用摄像机几何模型研究2个相邻视对应块之间的运动矢量的相关性,然而这种相关性并不是非常直接,获

得的编码增益比较有限。Zhu G 等[5-6]

运用摄像机几何研究各个视差矢量之间的相关性,先通过视差搜索得到一个视差矢量,然后通过摄像机几何的映射关系,计算出另外的视差矢量。这样虽能提高视差矢量的预测精度,但也存在着一些问题。首先,视差搜索的精确性得不到保障,影响了该方法的预测性能;其次,这个方法只能用于有多个参考视的情况,对只有一个参考视的情况无法发挥作用。

基于上述分析和讨论,本文基于摄像机几何模型,提出了一种新的视间预测模式并集成到现有的H.264/AVC M VC 框架中。

1　基于摄像机几何的多视视频编码方法

基于Richard Har tley

[7]

所述摄像机几何原理:

三维空间上的某一点和它在二维成像平面上对应的点存在着如式(1)所示的映射关系:

w x =PX .

(1)

其中:X =(X ,Y ,Z ,1)T 是三维空间某点的三维齐次坐标;x =(x ,y ,1)T

是三维空间点在二维成像平面上对应点的二维齐次坐标;P 是一个3×4的矩阵,称之为映射矩阵,由摄像机参数求得;w 为比例因子。

1.1　预测模式选择准则

H.264/AVC MVC 采用了多种预测模式,例如INTRA -16模式,表示以16×16大小的宏块为单位进行帧内预测;INTER 16×16模式,代表以16×16大小的宏块为单位的帧间预测模式等。在做模式选择时,以Lagrange 费用函数最小为准则:

J (+,M ,QP)=

D REC (+,M ,QP)+K MO D

E R REC (+,M ,QP).(2)其中:M ∈{INTRA -16,SKIP,…,INTER 8×8}表示某个宏块的模式选择集合;QP 是量化步长;D REC (+,M ,QP )和R REC (+,M ,QP )分别表示当前宏块的失真和约束比特。这个过程也叫做率失真优化[8]

。

图1　INTER -VIEW -SKIP 模式编码流程图

1.2　视间跳过模式编解码过程

本文提出的预测模式,称为视间跳过模式,记为INTER -VIEW -SKIP 模式,它的编码过程如图1

所示。INTER -VIEW -SKIP 模式的编码过程分为3步:1)计算视差矢量;2)视差补偿;3)计算Lagr ang e 费用函数。

步骤1　视差矢量的计算

INT ER -VIEW -SKIP 模式运用摄像机几何来计算视差矢量。如图2所示,P 1是当前视1的映射矩阵,P 2是参考视的映射矩阵。当前宏块左上角像素的坐标为(u 1,v 1),取当前视1的深度图所对应的深度值作为整个宏块的深度值。根据式(1),通过映射矩阵P 1和深度值可以求出对应的三维空间点O 的坐标。再通过映射矩阵P 2,三维空间点O (X ,Y ,Z )被映射到视2,其映射点的坐标为(u 2,v 2),视差矢量为(u 2-u 1,v 2-v 1)。

图2　INTER -VIEW -SKIP 模式中视差矢量的计算

步骤2　视差补偿

利用视差矢量(u 2-u 1,v 2-v 1),可以在参考视上找到当前宏块所对应的块。由于计算过程是浮点运算,坐标(u 2,v 2)也是浮点类型。在(u 2,v 2)没有落到整像素点的情况下,需要利用周围整像素点的值将(u 2,v 2)位置上的像素值插值出来。具体采用何种插值方式以及何种滤波器,是一个值得研究的课题。在本文中,经过计算得出的坐标(u 2,v 2)被约束在1/4像素精度。H.264/AVC 中的6阶有限冲击响应(FIR)滤波器被用来内插1/2像素精度位置的值。1/4像素精度位置的值则在1/2像素值都获得以后,通过线性内插获得。为减少失真,在进行视差补偿之前,采用Jae-Ho Hur ,Sukhee Cho 等[9]

提出的方法对参考视图像进行亮度补偿。视差补偿后,得到失真D R EC (+,M ,QP )。

步骤3　Lag rang e 费用函数的计算

在INT ER -V IEW -SKIP 模式中,编/解码端通过计算来得到视差矢量,不需对视差矢量进行编码并写到码流当中,因此约束比特R REC (+,M ,QP )不包括对视差矢量编码的比特。另外,对于视差补偿

1157

朱　刚,等:　基于摄像机几何模型的视间预测方法

后的残差设定为0,不进行编码。本文为INT ER-VIEW-SKIP模式设置了一个标记:INT ER-VIEW-SKIP-FLAG。INTER-VIEW-SKIP-FLAG的值为1,表示当前宏块采用了INT ER-VIEW-SKIP模式预测;否则,表示当前宏块采用了其他模式预测。通过式(2)求出Lagr ange费用函数后,与其他模式的费用函数进行比较,费用最少的模式被选择为当前宏块的预测模式。

解码端,解码后的标记INT ER-VIEW-SKIP-FLAG为1表示当前宏块的预测模式是INT ER-VIEW-SKIP模式。通过收到的摄像机参数(通常在序列头传送)和解码得到的深度值,计算当前宏块的视差矢量并按照步骤2进行视差补偿得到重建值;否则,按照其他预测模式的解码流程进行解码。

3　实验结果和讨论

本文采用的多视视频序列(Break-dancers序列和Ballet序列)以及深度图由微软研究院Interactive Visual Media组提供[10]。两个序列的参数相同,其中:图像大小为1024×768像素,帧率为15帧/s,摄像机8个,相邻摄像机距离为20cm,摄像机均按等高弧型排列。本文对其中2个视进行编码,编码结构如图3所示。第一个视采用全I帧编码,第二个视以第一个视为参考。JMVM 6.0作为本文的实验平台。量化参数(QP)设为32、37、42和47。本文将对加入和未加入INT ER-VIEW-SKIP 两种模式的实验数据进行比较,结果见图4。从图中可以看出,加入INT ER-VIEW-SKIP模式后,编码效率得到了明显的提高。详细数据列在表1,其中Break-Dancers序列的编码增益达到了2.067dB,相当于节省了32.82%的码率。

图3

　本文测试采用的多视视频编码结构

图4　Break-dancers和Ballet序列的编码结果

表1　编码结果

序列Q P

参考方法提出方法

PSN R

dB

码率

kb?s-1

PSN R

dB

码率

kb?s-1

节省码率/%编码增益

Br eak-da ncer s 3238.481591.45438.488484.705

3736.788342.41336.891263.030

4234.313208.65734.732149.628

4731.065138.66532.22192.506

32.82 2.067

Ballet 3239.481790.23739.464713.738

3737.223451.60237.243404.288

4234.214252.33034.352223.040

4730.887143.61431.309124.808

13.460.736

平均23.14 1.402

图5描述了序列Break-dancers在Q P=37时一幅图像的模式选择情况。可以看出,选择INT ER-VIEW-SKIP模式的宏块主要集中在2类区域:一是深度不连续区域或物体边界,如图中椭圆标记处,

1158清华大学学报(自然科学版)2009,49(8)

在此类区域,当前宏块的视差矢量和周围宏块的视差矢量相差较大,利用空间相关性对视差矢量进行预测的效果不佳;另一类则是在图像的边缘,如图中方块标记处,由于缺少周围宏块的视差矢量为参考,因此此类区域宏块多选择INT ER -VIEW -SKIP 模式。表2列出了序列Break -dancers 在QP =37时的一幅图像的具体模式选择情况,大约1/4的宏块选择INT ER -V IEW -SKIP

模式。

(—IN T ER -VI EW -SK IP 模式

,—传统的H.264/A V C

SK IP 模式

,—代表其他模式)

图5　加入INTER -VIEW -SKIP 模式后的模式选择

(Break -dancers 序列,QP =37)表2　模式选择情况(Break -dancers 序列,QP =37)

模式

宏块数

参考方法

提出方法SKI P

18181871IN T ER -V IEW -SK IP 0732IN T ER 16×16

652238IN T ER 16×87831IN T ER 8×1611070IN T ER 8×875IN T RA -47439IN T R A -16

333

86

4　结　论

本文提出了一种新的视间预测模式,称为INT ER -VIEW -SKIP 模式。在摄像机参数和深度信息的帮助下,IN TER -VIEW -SKIP 模式可提高视差预测的准确性,减少视差补偿误差。实验结果表明,将INT ER -VIEW -SKIP 模式集成到M VC 编码框架中后,约1/4的宏块在编码过程中选择了INT ER -VIEW -SKIP 模式,编码增益最高达到2.067dB 。因此INTER -VIEW -SKIP 模式的提出,提高了多视视频编码中视间预测的效率,并最终提高了多视视频编码的编码效率。

参考文献　(References )

[1]

ISO/IEC JT C1/SC 29/W G11.Requirements and application

descriptions on mu lti-view Video Coding,doc.N9543[R].S hen zhen:IS O M PEG,2007.[2]

ISO/IEC J TC1/S C29/WG11an d IT U-T SG16Q .6.J M VM 6s oftw are.Doc.JVT -Y208[R].S henzhen:ISO M PEG and ITU -T SG16,2007.[3]

ISO/IEC

JT C1/SC 29/W G11.

S tatistical

evaluation

of

s patiotem poral prediction for M VC.doc.M 12301[R].Poznan:ISO M PEG,2005.[4]

Guo X,Lu Y,Wu F,et al.Inter-View direct mode for m ultiview video coding [J ].IE EE T rans Circ Sy st f or V id eo T ech ,2006,16(12):1527-1532.[5]

Zhu G,Yang P,He Y.A new inter-view prediction m ethod for multi-view video coding [J].S ig nal P roc essing S ystems ,2007,12(10):337-340.[6]

S an X,Cai H,Lou J G,et al.M ultiview image coding b as ed on geom etric prediction [J].I EE E T rans Cir c Sy st f or V id eo T ech ,2007,17(11):1536-1548.[7]

Hartley R,Ziss erman A.M ultiple View Geom etry In Com puter Vis ion

Second

E dition

[M ].

Cambr idge:

Cambr idge University Pres s,2004.

[8]

S ullivan G J,Wiegand T.Rate-distortion optimization for video compress ion [J].S ignal Pr oce ssing M ag az ine ,1998,15(6):74-90.[9]

Hu r J H,Cho S,Lee Y L.Adaptive local illumination change

com pens ation

method

for

H.264/AVC -b as ed

m ultiview video coding [J ].IE EE T rans Circ Sy st f or V id eo T ech ,2007,17(11):1496-1505.

[10]Zitnick C L ,Kang S B,Uyttendaele M ,et al.High-quality

video view interpolation us ing a layered repres entation [J].A CM T rans on Grap hics ,2004,12(8):600-608.

1159

朱　刚,等:　基于摄像机几何模型的视间预测方法