使用对极几何的多视角分布式视频编码

Computer Engineering and Applications 计算机工程与应用
2010，46（17） 121
使用对极几何的多视角分布式视频编码
蔡述庭 1，2，王钦若 1，尹 明 1 CAI Shu-ting1，2，WANG Qin-ruo1，YIN Ming1
1.广东工业大学 自动化学院，广州 510006 2.东南大学 信息科学与工程学院，南京 210096 1.Faculty of Automation，Guangdong University of Technology，Guangzhou 510006，China 2.School of Information Science and Engineering，Southeast University，Nanjing 210096，China E-mail：shutingcai@
摘 要：为了降低多视角分布式视频编码中解码器复杂度，解决视角间边信息的获取精度等问题，将一种新的基于对极几何的视 差估计算法用于多视角分布式视频编码系统。提出的系统通过对视角间的冗余信息使用对极几何约束，采用新的视差搜索开始 点，限制垂直方向的搜索范围以加快搜索速度。实验结果表明，提出的系统相对于运动 JPEG（MJPEG）编码的主要运算绝对差值和 （SAD）计算次数减少 10 倍，相对 H.263+减少 7 倍。同时提出系统相对 MJPEG 编码有 6～7 dB 增益，相对 H.263+有 3 dB 增益。 关键词：多视角；分布式视频编码；对极几何；视差估计 DOI：10.3778/j.issn.1002-8331.2010.17.034 文章编号：1002－8331（2010）17-0121-04 文献标识码：A 中图分类号：TN919.82
蔡述庭，王钦若，尹 明：使用对极几何的多视角分布式视频编码
幸运的是多视角获取的同一场景视频数据序列具有大量 的冗余数据。可以通过利用时间方向和视角间的相关性来对这 些数据进行联合压缩。视差技术用来对一个运动对象从一个视 角到另一视角的位移进行补偿，以此来消除视角间的相关性。
运动图像专家组（MPEG）主导了多视角视频编码（Multiview Video Coding，MVC）的一些最新工作[1]。MVC 是作为先进 视频编码（Advanced Video Coding，AVC）标准的一个扩展。虽 然 MVC 方法获得了较高的压缩效率。但这种编解码结构需要 处于传感设备端的编码器具备很高的计算能力。另外，这种结 构还需要摄像机之间具备通信能力，否则无法进行联合编码。 显然，这些要求对无线视频传感器网络来说都是不现实的。
CAI Shu -ting，WANG Qin -ruo，YIN Ming.Multi -view distributed video coding using epipolar puter Engineering and Applications，2010，46（17）：121-124.
4.1 多视角分布式视频编码
文献[10]提出了一种多视角 DVC 系统结构，如图 4 所示。 配置包括 3 个摄像机并且假设是静止的。两边视角的编码使用 传统的 AVC 帧内编码。中间视角的采用 DVC。从中间视角来 看，假设奇数帧是使用 AVC 编码的关键帧，而偶数帧采用 WZ。
这种系统结构的边信息分为两个部分：一种是视角内的， 采用 MCTI 方式来估计产生；另外一种边信息是视角间的，采 用单应性矩阵补偿视角间插值 HCII 边信息估计，获得较好效 果。但是从图 4 中可以看出，这种结构中有一半的传感器采用 的还是传统的 H.264/AVC 编码，虽然是帧内编码方式，编码器 无需运动补偿，但相对分布式编码，数据量还是要大很多，要想
尹明（1975－），男，博士，讲师，主要研究领域为视频编码。 收稿日期：2008-12-04 修回日期：2009-02-18
122 2010，46（17）
Computer Engineering and Applications 计算机工程与应用
献[4]中，一种基于像素差异和运动矢量幅度的融合技术被提 出。然而，这些方法都没有能与 MCTI 相比获得相应的编码增 益。在文献[5]中，一种融合单应性矩阵补偿视角间插值（HCII） 的边信息产生技术被提出，使得编码增益与传统带 MCTI 的 DVC 相比提高 0.2～0.5 dB，但编码端有超过一半的帧都需要传 统的帧内编码。文献[6]将庞大的摄像机阵列划分为传统摄像机 和“Wyner-Ziv”摄像机。但这种方法需要反馈，当传感器网络非 常庞大时，这么多反馈回路显然是不现实的。文献[7]对每一个 立体图像的扫描线建模为分段线性多项式。但实际上分段线性 多项式不足以对实际情况建模。
从一点和其外极线之间的映射来推导基础矩阵。
对于给定的两个图像，如图 3 所示，左边图像中任意一点
x，右边图像中必然存在一个对应的对极线 l′。右边图像中任何
与左边图线中 x 匹配的点 x′必然位于对极线 l′上。图 3 中有：
x′=Hπ x，l′=e′×x′=[e′]×Hπ x=Fx
（2）
+
其中 Hπ =P′P 称为单应性矩阵，F=[e′]×Hπ 称为基础矩阵。基础
分布式视频编码（DVC）的兴起为多视角视频编码提出了 一种崭新的解决方案。它是基于 Slepian-Wolf[2]和 Wyner-Ziv[3] 编码理论。分布式编码理论证明对于两个或者多个相关信源执 行联合编解码可获得的最优速率理论上能够通过单独编码和 联合解码来获得。这就允许摄像机间无需通信的情况下来利用 视角间的相关性，并可以满足无线视频传感器网络的有限带宽 和低功耗限制条件。
Abstract：To reduce the complexity of decoder for multi-view distributed video coding and solve the accuracy of accessing side information，a novel epipolar geometry-based disparity estimation algorithm is used for multi-view distributed video coding system. By using constraints of epipolar geometry for redundant information of inter -views，proposed system applies a novel disparity search center and restricts the vertical search space to accelerate searching.Experiments results show that the main operations Sum of Absolute Difference（SAD） of proposed system calculate 10 times less than Motion JPEG（MJPEG），7 times than H.263+. Meanwhile，the proposed system gets compression gain 6～7 dB compared with MJPEG，3 dB with H.263+. Key words：multi-view；distributed video coding；epipolar geometry；disparity estimation
依据对极几何理论，设计一种有效的快速视差估计算法， 提高多视角分布式视频编码（MDVC）系统中边信息的准确度， 降低解码复杂度，同时获得更好编码增益。
2 分布式视频编码
分布式信源编码是一个新的编码结构，即多个具有相关性 的信源使用相互独立的编码，而解码时进行联合解码。分布式 视频编码现在最为典型的几个模型包括：
X
对极平面
l′
p
p′
l
C
e
e′
C′
图 2 对极平面图
设三维空间物体上的点 X 在左右两个图像上分别投影为 p
和 p′，p 和 p′称为匹配点，两摄像机的光学中心 C，C′的连线称
为基线（baseline）。包含基线的任意平面称为对极平面（epipo－
lar plane）。基线与左右两个图像的交点 e、e′称为两图像平面
斯坦福大学 Girod 等人提出[8]的斯坦福模型，伯克利大学 Ramchandran 等人提出[9]的伯克利模型，以及欧盟信息技术协 会下的未来和新兴技术组（IST-FET）2005 年开始支持的 DIS－ COVER 项目（http：//）。
为了进一步提高编解码性能，采用了斯坦福模型的离散余 弦变换域编码框架，如图 1 所示。输入视频数据先经过 DCT 变 换，得到低频和高频系数。低频成份通过量化后将校验位通过 WZ 编码发送。而高频系数通过熵编码直接发送。
1 引言
多视角视频在很多方面具有非常好的应用前景，因为它使 得用户能够从不同视角观看静态或者动态的场景。在三维电视 电影的多媒体领域，以及军事、安防以及医疗领域的视频监控 等方面都有广泛应用，多视角视频的研究已经越来越受到各方 面的重视。
虽然多视角视频能够提供激动人心的视觉体验，但其是以 巨大的存储和传输带宽为代价的。多视角的视频传感器网络如 CCD 摄像机阵列，相比非多视角的情况，针对同一场景获得的 视频数据量要大很多。因此，运动图像专家组（MPEG）三维音视 频 Ad hoc 专家组将多视角视频编码作为一个最具有挑战性 问题。
矩阵 F 代表了一个从两维映射到一维的投影空间。
x
π
低频系数 输入 DCT 视频
高频系数
Mk
2
级
量化
bit-plane 1
位平面 bit-plane 2 Turbo
…
提取
Encoder