基于图像的绘制技术综述

基于图像的绘制技术综述

摘要：

基于图像的绘制技术（Image-based Rendering，IBR）近年来引起广泛的关注，目前的基于图像的绘制技术（IBR）可以根据他们依赖场景几何信息的程度分为三类：无几何信息的IBR 绘制、部分几何信息的IBR 绘制和全部几何信息的IBR 绘制。通过对三类技术特征及其数学描述的讨论，从中得出结论：在IBR 技术中图像和几何信息的双重应用表明IBR 和传统的基于三维几何的图形学可以统一成一个有机整体。

1 引言

由于基于图像的绘制技术（Image-Based Rendering）在从电影特效（The"Matrix"）到大场景虚拟漫游、远程现实等方面的广泛应用，其发展非常迅速，相继出现了一系列高效的技术方法。和传统的基于模型的绘制相比，基于图像的绘制有如下的优点：图形绘制独立于场景复杂性，仅与所要生成画面的分辨率有关；预先存储的图像(或环境映照) 既可以是计算机合成的，也可以是实际拍摄的画面，两者也可以混合使用；算法对计算资源的要求不高，可以在普通工作站和个人计算机上实现复杂场景的实时显示。

本文把IBR 技术分成无几何信息的绘制、基于部分几何信息的绘制和基于完全几何信息的绘制三类[1]。由于各种绘制技术和方法是相互关联的统一体，而不是完全彼此脱离的，所以分类界限并不是十分的严格，如图1 示。从近几年研究的侧重点和成果显示来看，目前越来越多的研究集中于图像和几何信息之间相结合的方法，这样能使绘制效果更加完美逼真。

2 无几何信息的IBR 绘制

无几何信息的IBR 绘制方法都是基于全光函数及其变形的。早期的全光函数(PlenOptic Function)是由Adelson 和Bergen 命名的，简单的讲它描述了构成场景的所有可能的环境映照（Environment map）。若记录光线的照相机的位置为(Vx,Vy,Vz)，光线的方向为(θ,Ф)，光波波长为λ，光强随时间t 变化，则全光函数可以表示为：

P7=P(Vx,Vy,Vz,θ,Ф,λ,t)

在上式中，场景内的所有光线构成了一个全光函数。基于此，IBR 技术可以归结为以离散的样本图。

像重构连续的全光函数的过程，即采样、重建和重采样过程。表1 给出了在各种对视域假定和限制情况下7D 的全光函数被简化为从6D 到2D的各种形式，以及一些文中提到的有代表性表示方法。

2.1 全光模型（PlenOptic Modeling）

McMillian 和Bishop 在文献[7]中对全光函数做了简化，假设场景的光波不变，且场景不随时间发生变化，则可以忽略场景的波长λ和时间参数t，全光函数从而简化为5 维函数，即：

P5=P(Vx,Vy,Vz,θ,Ф)

这是一个柱面全景图的集合，这种表示在所有五维上都存在大量的冗余，而且方法中没有解决立体对应的问题。有关5D 全光函数其他的应用实例可见文献[2]

中。

2.2 光场（Light Field）和光亮度（Lumigraph）绘制

Light Field 和Lumigraph 的研究表明，若我们在包围场景的一个包围盒外对场景进行观察，且场景中的每一个矢量方向只存在一根光线（即场景无遮挡），则5D 的全光函数可以简化为4D 的光场函数：

P4=P(u,v,s,t)

上式中(u,v)和(s,t)是两个参数化的平面，若场景的包围盒是一个6 面体，则我们需要6 组这样的参数化平面表示场景的所有光线。在Light Field 系统中，为了得到均匀的采样图像，他们采用了专门的装置来采集图像样本，同时为了减少绘制的走样，图像数据预先进行了滤波处理。这Lumigraph 的绘制利用了场景的部分几何信息，因此它不需要专门的图像采集装置，从而减少了场景的采样密度。两种方法的缺点是只解决了没有遮挡的、光照固定的、静态对象的表示及绘制问题，而没有解决完全的虚拟环境漫游。

2.3 面全光函数(The surface plenoptic function-SPF)

SPF 首先在文献[3]中被提出，Cha 等分析了IBR 绘制中的光谱特性，观察全光函数的生成，很明显，自由空间中的每一条光线都有个光源。可能是像太阳那样的某个发光体发出来的，也可能是被物体阻挡反射的。如果物体是透明的，还会有折射现象。

2.4 同心拼图(Concentric Mosaics)

文献[4]中Shum 等把照相机固定在一个圆轨迹上运动，照相机光心朝外，从而得到3D 形式的全光函数，我们称之为同心拼图。光场(Light Fields) 技术把全光函数缩小到了4D 表达，但数据量仍然十分庞大而且不容易采集。同心拼图技术有效的解决了这些问题，使得数据采集变得非常简便，并且是以3D 的形式表达，从而提供了很好的应用前景。

Sun 等在文献[5]中，设计了一个简化的同心圆拼图系统，以往的同心圆拼图系统难点在于普通用户对参考图像精确拍摄时相机旋转问题，而在此系统中，相机的位置不用精确控制，而是从预先拍摄的图像中估计出来的。其中利用了立体技术代替传统的计算机视觉方法估计确定相机位置。其中的不足在于特征匹配错误导致的相机位置估计不准确，有待进一步的改进。

3 基于部分几何信息的绘制

有一类IBR 绘制只需要很少的输入图像，但绘制依赖于图像之间的匹配信息。因为几何信息在这种方法中并不是直接明显的，所以称这类方法为基于部分的几何信息的绘制。该方法同时采用几何及图像作为基本元素来绘制画面的技术，根据一定的标准，动态地将部分场景简化为映射到简单几何体上的纹理图像，若简化引起的误差小于给定阈值，就直接利用纹理图像取代原场景几何来绘制画面。这种绘制技术可以在一定误差条件下，以较小的代价来快速生成场景画面，同时仍保持正确的前后排序，所生成的图形质量也很高。

3.1 视图插值技术（View interpolation）

给定两幅图像样本，若它们之间的光流信息已知，则可以重构出任意视点的新图像，这就是Chen 和Williams[6]的视图插值技术。这种方法在两幅样本的视点很近时非常有效，否则绘制会出现“折叠”现象。另外当两幅样本图像之间的距离过大时，图像的共同区域将会非常小，从而影响绘制结果。当图像样本的拍摄朝着同一个方向时，视图插值方法效果最好。Sun 等在文献[7]中提出一种新的

基于匹配（Matching-Based）的视图插值技术，将大的场景区域划分成小的子区域，把虚拟相机的新视图插值到预先拍摄图像的临近区域。其中的子区域是三角形的，这种方法避免了对预捕获图像的相机位置的限制。

3.2 视图变形技术（View morphing）

Seitz 和Dyer[8]的视图变形技术可以用两幅输入图像生成两个参考视点连线

之间的任何新的场景数据。另外，Nguyen 等提出一种假定深度信息已知把真实相机所有的参数信息传递给虚拟相机的基于电磁波的算法，这种方法使IBR问题转变成一个在虚拟相机图像平面上进行非均匀的插值的问题，可以在所有象素点一次性的高效完成[9]。

3.3 边界光场（Boundary Light Fields）

石教英等提出一种基于3D 全光函数和场景几何相结合的方法-边界光场不像同心拼图那样把光线束载体定在原始的全光采样点，而是以景物几何为自然的光线束载体，实际上是将场景的几何信息与图像数据混合在2D 运动的IBR 系统中。边界光场方法克服可无几何信息辅助的同心拼图的一些缺陷，利用自适应的全光采样模式，根据场景复杂度或用户要求组织采样数据，降低了场景的数据量，纠正了较大的深度变形。但仍无法摆脱3D 全光函数的限制，保持数值视差[10]。

4 基于完全几何信息的绘制

这一类绘制的前提是已知完全的场景的三维信息，这种信息可以是场景的深度信息，也可以是场景的三维坐标，传统的三维理映射就归于此类。

4.1 三维折叠变换（3D warping）

当输入的一幅或多幅参考图像中每一个象素的深度信息已知时，三维折叠变换可以方便地生成参考视点邻近区域的新视点场景，投影参考图像的一个象素到已知的三维空间，随后重投影该点到新视点的图像平面就可以得到新的视点场景。三维折叠变换有一个缺陷就是容易在视觉效果上产生“裂缝”，这是因为视域的限制，这些边界空缺是由于当视线旋转时没有及时更新完整的新图像信息，结果会导致视觉上的“空洞”。

4.2 层次深度图像（Layered depth image，LDI）

为解决三维折叠变换中输出图像的“空洞”和“裂痕”，Shade 等学者提出了层次深度图像的绘制方法在这种方法中，输入图像的每一个像素存储了一个链表，这个链表保存了从视点出发的一条光线与场景的每个交点（包括被遮挡的不可见的部分）的颜色信息和深度信息。

4.3 基于视点的纹理映射(View-dependent texture maps)

纹理映射方法被广泛应用于高度真实感图形的绘制。它需要完全场景的三维模型，对于合成场景，可以用CAD 工具生成几何模型；而对于真实场景，用三维扫描仪或视觉方法也可以生成三维模型，不幸的是视觉技术和三维扫描仪不足以建立精确的三维模型。因此Debevec 等学者提出了三维折叠变换和多幅图像组合的方法进行纹理映射，部分地实现了传统纹理影射所不能实现的视觉效果。文献[11]中提出了用双向纹理函数对表面纹理绘制的新方法。文献利用LDI 和Warping 技术形成柔和阴影的方法，基于图像的绘制最终也是要实现诸如阴影、反射、透明度等光照效果的，这在许多文献中都已经越来越多的被关注，如文献[12]中提出利用空间变化的双向反射分布函数（SBRDF）对表面反射效果的恢复。

5 总结与展望

本文对目前基于图像的绘制技术（IBR）做了综述性介绍，并讨论了各个分类中相关的表示方法的特征及其数学描述。通过对各种IBR 技术的分析可以得出结论：图像和几何实际上是一个连续的统一体。

随着计算机图形学、虚拟现实和多媒体通信等领域中对复杂真实感场景的需求与日俱增，该技术必将获得更大发展。尽管对基于图像的绘制技术的研究已经取得了若干令人振奋的成果，但下述几个方面仍然是今后研究的热点和难点问题，迫切需要引起研究人员的高度关注：场景的高效表达；绘制的性能问题；图像的采集；表面细节的恢复。

参考文献：

[1] ZHANG Cha . A Survey on Image-Based Rendering: Representation, Sampling and Compression[J],SP:IC(19),2004(1):1-28.

[2] Kang S B, Szeliski R. 3D Scene Data Recovery Using Omni-directional Baseline Stereo [A].IEEE Computer Vision and Pattern Recognition (CVPR 96)[C],1996:364-370.

[3] Wood D N. Surface light field for 3D Photography[A].Computer Graphics(SIGGRAPH'00)[C],2000:287-296.

[4] Shun H Y and He L W. Rendering with concentric mosaics[A]. In Proc. SIGGRAPH 99[C],1999:299-306.

[5] Sun X, Dubois E. A simplified concentric mosaics system with

non-uniformly distributed pre-captured images[A].Proc. Visual Communications and Image Processing, (Beijing, China), SPIE vol.

5960[C],2005:1255-1266.

[6] Chen S, Williams L. View interpolation for image

synthesis[A].(SIGGRAPH'93)[C],1993:279-288.

[7] Sun X, Dubois E. A matching-based view interpolation scheme [A].Proc. IEEE Int. Conf. Acoustics Speech Signal Processing(Philadelphia,

PA)[C],2005:877-880.

[8] Seitz S M, Dyer C M. View morphing [A].In Computer Graphics Proceedings, Annual Conference Series,Proc.SIGGRAPH'96 (New

Orleans)[C].August 1996:21-30.

[9] Nguyen H T, Do M N. Image-based rendering with depth information using the propagation algorithm [A]. Proc. of IEEE ICASSP[C]. Philadelphia, 2005.

[10] 梅春晖,石教英.边界光场[J].计算机辅助设计与图形学学

报,2003,15(8),972-978.

[11] Liu X G, Zhang J D, Zhang J D.Synthesis and rendering of bidirectional texture functions on arbitrary surfaces [C].IEEE Transactions on Visualization and Computer Graphics,2004:278-289.

[12] Zickler T, Enrique S, Ramamoorthi R. Reflectance Sharing:

Image-based Rendering from a Sparse Set of Images [J].Rendering Techniques 2005,253-264.