光场成像原理

————————————————————————————————作者：————————————————————————————————日期:

光场成像理论

1. 光场概念 (3)

1.1 七维全光函数 (3)

1.2 全光函数的降维 (3)

2. 光场采集设备的发展与典型结构 (4)

2.1 多相机光场采集 (5)

2.2 单相机光场采集 (8)

3. 微透镜阵列的光场采集 (13)

3.1 基于针孔阵列的光场采集 (13)

3.2 基于微透镜阵列的光场采集 (15)

1. 光场概念

1.1 七维全光函数

光场(Ligh ｔｆｉeld)的概念最早于1936年由Ａ．Gershun 提出，用以描述光在三维空间中的辐射传输特性。1991年,E ．ａdels ｏｎ和J.Bergen 根据人眼对外部光线的视觉感知，提出全光函数(Ple ｎo ｐti ｃ functio ｎ)，利用七维函数表征场景中物体表面发出(或反射)的光线。

在全光函数可以表示为：

7(,,,,,,)P P x y z t θ?λ=

其中，,,x y z —表征光纤中任意一点的三维坐标;

,θ?—表征光纤传输方向

λ—表征光线波长

t —表示时间

此时,全光函数7(,,,,,,)P P x y z t θ?λ=表示了波长为λ的光线t 时刻经过三维空间中坐标为(,,)x y z 的点,且传播方向为(,)θ?的一条光线。与只包含位置信息的光场不同,全光函数的七维表示增加了光线的色彩信息及动态变化。

１.2 全光函数的降维

根据全光函数7(,,,,,,)P P x y z t θ?λ=的意义,当光线在自由空间中传播时，其频率(即波长λ）不发生变化,对于静态场，此时全光函数可由七维降至五维,即

5(,,,,)P P x y z θ?=

由于观察者往往受限于目标的成像范围，此时五维光场出现一位冗余,当给定光线在自由空间的辐射不发生变化，因此在限光器的空间范围内,五维光场可以表示为四维光场。

四维光场的参数化表征可有一下三种方式：

1) 方向-点参数化表政法。

利用光线与平面的交点(,)x y 和光线方向(,)θ?作为四维参数来描述光场中的光线。

2) 球面光场参数表征法。

利用紧紧包围三维物体的球面上两点,可以表征球面封闭范围内任意一条光线的传播。尽管该参数表征方式采样均匀,但无法表征与球面相切的光线。

3) 双平面参数化表征法。

双平面参数化表征法是采用光线与两个平行平面的焦点坐标来对光场中光线进行参数化表征。其表达形式为(,,,)L s t u v ，其中(,)s t 和(,)u v 分表是光纤盒两平面的坐标交点。

由于实际中大部分成像系统都可以简化成两个相互平行的平面，如传统光学系统中的光瞳面和探测器像面，因此双平面参数化表征法具有较高的合理性和实用性。

图１.1 三种光场参数化模型

2. 光场采集设备的发展与典型结构

区别于传统成像方式，光场成像是一种计算成像技术,对捕获光场信息进行相应的数字处理才能得到相应的图像信息。从目前光场相机的结构组成上区分，可分为多相机阵列和单相机改造两种方式。

多相机阵列采集光场信息是通过相机阵列对同一目标进行成像，因为每一个相机分别处于不同视角,因此对应光场的一个方向采样。

单相机改造结构是利用在单个相机中引入光学调制元件，改变成像结构进行如何光场的

重新采集，实现将入射的四维光场重新分布在二维探测器平面。

２.１多相机光场采集

在多相机阵列出现之前，一般通机械移动装置实现相机多目标多视角图像采集。其中典型结构包括Ｍ.Levｏy所设计的移动机械臂和Ａ.Isａksｅn等人设计的二维移动平台。

自１９９６年,美国斯坦福大学的Mａrc Lｅｖoｙ等人将相机固定到一个广场采集支架,如图2.1所示。利用支架的二维平移和二维转动实现四个自由度的调整，仅为完成目标广场的完成采集。

在2０00年，根据斯坦福实验室所设计的移动机械臂原理,Ａ．Iｓaｋseｎ等人设计了类似的二维移动平台驱动相机进行光场采样,如图2.2所示，利用光场参数的变化实现不同的成像应用,包括改变景深及调节焦点。当相机在平台上能够移动较大范围距离时,合成光场能够穿透遮挡物对其后目标进行图像的重构。

图2.1 斯坦福采集光场平台

图2．2 二维移动平台和相机

在20０２年，J.C.Yaｎg利用结构排列紧密的微透镜阵列代替摄像头阵列设计了一种结构紧促、成本低廉的光场采集设备,如图２.3所示。设备通过8×11 个微透镜阵列对物体进行多角度成像实现光场采集,再利用一个平板扫描仪对透镜像平面完成一次扫描,即可将所有微透镜所成的像记录到计算机中。

图2.3 采集微透镜阵列和平板扫描仪的光场采集装置

早期的多相机阵列还包括J.C.Yang等人设的8×1１个摄像机阵列(如图2.4）,以及C．Zh ａng和T．Chen设计可独立调节姿态的多相机阵列（如图2.5)。在后者的设中，每个相机都固定到一个移动机构单元中,可以各自在水平方向和两维转动方向进行调节。

图２.4 Ｊ.Ｃ.Yaｎg等人设计的实时相机阵列

图2.5可独立调节姿态的相机阵列

论是采用外部机械或是扫描仪，要完成光场的采集都需要一定的扫描周期，因此只能局限于对静态物体的拍摄,而采用多相机阵列可以弥补这一缺陷。

斯坦福大学的学者利用大型的相机阵列对光场进行捕捉与处理,对此进行全面的分析和研究。围绕成像应用领域的不同，在200３年 B.Wｉlbuｒｎ等人设计了几种不同的摄像机阵列，如图2.6.所示。通过严格控制每个相机单元的时间同步以及位置的精度，从而能精确地对光场数据进行捕捉处理，获得高分辨率光场图像。

图２．6 斯坦福相机阵列

2．2 单相机光场采集

多相机阵列的规模和尺寸限制其使用场合，而实现单相机内的广场获取则更具实际意义。

1９９２年,Ｅ.Ａdelson和Ｊ.Wanｇ设计了一种全光相机(Plｅｎoptｉc cａｍera）,其结构原理如图2．7.a所示，系统由主镜头、微透镜阵列、成像探测器组成。探测器与主镜头的光瞳关于微透镜共轭,主镜头出射的光线经过每个微透镜后投影到其对对应的若干像元上，这些像元共同组成一个“宏像素”（Maｃropixel)。此时每个宏像素的坐标对应目标像点的几何位置，二宏像素中所覆盖的每个探测器像元则代表目标的不同视角信息。在该系统的设计中,包含了一个光学扩散片和一个场景。前者的作用类似于摄影相机中的额低通滤镜,相处高于透镜阵列采样频率的高频成分；而场景的引入可以将宏像素对齐到微透镜所在位置。

在如图2.7.b所示系统中，利用中继镜头将微透镜阵列焦面上的像转接到探测器,可以解决犹豫微透镜焦距非常小导致的探测器和微透镜阵列难以直接耦合的困难。由于二次成像具有较严重的渐晕效应,因此在微透镜焦平面处加入一片毛玻璃进行匀光补偿。

图2．7 (ａ)全光相机设计结构；（b)采用终极镜头的全光相机２005年,Ｒ. Nｇ等人简化了全光相机的设计，在常规摄影相机的基础上制成手持式全光相机(光场相机）,如图2．8所示。等通探测器芯片立接安装在微透镜阵列的焦面上,减少了中继镜头所带来的额外尺寸以及渐晕效应。由于宏像素的排列次序与相应微透镜单元的排列保持一致,两者并不需要严格的对齐，因此也可以去除场镜。

图２.9中，顶部两幅图片为手持式光场相机所拍摄的光场图像,宏观上来看与常规图像没有太大区别，但从放大后的图中可以明显看出,每个微透镜所对应的宏像素均覆盖了若干个探测器像元。对二维光场图像中的像素进行重新排列，得到四维光场矩阵，将四维光场重新投影到新的像平而进行积分叠加,就可以获得不同像平而上的对焦图像。这一对焦过程完全依靠数字计算来完成，而非传统的机械对焦方式，因此称之为“数字对焦”(Digital ｒefocus ｉng)。图2.9底部三幅图片给出光场相机依次对焦到前、中、后三个、同深度位置的重构图像。

图２．９上图为光场相机结构原理图;下图为光场相机外观

图2.８光场图像与数字对焦

T．Gｅｏrgieｖ等人基于光场维度冗余性,减少光场方向维度的采样，即用较低的分辨率换取相对较高的空间分辨率。在光场相机中,减少方向采样的直接方法就是减小微透镜单元的孔径和焦距,使单个宏像素所覆盖的像元数减少。

减小微透镜单元孔径和焦距的方法分别会引入制造和处理的两大问题。为此,T.Gｅor

ｇｉｅv等人对此展开相关研究,其中A．Lumsdaine和Ｔ.Georgiev提出的光场相机2．0，又称”聚焦光场相机”，其结构如图2．９所示。探测器位于微透镜阵列之前某个有限距离处的虚拟无平面上。若该虚拟物平面和探测器分别距离微透镜a和b,那么光场相机对光场的方向分辨率为/a b,空问分辨率为探测器分辨率的/b a倍。通过调整参数a和b可以对光场方向采样和空问采样进行折衷调节。

图2．9 光场相机2.0结构

针对处理的问题,Ｔ.Georｇiev等设计了一种外置与常规相机镜头前端的微透镜阵列(或透镜-棱镜阵列）,如图2.1０所示。每个子图像为光场的一个方向维度采样,而子图像内的像元表示光场的空间采样。由于光场的方向采样数一般都远小于其空间采样数，因此采用这种排列方式能够减少子图像边缘像素的比例,因而提高了探测器像元的有效利用率。

图2.１0 采用外置透镜-棱镜阵列的光场相机

与此结构类似,由P.Ｇｒeen等人设计的多孔径相机，如图2.１1所示。多孔径相机将主镜头的孔径分割为四个同心环,目标经过每个环形子孔径所成的像，经过不同的反射光路重新分布到探测器像面。与上述光场相机在光场方向维度的二维形采样方式不同,多孔径相机只对光场的方向维度沿径向进行一维采样,将其获得的多孔径图像直接相加即可合成为常规

扣机在不同光圈下的图像。环形孔径分割方式难以直接在折射型透镜上实现，因此需采用额外的反射和中继光路,增加了整个系统的尺寸重量和工程复杂度。

图２.１1 基于环形分割的多孔径相机

C.Ｋ.Liang等人设计的一种可编程孔径相机(Progrａmｍableａperture caｍｅra），可通过多次曝光对主镜的子孔径进行采样，每次曝光只允许特定子孔径位置的光线成像到探测器。可编程孔径相机所采集到的光场具有与探测器桕当的空问分辨率，但这同时是以牺牲噪光时间或图像信噪比为代价的，多次曙光成像所形成的庞大数据量也成为额外的负担。

A.Ｖeeｒaｒａghavａn等人还提出了另一种采用编码调制的方式获取光场的方法,即外差式光场相机(Hetｅrodyne ｌight ｆield camera)，如图２.１２所示。与空域对光场进行调制的光场相机不同,外差式光场相机实现的是四维光场在傅里叶频域中的调制。在傅里叶域来看,某个深度位置所成的像就是四维光场沿相应角度θ的二维切片。如果在这个深度平面放置一片具有特定透过率函数的编码掩膜，则光线经过掩膜滤光的过程在傅里叶域表现为光场频谱与透过率函数傅里叶变换的卷积。将掩膜透过率函数设计为余弦函数，其傅里叶变换为脉冲函数，就可以实现光场频谱沿θ角度的复制和搬移。调制后的光场再会聚到探测器上,即沿零度角重新作切片采样,采样后的图像频谱中已经包含了光场方向维度的频谱信息。对光场进行解调时，将探测器图像的频谱依序重新排列,即可得到四维光场的频谱。

外差式光场相机的一个优点在于它在原始对焦面（即探测器所在平面)能够得到与探测器相同分辨率的图像，缺陷在于掩膜会滤掉相机巾的大部分光线，造成光通量的严重损失，需要增加数倍的曝光时间来进行补偿。

图2.1２采用编码掩膜的外差式光场相机

3．微透镜阵列的光场采集

不同于传统成像,光场成像利用二维探测器同时记录光场的四维信息,即二维位置分布和二维传输方向。可通过对四维光场的重新采样和分布实现四维光场向二维平面的转换。

3.1 基于针孔阵列的光场采集

如图３.１所示,在传统成像系统的探测器前方距离处放置一组等间距针孔阵列可实现光场的重采样。从镜头发出的光线经过每个针孔后投影到探测器平面形成1个子图像，子图像中一点此时就对应于镜头光瞳发出的一条光线(即一个光场采样)。若将每个子图像整体看作一个宏像素,则每个宏像素对应于光场的一个位置采样,而宏像素内的每一点对应于光场在该位置的一个方向采样；所有宏像素共同组成了光场在镜头孔径上每一点和每一个针孔位置的采样。光场的位置采样分辨率由针孔采样问隔所决定,而光场的方向分辨率则取决于其在镜头孔径上的采样次数,这是由每个宏像素内所包含的像元数所决定的。

图３.1 基于针孔阵列的光场采样

上述直观上的理解也可以从成像公式的数学推导来验证。图中D 为镜头孔径的直径，镜头与针孔阵列之间的距离为a ，针孔阵列中桕邻针孔的距为d 。

对于探测器上任意一点x 处的照度可表示为光场经过针孔过滤后的积分,即

()(,)()i

I x L u x s id du δ=-∑? (3－1)

其中()δ?表示针孔对应的Dir ａc 脉冲函数;i 为整数，id 表示每个针孔阵列所在平面上的坐标。

对于图3.1中入射的一跳光线，设其经过三个平面时的交点分别为,,u s x ,根据其几何关系可知

s u x s a b --= xa ub s a b

+=+ 引入临时变量f

ab f a b

+ 此时， f f s x u b a =

+ 将f f s x u b a

=+代入式(3-１）中,得到 ()(,)(

)i f f I x L u x x u id du b a

δ=+-∑? (,)()i

a a a L u x x u id du f

b f δ=+-∑? (,)a a a L id x x f f b =

(３-2）

当相邻自图像的边缘相切时，探测器利用率最大,根据几何关系可知:

D d a b b =+ Dd Df d a b a

==+ 将Dd Df d a b a

=+代入式(３-2)，则有 ()(,)a a I x L iD x x f b

=-? (3-3) 由于成像镜头孔径范围的限制，式(３－3)应满足 ?定义h 为镜头孔径经过一个针孔投影到探测器像面上的直径，则有

Db h a

进而得到

1122

x x i h h -≤≤+ (3-4) 由于i 为整数，因此对式(3-4)向下取整,即12x i h ??=+????。此时将i 代入式(3-2)可得 12()(,)x i h a a I x L iD x x f b

??=+????

=-∑ 1(,)2a x a L D x x f h b

??=+-???? (3-5) 直接将式(３-5）推广至四维光场可:

211(,)(,,,)22ab x a x a I x y L D x D y x y f h b h b ????=+-+-????????

(3-6) 对比式(3-6)和(3-1）,加入针孔阵列后,二维探测器上任一像点对应的是四维光场采样,而不再是积分,因此可以获得光场的位置和方向信息。

3.2 基于微透镜阵列的光场采集

针孔阵列的光场采集是基于位置维度上的点采样，这样的得采样方式缺失大量的广场位置信息，同时严重损失了成像系统的光通量。由于针孔的作用可以理解为对镜头孔径进行成像,因此可将其替换为具有同样功能的微透镜。如图3.2所示，在原针孔阵列的位置放置微透镜阵列，微透镜单元的孔径大小等于针孔采样间隔d ,而微透镜的焦距正是引入的临时变量f 。

区别于针孔采样，微透镜单元对光场位置维度进行矩形采样（或圆形采样,取决于单透镜的孔径形状)形式。这样的采样方式不会损失成像系统的光通量。图3．３给出了光场采样方式在光场坐标空间中的对比。

2a D iD x b -

≤

图3.2 基于微透镜阵列的光场采样

图3.3 针孔阵列和微透镜阵列的光场采样比较

了保证探测器像元的最大利用率，相邻微透镜的了图像应在边界处相切,即应满足Dd Df d a b a

==+,稍作变换为 a f D d

= 上式中,f d 为微透镜F 数；而a D 为主镜头F 数。因此可知，当微透镜和主镜头Ｆ相等时，探测器像元数利用率最大。

在理想条件下,若微透镜的数量为12M M ?，每个微透镜覆盖像元数(即宏像素像元数）为12N N ?,则探测器像元数为1122M N M N ?。