光场相机解码-刘超俊
一种应用相机阵列实现图像遮挡物移除的方法
第37卷第4期2022年4月Vol.37No.4Apr.2022液晶与显示Chinese Journal of Liquid Crystals and Displays一种应用相机阵列实现图像遮挡物移除的方法杨墨轩，赵源萌*，朱凤霞，张宏飞，张存林（太赫兹光电子学教育部重点实验室，太赫兹波谱与成像北京市重点实验室，北京成像理论与技术高精尖创新中心，首都师范大学物理系，北京100048）摘要：针对光路中前景遮挡物影响感兴趣信息采集的问题，本文对应用相机阵列的遮挡物移除算法进行实验研究。
用阵列型光场相机采集四维光场数据，然后用数字重聚焦技术进行不同深度的重聚焦，突出目标物细节特征。
利用图像重构技术合成子图像阵列，选择最小误差阈值分割法标记遮挡物区域并复现原图像的细节特征。
实验结果证明了应用阵列型光场相机移除遮挡物的可行性，及其改善图像质量、复现遮挡区域图像、提高图像可读性、降低噪声影响的能力。
依据无参考的图像质量评价指标，本文算法在重构图像质量上SNR与PSNR分别提升了17.3%与77.6%。
关键词：光场采集；数字重聚焦；图像重构；遮挡物中图分类号：TP391；O436文献标识码：A doi：10.37188/CJLCD.2021-0255Method of the image de-occlusion by using focal plane cameraYANG Mo-xuan，ZHAO Yuan-meng*，ZHU Feng-xia，ZHANG Hong-fei，ZHANG Cun-lin （Key Laboratory of Terahertz Optoelectronics，Ministry of Education，Beijing Key Laboratory for Terahertz Spectroscopy and Imaging，Beijing Advanced Innovation Center for Imaging Theory and Technology，Department of Physics，Capital Normal University，Beijing100048，China）Abstract：In order to address the problem that the foreground occlusions in the light path affect the acquisi‐tion of information of interest，this paper explores the de-occlusion algorithm based on the application of the camera array through experiments.The array light field camera is used to collect4D light field data，af‐ter which the digital refocusing technology is employed to perform refocusing at different depths so as to highlight the detailed features of target objects.The experimental results support the feasibility of applying the array light field camera to remove occlusions，as well as its ability to enhance the quality of images，re‐produce the image of occluded areas，improve the readability of images，and mitigate the effects of noise. According to the no-reference image quality assessment，in terms of the quality of reconstructed images，the algorithm in this paper can improve the signal to noise ratio（SNR）and peak signal to noise ratio 文章编号：1007-2780（2022）04-0494-07收稿日期：2021-10-09；修订日期：2021-11-21.基金项目：国家自然科学基金（No.61875140）；首都师范大学分类发展-学位点建设与研究生教育立项及研究生高水平学术创新项目（No.008-2155089）；科技创新服务能力建设-基本科研业务（No.20530290044）Supported by National Natural Science Foundation of China（No.61875140）；Classified Development ofCapital Normal University-Construction of Academic Sites，Project Approval of Graduate Education andHigh-Level Academic Innovation Project of Graduate Students（No.008-2155089）；Scientific and Techno‐logical Innovation Service Capacity Building-Basic Scientific Research Services（No.20530290044）*通信联系人，E-mail：*********************.cn第4期杨墨轩，等：一种应用相机阵列实现图像遮挡物移除的方法（PSNR）by17.3%and77.6%，respectively.Key words：light field acquisition；digital refocusing；image reconstruction；occlusion1引言在计算机视觉领域中，目标物前出现遮挡与目标物出现混叠时都会对数据采集造成影响。
光场相机在湍流下的清晰成像和点云计算
第49卷第11期Vol.49No.ll红外与激光工程Infrared and Laser Engineering2020年11月Nov. 2020光场相机在湍流下的清晰成像和点云计算张烜喆u’3,王彦3,王佳华3,侯再红杜少军3(1.中国科学院合肥物质科学研究院，安徽合肥230031;2.中国科学技术大学科学岛分院，安徽合肥230026;3.国防科技大学前沿交叉学科学院，湖南长沙410073)摘要：无变形镜条件下抵抗大气湍流影响获取几百米至几十公里外目标的清晰成像和点云数据具有重要意义。
光场相机是清晰成像和点云计算领域的有力工具，但是它在湍流条件下无法正常工作。
同时光场相机支术的主要研究方向集中在如何提高点云的精度和密度，暂无人将其应用于湍流清晰成 像。
基于相空间光学原理改进了光场相机的信息提取算法，在湍流条件下完成了清晰成像和点云计算。
这种算法使用四维密度函数来描述复眼结构，对原始数据的使用更加充分，能够提取物点完整的低阶相位信息，因而，可以抵抗湍流对局部子孔径的影响，稳健地获取目标点云，解算深度图并得到全聚焦清晰成像。
根据这一原理设计了光场相机系统，探测室内湍流池后方的目标以及室外湍流下500m处目标，均获得了 4 k以上个物点的准确低阶相位分布，给出了目标的三维点云图和清晰成像。
结果表明，该方法无需变形镜系统，也不需要先验信息，是一种稳定工作的解析算法。
关键词：去瑞流清晰成像；三维点云；光场相机；相空间光学中图分类号：0439 文献标志码：A DOI：10.3788/IRLA20200053Image clarification and point cloud calculation underturbulence by light field cameraZhang Xuanzhe1，2'3, Wang Yan3, Wang Jiahua3, Hou Zaihong1’2, Du Shaojun3(1.Hefei I n s t i t u t e s of Physical Science, Chinese Academy of Sciences, Hefei 230031, China;2.Science Island Branch, University of Science and Technology of China, Hefei 230026, China;3.College of Advanced I nterdisciplinary Studies, National University of Defense Technology, Changsha 410073, China)Abstract:It is of great significance to obtain clear imaging and point cloud data of targets from hundreds to dozens of kilometers away under atmospheric turbulence without deformable mirror.Light field cameras are powerful tools in the field of image clarification and point cloud calculation,but they don't work well in turbulent conditions.Meanwhile,the main research direction of light field camera technology focuses on how to improvethe precision and density of point cloud,and no one applies it to turbulence image clarification temporarily.Thisjob was finished by improving information extraction algorithm of light field camera based on phase space optics. This algorithm was more fully to use RAW data,because of adopting four dimensional density functions to describe the structure of compound eye,and therefore,it could resist the influence of turbulence on local sub-aperture images,acquire target point cloud steady,calculate the depth map and clarify turbulence-degraded image. Light field camera based on such method acquired more than 4 k accurate wavefront distribution,when it was used for detecting indoor target behind the turbulence pool and outdoor target500 m far from the camera,and3D收稿日期:2020-02-16;修订日期:2020-03-20作者简介:张烜喆（1981-)，男，助理研究员，博士生，主要从事光场相机和相空间光学方面的研究。
LYTRO相机光场图像深度估计算法及重建的研究
LYTRO相机光场图像深度估计算法及重建的研究孙福盛;韩燮;丁江华;刘涛【摘要】Light-field cameras have now become available in both consumer and industrial applications. It is an important research subject to reconstruct the object by using the light field camera. In the course of practical research, the spatial information of the Lytro camera and the angle information are reused in the same sensor, which leads to the low resolution of the image, and the reconstruction effect is not ideal. In order to solve this problem, this paper presents a method of sub-pixel image depth estimation, performing the sub-pixel shifts based on multi-label of sub-aperture images in the frequency domain, building the matching cost volume reference to center view image. Then the use of the guide filter suppresses noise while keeping the edge of the image well, and matching cost behavior of multi label is optimized, the accurate depth estimation results are obtained. Finally, the surface rendering and texture mapping of the target depth map are processed, and finer results are obtained. The experimental results show that the proposed algorithm can solve the problem of fuzzy reconstruction in the reconstruction of complex objects with good performance.%光场相机目前已广泛应用于消费领域和工业应用领域,利用光场相机对目标物进行深度重建成为了一项重要的研究课题.在实际研究过程中,Lytro相机空间信息与角度信息复用于同一传感器,导致图像分辨率较低,从而使得重建效果不甚理想.为解决这一问题,提出了一种亚像素精度的光场图像深度估计方法,在频率域对子孔径图像进行多标签下的亚像素偏移,以中心视角图像为参照,建立像素匹配代价行为;使用引导滤波抑制噪声的同时保持了图像边缘;对多标签下的匹配代价行为进行优化,得到精确的深度估计结果.对目标深度图进行表面渲染、纹理映射等重建处理,得到较为精细的重建结果.实验结果表明,该算法在对复杂度较高的物体进行重建时,解决了重建模糊等问题,有较好的表现.【期刊名称】《计算机工程与应用》【年(卷),期】2018(054)013【总页数】6页(P175-180)【关键词】亚像素精度;多标签;图像匹配;图像分割;深度估计;三维重建【作者】孙福盛;韩燮;丁江华;刘涛【作者单位】中北大学计算机与控制工程学院,太原 030051;中北大学计算机与控制工程学院,太原 030051;中北大学计算机与控制工程学院,太原 030051;中北大学计算机与控制工程学院,太原 030051【正文语种】中文【中图分类】TP391.411 引言图像的深度估计是计算机视觉研究中的一个基本问题，它在机器人学、目标跟踪、场景理解和三维重建中有着重要作用[1]。
Mars说光场（4）—光场显示
Mars说光场（4）—光场显⽰沉浸感按：光场技术是⽬前最受追捧的下⼀代显⽰技术，⾕歌、Facebook、Magic Leap等国内外⼤公司都在⼤⼒布局。
然⽽⽬前国内对光场（Light Field）技术的中⽂介绍⼗分匮乏，曹煊博⼠《Mars说光场》系列⽂章旨在对光场技术及其应⽤的科普介绍。
曹煊博⼠系腾讯优图实验室⾼级研究员。
优图— 腾讯旗下顶级的机器学习研发团队，专注于图像处理、模式识别、深度学习。
在⼈脸识别、图像识别、医疗AI、OCR、哼唱识别、语⾳合成等领域都积累了领先的技术⽔平和完整解决⽅案。
《Mars说光场》系列⽂章⽬前已有5篇，包括：《Mars说光场（1）— 为何巨头纷纷布局光场技术》；《Mars说光场（2）— 光场与⼈眼⽴体成像机理》；《Mars说光场（3）— 光场采集》；《Mars说光场（4）— 光场显⽰》；《Mars说光场（5）— 光场在三维⼈脸建模中的应⽤》；沉浸感经授权发布。
重现⼀个真实的三维世界，实现类似于《阿凡达》电影所展⽰的全息显⽰，是⼈类长久以来的梦想。
如果能采集并投射出全光函数中7个维度的光线，将能使环境中所有⼈同时获得⾝临其境的全息视觉体验。
光场作为理想的3D显⽰技术与传统2D显⽰有着明显的区别：传统的2D显⽰器只能提供仿射、遮挡、光照阴影、纹理、先验知识五⽅⾯⼼理视觉信息。
光场显⽰除了能产⽣传统2D显⽰器的所有信息外，还能提供双⽬视差、移动视差、聚焦模糊三⽅⾯的⽣理视觉信息。
在光场显⽰技术发展过程中，出现了多种光场显⽰技术⽅案，引起⼴泛关注和研究的主要有五种技术：（1）体三维显⽰（Volumetric 3D Display）；（2）多视投影阵列（Multi-view Projector Array）；（3）集成成像（Integral Imaging）；（4）数字全息；（5）多层液晶张量显⽰。
关于三维显⽰的详细发展历史及其应⽤可以参见[1-11]。
图 1. 电影《阿凡达》中描绘的光场全息三维军事沙盘⼀体三维显⽰体三维显⽰技术[12,13]主要通过在空间中不同深度平⾯显⽰不同图像来实现。
光场技术:让用户拥有更自然的景深
光场技术：让用户拥有更自然的景深佚名【期刊名称】《发明与创新（综合科技）》【年(卷),期】2017(000)010【总页数】2页(P46-47)【正文语种】中文当你走过一扇窗，你会发现什么？也许是窗外色彩缤纷的景色，也许是徐徐吹来的凉风，但最重要的是，你在窗子的正面和左右角度看到的东西有很大差异。
那么，如果说你刚才经过的不是窗户，而是一台电视机呢？当然，眼下的电视机是无法达到这种体验的——因为它只是单纯的2D平面。
要让电视机真正实现“窗户”的感觉就要倚仗光场技术，而这也很有可能是未来VR（虚拟现实）/AR（增强现实）的显示技术。
“严格来说，国内VR领域的企业缺乏核心技术。
”谈及技术，叠境数字科技（上海）有限公司创始人、上海科技大学教授虞晶怡毫不留情地说。
目前，VR内容制作主要有两种主流方法：一是利用全景相机拍摄360度视频，即360度环拍技术；二是利用更加高端的软件建模技术，利用计算机工具打造更具沉浸感的VR游戏或视频。
但在虞晶怡看来，这些都不是VR内容制作最理想的方法。
大约20年前，出现了一种影响深远的虚拟现实技术叫Quick-Time VR。
这项技术很简单：拿手机拍一圈，把照片拼成一个360度的图片，现在手机上就能实现这个功能。
“现在市面上很多做虚拟现实的公司就是用的这样的技术！1996年的技术！”“360度环拍技术最大的问题就是无法实现动态视觉。
”虞晶怡解释，人眼重叠的区域特别大，在重叠区域里，由于左眼和右眼看到的东西一样，就会形成动态的视野，这就是人眼的3D识别。
然而，360度环拍技术无法实现这一功能。
早在1995年，苹果就发布了一款主要拍摄360度图片的QuickTime VR相机。
虞晶怡试图将QuickTime VR相机的技术运用到旅游上，并用360度环拍技术拍摄了拉斯维加斯赌场等地的全景照片，但最后却发现做出来的全景照片并不怎么吸引人。
虞晶怡认为这个问题直到今天依然存在。
同样，软件建模技术虽然更高端，但不够真实的缺点依然存在。
基于光场相机的深度面光场计算重构
基于光场相机的深度面光场计算重构陈琦;徐熙平;姜肇国;尹鹏;王鹤程【期刊名称】《光学精密工程》【年(卷),期】2018(026)003【摘要】光场相机与传统相机不同,通过在主镜组和传感器间特定位置设置微透镜阵列,实现在采集物方光强的同时记录光线方向.为了重构物方光场,研究了基于光场相机的深度面计算重构算法,对该算法所采用的焦点堆栈、投影切片定理进行研究.首先,对四维光场定义及光场相机工作原理进行分析;建立了相机内部深度面重构模型,分析了投影切片定理在深度面获取的应用,并推导出不同深度面图像表达式;根据得到不同深度位置图像,研究了计算重构算法,搭建了含有微透镜阵列的微型单相机光场采集系统,采集原始光场,利用本文方法实现了物方光场的逆向重构.实验结果表明:利用本文重构算法,光场相机采集的物方光场可通过滤波计算方法逆向重构,通过重构光场数据可获得物方场景深度信息.本文深度面获取算法较其他算法节省30％以上的时间,各深度面图像峰值信噪比在25～30 dB之间,实现了高精度、稳定可靠的计算光场重构.【总页数】7页(P708-714)【作者】陈琦;徐熙平;姜肇国;尹鹏;王鹤程【作者单位】长春理工大学光电工程学院,吉林长春130022;长春理工大学光电工程学院,吉林长春130022;长春理工大学光电工程学院,吉林长春130022;长春理工大学光电工程学院,吉林长春130022;长春理工大学光电工程学院,吉林长春130022【正文语种】中文【中图分类】O438【相关文献】1.基于光场相机的深度图像获取技术研究 [J], 牛朦朦2.LYTRO相机光场图像深度估计算法及重建的研究 [J], 孙福盛;韩燮;丁江华;刘涛3.基于双光场相机的高分辨率光场三维PIV技术 [J], 梅迪;丁俊飞;施圣贤4.基于虚拟深度的聚焦型显微光场相机深度测量标定 [J], 钱天磊; 周骛; 马原驰; 刘慧芳; 蔡小舒5.基于相位重构的计算全息再现光场中噪声的消除方法 [J], 庞永杰;钱晓凡因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Part Four
疑问
疑问
Thank you 感谢聆听
通过使用彩色滤波阵列覆盖在CCD表面获取颜色信息。
依据彩色滤波阵列不同和通过光线谱段不同，彩色滤波阵列可 分为许多种类，如：Bayer(red,green,blue)、 CMYW(Cyan,magenta,yellow,white)等。
Bayer彩色模板
在Bayer颜色滤波阵列中，RGB三色的感光单元不是平局分布的。 基于人眼对绿色比较敏感，绿色占50%，红色和蓝色各占25%（如下图所示）。
然后对全部倾斜角求平均作为微透镜阵列的倾斜参数。 纵向数量、倾斜角度等等。 峰值点。
通过前面获取的峰值点，求出微透镜间的中心间隔，然后通过拟合
光场解码
读取的源图像 和匹配的白图像 建立新的微透镜 阵列网格模型
曝光归一化
Bayer解码
解码得到四维光 场
分别对Bayer解码后的图 像和白图像做仿射变换
中的位置和方向分布，可
以用光线与两个平行平面 的交点坐标来进行参数化
表征。
如图 1 所示，L( u，v，x，y) 表 示光场的一个采样，其中 L 为光 线强度，( u，v) 和( x，y) 分别为
光线与两个平面的交点坐标。
Part Two
Bayer解码
彩色相机工作原理
3—CCD彩色相机
单个CCD如何重建彩色图像？
2*2领域像素复制插值（以RGGB为例）
该算法的优点是计算简单 但在图像细节和边缘处会产生明显的“锯齿效应”
色彩还原的结果：2*2块内的像元 具有相同的红色和蓝色，第一列 和第二列的两个像元具有相同的 绿色值。
3*3领域双线性插值（以RGGB为例）
蓝色插值与红色插值相似
该算法在图像平滑区域有较好的处理效果，在图像边缘
上的采样间隔保持一致，在重采样时横向间隔调整
为sqrt(3)/2。
光场重采样（1）-线性插值
以微透镜横向序号为横坐标，X=[0,1,2,3,4,5,······]（理解为横
向间隔为1），以同一行的每个微透镜上的相同位置的像素 点的灰度值作为纵坐标，进行线性拟合。然后用一个调整间 隔后的向量newX=[0,sqrt(3)/2,sqrt(3),……],进行插值，得到 新的灰度值。
计算机中存储形式 为M*N*3的矩阵
四维信息（位置、方向）
计算机内存储形式为s*t*u*v*4的 五维矩阵,其中s*u=M,t*v=N
微透镜中心标定（解码预处理）
原始光场白图像
白图像数据提取
白图像圆形区域
均值滤/高斯滤波
得到各个子区域 的峰值点
对白图像网
格做圆形区
完成中心标定
域均值滤波 建立网格模型
光场重采样（2）-对每个微透镜子图内部进行重采样
因前面在建立微透镜网格模型时将网格模型中微透镜的横向纵向间隔强制转化为整数，
造成在单个微透镜里面像素元间横向纵向采样间隔不同，此处进行插值重采样。
以每个微透镜内部的像素点横向（或纵向）索引为横坐标， X=[-8,-7,-6,…,0,…,6,7,8]（理解为横向间隔为1），对应的 灰度值为纵坐标，进行线性拟合。然后用一个调整间隔后的 向量（与原间隔从非整数转化为整数的缩放比例相关）进行 插值。调整之后，单个微透镜内横纵向采样间隔保持一致。
在前面得到的光场数据中，假设此处微透镜子图像可以表 示为LF（：，：100,100,1:3）,则其右（左）下角微透镜阵 列子图像为LF（:，：，101,100，1:3）。
通过线性插值的方法，在此处插值出与新的微透镜子图像。 并将其存储为LF（:，：，101,100，1:3）。对整张图像做这
样的处理，使得列号相同的微透镜子图像在采样位置上不存
（结构体） 或者高斯滤 通过读取预先生成的文件得 波，目的是 建立狄洛尼（Delaunay ）三 利用前面求出来的结构体建立理想微透镜网格，通过理想微透镜网格 到白图像对应的相机序列号、
峰值点线性拟合
三角化处理
得到每个网 与实际的微透镜网格之间的差值作为补偿，更新网格模型中的相关参 角网，目的是为线性拟合确定 得出的倾斜角度对该间隔进行校正。建立网格模型结构体，结构体 变焦设置等相关参数 横向和纵向分别拟合出多条直线，并分别求出每条直线的倾斜角， 格小区域的 数（两个方向上的微透镜阵列数、网格左上角起始位置等。 包含微透镜阵列网格的基本信息，微透镜横 /纵向间隔，微透镜横/ 每个峰值点的相邻点。
Bayer重建全彩图像
基于Bayer模板的结构特点，通过Bayer模板获取的图像信号分辨率低于相机感光单元的分辨率。
如：相机感光单元总数为1024*1024，实际得到的图像只有512*512个R，512*512*2个G，512*512个B。 为了提高图像质量，需要通过色彩还原方法恢复另外两个颜色分量，重建高 分辨率全彩图像。
光场相机解码
深圳大学 2016.11.29 刘超俊
基于对LFToolbox0.4的分析
目录 CONTENT
Part One
Part Two
Part Three
Part Four
光场的表征
Bayer格式解码
光场解码
光场的参数化表示
光场是指光线强度在空间
在错切。 此外，重采样过程中，还对微透镜的中心横向间隔进行调整。定义原 中心横向间隔为1，调整sqrt(3)/2。因此，经过此步骤处理之后，微 透镜横向采样间隔与纵向采样间隔相同，且横向微透镜子图像的数目 变多。
光场重采样(1)-关于采样间隔调整为sqrt(3)/2
定义原横向间隔为1，则相邻两行的微透镜中心的 垂直距离为sqrt(3)/2，所以为了使得横纵两个方向
索引为20，20的微透镜图像 即LF（：，：，20,20,1:3）
从而得到5维光场信息。
最后一个维度是4，通道1—3分别对应 RGB三个通道，通道4用来存储相应白图
像解码后的光场信息。
取出每个微透镜的第5行第5列像素点构成的 图像，即 LF（5,5，：，：，1:3）
LF（：，：，20,20,4）
光场重采样(1)-微透镜子图像间的重采样
区域，处理效果依然较差。
但是因其计算简单，该算法得到广泛应用。
此外，2004年Malvar等人提出了一种高质量线性插值方法。 （5*5领域高质量线性插值）
Lytro光场相机采集的图像经过Bayer解码后的图像
（计算机内的存储形式为m*n*3的矩阵）
Part Three
光场解码
光场解码
二维信息（位置）
微透镜间-光 场重采样 未经处理的源图像
微透镜内-光 场重采样
曝光归一化
曝光归一化。目的是消除微透镜阵列的渐晕 效应，以及传感器的固定模式噪声和暗电流 噪声。
曝光归一化后的图像
Bayer解码（GRBG）
重建全彩图像
重建网格模型
经过白图像处理得到的 网格模型中，微透镜间 的间隔，中心坐标等都
不是整像素。这里将其
强制转化成整像素间隔。
对白图像和经前面处理后的图像做仿射变换
因为微透镜整列的加工制作不可避免地造成微透镜位置的微小偏差， 如同一排的微透镜不是在一条水平线上。
变换后
变换前
获取四维光场信息
根据前面已经求取的网格模型（包含微透 镜阵列中心间隔，起始点位置等信息）， 建立一个5维矩阵LF（s*t*u*v*4,其中 s*u=M,t*v=N），并对其元素进行赋值，