基于彩色数字相机的光谱反射率重建方法研究
光照变化 brdf 高光谱 反射率重建
光照变化brdf 高光谱反射率重建
光照变化（Lighting Variation）是指在不同光源照射下，物体表面产生的亮度和颜色的变化。
光照变化可以由不同的光源强度、方向和色温引起。
在计算机图形学和计算机视觉领域，研究光照变化可以帮助改善渲染、识别和重建等任务的表现。
BRDF (Bidirectional Reflectance Distribution Function) 是描述表面反射性质的函数。
它定义了在给定入射光方向和出射光方向下，表面单位面积上反射光的分布情况。
BRDF 描述了光线与表面之间的相互作用，影响着物体在不同光照条件下的外观。
高光谱（Hyperspectral）是指在非常细微的光谱范围内获取大量连续的光谱数据。
传统的彩色图像通常只包含可见光频段的红、绿、蓝三个通道，而高光谱图像则可以包含从紫外线到红外线的更广泛的频段。
利用高光谱图像，可以更详细地观察和分析物体的光谱特征，从而获得更多关于物体材质和组成的信息。
反射率重建（Reflectance Reconstruction）是指根据观测到的光照变化和物体表面的光反射特性，估计或还原出物体各个点的真实反射率值。
这一过程可以利用物体的BRDF模型和高光谱图像的数据进行。
通过反射率重建，我们可以获得更加准确和细致的物体表面光学特性的估计结果，有助于计算机图形渲染、三维重建、材料识别等应用。
成像系统中的光谱反射率重建解析
成像系统中的光谱反射率重建随着计算机图像处理技术的飞速发展,彩色图像和多光谱图像越来越多地应用于颜色信息的展现、传递以及复制。
不同的成像设备具有各自的色彩特征,而且所获得及传递的颜色信息都是设备相关的。
为了能够精确地得到颜色信息,需要对成像设备进行色彩表征,得到与设备无关的所成像物体的光谱反射率。
本文对在非线性成像系统下的光谱反射率重建方法和在反射率重建过程中代表颜色的选取方法进行了研究。
当成像系统为非线性或测量过程受到噪声干扰时,已有的光谱反射率重建方法都无法得到较高的重建精度。
例如,线性的维纳估计法无法很好地处理非线性的问题。
为了很好地处理系统非线性和测量噪声,本文研究了文献中结合多项式的普通最小二乘法和正则化最小二乘法。
实验结果表明,在光谱误差和色度误差方面,正则化最小二乘法明显优于维纳估计法和普通最小二乘法。
色彩表征过程中通常会用到标准色卡,但由于标准色卡的颜色样本数量较大,在实际成像系统中使用时有诸多不便。
考虑到颜色样本之间存在较大冗余,可从中选出具代表性的少数样本用于光谱表征。
本论文提出了一种代表颜色的分步选取算法,即首先通过假设一个虚拟成像系统,根据全局误差最小的原则,挑选出部分最具代表性的颜色,估计出实际成像系统的光谱响应函数,然后在此基础上继续选择其余的代表颜色。
实验表明,本论文所提出的方法在光谱精度及色度方面均优于先前方法。
同主题文章[1].高. 光谱反射率传感器和控制器' [J]. 红外. 2004.(07)[2].郑秀仁,潘剑君,林海,谷苗. 4种混合地物的光谱特征研究' [J]. 南京农业大学学报. 2004.(04)[3].廖金焰,姚永年,扬定国. 基于单片机的光谱反射率试验台' [J]. 自动化与仪器仪表. 2004.(06)[4].JEFF ,DOZIER,宋强. 用LandSat—4专题制图仪推求雪的反射率' [J]. 遥感技术与应用. 1987.(02)[5].武文远,孙成杰,吴晓红,金以荃,胡江华,徐松涛,徐立亚,郑建平. 光谱反射率智能化测量系统的研究' [J]. 量子电子学报. 1998.(03)[6].高. 多模式多光谱成像系统' [J]. 红外. 2000.(09)[7].高国龙. 便携式机载多光谱成像系统' [J]. 红外. 2002.(05)[8].王显厚. 太阳光谱反射率测量仪' [J]. 仪表技术与传感器. 1986.(03)[9].李元景,金永杰. 正电子心脑功能仪图象重建方法——一种特殊的不完备投影数据的图象重建方法' [J]. CT理论与应用研究. 1991.(01)[10].宋敏,张颖,郐新凯,郑亚茹. 多沟道电荷耦合器件的研究进展' [J].大连民族学院学报. 2005.(01)【关键词相关文档搜索】：电子科学与技术; 光谱反射率; 重建; 光谱表征; 多光谱成像; 代表颜色; 非线性【作者相关信息搜索】：浙江大学;电子科学与技术;沈会良;张哲超;。
基于多光谱成像的光谱反射率重建
基于多光谱成像的光谱反射率重建
RMSE =
(R - R ^) (R - R ^) N - 1
T
( 19 )
( 8) ( 9)
3 实验
实验的目的是 :1) 用 NCS ( 自然色系 ) 色卡求光 谱反射率的基向量 。2) 检验上面提出的光谱反射率 重建方法 。 用 D65 光 源 和 FMC29204 分 光 光 谱 仪 测 得 1750 个 NCS 色卡在 400 — 700nm 之间间隔 10nm 的光谱反射率 , 组成 31 × 1750 矩阵 R S 。用科学计 算软件 Matlab 中的 SVDS 函数计算出 R S 的前 13 个特征向量的特征奇异值与向量 。图 1 、 图 2 和表 1 显示了分析结果 。
RS1 , RS2 RS1 , RS2 ( 16 )
其中 ∑ 是由 r = rank ( R S ) 个由大到小排列的奇异 值组成的对角矩阵
∑ = diag (ω1 ,ω2 , …,ω
N ×N 单位正交矩阵 U 由
T RS RS
r
( 4) ( 5)
的特征向量组成 ,
U = ( e1 , e , …, eN )
且存在线性变换 Γ ,使
F
H
Γ =Θ
⊥
将 ( 9) 式代入 ( 2) 式可得 α = ( FH) T R + ( FH ) T R 再将 ( 9) 式代入 ( 10) 式 α = ΓTΘT R + ( F H ) T R 由 ( 7) 式得 α = ΓT g + ( F H ) T R
用于土家织锦颜色的光谱反射率重建系统
用于土家织锦颜色的光谱反射率重建系统杨晓莉【摘要】Reconstruction of spectral information of Tujia brocade with texture features was achieved by multi-spectral technology .The standard light booth and short wave narrow-band filters were used in multi-spectral acquisition system to reduce the effect of texture feature and enhance the spectral information in the blue violet band respectively .In the evaluationof the results of the reconstructed testing sample re-sults,the average of GFC is 99.63%;the average of RMSE is 2.52%;the average of ΔE*ab is 1.93.It can be seen from the results of the reconstruction that the algorithm and the system is available for reconstruc-tion of Tujia brocade with texture features .%针对具有纹理特征的土家织锦表面颜色复制，选用标准灯箱作为多光谱获取系统的光源环境以降低纹理特征的影响，配以短波段窄带滤色片来增强蓝紫光波段的光谱信息，进行多光谱反射率信息重建来获得高保真的土家织锦颜色复制．重建实验结果评价显示，待测样本的适应度系数GFC的平均值为99．63％；RMSE的平均值为2.52％；重建结果的色差ΔE*ab的平均值为1．93个色差．可见所采用的多光谱获取系统和光谱估计算法针对有纹理特征的土家织锦颜色的光谱反射率信息的重建具有可行性，能得到满意的结果．【期刊名称】《湖北民族学院学报（自然科学版）》【年(卷),期】2016(034)003【总页数】4页(P261-264)【关键词】光谱反射率;光谱重建;多光谱成像系统;土家织锦;颜色【作者】杨晓莉【作者单位】湖北民族学院科技学院，湖北恩施445000【正文语种】中文【中图分类】O432.3;O433.5在彩色图像颜色复制过程中，为了克服同色异谱现象，获得高保真颜色再现，多光谱成像技术成为了真实复制彩色图像的重要手段.由于物体对光具有选择性吸收的特性，物表颜色的本质特征就是其光谱反射率信息，当两物表的光谱反射率信息相同时，这两个物体的颜色才是真正意义上不受环境约束的匹配.多光谱成像技术就是利用分光元件对目标样品进行多通道成像，并同时获取每个通道的光谱信息，利用光谱重建算法，重建出目标物体的较高光谱分辨率的光谱反射率信息.最后，基于光谱信息与色度值之间的转换关系，获得任意环境光源下的颜色复制和再现. 随着半导体等光学元件以及计算机技术的迅速发展，多光谱成像技术的应用也越来越广泛，常用于药物学、环境科学、食品工程、农业、文物遗产保护、艺术品复制等领域[1-11].针对不同的研究对象和研究领域，多光谱成像系统和光谱估计算法都有相应的改变，以期获得最好的光谱重建结果和高保真的颜色信息.Luo等在研究多光谱成像技术获取纺线颜色时发现，获取单股纱线时其颜色随像素的位置变化而变化，为了获得准确的颜色信息，提出了4种算法来进行优化[12].同时，提出了一个半经验模型，得到了从多光谱成像系统采集的纺线颜色信息与分光光度计采集的纺线颜色信息的转换匹配函数[13].Toque等利用多光谱成像系统采集图像，在光谱估计算法上采用数码图像的RGB值来重建光谱反射率信息，从而识别不同颜色的颜料[14].James等[15]利用多光谱技术对青花瓷实现了非接触式色彩分析和数字存档.本文针对具有纹理特性的土家纺织品进行多光谱重建工作，以商业数码相机配以短波段窄带滤光片搭建多通道光谱图像获取系统，并用标准灯箱作为多光谱获取系统的灯源环境，利用主成分分析法对光谱数据进行数据压缩和特征提取，采用基于多光谱图像获取技术的光谱估计算法来实现对土家纺织品颜色的光谱反射率的重建工作.降低专业系统硬件的昂贵成本的同时，对光源和滤光片有针对性的选择搭配，保证了对有编织纹理的土家织锦表面颜色多光谱信息采集的顺利和高效性，这项工作将有助于实现文化遗产土家织锦颜色信息的低成本高质量的保存和保护工作.1.1 样品准备和系统搭建1.1.1 土家织锦典型颜色样本土家织锦是以面纱为经，多色的丝纱或者毛线为纬，采用“通经暗纬，反面挖花”的手法，在原始的木制织机上反面挑织而成的民间工艺品，于2006年被列入国家第一批非物质文化遗产名录[16-17].样本是由有着30余年纺织土家织锦经验的优秀传承人用传统木织机，采用“通经断纬”的方式纺织成4 cm×4 cm的土家织锦纺织色块，如图1所示，实验中将对土家织锦纺织品样本进行多光谱反射率复制.1.1.2 多光谱获取系统多光谱成像获取系统示意图如图2所示.多光谱成像系统主要由Datacolor标准对色灯箱，滤色片，数码相机和控制软件组成，采集样品数据的周围环境为暗室.选用商业数码相机是为了能够使系统更广泛的应用和满足更大众的需求环境.本实验中采用的滤色片为420 nm，半峰全宽在10 nm左右的窄带滤光片，其目的是为了获取增强蓝紫光短波段的光谱信息，弥补相机在蓝紫光波段出现的响应较差的现象.因为实验中采集的对象为具有表面纹理的纺织品，在标准光源灯箱里面，可以尽量避免光源方向对采集样本数据的影响，选用灯箱的D65光源，色温为6 500 K左右，样品与多光谱获取系统在同一直线上.整个系统连接电脑，通过软件控制获取响应值进行后期光谱数据重建分析.1.2 数据定标采用无光泽的白色样板进行定标.通过调节合适的曝光时间使图像具有较高的信噪比，然后采集白板各通道的光谱图像，用于光谱反射率重建的校正中，消除数码相机的响应特性和滤色片的透过率对采集质量的影响.2.1 光谱重建估计算法在特定的光源下，若假定多光谱获取系统的光电转换函数是线性的，则多光谱相机对某一图像像素对应物体表面的响应gk满足[7,18]:εk为系统所产生的噪声，ak(λ)为数码相机各通道的光谱灵敏度，φm(λ)是滤光片的光谱透射比，o(λ)是光路的透射比，r(λ)为目标物的光谱反射率，ls是照明体辐射在物体上的光谱功率分布[18].通过多光谱获取系统采集响应值gk来估计反射率r(λ).假设噪声可忽略不计，将式(1)写为矩阵形式：g-QR.这里g=[g1,g2,…,gk]表示所有k通道的输出矢量，光谱反射率矢量R=[r1,r2,…,rN]，N是样本数目，Q=[q1,q2,…,qk]是一个转换矩阵，(λ)dλ.一般来说，Q通过光谱仪器或专业仪器技术获取这在实际中是很困难的.本文采用已知光谱反射率的训练样本来估计出Q，如式(1):由此如式(2)，根据估计出的Q+来重建待测样本的光谱反射率信息.在光谱重建的过程中，采用常用的主成分分析法对数据进行压缩，提取特征值[7,18].2.2 颜色重建估计算法只要获得光谱反射率值就可以重建出任意光源下的色度值，本实验中计算在CIE D65光源下的颜色三刺激值，CIE色度系统颜色的XYZ三刺激值S可用以下公式计(λ)ED65(λ)r(λ)dλ.式中(λ)为CIE 1964标准色度观察者的光谱三刺激值，r(λ)为物体的光谱反射率，ED65(λ)为CIED 65照明光源的相对光谱功率分布，k10为归一化系数，由下式求得：(λ)Δλ).本实验采用以上提出的重建算法和多光谱采集系统对土家织锦纺织样本色卡的光谱信息和颜色信息进行数据重建分析.为了降低纹理对颜色的影响，样本色卡的标准光谱反射率采用日本Minolta2300d型积分球式分光光度计测出，取400～700 nm的波长范围的数据作为后续分析，每隔10 nm采集一个数据点.色度值均在CIE D65光源，CIE 1964标准颜色观察者条件下计算.实验中，任选24块色卡作为训练样本，剩下的色卡作为光谱重建的待测样本.对光谱重建的结果采用适应度系数GFC(goodness-of-fit coefficient)和均方根误差RMSE(Root-mean-square-error)以及CIE 1976色差公式来进行评价；定义每一点像素的原始光谱反射率数据为r，重建光谱反射率数据为r′.定义适合度系数.GFC被定义为重建光谱反射率数据r′与原始光谱反射率数据r之间的余弦角，取值范围在0～100%之间，当GFC≥99.5%时，那么重建结果就是可以接受的了；当GFC≥99.99%时，那么重建结果就可以达到比较完美的程度了.定义均方根误n.定义CIE 1976色.ΔL*为明度差，Δa*为红绿色品差，Δb*为黄蓝色品差.对色差的感觉值判断为：在0～0.5个色差范围内，属于“痕迹”；在0.5～1.5个色差范围内，属于“轻微”；在1.5～3个色差范围内，属于“可察觉”；在3.0～6.0范围内，属于“可识别”；在6.0～12.0个色差范围内，属于“大”；在12.0以上属于“非常大”.如图3为部分待测样本色卡的重建光谱曲线与原始光谱曲线的比较图，依次是表1中样本的黄色，红色和绿色的重建光谱，表1为所有6块待测样本的重建结果的光谱评价和色差评价.表1中的第一行为6个待测样本色卡图.从表1中可以看到，每一色块重建结果的GFC值都大于99.5%，说明实验中的重建结果是可以接受的，其平均GFC值为99.63%，并且有一部分的色卡的GFC接近于99.9%，趋近于理想状态；RMSE 在2%～3%之间，其平均误差为2.52%；每一块重建结果的色差值都小于3个色差，其平均值为1.93个色差，在“轻微”至“可察觉”的感觉值.其评价结果与已有研究结果相比属于可接受的误差范围；说明多光谱成像获取系统对具有纹理影响的纺织品颜色的复制是可行的.从多光谱获取系统重建土家织锦纺织品样本色卡的光谱和颜色信息的评价结果分析可见重建结果是可接受的，其待测样本的GFC系数的平均值为99.63%，大于99.5%，在重建结果可接受范围内；RMSE的平均误差为2.52%，色差的平均值为1.93个色差，部分样本重建色差小于1.5个色差，其结果属于轻微感知到可察觉感知的过渡感知范围.纺织品表面具有编织技法所带来的不同纹理，其对颜色的影响是不能忽略的，从评价结果可见利用标准灯箱作为光源的多光谱重建系统配以短波段窄带滤色片获得的具有纹理影响的土家织锦颜色的光谱重建，达到了复制的要求，说明此系统和算法对具有纹理的物表样本的颜色光谱重建是可行的.当然，针对纹理特征的影响，实验和算法还有不足之处影响着重建结果的精确度，在接下来的研究工作中，将针对纹理特征影响的光谱重建系统和算法做进一步改进，提高针对具有纹理表面的颜色光谱重建精度.【相关文献】[1] 王雪培,赵虹霞,李青会,等.多光谱成像技术分析彩色艺术品的相关基础研究[J].光学学报,2015,35(10):312-319.[2] 冯洁,廖宁放,梁敏勇,等.用于植物病虫害诊断的多光谱成像系统[J].光谱学与光谱分析,2009,29(4):1008-1012.[3] 杨卫平.跨媒体颜色复制技术简化研究[D].北京:北京理工大学,2005.[4] ROSEN M.Navigating the roadblocks to spectral color reproduction: data-efficient multi-channel imaging and spectral color management[C]//New York:Chester F.Carlson Center for Imaging Science of the College of Science Rochester Institute of Technology,2003.[5] 刘振,万晓霞,黄新国,等.基于宽带多通道的光谱反射率重建方法研究[J].光谱学与光谱分析,2013,33(4):1076-1081.[6] HUANG X,WAN X,LIU Z.Optimization of the method for color measurement of printing on holographic paper[J].Color Research & Application,2011,38(2):130-138.[7] 杨晓莉,杨卫平,戴志福,等.基于四通道多光谱图像采集系统的光谱估计算法[J].光电子激光,2009,20(1):113-116.[8] SHEN H L,XIN J H.Estimation of spectral reflectance of object surfaces with the consideration of perceptual color space[J].Optics letters,2007,32(1):96-98.[9] BERNS R S,ZHAO Y,TAPLIN L A,et al.The Use of Spectral Imaging as an Analytical Tool for Art Conservation[C]//Annual Meeting.Los Angeles,California,USA,2002:217-222. [10] 郭亮，沈志，申旭辉，等.干旱区盐渍地土壤含水量分布及其光谱特征研究[J].安徽农业科学,2015，43(15)：102-106.[11] 姚佳厚，张钰玉，王孟，等.旱区糜子农田冠层高光谱反射特征初探[J].黑龙江八一农垦大学学报,2015，27(5)：6-9.[12] LUO L,SHEN H L,SHAO S J,et al.Color specification of a single strand of yarn from a multispectral image[J].Color Research & Application,2016,41(5)：500-512.[13] LUO L,SHEN H L,SHAO S J,et al.Empirical model for matching spectrophotometric reflectance of yarn windings and multispectral imaging reflectance of single strands of yarns[J].Journal of the Optical Society of America A,2015,32(8):1459-1467.[14] Toque J A,Murayama Y,Ide-Ektessabl A.Pigment identification based on spectral reflectance reconstructed from RGB images for cultural heritageinvestigations[C]//IS&T/SPIE Electronic Imaging,California,USA，2010(7531):75310K-1-75310K-8.[15] Shyu M J,Lee M C.Non-Contact Color Analysis and Digital Archive Method for Blue-and-White Porcelain by Using Spectral Imaging Technology[J].International Journal of Humanities and Arts Computing,2013,7:189-200.[16] 黄柏权,游红波.土家族织锦的发展演变及其现代启示[J].湖北民族学院学报(哲学社会科学版),2005,23(2):8-13.[17] 谭志国.土家族非物质文化遗产保护与开发研究[D].武汉:中南民族大学,2011.[18] 杨晓莉,刘波.基于多光谱成像的有光泽Munsell色卡的光谱反射率重建[J].湖北民族学院学报(自然科学版),2009,27(1):58-60.[19] 威捷,顺青,正芳.现代颜色技术原理及应用[M].北京：北京理工大学出版社,2007.[20] 汤顺青.色度学[M].北京：北京理工大学出版社,1990.。
基于多光谱成像系统的光谱重建研究
摘要颜色在日常生活中随处可见，与我们生活息息相关。
随着科学技术的不断发展，人们对彩色图像的颜色复制的要求也随着提高，颜色复制技术现已成为颜色工作者研究的热点。
目前，颜色复制技术主要有两种，色貌模型的颜色复制和光谱的颜色复制。
前者复制后的色彩在视觉上具有相同的颜色，光谱可能并不一致，无法避免由同色异谱现象带来的困扰。
光谱颜色复制是通过使用光谱反射率作为颜色信息传递和再现的媒介，能确保颜色的一致性，现已被广泛使用。
传统获取光谱反射率的方法主要有分光光度计和高光谱分析仪，但由于两者自身存在的局限性，常在实际应用中造成不必要的麻烦。
为此，颜色科技工作者们提出用多光谱成像技术来获取光谱反射率，利用多光谱成像系统相机输出的多通道图像信息对目标样本的光谱反射率进行估算，估算的过程被称之光谱重建。
彩色数码相机能够在多种条件下，对目标样本采取非接触式成像，且数码相机具有灵活方便性、性价比高等优势，因此本文采取彩色数码相机搭载一套滤光片组成多光谱成像系，统获RGB信号重建出物体表面反射率。
当前光谱重建得到物体表面光谱反射率估值的常用方法有伪逆法、主成分分析法和BP神经网络算法。
基于BP神经网络重建算法的不足，引入多项式模型和贝叶斯正则化修正项，改进传统的BP神经网络光谱重建算法，以此来优化算法提高精度。
为了便于验证重建算法的可行性，实验中训练样本使用标准色卡Digital ColorChecker SG，检验样本使用标准色卡Color Checker Rendition Chart。
实验结果表明本文所提出的算法重建的光谱反射率，无论在色度精度还是光谱精度上都优于传统神经网络算法，且精度远远大于伪逆法，主成分分析法，说明本文所提出的方法对物体表面颜色的真实再现具有一定的价值。
最后利用本文提出的贝叶斯正则化神经网络光谱重建算法，得到重建后的光谱反射，再结合色度学和计算机图形图像学知识重现蜡染画芯真实色彩。
对画芯中的同一色块，在光源不同角度下，对其重现后的颜色色块采用HSI和L*a*b*颜色空间分析。
基于多光谱成像技术的光谱图像重构与显示研究
基于多光谱成像技术的光谱图像重构与显示研究基于多光谱成像技术重构物体的光谱图像可以克服同色异谱现象,实现颜色在不同数字媒体之间的准确传递,并且可以复现物体在任意光源下的颜色外貌。
成像式测量物体的光谱反射比能够克服分光光度计接触式测量和逐点测量的缺陷,且可以获取成像范围内所有像点的光谱反射比,扩大了测量面积,且提高了测量效率。
本文对基于多光谱成像技术光谱图像重构与显示复现涉及的理论方法和各项关键技术展开全面深入的研究。
首先分析了现有的光谱重构算法、滤色片选择方法及训练样本选择方法,并提出了基于光源和代表性训练样本的滤色片选择方法。
同时,测试了多光谱相机的光谱通道响应特性,研究了多光谱成像系统关键校正技术。
提出了基于自训练的光谱图像重构方法,以避免训练样本与目标对象材料特性差异引起的光谱重构劣化。
最后,研究了光谱图像的显示复现方法,并检验了光谱图像在不同光源下的显示复现性能。
由于多光谱成像系统所采用的照明光源和滤色片会影响光谱重构精度,本文结合自适应遗传算法提出了基于光源的滤色片选择方法,该方法将滤色片选择转化为寻找使目标样本光谱重构精度最高的滤色片组合,不需要测量光源、滤色片和传感器的光谱特性。
目标样本为从孟塞尔颜色图册中精心挑选的均匀且具有代表性的颜色。
以峰值透过率波长在可见光波段的16个滤色片为备选滤色片,选择出3种光源下不同数量的最优滤色片组合,并与常用的滤色片选择方法做了比较。
在学习法光谱重构中,训练样本用于建立多通道响应值到光谱反射比的转换模型,因而光谱重构精度严重依赖于训练样本。
本文归纳了现有的训练样本选择方法,并提出了基于多通道响应值相关性选择训练样本的自适应光谱重构方法。
此外,鉴于代表性训练样本可以反映测试样本的光谱反射特性,本文提出了基于代表性训练样本的滤色片选择方法,以在滤色片选择过程中全面考虑影响光谱重构的各个因素,包括滤色片、照明光源、传感器和测试样本的光谱特性。
由于电子放大的非线性和相机中的杂散光,数码相机传感器的响应值与拍摄对象表面反射的光通量呈现一定的非线性,本文利用商用色卡的中性色块研究了多光谱相机多通道响应值与光照的非线性关系,并利用3次多项式拟合了两者之间的非线性。
基于多光谱成像的光谱反射率重建
第31卷第3期Z005年5月光学技术OPT I CAL TECHN I EVOl.31NO.3M a y Z005文章编号!100Z-158Z(Z005)03-04Z7-03基于多光谱成像的光谱反射率重建任鹏远!廖宁放!柴冰华!杨卫平!李遂贤(北京理工大学信息科学技术学院9北京100081)摘要!一些对颜色重现要求较高的应用领域需要获取目标表面上各点的光谱反射率大多数天然物质表面的光谱反射率曲线比较平滑9可视为几个基向量的线性组合基于这一原理的多光谱成像技术可以准确快速地重建目标表面的光谱反射率通过对NCS色卡进行主成分分析9得出了彩色印刷品光谱反射率的基向量建立了一个多光谱成像系统9用以比较基向量个数不同对反射率重建效果的影响关键词!多光谱成像5光谱反射率重建5颜色重现5NCS色卡中图分类号!O433.1文献标识码!AS p ectral reflect ance recover y based on multis p ectral i m a g i n gREN pen＿y u an9LI AO Ni n9＿f an99CHA I B i n9＿hu a9YAN G W e i＿p i n99LI S ui＿xi an(S chOOl Of S ci ence and T echnOl O gy9Bei i n g InStit ute Of T echnOl O gy9Bei i n g1000819Chi na) Abstract:In SO m e hi g h＿p reciSi On cOl Or re p r Oducti On a pp licati OnS9t here iS a need t O Obtai n S p ectral refl ectance Of each p Oi nt On t he Ob ect,S Surf ace.S i nce t he vaSt m a Orit y Of refl ectance S p ectra f Or Surf aceS are S mOOt h f uncti OnS9each refl ec-tance S p ectr u m can be re p reSented aS t he Wei g hted Su m Of baSiS f uncti OnS.M utiS p ectral i m a g i n g technOl O gy baSed On t hiS p ri nci p le can recOver S p ectral refl ectance accuratel y and C uickl y.A p ri nci p al cO m p Onent anal y SiS WaS m ade t O Obtai n baSiS f uncti OnS Of reflectance.And a multiS p ectral i m a g i n g S y Ste m WaS Set u p t O anal y Ze t he reSult Of S p ectral reflectance recOv-er y f Or diff erent a mOunt Of baSiS f uncti OnS.K e y words:multiS p ectral i m a g i n g5S p ectral refl ectance recOver y5cOl Or re p r Oducti On5NCS cOl Or p atchl引言目前通用的颜色信息获取设备(如照相机~扫描仪)可直接获取景物在特定照明条件下的色度信息色度信息一般用三维的色度系统表示9如C I E色度系统1]同一个三刺激值可以对应多个光谱反射率9这种现象称为同色异谱由于同色异谱的存在9无法从物体在已知照明条件的色度来预测它在另一种照明条件下的色度如果能记录下目标各点的光谱反射率9就能预测物体在各种照明条件下的色度随着全光谱配色技术Z]和多元颜色显示技术3]的发展9使获取到的光谱信息可以应用在许多新兴领域9如高精度彩色复制~电视医学~艺术品电子文档~互联网颜色交流~彩色多媒体显示等获取物体光谱反射率的传统方法是利用分光光度计但分光光度计一次只能对一个像素测量9其工作量非常大为了高效地测量图像上每点的光谱反射率9可以使用具有十几个到几十个通道的高光谱照相机4]9但是这种结构复杂的仪器由于成本高而无法广泛应用由于人类生活中大多数物体表面的光谱反射率曲线具有平滑的性质5]9所以反射率可以用比光谱反射率波段数少得多的数据量来表示这样9用通道数很少的光学系统对物体所成的像中所包含物体表面的光谱反射率信息9可以重建光谱反射率这种成像技术称为多光谱成像技术从Z0世纪80年代末以来9这门技术在美国~法国~日本等国已经有了一些应用的先例6-10]2光谱反射率重建的原理光谱数据R可表示成一个N维向量9R=(\19 \Z9\39 9\N)T(上标T表示转置)因为R的自由度小于N9R的近似值R*是个彼此正交的N维单位基向量ei(1i)的线性组合9即R*=i=1e i i=F(1)7Z4收稿日期!Z004-06-Z0E-m ail:f aSd y e＠基金项目!国家自然科学基金(6037704Z)5北京市自然科学基金(403Z016)作者简介!任鹏远(1979＿)9男9北京人9北京理工大学硕士研究生9从事颜色图像技术~光谱成像研究其中F=(e19eZ9e39.9e)9=(19Z939.9)T基向量个数足够多时=F T R(Z)计算基向量常用的方法是主成分分析法N> T矩阵R S=(R19R Z9R39.9R T)中包含T个不同的光谱反射率对其进行奇异值分解11R S=U00N>TV T(3)其中是由r=rank(RS)个由大到小排列的奇异值组成的对角矩阵=di a g(19Z9.9\(4) N>N单位正交矩阵U由R S R T S的特征向量组成9U=(e19e9.9e N)(5) T>T单位正交矩阵V由R T S R S的特征向量组成如果前个特征向量的主成分贡献率V=i=1iNi=1i(6)足够大9那么光谱反射率就可认为是前个特征向量的线性组合多光谱成像系统由光源多通道光学系统和光电成像设备组成具有a个通道的多光谱成像系统对被测物体反射率的光谱灵敏度是=(19Z9.9a )(i每个通道的光谱灵敏度91i a)在多光谱像上9被测物体上每点对应输出灰度g(g19gZ9g39.9g a)T输出与光谱反射率的关系是g=T R(7)设~是向量空间F包含在空间内的子空间9~是~的正交补集9那么F可以表示成分属两正交空间部分的和F=F~+F~(8)且存在线性变换9使F~=(9)将(9)式代入(Z)式可得=(F~)T R+(F~)T R(10)再将(9)式代入(10)式=T T R+(F~)T R(11)由(7)式得=T g+(F~)T R(1Z)当多光谱成像系统使用窄带滤光片6或利用专门的方法选择宽带滤光片1Z913时9(1Z)中的(F~)T R 部分可以忽略9这时令A=T9则=A g(13)根据最小二乘法9对于m个样本9=(19Z9.9m)9g=(g19gZ9.9gm)求得A=g T(gg T)-1(14)求得A后9便可由(1)式和(13)式从多光谱成像系统的输出信号重建光谱反射率R*=FA g(15)获得样本g可以根据多光谱成像系统的数学模型由已知的反射率计算出来由于测量数码相机或摄像头的光谱灵敏度比较困难9我们采用了实际测量的g作为样本从RS中挑选反射率样本的标准是使反射率之间的相关性尽量小具体步骤如下首先找出Z-范数最大的光谱反射率RS1R S1Z R i Z91i T(16)然后选出RS Z9使R S19RS Z的最大奇异值与最小奇异值之比9也就是使条件数最小9即m aXR S19RS()Zm i nR S19RS()Zm aXR S19R()im i nR S19R()i1i T9i S1(17)以此类推9对于RS79有m aXR S19SZ9.9RS()7m i nR S19SZ9.9RS()7m aXR S19RS Z9.9RS7-19R()im i nR S19RS Z9.9RS7-19R()i1i T9i S19S Z9.9S7-1(18)评价重建出的反射率R*与实际反射率R误差的参数有R M SE(均方根差)和C I EL O b色差R M SE=(R-*R)T(R-*R)N-1(19) 3实验实验的目的是1)用NCS(自然色系)色卡求光谱反射率的基向量Z)检验上面提出的光谱反射率重建方法用D65光源和F MC-9Z04分光光谱仪测得1750个NCS色卡在400700n m之间间隔10n m的光谱反射率9组成31>1750矩阵RS用科学计算软件M atl ab中的SVDS函数计算出RS的前13个特征向量的特征奇异值与向量图1图Z和表1显示了分析结果8Z4光学技术第31卷图Z 前1Z 个特征向量光谱图表11750个色卡的R 与*R 之间的R M SE 和丛E94随特征向量个数的变化特征向量个数最大R M SE 平均R M SE 最大丛E 94平均丛E 9430.115Z 0.018614.76841.619360.04170.0067Z .974Z 0.318190.01510.00300.83Z 30.06551Z0.00630.00130.06050.0104从图1中可看出G 当特征向量个数达到6个后9主成分贡献率达到0.95以上9并且增幅趋缓G从表1中可看出9 没有误差时96个基向量重建光谱反射率的色差极小9人眼不可分辨G 用上面介绍过的方法9从1750个NCS 色卡中挑选了30个色卡作为计算A 的样本G在实验过程中9D 65光源发出的光线经过积分球漫反射后照射在样品上G 用彩色CCD 摄像图1奇异值的相对大小( 1)头拍摄样品可获得三个通道的输出信号G 在镜头前加一宽带滤色片后拍摄又可获得另外三个通道的输出信号G CCD 输出的复合视频信号先经过7=Z.Z 的非线性校正9再进行8位模数转换9然后被采集进电脑G 因为目的是检验重建反射率的算法9所以在本实验中只取一个固定点的值G图像采集时产生的量化误差对光谱反射率重建的精度影响很大G 提高多光谱成像系统输出信号的动态范围可以在一定程度上减少量化误差G 所以我们在正式拍摄色卡之前9先调节光源9使白色色卡在不加滤光片时的RGB 值接近最大值(Z 559Z 559Z 55)G 用软件读取每张色卡在无滤光片和有滤光片时的8位的RGB 数据(R 09G 09B 09R 19G 19B 1)9计算拍摄100次的平均值9再减去无光照时的暗信号9得到的就是多光谱像上一点的值g G用上述方法得到前面找出的30个色卡的输出g 9再根据(Z )式计算出这30个色卡的 9用(14)式分别求出6个和9个基向量对应的矩阵A G 把计算矩阵A 的30个色卡称为训练色卡G 此外我们又从NCS 色卡中按高亮度9高彩度的原则选出了5个色卡9称为检验色卡G 它们是2SZ 005＿RZ 0B \S3065＿YZ 0R \S3010＿R \S1050＿B 和S0550＿G10Y G 用(15)重建出训练色卡和检验色卡的光谱反射率估计值9R *并与R作比较G 见图3\图4G 图3R 与R *的R M SE 分布图4R 与R *的色差分布4结论我们对NCS 色卡的光谱反射率作了主成分分析9用得出的特征向量重建光谱反射率9得出的结论是前6个特征向量可以作为彩色印刷品的基向量G 在多光谱成像系统的通道数不变的情况下增加基向量的个数对提高反射率重建准确度的作用很小G!下转第433页"9Z 4第3期任鹏远9等2基于多光谱成像的光谱反射率重建能9但喷漆后的平面度和粗糙度无法控制o 将激光图5光条中心波动情况示意图投射在该平面上并提取光条中心9因光条中心提取算法是在一列内进行的9在行方向 u 向 位置一定时9提取结果沿列方向 u 向 变化o 以u 向作为横坐标9u 向作为纵坐标9则光条上的一个中心位置可定义为9为整数9一般为小数9光条上的全部中心位置的个数与u 向的像数相等o 由于被测面粗糙度比较大9同时还存在平面度误差9提取过程也会产生误差9这样会出现如图5所示的情况9光条中心位置沿u 向在一定范围内波动o 设沿u 向第j 个像素对应的光条中心为C j 9第j +1个像素对应的光条中心为C j +19二者的差值记为EC j 9即EC j = C j -C j +1 9j =0919.9766o 沿u 向的所有差值之和为S EC =766j =0ECjS EC 的大小反应了光条中心C j 相对于实际光条中心的波动情况9S EC 越小9则说明C j 的波动越小9光条中心提取的精度越高;反之9光条中心提取的精度越低o表1是对同一位置测量5次9并进行光条提取所得S EC 的结果9可以看出5次的结果稍有不同o 在这个过程中被测面的情况没有发生变化9S EC 的差异是由于激光器亮度的不稳定9以及图像采集系统的内部噪声所造成的o表1B 样条去噪重心法提取光条中心的重复性次数1Z 345S EC 像素Z 5.693Z 6.7Z 7Z 6.038Z 7.Z 5ZZ 5.409为了验证去除噪声的有效性9对同一幅光条图像分别采用阈值法9曲线拟合并求极值法9重心法和本文提出的B 样条去噪重心法进行中心提取94种方法得到的S EC 如表Z o 从表中可以看出阈值法的精度最低9重心法的精度较高9而B 样条去噪重心法的精度较一般重心法又有很大提高9这充分说明光条上的噪声被有效去除o表Z 光条中心提取方法的实验结果对比方法阈值法曲线拟合极值法重心法B 样条去噪重心法S EC 像素1Z 3.08466.81047.049Z 5.68Z结论本文提出了利用B 样条迭代去除光条上干扰噪声的方法o 首先以光条上的点作为控制顶点拟合B 样条曲线9在B 样条曲线上寻找与噪声点横坐标相同的点9并以该点取代噪声点9这样反复修改噪声点的灰度值使其逐渐逼近实际曲线9从而达到去除噪声的目的o 然后9利用重心法提取去噪后光条的中心9着重分析了参与运算的像素的取值范围o 最后运用不同的方法对同一光条图像进行中心提取9结果表明该方法的提取精度最高9从而证明了去除噪声的有效性o 参考文献!1 贺忠海9王宝光.线结构光传感器的模型及成像公式 J .光学精密工程9Z 00199 3 Z 69 Z 7Z . Z X i F 9Shu C.CAD ＿baSed p at h p l anni n g f Or 3＿Dli ne l aSer Scan-ni n g J .CO m p ut er ＿A i ded D eSi g n 91999931 7 473 479. 3 Zhan g J X 9D Or d evi ch A.S t ud y On l aSer Stri p e SenSOrJ .S en-SOrS and A ct uat OrS 9199997Z Z Z 4 Z Z 8. 4 张舜德9卢秉恒9丁玉成.高斯光束柱面反射展成法生成光刀的研究 J .中国激光9Z 0019Z 8 Z 133 136. 5 吴剑波9赵宏9谭玉山.一种解决光刀断线问题的新方法 J .光学技术9Z 0019Z 7 Z 189 191. 6 贺俊吉9张广军.结构光三维视觉检测中光条图像处理方法研究 J .北京航空航天大学学报9Z 0039Z 9 7 593 597. 7 隋连升9李兵9蒋庄德.基于N RBS 曲线插值的激光光刀图像中心提取方法的研究 J .中国激光9Z 003930 10 933 937. 8 朱心雄.自由曲线曲面造型技术 M .北京 科学出版社9Z 000.113 137. 9 屈玉福9浦昭邦9王亚爱.视觉检测系统中亚像素边缘检测技术的对比研究 J .仪器仪表学报9Z 0039Z 4 4 460 46Z .!上接第4Z 9页"参考文献!1 C I E Publi cati On NO .15.Z 9COl Ori m etr y 9Z nd ed S .1986. Z 王喜昌9周丰昆9禹秉熙9等.全光谱配色的匀色空间权重因子方法 J .O p ti cS and Preci Si On En g i neeri n g 9199896 5 . 3 Y M aSahir O 9et al .COl Or i m a g e re p r Oducti On baSed On t he multi-S p ectral and multi p ri m ar y i m a g i n g EX p eri m ent al eval uati On J .Pr Oc .SPI E 9Z 00Z 94663.4 VOra P L 9Har vill e M L 9et al .E l ectr On .I m a g i n g C .Pr Oc .I S &TSPI E COnf . SA S an JOS 9CA 991997. 5 M al One y L T.Eval uati On Of li near mOdelS Of Surf ace S p ectral re-fl ect ance W it h S m all nu mberS Of p ara m et erS J .JOur nal Of t heO p ti cal SOci et y Of Am eri ca A 9198693 673"16839. 6 Har deber g J Y 9S ch m itt F 9B rett el H.M ulti S p ectral i m a g e ca p -t ure uSi n g a t unabl e filt erJ .Pr Oc .SPI E 9Belli n g ha m 9WA 9Z 00093963. 7 I m a i F H 9B ernS R S.S p ectral eSti m ati On Of O il p a i ntS uS i n g m ulti ＿filtertrichrO m atic i m a g i n g C .P rOc.Of t he 9t h C On g reSS Of t he Internati OnalCOl Our A SSOci ati On 9NY ROcheSt er 9Z 001.504 507.8 KO m i y a Y 9et al .Nat ural cOl Or re p r Oducti On S y St e mf Or t el e m ed-i ci ne and itS a pp li cati On t O di g it al ca m eraC .Pr Oceedi n g S Of t he 1999I EEE I nt er nati Onal COnf erence On I m a g e Pr OceSSi n g 9LOS A l a m it OS 9CA 50 4. 9 Abrar dO A 9et al .COl Or cOnSt anc y f r O m multi S p ectral i m a g eSC .I C I P ＿999Ja p an KObe 91999.Z 5 Z 8. 10 I m ai F H 9et al .CO m p arati ve St ud y Of S p ectral refl ect ance eSti-m ati On baSed On br Oad ＿band i m a g i n g S y St e m S 9t echni cal re p OrtDB OL .htt p WWW.art ＿Si .Or g 9A p ril Z 003. 11 Har deber g J Y.A c C ui Siti On and re p r Oducti On Of cOl Or i m a g eSCOl Ori m etri c and multi S p ectral a pp r OacheS R .D i SSert ati On .cO m 9 SA 9Z 001.Z 74 507. 1Z COnnah D 9et al .RecOveri n g S p ectral i nf Or m ati On uSi n g di g it alca m era S y St e m S J .COl Or .T echnOl O gy 9Z 0019117 309. 13 N g D Y 9A ll ebach J P.A SubS p ace m atchi n g cOl Or filt er deSi g nm et hOdOl O gy f Or a multi ＿S p ectral i m a g i n g S y St e m J .Pr Oc .SPI E 9Z00495Z 93.334第3期解则晓9等 基于B 样条迭代法的激光光条噪声去除技术研究基于多光谱成像的光谱反射率重建作者：任鹏远， 廖宁放， 柴冰华， 杨卫平， 李遂贤， REN Pen-yuan， LIAO Ning-fang，CHAI Bing-hua， YANG Wei-ping， LI Sui-xian作者单位：北京理工大学,信息科学技术学院,北京,100081刊名：光学技术英文刊名：OPTICAL TECHNIQUE年，卷(期)：2005,31(3)被引用次数：11次1.CIE Publication No.15.2,Colorimetry 19862.王喜昌;周丰昆;禹秉熙全光谱配色的匀色空间权重因子方法[期刊论文]-Optical and Precision Engineering 1998(05)3.Y Masahiro Color image reproduction based on the multispectral and multiprimary imaging: Experimental evaluation 20024.Vora P L;Harville M L Electron. Imaging 19975.Maloney L T Evaluation of linear models of surface spectral reflectance with smallnumbers of parameters 19866.Hardeberg J Y;Schmitt F;Brettel H Multispectral image capture using a tunable filter 20007.Imai F H;Berns R S Spectral estimation of oil paints using multi-filter trichromatic imaging 20018.Komiya Y Natural color reproduction system for telemedicine and its' application to digital camera9.Abrardo A Color constancy from multispectral images[外文会议] 199910.Imai F H Comparative study of spectral reflectance estimation based on broad-band imaging systems, technical report 200311.Hardeberg J Y Acquisition and reproduction of color images: Colorimetric and multispectral approaches 200112.Connah D Recovering spectral information using digital camera systems[外文期刊] 200113.Ng D Y;Allebach J P A subspace matching color filter design methodology for a multi-spectral imaging system 20041.蔡普庆成像光谱重建及纹理色差客观评估研究[学位论文]20082.杨萍.廖宁放.何丽.张东.冯洁.YANG Ping.LIAO Ning-fang.HE Li.ZHANG Dong.FENG Jie高速窄带多光谱成像系统光谱重建技术研究[期刊论文]-影像技术2007(6)3.张哲超成像系统中的光谱反射率重建[学位论文]20104.孙振.施朝健.葛景.SUN Zhen.SHI Chao-jian.GE Jing基于阵列相机的多光谱成像系统光谱重建算法[期刊论文]-计算机与现代化2010(6)5.杨卫平.徐楠.段剑金.李咏波.卢巧.孙娅妮.罗熙.罗永道.Yang Weiping.Xu Nan.Duan Jianjin.Li Yongbo.Lu Qiao.Sun Yani.Luo Xi.Luo Yongdao多光谱成像技术在颜色复制方面的应用及发展[期刊论文]-云南民族大学学报（自然科学版）2009,18(3)1.李遂贤.廖宁放.石延霞.李宝聚基于多光谱和sRGB空间的自然植物色的重现[期刊论文]-光学技术 2006(z1)2.张军.王茂芝.陈聆.张涛插值算法在高光谱数据中的应用[期刊论文]-四川理工学院学报：自然科学版 2012(3)。
彩色扫描仪的光谱反射率估计方法
的物体色度 。 如果变换 了光 源，成像设备 就需要重 新进行 色 彩表征 。为此 ， 光谱表 征法 近来 受到越 来越 多的重视 。它 的
本质是从低 维的成像设备 颜色（ 通常为红绿蓝 ， Ｒ ） 过 或 ＧＢ 通 数学变换得到高维的光谱 反射率（ 通常 为 ３ 维）６ 。该方法 １ ＿ ］
式 中 Ｍ 表示扫描仪光谱响应度 ，为 ３ ｘＮ矩 阵 ， 为扫描仪 成像过 程中的噪声 ，为 ３ ×１向量 。然而 ， 实际扫描仪 的成像
过程一般都 是非线 性 的，其实 际 Ｒ ＧＢ量 ｐ和线 性 ＲＧ Ｂ量 ｖ 之 间的关 系由 Ｇ ｍｍａ曲线Ｆ ａ （・） 确定 ＿ 。 ｊ 。
物体 的光谱反射 率分布是 决定其 颜色外观 的重要属 性 。
一
布 。为克 服这两个局 限性 ， 该方法首先从训 练集中选取一
定数量 的颜 色样本 ，按照它们与 目标颜色之 间的欧氏距离决 定各 自的权重 ， 后根 据维纳估计求 出光谱反射率 。 然 直以来 ， 光谱反射率都是用光谱 仪器测量 ｌ ， １ 并进 而得到 ］
虑到实 际扫描仪 的成像过程往往偏离线性反射模 ， 且训练样 本在颜色空 间 中的不 同分布对 颜色估计 的 并 精度有较大影响 ，提出 了一种基 于有限样 本加权训 练的彩色扫描 仪光谱表征 方法 ， 而可 以从 低维 的 Ｒ 从 ＧＢ 颜色值计算得到精确 的光谱反射率 。实验结果 表明 ，该方法 在色度及 反射率精 度方 面均 明显优 于先前 的方
彩 色 扫描 仪 的光 谱反 射 率估 计 方 法
沈会 良 ，牟 同升。 ，杨冬晓
１ ．浙江大学信息与电子工程学系 ，浙江 杭州 ３ ０ ２ １０７ ２ ．浙江大学现代光学仪器 国家重点实验室，浙江 杭 州 ３０２ １０ ７
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
M T
引 言
物体表面的光谱反射率是物体表面的基本属性之一 , 并 不随着照明条件或者观测条件的改变而改变 , 可以被用于描 述物体的表面特征 , 用以下关系式表示 P (λ) R (λ) = E (λ) 其中 λ为波长 , R (λ) 表示对应于不同波长的光谱反射率分 布 , E (λ) 和 P (λ) 分别表示入射光和反射光在不同波长的 能量分布 。 然而在实际应用中 , 大多数成像系统获得的并非物体表 面的光谱反射率 R (λ) , 而是成像系统 (彩色相机 ) 的响应值
2 实验及结果分析
实验过程中 , 采用了 Labsphere 标准灯箱 , D65 施照态 ; SONY F2 828 数字相机 ; M unsell新标色卡 (matte) , 包含 1 269 块无光泽标准色块 ; RAW 记录格式 ; 手动白平衡 ; 自动聚 焦 , 手动曝光 , 重点测光 , 曝光时保证曝光补偿为 ± 0。 灯箱 预热 10 m in, 数码相机开机后 5 m in 拍摄 , 记录所有色卡在
杨 萍 , 廖宁放 , 宋 宏
1 1 2
1. 北京理工大学光电工程系颜色科学与工程国家专业实验室 , 北京 100081 2. Delft Center for System s and Control, Delft University of Technology, 2628 CD Delft, the Netherlands
基金项目 : 国家自然科学基金项目 ( 60678052) 和国家“863 ” 计划项目 ( 2006AA10Z210) 资助 作者简介 : 杨 萍 , 女 , 1981 年生 , 北京理工大学光电工程系颜色科学与工程国家专业实验室博士研究生
e2 mail: yangp ing501@ gmail . com
D65 标准照明条件下由四通道数码相机拍摄输出的 RGBY
式中 a ^ 表示组合系数 a 的近似值 , L 为常数矩阵 , 表示从 S 到 a 的线性变换 。 这样函数 F ( S ) 的空间就被大大缩小 , 组合 系数 a 的近似精确程度受到影响 , 最终导致重建的光谱反射 率的误差增大 。 鉴于神经网络在模拟非线性函数方面取得的成功 [ 4 ] 以 及较强的可操作性 , 本文采用人工神经网络的方法模拟未知 非线性函数 F ( S ) , 然后结合基向量法重建光谱反射率 。 第 一部分主要侧重理论研究 , 第二部分则是实验的结果 , 第三 部分对某些问题展开讨论 , 最后则是结论以及对后续研究的 展望 。
矩阵的第 k 列即为第 k 个色块的基向量系数 a k , 满足 R k ≈ UM ・a k 近似过程中选取的基向量的个数可以通过观察奇异值之 间的差别来决定 。 图 1 所示为矩阵 R K的前 20 个奇异值 , 第 1, 第 3, 第 8 个 奇 异 值 与 随 后 的 奇 异 值 差 别 比 较 大 。在 Schettini的文中提到 , 在大多数情况下 , 物体表面的反射率 可以由 6 个基向量表示 [ 3 ] 。 为了兼顾运算量以及模型的准确 性 , 本文中选取了 8 个基向量 。 图 2 中给出了 6 个随机抽取
1: R o original reflectance curve; 2: R v reflectance app roxim ated by B basis vectors
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
第 5 期 光谱学与光谱分析
a ^ = L ・S
1177
摘 要 如何在给定照明条件和观测条件的情况下 , 由彩色数字相机的响应值重建物体表面光谱反射率 , 仍是颜色科学与工程领域一个尚待解决的重要课题 。 文章使用奇异值分解的方法将光谱反射率近似为若干 基向量的线性组合 , 求得组合系数 , 然后使用相机输出数据与组合系数训练人工神经网络 , 使之能够准确的 模拟相机输出与组合系数之间的非线性关系 , 最后采用经训练的神经网络 , 与基向量结合 , 由相机输出准确 的重建物体表面的光谱反射率 。 实验结果显示 , 与线性近似的方法相比 , 使用该方法对标准 M unsell色块进 行反射率重建 , 重建误差减小了约 67% , 具有高精度 、 易实现 、 易操作的特点 , 可用于对重建精度要求较高 的诸多领域 。 关键词 光谱反射率重建 ; 神经网络 ; 基向量 ; 非线性 中图分类号 : TP73 文献标识码 : A DO I: 1013964 / j1 issn11000 2 0593 ( 2009 ) 05 2 1176 2 05 线性组合 (参见下式 , a i 表示组合系数 , gi (λ) 表示正交基向 量或者正交基函数 ) G (λ) = [ g1 (λ) g2 (λ) … gM (λ) ]
(λ N ) ] 。
T
… R K (λ1 ) … R K (λ2 ) … … … R K (λ N )
0
V1 VM
T T
通过奇异值分解的方法 , R 可以近似表示为 N 维基向量 的线性组合 σ1
R ≈ [ r1 … r M ]
… R 1 (λ N )
… R 2 (λ N ) σ1
进行奇异值分解
a =
= [ U 1 … UM ]
… σ MV
T M
= UM ・A
0
V1 VM
T
T
ω
0
… σ M
T σ1 V 1 M 其中 , UM = [ U 1 … UM ] ∈RN × , A =
… σ MV
T M
∈RM ×K 。A
在基向量矩阵 r确定的情况下 , 反射率向量 R 可由系数向量 a 求得 。 112 神经网络 本文采用了双层前向神经网络的结构 , 该神经网络第一 层共有 Q 个神经元 , 输出函数是双曲正切函数 ; 第二层有 M 个神经元 , 输出函数为线性函数 。 神经网络的输入是相机的 响应值 S , 输出为系数向量 a; I W , LW , b1 , b2 是神经网络的 内部参数 , 可由数据拟合得出 。 输入输出满足如下关系 : a = LW ・ tanh ( I W ・S + b1 ) + b2 从表达式可以看出 , 正是因为双曲函数 tanh 以及向量 b1 , b2 的作用 , 神经网络不仅可以精确地模拟线性函数 , 还 可以成功地模拟非线性函数 , 因而能够更好地近似刺激值 S 与系数向量 a 之间的关系 。
ue Decomposition, SVD ) 得到 ; 基函数法中 , G (λ) 则预先设
此 , 如何在给定照明条件和观测条件下 , 由相机的响应值 S [ 1, 2 ] 。 重建光谱反射率 R (λ) 就成为了一个重要的研究课题 重建光谱反射率的过程中最重要的是建立 S 与反射率
R (λ) 之间的对应关系 , 亦被称之为校准或者建模 R (λ) = H ( S,λ)
R K = [ R 1 R 2 … R K ] R 1 (λ1 ) = R 1 (λ2 ) R 2 (λ1 ) R 2 (λ2 )
通常情况下 , 连续的光谱反射率函数 R (λ) 可以由对应 λ1 ) , R (λ2 ) , 于不同波长 λ1 , λ2 , …, λ N 的光谱反射率值 R ( ( λ ) (λ2 ) , …, R ) 来 表 示 , 记 为 R = [ R , R …, R (λ 1 N
F ig11 F irst 20 sin gular va lues of ma tr ix R K
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
式中 H 表示从 S 和 λ到 R (λ) 的映射 。 基向量法和基函数法 是解决这个问题常见的两种方法 [ 1, 3 ] , 这两种方法的本质都 是把首先把 R (λ) 表示为若干正交基向量或者正交基函数的 收稿日期 : 2008 2 03 2 10, 修订日期 : 2008 2 07 2 25
R K≈ [ U 1 … UM ]
0
V1 V
T M
T
ω
0
… = r ・a σ M
ω
0
T σ1 V 1
… σ M
式中 r1 , …, r M 均为 N 维单位正交基向量 , σ 1 , …, σ M 表示 M 个数值较大的奇异值 , V 1 , …, VM 也是单位正交向量 , 基 向量矩阵 r = [ r1 , r2 , …, r M ], 系数向量 σ1
1178
光谱学与光谱分析 第 29 卷
212 神经网络近似基向量系数
的色块样本的原始光谱反射率曲线 R o , 以及相应的经 8 个基 向量重建得到的光谱反射率 R v 。 从图中可以看出 , 原始反射 率曲线与近似曲线非常相近 。
F ig12 O r ig ina l reflectance curves of 4 random ly2selected color ch ips ( R o ) and those recon structed by 8 ba sis vectors ( R v )
第 2 9卷 , 第 5期 光 谱 学 与 光 谱 分 析 2 0 0 9 年 5 月 Spectroscopy and Spectral Analysis
Vol129, No1 5 , pp1176 21180 M ay, 2009
基于彩色数字相机的光谱反射率重建方法研究
定 , 常见的基函数包括傅里叶函数 , 高斯函数等 。 从而寻求 H ( S, λ) 的过程可以被进一步简化为寻求 F ( S ) 的过程 , 也就 是建立从响应值 S 到组合系数 a 的数学模型 。 因为函数 F ( S ) 是未知的 , 所以一般而言应该被认为是 非线性的 , 但是常用的求函数 F ( S ) 的方法 , 诸如伪逆矩阵 法 , W iener法 , 都采取了线性假设 , 即把 a = F ( S ) 近似为