光照条件变化下的图像生成方法
第!"卷第#期$%%!年#月
上海交通大学学报
&’()*+,’-./+*0/+1&1+’2’*0(*134).125
3678!"*68#
.9:8$%%!
收稿日期;$%%$<%#<=>
基金项目;国家自然科学基金资助项目?!%="%$"@A
作者简介;杨杰?=#B @ 文章编号;=%%B <$@B "?$%%!A %#<=@=B <%S 光照条件变化下的图像生成方法 杨 杰=C 许丽敏$C 郭英凯=C 李国正= ?=8上海交通大学图像处理与模式识别研究所C 上海$%%%!%E$8上海交通大学T 1’ 要;提出了两种图像生成的方法;?=A 由图像分割D 三维重建和投影生成构成8该方法考虑了图像中各部分表面发射模型的差异C 通过将图像各区域划分成朗伯表面和镜面反射C 分别进行三维重建C 然后融合两结果C 改变光照方向和强度C 投影生成新的图像E ?$A 将.V G :9W X 6F N V G Q H K L 和 .V G :9W X 6F O 9Y O P X 9技术融合起来8采用0G Z 6X 滤波器将图像中的纹理成分和阴影成分区分开来C 再用两种方法各自生成三维立体图像C 依据它们的特性在频域融合两个三维图像C 然后再改变视角和光照的强度D 方向C 生成仿真的二维图像8实验表明C 由该两种方法恢复出的形状优于传统的估计方法C 生成的图像真实感强8 关键词;计算机视觉E 图像生成E 纹理中图分类号;2[! #=文献标识码;+ 1\]^_‘_a _b ]c d e ae a1f f g \d a ]c d e ah i ]a ^d a ^ j k lmn o p = C q r s o C m r vj o u w C s z m {|<}~p u w = ?=81K N O 86W 1F G L 9[X 6R 9N N H K L !)9R 6L K H O H 6K C .V G K L V G H &H G 6O 6K L(K H "8C .V G K L V G H $%%%!%C #V H K G E $8T 1’ 9K O 9X C .V G K L V G H &H G 6O 6K L(K H "8C .V G K L V G H $%%%!%A $%&c b ]’c ;2V H N :G :9X :X 9N 9K O 9Q O (6)H K Q N 6W H F G L 9L 9K 9X G O H 6KF 9O V 6Q N 82V 9W H X N O F 9O V 6Q R 6K N H N O N 6W H F G L 9 N 9L F 9K O G O H 6K C!<*X 9R 6K N O X P R O H 6KG K Q:X 6I 9R O H 6K 81O R 6K N H Q 9X NO V 9Q H W W 9X 9K R 9NH KN P X W G R 9X 9W 79R O H 6KH KQ H W N V G :9N X 9N :9R O H "97J C O V 9KW P N 9N O V 9O (6X 9N P 7O N C R V G K L 9N O V 9H 77P F H K G K O Q H X 9R O H 6KG K Q:6(9X C L 9K 9X G O 9N G K 9(H F G L 982V 9N 9R 6K QF 9O V 6QW P N 9N O V 9N V G :9W X 6F N V G Q H K LG K QN V G :9W X 6F O 9Y O P X 9O 9R V K H +P 9N 80G Z 6X W H 7O 9X N G X 9P N 9QO 6N 9:G X G O 9O V 9N V G Q H K LH K W 6X F G O H 6KG K QO 9Y O P X 9H K W 6X F G O H 6K C O V 9K !<*H F G L 9NG X 9X 9R 6K < N O X P R O 9QX 9N :9R O H "97J C O V 9O (6!<*H F G L 9N G X 9W P N 9QG R R 6X Q H K LO 6O V 9H X R V G X G R O 9X N H KW X 9+P 9K R JW H 97QG K QO V 9K 9($<*H F G L 9H N L 9K 9X G O 9QZ JH 77P F H K G O H 6KR V G K L H K L 82V 99Y :9X H F 9K O N N V 6(O V G O O V 9H F G L 9N L 9K 9X G O 9QZ J O V 6N 9O (6F 9O V 6Q N G X 9O X P 9C G K QZ 9O O 9X O V G KO V G O L 9K 9X G O 9QZ JO X G Q H O H 6K G 7F 9O V 6Q N 8,_-.e b /&;R 6F :P O 9X "H N H 6K E H F G L 9L 9K 9X G O H 6K E O 9Y O P X 9 图像生成是计算机图形学研究的一个重要内容C 它在仿真模拟D 几何造型D 广告影视D 指挥控制和科学计算的可视化方面都有广泛的应用8计算机图形学所研究的图像生成可以说是一个造图的过程C 它是根据物体或场景的数学或几何描述C 采用光线跟踪D 表面处理D 辐射度方法等C 生成与真实场景最相近的图形8本文研究了在未知的数学或几何描述和只有一幅原始图像的情况下C 0 000000000000000000000000000000000000000000000000000000000000000000由这幅图像抽取有 万方数据 用信息!如光照方向"表面反射特性和物体形状等参数!再改变成像时的光照条件!生成模拟图像# $基于图像分割的图像生成算法 地面上的点接受的光照构成有%&天空光!又称为背景光!它在各个方向上的分布都是相同的’(平行光!即太阳的直射光’)自照射光!即物体之间由于反射相互照射的光#本文忽略)而只考虑&"(两种情况#假设地面目标表面符合朗伯模型!则图像的亮度可以表示为*+,!-./0+1!2./ 3456789:;/3+<=>.9:;/ 3456?@1456A 6B C ?@26B C A 6B C ? D 91 E 92 F E 9:;+D .式中%3为一个综合反射率!它包括光照强度和表面反射率两个因素’78为物体表面法线和太阳直射方向的夹角’<为在表面+,!-!G +,!-..的单位法线向量’>为太阳光线直射方向的单位向量’A 为太阳的高度角!是>与,H G 平面的夹角+倾斜角.’?为>与 G 轴正方向的夹角!通常称为方位角+歪斜角.’:;为亮度修正函数!它依赖于背景光照等因素!即依赖于天空光# 然而!自然景物并不总是纯朗伯模型!也不是纯镜面模型!它们通常是两种情况的混合!也就是说它们是混合表面#I J 5C K 提出了一个明暗处理模型!该模型考虑了多方面的因素!其公式为 */L M *M 9L N *N 45679L 6*O 456P Q +E .式中%L M "L N 和*M "*N 分别是与物体表面性质有关的漫反射常数和光强’L 6为物体表面镜面反射系数! 它与入射角和波长有关!实际使用中通常取常数’*O 为光源的光强’7为入射角’Q 为视线与表面法向量的 夹角!456P Q 近似地描述了镜面发射光的空间分布#自然景物是复杂的!为了更好的描述自然表面!也为更好地处理图像!需要对所处理图像的地形"地貌做一些合理的假设% +D .地形变化缓慢没有尖端边缘处’ +E .地形可以分为凹面"凸面"平面等类型’+R .同一表面区域中! 法线向量的分布是各向同性的!并且该区域内各点的反射特性是一致的’+S .地形表面是分块镶嵌!即由符合朗伯表面和镜面反射的小块构成# 为简化图像的区域类型!假定图像地形表面只由R 类表面构成!即凹面"凸面和平面!根据L D "L E 的大小可以判别曲面的类型%&平面#L D !L E /;’(凹面#L D !L E T;’)凸面#L D !L E U;#I K C V O M C N W D X 证明了可以用图像的亮度和一阶"二阶导数信息计算L D "L E !从而得到表面的类型#基于图像分割的图像生成方法的详细流程如图D 所示#对于自然光照下的光照方向!本文采用加权平均法W E X ! 对于自然光照下图像的表面参数估计!采用Y J K C Z 等W R X 提出的参数估计方法# 图D 光照改变情况下图像生成流程图[B Z #D [O 5\4J M ]V 5^B _M Z K Z K C K ]M V B 5C5C B O O ‘_B C M V B 5C4J M C Z B C Z 对于图像的区域分割!本文所处理的图像主要为自然景物#假设地形的变化是缓慢的!地形中的凹"凸面都比较完整!可以认为可见凹"凸面上存在法向量与光照方向相反的点#假定地形表面是朗伯表面!由*/a b cd 可知! 该点的灰度值在该区域内是最大的+即为a b .!可以认为每个可见凹面或凸面都存在一个奇点+即最亮点.! 并满足*+,;!-;./_M e f *+,;9,!-;9-.!+,@,;.E 9+-@-; .E g 0E h N *i +,;!-; .j ;+i 为任意方向.通过寻找奇点可以找到进行区域分割的种子 点!从种子点开始采用区域生长法就能将图像分为凹"凸面和平面区域# 对于三维重建!为提高重建表面形状的稳定性! 本文采用k 6M B W S X 提出的线性形状重建方法! 该方法对朗伯表面和镜面反射都提供了可靠的恢复方法# 该方法归结为以下的迭代% l P +,!-./l P @D +,!-.@ m +l P @D +,!-.. N N l m +l P @D +,!-..对于朗伯表面反射N m +l P @D +,!-..N l +,!-./+1E 692E 6 .1E 92E F 9D 1E 692E 6F 9D @+192.+11692269D .+ 1E 92E 9D .F R 1E 692E 6F 9D n D S D 第o 期 杨 杰!等%光照条件变化下的图像生成方法 万方数据 其中! "#$% $& #%’&()*+%’&+,()*- #$% $& #%’&()*+%’&()+,*".#/0.1.234/0.4(-. #.231.234/0.4 对于镜面反射 56’%7+,’&()**5%’&()* #+89:;<+’=>* +, ? ’=8>,+’@A B*C 8*D +,’E &F E )F E G *+’"E &F -E )F E G *’"F -*"8F -8 H F , ’"8F -8F ,*+,8其中!>#,I /0.’@J B *K B 为光照和视线方向的平 均向量K ;为常数K =表示反映表面的粗糙度9 对于反射类型判别(本文选择常用的均方差灰度相关法9对于输入图像中的每一个像素点’&()*(取其L ?L 邻域(与生成图像中的对应点及其邻域进行比较9设M N ’&()*和M O ’&()*分别是按照朗伯表面反射和镜面反射生成的投影图像(P N ’&()*和P O ’&()*分别是M N ’&()*和M O ’&()*与输入图像的相关系数(采取如下步骤判断其反射类型! ’,*根据公式计算每一点的相关系数P N ’&()*和P O ’&()*9’8*比较其大小(如果P N ’&()*Q P O ’&()*(则该点初始定为朗伯反射点K P N ’&()*R P O ’&()*(该点定为镜面反射点K 如其相等(则该点属性未定9’S *根据地形类别的分割结果对上述结果进行修正(其原则如下!T 对于一个凹面或凸面地形区域内的所有点(计算其属于朗伯反射点和镜面反射点的个数U N 和U O (如果U O V8U N (则该区域定为镜面反射区域K 否则(该区域为朗伯反射区域9采用上述原则的原因在于大部分的自然景物表面基本都是符合朗伯表面的假设(而只有某些表面较光滑的人工物体表面W 水体W 雪等才呈现镜面反射(而这些表面在凹面或凸面地形区域内是可以用朗伯表面近似的9 X 对于可见平面区域内的点(同样计算其U N 和U O (如果U O V U N (则该区域为镜面反射K 否则为朗伯表面9 Y 对于阴影区域内的点( 对其特性不做修改9投影生成是指根据图像的形成原理(生成图像的过程(在上面的步骤中(已经判别出了图像的类别(得到的是一幅已经区分了反射类型和地形类别的分割图像(对于该图像(其投影生成分为两步!’,*对于输入图像的每一个像素点( 如果其反射类型属于朗伯反射(则采用式’,*计算其灰度值K 如果其反射类型为镜面反射(则采用式’8*计算其灰度值9 不采用完全的镜面反射而采用混合反射是因为在自然环境中(基本不存在理想的镜面反射区域( 采用混合的方法更能反映实质9 ’8*因为图像分为凹W 凸面区域W 可见平面区域和阴影部分(而且光照变化对于不同类型的区域的效果是不同的(因此采用计算机图像学中的标准消隐算法进行修正(最后得到模拟生成的图像9对于不可见表面部分的阴影部分(由于阴影形成非常复杂( 当光照方向变化不大时(可以认为图像中的阴影部分不发生变化(对其不进行处理9 当改变光照的方向和强度时(采用上述方法就可以生成新的模拟图像9 Z 由纹理生成图像及两种方法的融合 当人们用单眼观察由纹理覆盖的表面时(表面上的纹理会根据表面的倾斜情况产生明显的尺度变化(因此(这时只用单眼也能观测到表面的倾斜9纹理恢复表面方向首先由[2\.03提出(