第7章基于图像的VR技术84

第7章基于图像的VR技术84
一、 Camera模型：针孔成像模型
• 图像上每一点的亮度反映了空间物体表面某点反射光的强 度，而该点在图像上的位置则与空间物体表面相应点的几 何位置有关。这些位置的相互关系，由摄像机成像几何模 型所决定；
• 该几何模型的参数称为摄像机参数，必须由实验与计算来 确定，实验与计算过程称为摄像机定标；
4)可见性判断。
景物间的相互遮挡会使新合成的视图中出现空洞和重叠。
5)信息压缩。
IBR方法的计算量不大，但数据量很大，合理有效的压缩及解压缩机制是一个 亚待解决的问题。
6)完全漫游。
如何实现基于图象的完全实时漫游是基于IBR方法的虚拟现实系统能否走向实 用的又一个关键问题。
第7章基于图像的VR技术84
第7章基于图像的VR技 术84
2020/11/26
第7章基于图像的VR技术84
VR的两种研究方法简介
VR的两种研究方法：
方法一：基于几何的绘制 • 该方法有时也被称为基于模型的方法 • 传统上，一个虚拟环境是由各类3D几何体合成的。在
虚拟环境中漫游是通过实时绘制2D几何体实现的。
– 首先对场景建立三维几何模型，对场景中各个物体的材料、 光照、纹理、消隐等因素进行描述；
– 然后根据观察者位置和观察角度生成场景中各个物体的图象， 用图形学方法进行绘制；
– 最后用光线跟踪或纹理映射的方法增加真实感，同时对物体 进行着色、上光、粘贴材质、判断遮挡、填充空洞等处理。
第7章基于图像的VR技术84
• 基于几何绘制的方法
此方法有3个主要问题：
• 第一，几何体的建模是一个非常繁琐的问题。 • 其次，由于漫游需要实时显示，因此限制了场景的复杂性
• 基于立体视觉的图像合成方法也存பைடு நூலகம்着立体 视觉中固有的缺陷：
– 由于场景有可能部分和全部地被遮挡，只能掌握场 景有限的信息，导致在参考图中不可见而在新图中 应该可见的区域出现空洞，如何填补这些空洞是一 个难以解决的问题；
– 由于只产生有限的深度分辨率(深度不连续)，使得 匹配处理出现误差。
第7章基于图像的VR技术84
• 通过旋转摄影的方法，可以获得一系列相互间有一定 接缝的局部图像，以此作为全景图像生成的原始输入。
第7章基于图像的VR技术84
柱面体模型和展开示意图
第7章基于图像的VR技术84
1、柱面正投影算法
• 在拼接全景图像之前必须将他们统一投影到柱面上， 使现实世界中相同的景物在不同的局部图像中是相同 的。
1)表示模式。
即数据的组织问题。需要找到一种简便有效且适合于计算机表示的模式，使 之能精确完整地表示整个场景;
2)获取方法。
用手持相机或者用被精确定位与控制的数控摄像机、图象采样的数量多少、 采样模式及样本均匀性等都会影响问题的难度和精度。
3)失真问题
失真是由于连续图象信号的离散化、采样设备的精度和质量、设备噪等多种 因素而产生的。同时，工BR方法不可避免地要对场景图象进行多重采样，这样又 会产生采样积累误差。
• 为了便于存储，将此三维的坐标转换为 二维的图像坐标:
第7章基于图像的VR技术84
1、柱面全景图像的拼接
• 图像的整合
– 一般图像整合问题可以形式化定义为 – 其中I1和I2分别代表两个图像样本，M是一个平面投影
变换或摄像机定点旋转拍摄时两幅重叠图像间的变换 矩阵，用齐次坐标表示如下:
第7章基于图像的VR技术84
第7章基于图像的VR技术84
第7章基于图像的VR技术84
基于图像的建模和绘制技术
4 基于全视函数的方法
• 全视函数(PlenOptic Function)是由Adelson和Bergen命名的 • 全视函数描述了观察点(而非物体或光源)接收到的所有可见
光辐射的能量。用计算机图形学术语，它描述了给定场景中 所有可能的环境映照集合 • 全视函数定义在一个七维的参数空间上
– 自定标 (project)
• 实例
– 机器人手眼定标 – 主动视觉的头眼定标
第7章基于图像的VR技术84
Camera定标：线性模型情形
• Camera的完整代数模型：
第7章基于图像的VR技术84
其中：
: 为3X4矩阵，称为投影矩阵;
:由
（只与摄像机内部结构有关）决定，称为摄像机内部参数;
: 由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数;
• 柱面正投影算法是为了将多张实景图像分别投影到一 个柱面上，以柱面全景图像的形式存储,就是对于一张 拍摄的实景图像I上的每一个象素点P的坐标(x, y)，找 到其在圆柱体上的投影点Q (u, v, w)在柱面全景图像中 的坐标(x’，y’)。如下图2-9所示。
• P在照相机坐标系下的坐标为:(x-W/2,y-H/2,-f)，其中， W和H分别是实景图像I的宽度和高度。把圆柱面的中 心设为照相机坐标系的原点0，以数码相机的象素焦距 f作为圆柱面的半径。
基于图像的建模和绘制技术
3 图像拼合和分层的方法
• 将同一场景的多张有重叠的图像组合成 一幅较大图像的处理叫做拼合(mosaic)。
– 图像拼合技术典型地被用于全景图的生成、 改善图像分辨率、图像压缩及视频扩展等方 面
– 图像整合(image registration), 即是把参考图 像中相互重叠的部分对齐所做的变换。
– 针对某一场景，视点固定，采集一组有重叠区域的连续环视 图象作为原始图象数据。
– 按照全景视觉一致性的要求，同时也是为了维持实际场景中 的空间约束关系，先将原始图象数据转化为拼接图象数据， 即:把原始图象转换到用于映射全景图象的曲面上(如:圆柱面、 球面、立方体表面等)。
– 通过图象拼接技术，将这组图象中相邻两幅图象间的重叠部 分整合在一起，进而实现相邻两幅图象的拼接。当所有的图 象都拼接完毕后，就会获得一幅全景图象。
• 基于立体视觉的图像合成方法主要有以下优点：
– 新视图可以由两幅邻近的参考图像及它们的对应关系 合成，整体的几何模型不是必需的；
– 图像变换比传统的图像绘制快得多，而且计算时间独 立于场景复杂度；
– 只需知道邻接摄像机之间的相对轮廓信息，而不需要 对摄像机进行精确的定标。
第7章基于图像的VR技术84
• 摄像机模型是光学成像几何关系的简化。最简单的模型为 线性模型，亦称为针孔模型 (pin-hole model)
第7章基于图像的VR技术84
摄像机针孔模型示意图
第7章基于图像的VR技术84
Camera模型：四种参考坐标系
world坐标系
camera坐标系
Image坐标系 （物理/计算机）
第7章基于图像的VR技术84
– 关键问题是找出每对已知图像之间的对应映射，即解决立 体匹配问题
– 通过对应关系建立了一个基于图像的场景表示
– 将场景视图及其对应关系组成一个图结构，图中灰色摄像机代表不同 物理位置的参考图像，黑色摄像机代表合成视图，双向边表示邻接视 图间的立体对应关系，单向边表示对参考图像所做的变换。
第7章基于图像的VR技术84
Camera模型：代数模型
• 成像过 –程(1)从world坐标到Camera坐标
旋转、平移 （欧氏变换）
齐次坐标概念：
第7章基于图像的VR技术84
Camera模型：代数模型
– (2)经透视投影将Camera坐标投影到实际图像平面
透视投影（中心射影）：
第7章基于图像的VR技术84
Camera模型：代数模型
针孔摄像机模型及坐标系
第7章基于图像的VR技术84
第7章基于图像的VR技术84
全景图像的生成
• 图像拼合主要包含两个问题：
– 一是图像整合，即把参考图像中相互重叠的部分对 齐所做的变换；
– 二是图像缝合，即把图像经过一定的变换后，在缝 合空间进行图像的局部匹配。
第7章基于图像的VR技术84
通过图象拼接来生成全景图象的基本过程如下:
当然也可以不固定视点，如:手持照相机进行拍摄，但此时要通 过某种办法计算出拍摄各张相片时，照相机的位置和方位
第7章基于图像的VR技术84
柱面全景模型
• 柱面全景模型(图a)就是将环境图像表达在一个圆柱体 面上，这样就很容易将它展开为简单的平面图(图b)。 在水平方向上其无表面无边界，从而简化了建立图像 流场所需的对应关系搜索。
和绘制的质量。 • 最后，加速绘制所需要的专门硬件极其昂贵，因此限制了
虚拟现实的发展。
第7章基于图像的VR技术84
基于几何的绘制方法的工作流程
第7章基于图像的VR技术84
基于图像绘制技术
VR的两种研究方法：
方法二：基于图像的建模和绘制(Image Based Modeling and Rendering， 简称IBMR，简写为IBR)
•
代表空间中视点的位置，视域方向和范围用仰角
• 方位角 定义 ， λ代表人眼感受到的波第7长章基,t于代图像表的V时R技术间84
全视函数的参数化
第7章基于图像的VR技术84
摄像机：模型及定标
• 摄像机模型
– 针孔成像模型（几何） – 几种参考坐标系 – 成像过程（代数）
• 摄像机定标
– 线性模型摄像机定标 – 非线性模型摄像机定标 – 立体视觉摄像机定标
第7章基于图像的VR技术84
柱面正投影示意图
第7章基于图像的VR技术84
柱面坐标转换图
第7章基于图像的VR技术84
• 照相机坐标系原点0与象素点P的直线方程可以表示为参 数方程(t是参数):
• 圆柱面的方程可以表示为: • 联立上面式即可得到P点在圆柱面上投影点Q的参数坐标:
第7章基于图像的VR技术84
第7章基于图像的VR技术84
Camera定标：立体视觉情形