数字图像处理双目立体视觉ppt演示文稿
合集下载
数字图像处理ppt课件
基于特征分类的辨认
总结词
通过提取图像中的特征，利用分类器对特征 进行分类，从而辨认图像的类别。
详细描写
基于特征分类的图像辨认方法是一种常用的 图像辨认方法。它通过提取图像中的特征， 如边缘、角点、纹理等，利用分类器如支持 向量机、神经网络等对特征进行分类，从而 辨认图像的类别。这种方法能够有效地提取 图像中的本质特征，并具有较强的鲁棒性，
纹理特征提取
灰度共生矩阵
通过分析图像中像素灰度值的空间依赖关系，形成共生矩阵，并从中提取出统 计特征，如对照度、能量和相关性等。该方法适用于描写图像的粗糙程度和方 向性。
小波变换
将图像分解成不同频率和方向的小波分量，通过分析小波系数的统计特性来提 取纹理特征。该方法能够有效地表示图像的细节信息和全局结构。
但特征提取和分类器的设计是关键。
基于深度学习的辨认
总结词
利用深度学习算法自动提取图像特征， 并进行分类辨认。
VS
详细描写
基于深度学习的图像辨认方法是目前研究 的热点。它利用深度学习算法如卷积神经 网络（CNN）等自动提取图像的特征， 并进行分类辨认。这种方法能够有效地从 原始图像中提取复杂的特征，并具有较高 的辨认准确率。但需要大量的标注数据进 行训练，且计算复杂度较高。
04
CATALOGUE
特征提取
颜色特征提取
颜色直方图
通过统计图像中不同颜色像素的数量 ，形成颜色直方图作为图像的颜色特 征。该方法简单、有效，适用于不同 光照和视角变化的场景。
颜色矩
利用图像颜色的散布信息，通过计算 一阶矩（均值）、二阶矩（方差）和 三阶矩（偏度）来表示颜色特征。该 方法对颜色突变和噪声不敏锐。
图像辨认
基于模板匹配的辨认
数字图像处理光度立体视觉课件
提高诊断的准确性和效率。
光度立体视觉面临的挑战与问题
光照条件变化
光度立体视觉系统在光照条件变 化下的性能有待提高，需要研究
更好的光照适应性算法。
遮挡与阴影
物体遮挡和阴影对光度立体视觉系 统的性能产生较大影响，需要研究 有效的阴影去除和遮挡处理方法。
数据获取与处理
光度立体视觉系统需要大量的数据 支持，如何高效地获取和处理数据 是一个亟待解决的问题。
特征提取是一种从图像中提取有用信息的 方法。常见的特征提取包括边缘检测、角 点检测等。
03
光度立体视觉的获取方 法
双目立体视觉系统
立体相机
双目立体视觉系统的核心是立体相机，它由两个相机模拟人 眼结构排列而成，通过调整两个相机之间的距离和角度来获 取物体的三维信息。
标定与校正
为了准确获取三维信息，需要对立体相机进行标定与校正， 包括相机的内部参数（如焦距、光心等）和外部参数（如旋 转和平移等）。
光度立体视觉传感器的选择与 优化
机器人导航算法的改进与实现
实验平台的搭建与测试
实验结果与分析
实验结果
对基于光度立体视觉的机器人导航方案进行实验，结果表明该方案能够有效地提 高机器人的导航精度和稳定性，同时降低了对环境光照和颜色的敏感性。
结果分析
通过对实验数据的分析，验证了基于光度立体视觉不足和需要改进的地方。
THANKS FOR WATCHING
感谢您的观看
特征提取：通过提取图像中的角点、边 缘等特征信息，建立特征描述子。
特征匹配：通过比较不同图像的特征描 述子，寻找匹配的特征点对。
图像融合的方法与流程
01
基于区域的融合
02
03
04
05
光度立体视觉面临的挑战与问题
光照条件变化
光度立体视觉系统在光照条件变 化下的性能有待提高，需要研究
更好的光照适应性算法。
遮挡与阴影
物体遮挡和阴影对光度立体视觉系 统的性能产生较大影响，需要研究 有效的阴影去除和遮挡处理方法。
数据获取与处理
光度立体视觉系统需要大量的数据 支持，如何高效地获取和处理数据 是一个亟待解决的问题。
特征提取是一种从图像中提取有用信息的 方法。常见的特征提取包括边缘检测、角 点检测等。
03
光度立体视觉的获取方 法
双目立体视觉系统
立体相机
双目立体视觉系统的核心是立体相机，它由两个相机模拟人 眼结构排列而成，通过调整两个相机之间的距离和角度来获 取物体的三维信息。
标定与校正
为了准确获取三维信息，需要对立体相机进行标定与校正， 包括相机的内部参数（如焦距、光心等）和外部参数（如旋 转和平移等）。
光度立体视觉传感器的选择与 优化
机器人导航算法的改进与实现
实验平台的搭建与测试
实验结果与分析
实验结果
对基于光度立体视觉的机器人导航方案进行实验，结果表明该方案能够有效地提 高机器人的导航精度和稳定性，同时降低了对环境光照和颜色的敏感性。
结果分析
通过对实验数据的分析，验证了基于光度立体视觉不足和需要改进的地方。
THANKS FOR WATCHING
感谢您的观看
特征提取：通过提取图像中的角点、边 缘等特征信息，建立特征描述子。
特征匹配：通过比较不同图像的特征描 述子，寻找匹配的特征点对。
图像融合的方法与流程
01
基于区域的融合
02
03
04
05
最新数字图像处理-图像和视觉基础PPT课件
256级常规灰度显示彩虹显示红色r饱和度显示绿色g饱和度显示蓝色b饱和度显示黄色y饱和度显示青色m饱和度显示絮色c饱和度显示24图像的表征241图像表示为了对图像施以有效的处理就要了解图像的内在特性
数字图像处理－图像和视 觉基础
第二章 图像和视觉基础
▪ 2.1 光的特性 ▪ 2.2 视觉系统 ▪ 2.3 颜色 ▪ 2.3.1 CIE色度图
在数字图像处理中所涉及到的是一些最普通类型的图像。
它们的突出特点是都具有特殊的统计特性，并且有专门的应用。 从这个基点出发可做如下比较明快的分类：TV型的自然风景， 这是一种常见的图像；空间摄影照片和地球资源探测图片，这 类图像构图不明显；电子显微镜照片和标准显微镜照片，这是 一类在冶金学、医学及石油探测等都很感兴趣的一类照片；文 本，这是指一些打印、印刷或手写的记号图像；图样，它们通 常就是简单地由线段和图形构成的单色二值图像；专用图像， 这一类图像大多是用特殊技术得到的图像，例如，X射线照片、 红外热象、超声波图像等等。
CIE色度图
CIE色度图有多种用途。欲获得一种光谱色的补 色，只需从这一点通过C点作一条直线，求出其与对 側光谱轨迹的交点，即可求得补色波长,如上图中C1的 补色为C2，或者说C1和C2互为补色。两种补色按一定 比例相加得白色。求一种颜色的主波长时，只要连接
颜色所在位置与C点的直线，直线与位于颜色同侧的 光谱轨迹线交点即为主波长，如下图中C3的主波长为 C4。但如果交点在紫色线上，则主波长应是位于颜色 反侧的光谱轨迹线交点，如图8.27中C5同C点相连同 侧的交点为C6，在紫色线上，因此C5的主波长为反侧 的C7。
1lm(白光)﹦0.30lm(红)﹢0.59lm(绿)﹢0.11lm(蓝)
即产生白光时，三基色的比例关系是不等的，这给实际使用带 来一些不方便。
数字图像处理－图像和视 觉基础
第二章 图像和视觉基础
▪ 2.1 光的特性 ▪ 2.2 视觉系统 ▪ 2.3 颜色 ▪ 2.3.1 CIE色度图
在数字图像处理中所涉及到的是一些最普通类型的图像。
它们的突出特点是都具有特殊的统计特性，并且有专门的应用。 从这个基点出发可做如下比较明快的分类：TV型的自然风景， 这是一种常见的图像；空间摄影照片和地球资源探测图片，这 类图像构图不明显；电子显微镜照片和标准显微镜照片，这是 一类在冶金学、医学及石油探测等都很感兴趣的一类照片；文 本，这是指一些打印、印刷或手写的记号图像；图样，它们通 常就是简单地由线段和图形构成的单色二值图像；专用图像， 这一类图像大多是用特殊技术得到的图像，例如，X射线照片、 红外热象、超声波图像等等。
CIE色度图
CIE色度图有多种用途。欲获得一种光谱色的补 色，只需从这一点通过C点作一条直线，求出其与对 側光谱轨迹的交点，即可求得补色波长,如上图中C1的 补色为C2，或者说C1和C2互为补色。两种补色按一定 比例相加得白色。求一种颜色的主波长时，只要连接
颜色所在位置与C点的直线，直线与位于颜色同侧的 光谱轨迹线交点即为主波长，如下图中C3的主波长为 C4。但如果交点在紫色线上，则主波长应是位于颜色 反侧的光谱轨迹线交点，如图8.27中C5同C点相连同 侧的交点为C6，在紫色线上，因此C5的主波长为反侧 的C7。
1lm(白光)﹦0.30lm(红)﹢0.59lm(绿)﹢0.11lm(蓝)
即产生白光时，三基色的比例关系是不等的，这给实际使用带 来一些不方便。
09 数字图像处理_双目立体视觉 ppt课件
Image & Vision Lab
2D 和 3D 的关系
现实存ห้องสมุดไป่ตู้的问题
一般的物体(Objects)都是三维的； 图像(Images)却是有关灰度，颜色等信息的阵列； 3D的深度(Depth)信息在一幅图像上不能明显的显示出
来。
2D的分析需要3D的信息
物体表面是连续，平滑(Smooth)的； 物体都有特定的形状和边界。
极线几何 (Epipolar Geometry)
动机:在哪寻找匹配点?
P
极平面 极线 极点
Pl
Pr
极平面
极线约束
极线
匹配点必须在极线上
pl
pr
2020/12/27
Ol
el
er
Or
极点
Image & Vision Lab
14
极线几何 (Epipolar Geometry)
基线：左右两像机 光心的连线；
Reference: 《计算机视觉——一种现代方法》第10章
2020/12/27
Image & Vision Lab
18
弱标定 (Weak Calibration)
使用一个玩具房子的两幅图像上的37个点作为输入的弱 标定实验。
数据点在图中用圆点表示，所经过的外极线用短的直线 段表示。
左图显示使用最小二乘法的普通8点算法得到的输出结 果；右图为使用Hartley变换后的该方法的输出结果。
2020/12/27
2
Image & Vision Lab
精品资料
• 你怎么称呼老师？ • 如果老师最后没有总结一节课的重点的难点，你
是否会认为老师的教学方法需要改进？ • 你所经历的课堂，是讲座式还是讨论式？ • 教师的教鞭 • “不怕太阳晒，也不怕那风雨狂，只怕先生骂我
2D 和 3D 的关系
现实存ห้องสมุดไป่ตู้的问题
一般的物体(Objects)都是三维的； 图像(Images)却是有关灰度，颜色等信息的阵列； 3D的深度(Depth)信息在一幅图像上不能明显的显示出
来。
2D的分析需要3D的信息
物体表面是连续，平滑(Smooth)的； 物体都有特定的形状和边界。
极线几何 (Epipolar Geometry)
动机:在哪寻找匹配点?
P
极平面 极线 极点
Pl
Pr
极平面
极线约束
极线
匹配点必须在极线上
pl
pr
2020/12/27
Ol
el
er
Or
极点
Image & Vision Lab
14
极线几何 (Epipolar Geometry)
基线：左右两像机 光心的连线；
Reference: 《计算机视觉——一种现代方法》第10章
2020/12/27
Image & Vision Lab
18
弱标定 (Weak Calibration)
使用一个玩具房子的两幅图像上的37个点作为输入的弱 标定实验。
数据点在图中用圆点表示，所经过的外极线用短的直线 段表示。
左图显示使用最小二乘法的普通8点算法得到的输出结 果；右图为使用Hartley变换后的该方法的输出结果。
2020/12/27
2
Image & Vision Lab
精品资料
• 你怎么称呼老师？ • 如果老师最后没有总结一节课的重点的难点，你
是否会认为老师的教学方法需要改进？ • 你所经历的课堂，是讲座式还是讨论式？ • 教师的教鞭 • “不怕太阳晒，也不怕那风雨狂，只怕先生骂我
数字图像处理与机器视觉ppt课件
➢ 遥感图像分析（植被分析）
统、视频监控）
➢ 国防系统（目标自动识别与目标跟踪）
➢ 图像与视频检索（基于内容的检索）
➢ 文物保护（数字博物馆）
CMU月球探测实验车Nomad漫游者
➢ 其他（游戏、动画、体育、人机交互） …………
火星车
20
0.1 数字图像
f 21
f N1
f12 f 22
fN 2
f1N
f2N
f NN
其中 fij 代表在坐标 (i, j) 处的像素色彩或灰度值。
12
11
0.1 数字图像
0.2 数字图像处理 与识别
0.3 数字图像处理的 预备知识
3、数字图像分类
➢ 二值图像：0表示黑色，1表示白色
➢➢➢作接用收灰 R索就方G引度B是用图图图体对像像像积应：：：小的三，R0G~原方B2颜5色便5色可，传表以2输R还5，表6原级222只示555颜，555需颜色介要2色004信0于把息各索黑28。04类0引0色 表2与5传G6白*输I2色2过50056之5去*2间122，1265550556的205=10082颜I600204色12深5B110520度002。0051005
10
0.1 数字图像
0.2 数字图像处理 与识别
0.3 数字图像处理的 预备知识
1、数字图像是能够在计算机上显示和处理的图像，根据其特性可分为
位图和矢量图。
➢ 位图通常使用数字阵列来表示，如BMP、JPG、GIF等
➢ 矢量图由矢量数据库表示，如PNG图形
2、数字图像模型
其对应的矩阵模型为
f11
8
从CVPR2013看计算机视觉领域的最新热点
1、RGB-D 数据的分析 2、中层patch的分析——在局部特征很难具有足够的描述力的情 况下，中层特征的提取和分析就显得更加重要。 3、深度学习以及特征学习——在慢慢具备海量数据处理能力的今 天，深度学习确实是解决问题的一个很好的途径。深度学习必须 结合好的特征学习，才是解决问题的王道。
《双目立体视觉》课件
05
双目立体视觉的应用案例
机器人视觉导航
机器人视觉导航是双目立体视觉的重要应用之一。通过双目立体视觉技术，机器 人可以获取周围环境的深度信息，实现自主导航、避障和路径规划等功能。
双目立体视觉技术可以帮助机器人识别障碍物、行人和车辆等，提高机器人的安 全性和可靠性。
医学影像分析
在医学领域，双目立体视觉技术被广泛应用于医学影像分析 。通过双目立体视觉技术，医生可以获取患者的三维立体图 像，提高诊断的准确性和可靠性。
深度学习技术Байду номын сангаас
随着深度学习算法的不断发展， 双目立体视觉技术将更加智能化 ，能够自动识别和提取更多的三
维信息。
实时处理能力
随着计算能力的提升，双目立体 视觉技术将实现更快速、实时的 三维重建，满足实时应用的需求
。
多传感器融合
未来双目立体视觉技术将与其他 传感器技术（如激光雷达、毫米 波雷达等）融合，实现更全面的
运动模糊问题
总结词
运动模糊是由于摄像机或物体快速移动导致图像模糊的现象，对双目立体视觉的深度感知造成干扰。
详细描述
在动态环境中，摄像机或物体的快速移动可能导致图像模糊，从而影响双目立体视觉系统的深度感知 能力。为了解决这一问题，研究者们提出了基于运动补偿的算法，通过分析图像中的运动轨迹，对模 糊图像进行还原和补偿，以提高深度感知的准确性。
详细描述
在复杂的光照条件下，如明暗交替、阴影或高光，双目视觉 系统可能难以准确判断物体的深度和距离。这主要是因为阴 影或高光区域中的物体可能会与背景融为一体，导致立体匹 配算法失效。
遮挡和透明物体问题
总结词
遮挡和透明物体是双目立体视觉中的常见挑战，需要特殊算法来处理。
双目立体视觉之原理揭秘ppt课件
一.视差讲解深度信息
2
双目摄像机视差原理图
坐标系以左相机为准，右相机相对于左相机是简单的平移，用坐标表示为(Tx,0,0)
3
双目摄像机视差原理图
4
双目摄像机视差原理图
5
双目摄像机视差原理图
6
双目摄像机视差原理图
视差公式
7
视差与深度的关系
进而获取物体二维信息，同时也可以通过求 视差获取物体深度信息，实现获取物体距离， 物体高度，物体三维重建等计算。
14
8
二.外极线几何讲解
9
外极线几何知识
非标准外极线几何图
10
1.极平面 2.极线
3.极点 4.极线约束
11
外极线几何
12
三.双目标定
13
双目标定物理意义: 获取非标准外极线几何到标准外极线几何的 变换矩阵,校正两个相机的图像。根据两个相 机的相对位姿，从而在标准外极线几何图像 中获取物体在另一个相机成像中位置。
2
双目摄像机视差原理图
坐标系以左相机为准，右相机相对于左相机是简单的平移，用坐标表示为(Tx,0,0)
3
双目摄像机视差原理图
4
双目摄像机视差原理图
5
双目摄像机视差原理图
6
双目摄像机视差原理图
视差公式
7
视差与深度的关系
进而获取物体二维信息，同时也可以通过求 视差获取物体深度信息，实现获取物体距离， 物体高度，物体三维重建等计算。
14
8
二.外极线几何讲解
9
外极线几何知识
非标准外极线几何图
10
1.极平面 2.极线
3.极点 4.极线约束
11
外极线几何
12
三.双目标定
13
双目标定物理意义: 获取非标准外极线几何到标准外极线几何的 变换矩阵,校正两个相机的图像。根据两个相 机的相对位姿，从而在标准外极线几何图像 中获取物体在另一个相机成像中位置。
数字图像处理课件第二章数字图像基础详解演示文稿
常用一个字节来存储灰度值。 如果灰度值用一个字节表示，则可以表示的正整数范围
为：0~255，即像素灰度值在此区间取值，灰度级为256。 人眼对灰度的分辨能力通常在20~60级，因此以字节为
单位，既保证了人眼的分辨力，又符合计算机的习惯。
在特殊应用中，可能采用更高的灰度级，比如CT，采用12位 或16位。
第二十七页，共80页。
Ø 2.2数字图像基础-图像模式
-二值图像：是灰度图像经过二
值化处理后的结果，二值图像只 有两个灰度级0和1，理论上只需 要一位二进制位来表示。在文字 识别、图样识别等应用中，灰度 图像一般要经过二值化处理得到 二值图像，二值图像中的黑或者 白用来表示不需要进一步处理的 背景和需要进一步处理的前景目 标，以便于对目标进行识别。
θ
光源在包含给定方向的立体角元dΩ内
传输的光通量dφ与该立体角元之商，
即： I d / d
B dA
立体角：指从一点（立体角顶点）出发通过一
条闭合曲线上所有点的射线围成的空间部分，
所以立体角表示由顶点看闭合曲线时的视角。
dΦe d
发光强度的单位为坎德拉(cd)。
1lm定义：发光强度为1cd的均匀点光源在一球面立体角内发射的光通量。
第三十一页，共80页。
Color images have 3 values per pixel; monochrome images have 1 value per pixel.
红，绿，蓝 三分量
第三十二页，共80页。
2.12 彩色图像和单色图像
强度 分量
2.2 数字图像基础-图像的数据量
假定图像尺寸为M、N，每个像素所具有的离散灰度级数为G
视觉错觉图例(b)
为：0~255，即像素灰度值在此区间取值，灰度级为256。 人眼对灰度的分辨能力通常在20~60级，因此以字节为
单位，既保证了人眼的分辨力，又符合计算机的习惯。
在特殊应用中，可能采用更高的灰度级，比如CT，采用12位 或16位。
第二十七页，共80页。
Ø 2.2数字图像基础-图像模式
-二值图像：是灰度图像经过二
值化处理后的结果，二值图像只 有两个灰度级0和1，理论上只需 要一位二进制位来表示。在文字 识别、图样识别等应用中，灰度 图像一般要经过二值化处理得到 二值图像，二值图像中的黑或者 白用来表示不需要进一步处理的 背景和需要进一步处理的前景目 标，以便于对目标进行识别。
θ
光源在包含给定方向的立体角元dΩ内
传输的光通量dφ与该立体角元之商，
即： I d / d
B dA
立体角：指从一点（立体角顶点）出发通过一
条闭合曲线上所有点的射线围成的空间部分，
所以立体角表示由顶点看闭合曲线时的视角。
dΦe d
发光强度的单位为坎德拉(cd)。
1lm定义：发光强度为1cd的均匀点光源在一球面立体角内发射的光通量。
第三十一页，共80页。
Color images have 3 values per pixel; monochrome images have 1 value per pixel.
红，绿，蓝 三分量
第三十二页，共80页。
2.12 彩色图像和单色图像
强度 分量
2.2 数字图像基础-图像的数据量
假定图像尺寸为M、N，每个像素所具有的离散灰度级数为G
视觉错觉图例(b)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
把极点拉向无穷远处。
图像校正 (Rectified Images)
校正 后
立体匹配 (Stereo match)
选取何种匹配基元进行匹配？
两种主要的方法
特征匹配 稠密匹配
特征匹配 (Feature match)
常用特征
边缘 线 (长度、方向、平均对比度) 角点
匹配算法
在立体图对中抽取特征 定义相似度 利用相似度和极线几何寻找匹配
数字图像处理双目立体 视觉ppt演示文稿
优选数字图像处理双目 立体视觉ppt
内容（Contents）
极线几何 Essential矩阵、fundamental矩阵 弱标定 立体重建（视差、双目匹配） 多个摄像机 结构光 时空立体光条 距离（range）数据 实例：视差与三维图 最新进展（运动提取等） 进一步学习材料
3D的信息可以通过2D的图像计算出来
视差(Disparity)，深度(Depth)信息等等。
为什么需要两个眼睛？
物体的深度信息不能通过单眼所获得。
为什么需要两个眼睛？
物体的深度信息可 以通过双眼的观察 得到。
双目立体视觉三维测量原理(Triangulation)
双目立体视觉三维 测量是基于视差原 理。
目的：规范化极线 约束中的极线分布， 使得匹配效率得到 进一步的提高。
校正后的图像不需 要求极线方程，因 为相对应的匹配点 在图像相对应的扫 描线(Scan-line)上。
图像校正 (Rectified Images)
在校正图像中所有极线都平行
图像校正 (Rectified Images)
Programming), 最大流(Max-flow), 图像分割(graph-cut), etc.
ql Mpl
qr Mpr
pl M 1ql pr M 1qr
公式可表示为： M为内参矩阵
(qr )T Fql 0
F M T EM 1
ql, qr为图像坐标 Fundamental矩阵秩同样为2。
Fundamental矩阵是摄像机非标定的情况用的。
Reference: 《Learning OpenCV》
Essential 矩阵是摄像机标定情况下用的。
公式： ( pr )T Epl 0
pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异
值，秩为2。
Fundamental 矩阵
当内部参数未知（非标定的摄像机）：
计算公式：
视差(Disparity)与深度(Depth)的关系
视差和深度成反比关系：
视差(Disparity)与深度(Depth)的关系
同一深度下的视差一样
亚像素(Sub-pixel)
在某些对精度要求较高的场合，需要对视差进一步 精细化 (Refinement)，亚像素是其中的一种方法。
立体图对 (Stereo pair)
问题
匹配问题 (立体匹配) -> 视差图 重建问题 -> 3D
3D?
?
匹配?
极线几何 (Epipolar Geometry)
动机:在哪寻找匹配点?
P
极平面 极线 极点
Pl
Pr
极平面
极线约束
极线
匹配点必须在极线上
pl
pr
Ol
el
er
Or
极点
极线几何 (Epipolar Geometry)
2D 和 3D 的关系
现实存在的问题
一般的物体(Objects)都是三维的； 图像(Images)却是有关灰度，颜色等信息的阵列； 3D的深度(Depth)信息在一幅图像上不能明显的显示出
来。
2D的分析需要3D的信息
物体表面是连续，平滑(Smooth)的； 物体都有特定的形状和边界。
立体视觉（Stereo Vision）
由两幅或多幅从不同视点拍摄的图像恢复场景三 维信息的技术
两个主要的子问题
匹配问题 -> 视差图(Disparity Space Image)
相似而不是相同 遮挡问题: 场景的某些部分只在一幅图像中可见
重建问题 -> 3D
重建所需要的摄像机参数 立体摄像机标定
特征匹配 (Feature match)
对于左图像中的每一个特征…
左图像
角点
线
结构
特征匹配 (Feature match)
在右图像中寻找… 当相似度达到最大时的偏移量 就是视差
右图像
角点
线
结构
稠密匹配（Dense match）
找到对应于场景中同一点的像素 通常假设
经过立体校正 分块平滑表面 朗氏表面
弱标定 (Weak Calibration)
使用一个玩具房子的两幅图像上的37个点作为输入的弱 标定实验。
数据点在图中用圆点表示，所经过的外极线用短的直线 段表示。
左图显示使用最小二乘法的普通8点算法得到的输出结 果；右图为使用Hartley变换后的该方法的输出结果。
图像校正 (Rectified Images)
目标: 找到视差图
稠密匹配（Dense match）
局部算法 (Local/window-based algorithms):
在匹配点的一个特定窗口中计算相似度。 SSD， SAD， MSE， MAD，etc.
全局算法 (Global algorithms)：
能量方程： E(d ) Edata (d ) Esmooth (d ) 模拟退火(Simulated annealing), 动态规划 (Dynamic
基线：左右两像机 光心的连线；
极平面：空间点， 两像机光心决定的 平面；
极点：基线与两摄 像机图像平面的交 点；
极线：极平面与图 像平面的交线。
极平面
P
Pl
Pr
极线
pl
prபைடு நூலகம்
Ol
el
极点
er
Or
基线
Essential 矩阵
左右两幅图像相对应的点之间的关系可以通过Essential 矩阵或是Fundamental 矩阵来表明。
弱标定 (Weak Calibration)
定义：对于内部参数未知的摄像机，通过两幅图 中的冗余点集合来估计外极几何。
方法：
8点算法 (Longuet-Higgins 1981) 最小二乘法 最小二乘法的8点算法 规范化线性8点算法 (Hartley 1995)
Reference: 《计算机视觉——一种现代方法》第10章
图像校正 (Rectified Images)
校正 后
立体匹配 (Stereo match)
选取何种匹配基元进行匹配？
两种主要的方法
特征匹配 稠密匹配
特征匹配 (Feature match)
常用特征
边缘 线 (长度、方向、平均对比度) 角点
匹配算法
在立体图对中抽取特征 定义相似度 利用相似度和极线几何寻找匹配
数字图像处理双目立体 视觉ppt演示文稿
优选数字图像处理双目 立体视觉ppt
内容（Contents）
极线几何 Essential矩阵、fundamental矩阵 弱标定 立体重建（视差、双目匹配） 多个摄像机 结构光 时空立体光条 距离（range）数据 实例：视差与三维图 最新进展（运动提取等） 进一步学习材料
3D的信息可以通过2D的图像计算出来
视差(Disparity)，深度(Depth)信息等等。
为什么需要两个眼睛？
物体的深度信息不能通过单眼所获得。
为什么需要两个眼睛？
物体的深度信息可 以通过双眼的观察 得到。
双目立体视觉三维测量原理(Triangulation)
双目立体视觉三维 测量是基于视差原 理。
目的：规范化极线 约束中的极线分布， 使得匹配效率得到 进一步的提高。
校正后的图像不需 要求极线方程，因 为相对应的匹配点 在图像相对应的扫 描线(Scan-line)上。
图像校正 (Rectified Images)
在校正图像中所有极线都平行
图像校正 (Rectified Images)
Programming), 最大流(Max-flow), 图像分割(graph-cut), etc.
ql Mpl
qr Mpr
pl M 1ql pr M 1qr
公式可表示为： M为内参矩阵
(qr )T Fql 0
F M T EM 1
ql, qr为图像坐标 Fundamental矩阵秩同样为2。
Fundamental矩阵是摄像机非标定的情况用的。
Reference: 《Learning OpenCV》
Essential 矩阵是摄像机标定情况下用的。
公式： ( pr )T Epl 0
pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异
值，秩为2。
Fundamental 矩阵
当内部参数未知（非标定的摄像机）：
计算公式：
视差(Disparity)与深度(Depth)的关系
视差和深度成反比关系：
视差(Disparity)与深度(Depth)的关系
同一深度下的视差一样
亚像素(Sub-pixel)
在某些对精度要求较高的场合，需要对视差进一步 精细化 (Refinement)，亚像素是其中的一种方法。
立体图对 (Stereo pair)
问题
匹配问题 (立体匹配) -> 视差图 重建问题 -> 3D
3D?
?
匹配?
极线几何 (Epipolar Geometry)
动机:在哪寻找匹配点?
P
极平面 极线 极点
Pl
Pr
极平面
极线约束
极线
匹配点必须在极线上
pl
pr
Ol
el
er
Or
极点
极线几何 (Epipolar Geometry)
2D 和 3D 的关系
现实存在的问题
一般的物体(Objects)都是三维的； 图像(Images)却是有关灰度，颜色等信息的阵列； 3D的深度(Depth)信息在一幅图像上不能明显的显示出
来。
2D的分析需要3D的信息
物体表面是连续，平滑(Smooth)的； 物体都有特定的形状和边界。
立体视觉（Stereo Vision）
由两幅或多幅从不同视点拍摄的图像恢复场景三 维信息的技术
两个主要的子问题
匹配问题 -> 视差图(Disparity Space Image)
相似而不是相同 遮挡问题: 场景的某些部分只在一幅图像中可见
重建问题 -> 3D
重建所需要的摄像机参数 立体摄像机标定
特征匹配 (Feature match)
对于左图像中的每一个特征…
左图像
角点
线
结构
特征匹配 (Feature match)
在右图像中寻找… 当相似度达到最大时的偏移量 就是视差
右图像
角点
线
结构
稠密匹配（Dense match）
找到对应于场景中同一点的像素 通常假设
经过立体校正 分块平滑表面 朗氏表面
弱标定 (Weak Calibration)
使用一个玩具房子的两幅图像上的37个点作为输入的弱 标定实验。
数据点在图中用圆点表示，所经过的外极线用短的直线 段表示。
左图显示使用最小二乘法的普通8点算法得到的输出结 果；右图为使用Hartley变换后的该方法的输出结果。
图像校正 (Rectified Images)
目标: 找到视差图
稠密匹配（Dense match）
局部算法 (Local/window-based algorithms):
在匹配点的一个特定窗口中计算相似度。 SSD， SAD， MSE， MAD，etc.
全局算法 (Global algorithms)：
能量方程： E(d ) Edata (d ) Esmooth (d ) 模拟退火(Simulated annealing), 动态规划 (Dynamic
基线：左右两像机 光心的连线；
极平面：空间点， 两像机光心决定的 平面；
极点：基线与两摄 像机图像平面的交 点；
极线：极平面与图 像平面的交线。
极平面
P
Pl
Pr
极线
pl
prபைடு நூலகம்
Ol
el
极点
er
Or
基线
Essential 矩阵
左右两幅图像相对应的点之间的关系可以通过Essential 矩阵或是Fundamental 矩阵来表明。
弱标定 (Weak Calibration)
定义：对于内部参数未知的摄像机，通过两幅图 中的冗余点集合来估计外极几何。
方法：
8点算法 (Longuet-Higgins 1981) 最小二乘法 最小二乘法的8点算法 规范化线性8点算法 (Hartley 1995)
Reference: 《计算机视觉——一种现代方法》第10章