非结构化道路环境理解

二.非结构化道路图像理解
结构化：高速公路、城市道路 非结构化：越野环境、乡村道路
非结构化环境理解更具挑战性：
1. 道路形状不规则 2. 没有明确的边缘 3. 光照、景物、天气复杂多变
形状的不规则，边缘的模糊，决定了非 结构化环境理解只能采用-基于特征的区域检 测方法
非结构化环境地形分类
• • • • 基于颜色特征的地形分类 基于纹理特征的地形分类 颜色纹理特征融合 主动学习
1 Pk Jk
P
j 1
Jk
j
如果
Pk Pi , i k
那么，当前中心窗口就归为k类。
除了GMM+颜色纹理特征算法，还有SVM+颜 色纹理特征等方法，也能得到较为满意的结 果。
4. 面向可通行区域分类的主动学习算法
有监督学习的方法，需要大量有标记的样本作 为训练样本。 然而在实际情况中，对大量样本进行人工标记 是极其繁琐和费时的。 主动学习正是为有大量未标记样本服务的，它 能自动决定哪些样本需要标记，以用较少的标 记样本达到良好的学习效果。
非结构化道路图像理解
一.道路图像理解综述
1. 2. 3. 4. 道路检测 连续帧道路检测 道路偏离检测 道路识别与跟踪
1.道路检测
1.1 基于特征的方法
1.1.1 道路区域检测 1.1.2 道路边缘检测
1.2 基于模型的方法
1.2.1 建立道路模型 1.2.2 提取车道线像素 1.2.3 拟合车道模型
1.基于颜色特征的地形分类
Manduchi提出一种方法，采用大量且多样化 的特征数据来训练，以消除光照所产生的影 响。使用高斯混合模型进行分类。 该算法可以消除光照阴影的影响 但是对50米以外的场景，会有错误的分类
Buluswar等人提出使用多变量决策树来学习不 同的地形所占据的RGB颜色空间区域。 随后，Manduchi又提出了一种仅用一个典型 光源下的地形图像来训练模型的方法。使用典 型光源下的每一类颜色统计的知识来预测在新 场景下的光照类型。 已有人证明，错误分类不能仅仅依靠颜色特征 而被去掉。
一种分类策略
通过GMM求出每个特征窗口属于某一地形类 别的最大类条件概率密度。
选定任一特征窗口，与周围邻域的8个特征窗 口可以形成一个3×3的小矩形。 设每个小窗口属于最大类条件似然概率这一类。
对于9个特征窗口，选择属于类别k (k=1,2,..T) 的个数Jk及类条件似然概率Pj，j=1,2,…, Jk。 其中J1 + J2 +…+ Jk =9。 然后计算属于各个类别k的平均类条件概率
基于偏移距离的方法： 车体中心与道路中心的准确偏移距离 基于偏移角度的方法： 车辆行进的方向偏离车道线方向
4.道路识别与跟踪
道路识别与跟踪系统建立在道路模型、运 动学模型和动力学模型的基础上, 系统不仅要 给出道路参数, 还要给出车辆相对于道路的位 置信息和运动信息。
道路识别与跟踪常用的方法： 卡尔曼滤波、粒子滤波
•
聚类中选择的样本需要满足三个条件： 1.样本与SVM超平面距离要近 2.样本间的相似程度要高 3.与已标记样本的相似性程序要低
Score( xi ) Dis( xi ) (1 Simin ( xi )) Simout ( xi )
具有最小得分值的样本被认为最有代表性的 样本，选出交由专家标记。
Dima首先将主动学习用于可通行区域分类中， 筛选最有“兴趣”的10~20幅图像交由专家 标记。
Tong提出交互式SVM主动学习算法，即 SVMactive。
L是空集，U包含所有未标记样本
初始化L
用L训练SVM分类器
用SVM去分类U
选择距离超平面最近的样本交 由专家标记
是否符合要求
否
是
结束
SVMactive的原理图
1.1 基于特征的方法
基于特征的方法不需要道路的几何结 构信息, 主要利用图像中道路区域的颜色、 纹理、边缘等低级特征从图像中检测出路 区域或路边缘。
1.1.1 道路区域检测
道路区域检测可以看成是一个图像分割 问题。 • • • • • 灰度直方图 聚类的方法 用颜色特征检测道路 纹理结果的邻 域可以显著提高道路检测的速度, 降低对硬件 的要求, 满足实时性要求。
感兴趣区域 上帧边缘k邻域作为下次边缘检测的区域 在感兴趣区域进行边缘检测
3.道路偏离检测
道路偏离检测是在道路检测的基础上, 不 仅给出道路信息, 还要给出车辆偏离道路中心 的信息。
3.颜色纹理特征融合
由于使用单一的特征对地形分类无法取得令 人满意的结果。Shi等人提出颜色特征与纹理 特征结合的方法。 基于高斯混合模型的非结构复杂环境地形分 类
3.1 特征提取 每幅图像分割成无重叠的16*16 大小的子图像， 称为特征窗口
颜色特征：采用YIQ颜色空间 计算每个特征窗口的颜色平均值及协方差， 得到9维颜色特征向量
1.1.2 道路边缘检测
图像预处理： 选定感兴趣区域, 消除噪声，边缘增强 边缘抽取： 常用的边缘算子包括Canny、Roberts、 Laplace、Prewitt、Sobel等算子 二值化: 阈值的选取 Hough变换可以得到连续的道路直线
1.2 基于模型的方法
1)建立道路模型 对道路形状的假设 2)提取车道线像素 边缘检测、哈夫变换、模板匹配 3)拟合车道模型 直接拟合、哈夫变换和似然函数方法。
KSVMactive:
• 为了解决样本数不平衡问题，采用SVM超 平面位置校正算法，根据上次迭代中专家 标记与当前SVM分类结果的差值，调整本 次迭代过程中超平面的位置。
•
在超平面附近，聚集大量相似程度很高的 样本，SVMactive的方法是：按距离超平面 最近的样本交由专家标记的方法，效率较 低。 KSVMactive采用非监督的K均值聚类选取 最有代表性的样本。
2.基于纹理特征的地形分类
Castano提出了一种基于纹理特征的地形分 类方法，使用基于多尺度-多方向的Gabor滤 波器组提取的特征 基于Garbor纹理特征的分类效果一般，但是 涉及到大量的滤波，对于计算具有较高的要 求。
a.原图 b.手动标记 c.混合高斯模型
d.直方图模型
另外，还有其它的基于纹理特征的道路图像 理解算法： • 基于小波变换 • 基于离散余弦变换(DCT) • 基于灰度共生矩阵
纹理特征： 对特征窗口先进行离散余弦变换。 在每个区域内按下式计算能量值，选择 N=4可得到 13维的特征向量，对于一个2N*2N 的特征窗口
将颜色特征与纹理特征合并，可得到22维的 颜色纹理特征。 GMM： 类条件似然密度
模型的参数θ 是由高斯分布的均值向量和协方 差矩阵决定的。 一般采用迭代方法，建立训练数据的最大似然 方程，然后采用EM算法对类参数进行评估
• 进一步提高系统的实时性、可靠性、鲁棒 性 • 从适合结构化道路转向适合各种自然道路 • 多传感器信息融合
谢谢
L是空集，U包含所有未标记样本
初始化L 用L训练SVM分类器 用SVM去分类U 超平面位置校正 重新分类U 聚类选出最有代表性的样 本交由专家标记 是否符合要 求 是 结束
否
KSVMactive的原理图
使用三种不同方法的平均分类正确率
三.总结与展望
目前基于单目视觉的道路图像在移动机器人、 自动导引车、辅助驾驶、智能交通系统等领域 得到了广泛的应用, 但仍有很多的问题需要解 决, 今后的研究可以在以下3个方面深入。