特征提取与选择.ppt
合集下载
第5章-图像特征提取与分析幻灯片课件
像 特
矩来描述颜色的分布。
征 颜色矩通常直接在RGB空间计算。
提 取
颜色分布的前三阶矩表示为：
与 分 析
i
1 N
N
Pij
j 1
i
(1 N
N
(Pij i)2)12
j1
si
( 1 N
N
(Pij
j1
i)3)13
第
4 章
4.2.3
颜色矩
图 特点
像
特 图像的颜色矩有九个分量（3个颜色分量，每个分
征 提
V
H
析 其中两个delta值分别是通过图像卷积下列两个操作
符所得到的水平和垂直方向上的变化量定义的：
1 0 1
111
1 0 1
000
1 0 1
1 1 1
第
4 4.3.2 Tamura 纹理特征
提 取
选取的特征应具有如下特点：
与
可区别性
分 析
可靠性
独立性好
数量少
第
4 章
4.1.1
基本概念
图 特征选择和提取的基本任务
像 特 如何从众多特征中找出最有效的特征。
征 提
图像特征提取的方法
取 与
低层次：形状、纹理、颜色、轮廓等图像某一方面
分 的特征。
析 中层次：
高层次：在图像中层次特征基础上的再一次抽象，
征 提
从广义上讲，图像的特征包括基于文本的特征
取 （如关键字、注释等）和视觉特征（如色彩、纹理、
与 分
形状、对象表面等）两类。
析
视觉特征分类：颜色(color)、形状(shape)、
纹理(texture)等
《模式识别》PPT课件
征组来。 ② 找一个较好的算法，以便在较短的时间内找出最优的那一组特征。
有两个极端的特征选择算法，一个是单独选择法，另一个是穷举选择法。
1. 单独选择法 就是把n个特征每个特征单独使用时的可分性准则函数值都算出来，按准则
函数值从大到小排序，如 J(x1)＞J(x2)＞…＞J(xm)＞…J(xn)
然后，取使J较大的前m个特征作为选择结果。 问题：这样得到的m个特征是否就是一个最优的特征组呢？
1 Pe 1 c
另一个极端情况是，如果能有一组特征使得
此时x划归 P类(，其i /错x误)概率1为, 0。且P( j / x) 0 , j i
可见后验概率越集中，错误概率就越小。后验概率分布越平缓(接近均匀分布)
，则分类错误概率就越i 大。
为了衡量后验概率分布的集中程度，需要规定一个定量准则，我们可以借助于 信息论中关于熵的概念。
，
的函数。可定义如下形式的广义熵：
P(1 / x) P(2 / x)
P(c / x)
，
，…
式中，
是一个实的正参数，
。
J
a C
[
P
(1
/
x),
P ( 2
/
x),,
P ( c
/
x)]
c
(21a 1)1[ P a (i / x) 1] i 1
a
a1
不同的 spital法则有
a
a值可以得到不同的熵分离度量，例如当
8.1.1 基于距离的可分性准则 各类样本之间的距离越大，则类别可分
性越大。因此，可以用各类样本之间的距离的平 均值作为可分性准则
Jd
1 2
c
Pi
i 1
c
有两个极端的特征选择算法，一个是单独选择法，另一个是穷举选择法。
1. 单独选择法 就是把n个特征每个特征单独使用时的可分性准则函数值都算出来，按准则
函数值从大到小排序，如 J(x1)＞J(x2)＞…＞J(xm)＞…J(xn)
然后，取使J较大的前m个特征作为选择结果。 问题：这样得到的m个特征是否就是一个最优的特征组呢？
1 Pe 1 c
另一个极端情况是，如果能有一组特征使得
此时x划归 P类(，其i /错x误)概率1为, 0。且P( j / x) 0 , j i
可见后验概率越集中，错误概率就越小。后验概率分布越平缓(接近均匀分布)
，则分类错误概率就越i 大。
为了衡量后验概率分布的集中程度，需要规定一个定量准则，我们可以借助于 信息论中关于熵的概念。
，
的函数。可定义如下形式的广义熵：
P(1 / x) P(2 / x)
P(c / x)
，
，…
式中，
是一个实的正参数，
。
J
a C
[
P
(1
/
x),
P ( 2
/
x),,
P ( c
/
x)]
c
(21a 1)1[ P a (i / x) 1] i 1
a
a1
不同的 spital法则有
a
a值可以得到不同的熵分离度量，例如当
8.1.1 基于距离的可分性准则 各类样本之间的距离越大，则类别可分
性越大。因此，可以用各类样本之间的距离的平 均值作为可分性准则
Jd
1 2
c
Pi
i 1
c
特征分类ppt课件
详细描述
未来研究可以探索更加有效的特征表示学习方法，结合深度学习技术，实现更高效的特征提取和分类。同时，无 监督学习和半监督学习等方法也可以为特征分类提供新的思路和解决方案。此外，随着数据规模的扩大和计算能 力的提升，未来研究可以进一步探索大规模数据的特征分类方法和技术。
THANKS。
02
特征分类方法
基于规则的特征分类
规则制定
通过人工或半自动的方 式制定分类规则，根据 规则对特征进行分类。
适用场景
适用于特征与类别之间 有明确对应关系，且规
则容易定义的情况。
优点
简单直观，易于理解和 实现。
缺点
规则的制定可能耗时且 需要专业知识，对于复 杂或动态的数据集可能
不适用。
基于统计的特征分类
语音识别
利用小波变换和傅里叶变 换提取语音信号的时频特 征，实现语音识别。
文本分类
通过文本的特征选择和提 取，实现新闻、邮件、评 论等文本的分类。
04
特征分类的性能评估
准确率与召回率
准确率
正确分类的样本数占总样本数的 比例，用于衡量分类器的整体准 确性。
召回率
实际为正例的样本中被正确识别 为正例的比例，用于衡量分类器 对正例的识别能力。
高维特征问题
总结词
高维特征问题是指特征的数量和维度非常高，导致分类器难以处理和泛化。
详细描述
高维特征可能会引入噪声和冗余信息，增加计算复杂度和过拟合的风险。为了解 决这一问题，可以采用特征选择、特征降维、深度学习等方法来降低特征维度和 提高分类器的泛化能力。
特征选择与提取的挑战
总结词
特征选择与提取是特征分类中的关键步骤，但面临着诸多挑战，如特征相关性、特征维度、特征质量 等。
未来研究可以探索更加有效的特征表示学习方法，结合深度学习技术，实现更高效的特征提取和分类。同时，无 监督学习和半监督学习等方法也可以为特征分类提供新的思路和解决方案。此外，随着数据规模的扩大和计算能 力的提升，未来研究可以进一步探索大规模数据的特征分类方法和技术。
THANKS。
02
特征分类方法
基于规则的特征分类
规则制定
通过人工或半自动的方 式制定分类规则，根据 规则对特征进行分类。
适用场景
适用于特征与类别之间 有明确对应关系，且规
则容易定义的情况。
优点
简单直观，易于理解和 实现。
缺点
规则的制定可能耗时且 需要专业知识，对于复 杂或动态的数据集可能
不适用。
基于统计的特征分类
语音识别
利用小波变换和傅里叶变 换提取语音信号的时频特 征，实现语音识别。
文本分类
通过文本的特征选择和提 取，实现新闻、邮件、评 论等文本的分类。
04
特征分类的性能评估
准确率与召回率
准确率
正确分类的样本数占总样本数的 比例，用于衡量分类器的整体准 确性。
召回率
实际为正例的样本中被正确识别 为正例的比例，用于衡量分类器 对正例的识别能力。
高维特征问题
总结词
高维特征问题是指特征的数量和维度非常高，导致分类器难以处理和泛化。
详细描述
高维特征可能会引入噪声和冗余信息，增加计算复杂度和过拟合的风险。为了解 决这一问题，可以采用特征选择、特征降维、深度学习等方法来降低特征维度和 提高分类器的泛化能力。
特征选择与提取的挑战
总结词
特征选择与提取是特征分类中的关键步骤，但面临着诸多挑战，如特征相关性、特征维度、特征质量 等。
模式识别(7-1)特征的选择与提取
细胞自动识别：
原始测量：（正常与异常）细胞的数字图像
原始特征（特征的形成，找到一组代表细胞性质的 特征）：细胞面积，胞核面积，形状系数，光密度， 核内纹理，和浆比
压缩特征：原始特征的维数仍很高，需压缩以便于 分类
特征选择：挑选最有分类信息的特征 特征提取：数学变换
傅立叶变换或小波变换 用PCA方法作特征压缩
基于距离的可分性判据
计算所有样本平均距离作为判据 Jd (x) tr(Sw Sb )
其中“tr”表示矩阵的迹（对角线元素的和）。
各类特征向量之间的平均距离可写成：
1
Jd (x) 2
c
Pi
i 1
c
Pj
j 1
1 nin j
ni n j
(xk(i) , xl( j) )
k 1 l 1
其中Pi、Pj 分别表示各类的先验概率，ni、nj分别是第i与j
基于距离的可分性判据
如果推广至c类别情况，同时考虑各类的先验概率Pi 不等，则可将上列各式表示成：
c
Sb = Pi(mi m)(mi m)T i 1 c
Sw = PiEi[(mi m)(mi m)T ] i 1
其中， m 为总均值向量，Pi表示各类别的先验
概率，Ei表示i类的期望符号。
基于距离的可分性判据
Fisher准则时曾用过两个描述离散度的矩阵。一个 是类间离散矩阵Sb
Sb = (m1 - m2 )(m1 - m2 )T
另一个是类内离散度矩阵SW
Si = (x - mi )(x - mi )T , xX i
Sw = S1 + S2
i 1, 2
以上式子是针对两类别情况的，如果推广至c 类别情况？
)T (x(ki)
原始测量：（正常与异常）细胞的数字图像
原始特征（特征的形成，找到一组代表细胞性质的 特征）：细胞面积，胞核面积，形状系数，光密度， 核内纹理，和浆比
压缩特征：原始特征的维数仍很高，需压缩以便于 分类
特征选择：挑选最有分类信息的特征 特征提取：数学变换
傅立叶变换或小波变换 用PCA方法作特征压缩
基于距离的可分性判据
计算所有样本平均距离作为判据 Jd (x) tr(Sw Sb )
其中“tr”表示矩阵的迹（对角线元素的和）。
各类特征向量之间的平均距离可写成：
1
Jd (x) 2
c
Pi
i 1
c
Pj
j 1
1 nin j
ni n j
(xk(i) , xl( j) )
k 1 l 1
其中Pi、Pj 分别表示各类的先验概率，ni、nj分别是第i与j
基于距离的可分性判据
如果推广至c类别情况，同时考虑各类的先验概率Pi 不等，则可将上列各式表示成：
c
Sb = Pi(mi m)(mi m)T i 1 c
Sw = PiEi[(mi m)(mi m)T ] i 1
其中， m 为总均值向量，Pi表示各类别的先验
概率，Ei表示i类的期望符号。
基于距离的可分性判据
Fisher准则时曾用过两个描述离散度的矩阵。一个 是类间离散矩阵Sb
Sb = (m1 - m2 )(m1 - m2 )T
另一个是类内离散度矩阵SW
Si = (x - mi )(x - mi )T , xX i
Sw = S1 + S2
i 1, 2
以上式子是针对两类别情况的，如果推广至c 类别情况？
)T (x(ki)
模式识别之特征选择和提取
p( X | i ) 与 p( X | j ) 相差愈大， J ij 越大。
当 p( X | i ) p( X | j ) ，两类分布密度相同， Jij 0 。
（3）错误率分析中，两类概率密度曲线交叠越少，错误率越小。
p(x | i )P(i )
p(x | 2 )P(2 )
p(x | 1 )P(1 )
Jd
1 2
c i 1
P(i
)
c j 1
P(
j
)
1 ni n
j
ni k 1
nj l 1
D2
(
X
i k
,
X
j l
)
（5-8）
式中， P(ωi ) 和 P( j ) ：i 和 ω j 类先验概率；c：类别数；
X
i k
：
i
类的第
k
个样本；
X
j l
：
ω
j
类的第
l
个样本；
ni 和 n j ：i 和 ω j 类的样本数；
② 特征选择：将坐标系按逆时针方向做一旋转变化，或物体按 顺时针方向变，并合适平移等。根据物体在 轴上投影旳x坐2' 标值 旳正负可区别两个物体。
——特征提取，一般用数学旳措施进行压缩。
5.2 类别可分性测度
类别可分性测度：衡量类别间可分性旳尺度。
类别可
分性测 度
空间分布：类内距离和类间距离 随机模式向量：类概率密度函数 错误率 与错误率有关旳距离
D2
(
X
i k
,
X
j l
)
：
X
i k
和
X
j l
间欧氏距离的平方。
第10章_特征提取与选择
备选的分类特征变量。
8
一、特征提取（3）
（2）最小噪声分离
最小噪声分离变换通过对信号与噪声的分离，所获得的分量是按
信噪比由高到低排序的，使信息更加集中在有限的特征集中，一
些微弱的信息则在去噪转化中被增强，从而使光谱特征向类特征
向量汇集，增强了分类信息。
目标：与主成分变换类似，最小噪声分离变换之后也是通常选择
独立成分分析采用基于信号高阶统计特性的分析方法，经分解出的各信
号分量之间不仅是正交的，而且信号在各分量上是相互独立的（即一个
分量对应于一种信号），对于遥感图像来说即每一分量主要反应了某一
种地物类型的信息。
目标：由于地物类型的多样性以及遥感波段数设置的有限性，所以独立
成分分析算法只能使得分离得到的每个分量图像里尽可能地集中某一种
2
背景知识（2）
特征的类型
（1）原始特征：能直接反映物体之间差异的原始属性。
（2）衍生特征：把某些或者所有原始属性通过变换生成新的特征变量
，从而增强地物之间的可分性，这种通过变换方式得到新特征变
量的过程就是特征提取。
遥感影像的特征类型
（1）原始特征：光谱信息
（2）衍生特征：全局性的光谱特征统计变量和局部性的空间特征（特征
归一化差值植被指数（ Normalized Different Vegetation Index，NDVI ）：
NDVI
bnir br
bnir br
式中，bnir为近红外波段的反射率，br为红光波段的反射率，对于Landsat
8 OLI影像来说，bnir为第5波段，br为第4波段。
12
一、特征提取（7）
地物的信息。该方法比较适合某一地类在各个波段中的信息都比较弱的
8
一、特征提取（3）
（2）最小噪声分离
最小噪声分离变换通过对信号与噪声的分离，所获得的分量是按
信噪比由高到低排序的，使信息更加集中在有限的特征集中，一
些微弱的信息则在去噪转化中被增强，从而使光谱特征向类特征
向量汇集，增强了分类信息。
目标：与主成分变换类似，最小噪声分离变换之后也是通常选择
独立成分分析采用基于信号高阶统计特性的分析方法，经分解出的各信
号分量之间不仅是正交的，而且信号在各分量上是相互独立的（即一个
分量对应于一种信号），对于遥感图像来说即每一分量主要反应了某一
种地物类型的信息。
目标：由于地物类型的多样性以及遥感波段数设置的有限性，所以独立
成分分析算法只能使得分离得到的每个分量图像里尽可能地集中某一种
2
背景知识（2）
特征的类型
（1）原始特征：能直接反映物体之间差异的原始属性。
（2）衍生特征：把某些或者所有原始属性通过变换生成新的特征变量
，从而增强地物之间的可分性，这种通过变换方式得到新特征变
量的过程就是特征提取。
遥感影像的特征类型
（1）原始特征：光谱信息
（2）衍生特征：全局性的光谱特征统计变量和局部性的空间特征（特征
归一化差值植被指数（ Normalized Different Vegetation Index，NDVI ）：
NDVI
bnir br
bnir br
式中，bnir为近红外波段的反射率，br为红光波段的反射率，对于Landsat
8 OLI影像来说，bnir为第5波段，br为第4波段。
12
一、特征提取（7）
地物的信息。该方法比较适合某一地类在各个波段中的信息都比较弱的
模式识别 第6章 特征的选择和提取
d
– 当特征独立时有可加性：Jij (x1, x2 ,..., xd ) Jij (xk )
– 单调性： Jij (x1, x2 ,..., xd ) Jij (x1, x2 ,..., xdk,1xd 1 ) 常见类别可分离性判据：基于距离、概率分布、 熵函数
© 李春权
模式识别
哈尔滨医科大学
200192
‹#›
经典特征选择算法
许多特征选择算法力求解决搜索问题，经典算法 有 – 单独最优特征组合法、后退法、前进法(重点) – 分支定界法 – 模拟退火法(重点) – Tabu禁忌搜索法 – 遗传算法(重点)
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
穷举法
由原始的D维空间降到d维空间问题。 一共有q=CDd种特征组合结果。
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
WKEA特征选择
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
y wT x, w为d r矩阵， x为d维
此时，J 2
(w)
tr[S
* 1 w
Sb*
]
tr[(wT
– 当特征独立时有可加性：Jij (x1, x2 ,..., xd ) Jij (xk )
– 单调性： Jij (x1, x2 ,..., xd ) Jij (x1, x2 ,..., xdk,1xd 1 ) 常见类别可分离性判据：基于距离、概率分布、 熵函数
© 李春权
模式识别
哈尔滨医科大学
200192
‹#›
经典特征选择算法
许多特征选择算法力求解决搜索问题，经典算法 有 – 单独最优特征组合法、后退法、前进法(重点) – 分支定界法 – 模拟退火法(重点) – Tabu禁忌搜索法 – 遗传算法(重点)
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
穷举法
由原始的D维空间降到d维空间问题。 一共有q=CDd种特征组合结果。
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
WKEA特征选择
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
© 李春权
模式识别
哈尔滨医科大学
生物信息科学与技术学院
200192
‹#›
y wT x, w为d r矩阵， x为d维
此时，J 2
(w)
tr[S
* 1 w
Sb*
]
tr[(wT
特征的提取.ppt
房屋的提取
道路的提取
线的灰度 特征
一、微分算子
1．梯度算子
g
Gg ( x,
y)
x
g
y
1
G( x,
y)
magG
(
g x
)2
(
g y
)2
2
差分算子
1
Gi, j
gi, j
gi1, j
2 (gi, j
gi,
)2
j 1
2
近似
Gi, j gi, j gi1, j gi, j gi, j1
对于一给定的阈值T，当时，则认 为像素（i，j）是边缘上的点。
-1 1 -1 1
Roberts梯度算子
g
Gr
g ( x,
y)
u g
guΒιβλιοθήκη gvv 1
Gr (x, y) (gu2 gv2 ) 2
-1 1
1
Gi, j
gi, j gi1, j
2
(gi,
j
gi,
)2
j 1
2
-1 1
方向差分算子
直线与边 缘的方向
北
东北
东
东南
1 1 1 1 1 1 1 1 1 1 1 1
1
2
1
1 2 1 1 2 1 1 2 1
1 1 1 1 1 1 1 1 1 1 1 1
南
西南
西
西北
1 1 1 1 1 1 1 1 1 1 1 1
1
2
1
1 2 1 1 2 1 1 2 1
特征的提取与定位算法
主要内容
特征的提取
• 特征点的提取算法 • 特线的检测方法