清华大学模式识别课件-09_第九章KL变换
合集下载
《模式识别》实验报告K-L变换特征提取
《模式识别》实验报告K-L变换特征提取基于K-L 变换的iris 数据分类⼀、实验原理K-L 变换是⼀种基于⽬标统计特性的最佳正交变换。
它具有⼀些优良的性质：即变换后产⽣的新的分量正交或者不相关；以部分新的分量表⽰原⽮量均⽅误差最⼩；变换后的⽮量更趋确定，能量更集中。
这⼀⽅法的⽬的是寻找任意统计分布的数据集合之主要分量的⼦集。
设n 维⽮量12,,,Tn x x x =x ，其均值⽮量E=µx ，协⽅差阵()T x E=--C x u)(x u ，此协⽅差阵为对称正定阵，则经过正交分解克表⽰为x =TC U ΛU ,其中12,,,[]n diag λλλ=Λ，12,,,n u u u =U 为对应特征值的特征向量组成的变换阵，且满⾜1T-=UU。
变换阵TU 为旋转矩阵，再此变换阵下x 变换为()T -=x u y U ,在新的正交基空间中，相应的协⽅差阵12[,,,]xn diag λλλ==x U C U C。
通过略去对应于若⼲较⼩特征值的特征向量来给y 降维然后进⾏处理。
通常情况下特征值幅度差别很⼤，忽略⼀些较⼩的值并不会引起⼤的误差。
对经过K-L 变换后的特征向量按最⼩错误率bayes 决策和BP 神经⽹络⽅法进⾏分类。
⼆、实验步骤（1）计算样本向量的均值E =µx 和协⽅差阵()T xE ??=--C x u)(x u5.8433 3.0573 3.7580 1.1993??=µ，0.68570.0424 1.27430.51630.04240.189980.32970.12161.27430.3297 3.1163 1.29560.51630.12161.29560.5810x----=--C （2）计算协⽅差阵xC 的特征值和特征向量，则4.2282 , 0.24267 , 0.07821 , 0.023835[]diag =Λ-0.3614 -0.6566 0.5820 0.3155 0.0845 -0.7302 -0.5979 -0.3197 -0.8567 0.1734 -0.0762 -0.4798 -0.3583 0.0755 -0.5458 0.7537??=U从上⾯的计算可以看到协⽅差阵特征值0.023835和0.07821相对于0.24267和4.2282很⼩，并经计算个特征值对误差影响所占⽐重分别为92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最⼩的特征值，得到新的变换阵12,,,newn k u u u -=U。
模式识别课件--特征提取_KL变换
求稳定点：
L 2Ru 2u 0 u
Ru u
稳定点有很多个，但都是R的特征向量。 uT Ru uT u 最小，则u 要使得 必须为R最小特征根对应的特征向量。
结
if Ru j j u j then
j d 1
论
uT Ru j取得极值 j
对新样本也作变换，看与哪个y最接近。 与实际比较确定是否识别正确，统计识别率。
Matlab相关的函数
读取图像的函数：I=imread(‘D:\a.jpg’); 提供自定义函数读取整个目录的图像： com_ReadDB。 求特征向量与特征根：[V,D] = eig(R);
作 业
需要利用奇异值分解定理。
1 St N
( xi m)( xi m)T
i 1
N
1 t t T ， t ( x1 m, , xN m) N
根据奇异值分解定理（SVD） d N 维的矩阵 t 存在两个正交 ， 矩阵 U 和 V ，使得 t U V T ，其中 U 和 V 的列向量分别是 t t T （ d d 维）和 t T t （ N N 维）的特征向量， 是相应的特征值
把新样本的类别归为距离最近的那个已知样本的类别。
可以拿每个人的前几幅图像作为已知的样本数据，后几 幅图像作为未知样本，统计识别率。
用PCA进行数据压缩
PCA (Principle Component Analysis)方法： 进行特征降维变换，不能完全地表示原有的对象，
能量总会有损失。希望找到一种能量最为集中的变
第9章 特征提取
清华大学模式识别课件-09_遗传算法GA-SA-Tabu
19
Fitness Evaluation
• A key component in GA
20
Reproduction
• Reproduction operators
– Crossover – Mutation
21
Reproduction Operators
• Crossover
– Generating offspring from two selected parents
25
Mutation: Local Modification
Before: After: Before: After: (1 0 1 1 0 1 1 0) (0 1 1 0 0 1 1 0) (1.38 -69.4 326.44 0.1) (1.38 -67.5 326.44 0.1)
26
Reproduction Operators
Before: After:
8
TSP Example: 30 Cities
9
Solution i (Distance = 941)
10
Solution j(Distance = 800)
11
Solution k(Distance = 652)
12
Best Solution (Distance = 420)
(5 8 7 2 1 6
3 4)
This operator is called the Order1 crossover.
7
Mutation
Mutation involves reordering of the list:
* * (5 8 7 2 1 6 3 4) (5 8 6 2 1 7 3 4)
K-l变换.
因此变换核矩阵为特征向量组成
1 2 L n
正交化后为*，将*T 记作A。 因此定义一维K L变换为
F *T f A f
反变换定义为
f *F AT F
图像霍特林变换
思想：将二维图像采用行堆叠或列堆叠转换为 一维处理。
Step1：同一幅图象l次传送，形成图象集合
列特征脸的线性加权和表示。此时待识别人脸问题 转换为投影系数向量，识别问题转换为分类问题。 最简单的分类是最小距离分类等。
K-L 变换的应用－人脸识别
❖谢谢！
✓ 变换Y=ATX与反变换X=AY即为K-L变换的变 换公式。
根据K-L变换的原理，A是X空间的协方差矩阵∑x的特 征向量矩阵的转置矩阵，即
A = ΦT =
由Y = AX 因此当n=3时,
Φ 11
Φ 21
Φ 12
Φ 22
...
Φ 1n
...
Φ 2n
... ... ... ...
Φ n1
Φ n2
...
Y = AX 式中：X为变换前多光谱空间的像元矢量；
Y为变换后多光谱空间的像元矢量； A为一个n×n的线性变换矩阵。
对于K-L变换中的矩阵A，必须满足以下要求：
✓ A为n×n正交矩阵，A=[φ1,φ2,φ3,…,φn] ✓ 对正交矩阵A来说，取φi为X的协方差矩阵∑x
的特征向量，协方差矩阵除对角线以外的元 素都是零
❖ K-L变换即主成分分析就可以简化大维数的数据集合。它还可以用于许 多图像的处理应用中，例如：压缩、分类、特征选择等。
K-L变换的原理
❖ 思想
▪ 目的是寻找任意统计分布的数据集合主要分量的子 集。
▪ 基向量满足相互正交性，且由它定义的空间最优的 考虑了数据的相关性。
1 2 L n
正交化后为*，将*T 记作A。 因此定义一维K L变换为
F *T f A f
反变换定义为
f *F AT F
图像霍特林变换
思想：将二维图像采用行堆叠或列堆叠转换为 一维处理。
Step1：同一幅图象l次传送，形成图象集合
列特征脸的线性加权和表示。此时待识别人脸问题 转换为投影系数向量，识别问题转换为分类问题。 最简单的分类是最小距离分类等。
K-L 变换的应用－人脸识别
❖谢谢！
✓ 变换Y=ATX与反变换X=AY即为K-L变换的变 换公式。
根据K-L变换的原理，A是X空间的协方差矩阵∑x的特 征向量矩阵的转置矩阵，即
A = ΦT =
由Y = AX 因此当n=3时,
Φ 11
Φ 21
Φ 12
Φ 22
...
Φ 1n
...
Φ 2n
... ... ... ...
Φ n1
Φ n2
...
Y = AX 式中：X为变换前多光谱空间的像元矢量；
Y为变换后多光谱空间的像元矢量； A为一个n×n的线性变换矩阵。
对于K-L变换中的矩阵A，必须满足以下要求：
✓ A为n×n正交矩阵，A=[φ1,φ2,φ3,…,φn] ✓ 对正交矩阵A来说，取φi为X的协方差矩阵∑x
的特征向量，协方差矩阵除对角线以外的元 素都是零
❖ K-L变换即主成分分析就可以简化大维数的数据集合。它还可以用于许 多图像的处理应用中，例如：压缩、分类、特征选择等。
K-L变换的原理
❖ 思想
▪ 目的是寻找任意统计分布的数据集合主要分量的子 集。
▪ 基向量满足相互正交性，且由它定义的空间最优的 考虑了数据的相关性。
模式识别 清华版 课后题解ppt课件
5. 特征选择及特征提取的含 义、区别与联系，类别可分 离性判据满足的要求，K-L降 维过程等。
6. 无监督学习与聚类的含义， 主要包括两类学习方法，理 解投影法的过程，重点掌握 动态聚类方法中的K-Means 算法。
7. 理解人工神经网络的含义 及历史，人工神经元的模型 及数学分析，掌握主要的人 工神经网络算法，尤其是感 知器与BP算法，能利用人工 神经网络设计模式识别系统。
l() p(x1, x2,...xN ) p(x1 ) p(x2 ) p(xN )
•对数似然函数
N
L() ln p( ) ln p(xi ) i 1
3.1 设总体分布密度为N(,1), 并设 {x1, x2,...xN},
N
2
1
2
2
1
2
N i 1
xi2
——二次函数的指数函数
2 贝叶斯估计
解：•把 p( )写成 N ( N, N 2 )，即：
p( )
1
2
N
exp
(x N 2 N 2
)2
p( ) ~ N(,1)
下的最小错误率贝叶斯决策规则。
贝叶斯决策规则：
如果P(i
|
x)
max j 1,2
P( j
|
x),则x i
其中,
p(i | x)
p(x | i )P(i )
2
p(x | j )P( j )
j 1
例题讲解
（1） P(x|ω1)=P(x|ω2 )
p(i | x)
p( x | i ) P(i )
6. 无监督学习与聚类的含义， 主要包括两类学习方法，理 解投影法的过程，重点掌握 动态聚类方法中的K-Means 算法。
7. 理解人工神经网络的含义 及历史，人工神经元的模型 及数学分析，掌握主要的人 工神经网络算法，尤其是感 知器与BP算法，能利用人工 神经网络设计模式识别系统。
l() p(x1, x2,...xN ) p(x1 ) p(x2 ) p(xN )
•对数似然函数
N
L() ln p( ) ln p(xi ) i 1
3.1 设总体分布密度为N(,1), 并设 {x1, x2,...xN},
N
2
1
2
2
1
2
N i 1
xi2
——二次函数的指数函数
2 贝叶斯估计
解：•把 p( )写成 N ( N, N 2 )，即：
p( )
1
2
N
exp
(x N 2 N 2
)2
p( ) ~ N(,1)
下的最小错误率贝叶斯决策规则。
贝叶斯决策规则：
如果P(i
|
x)
max j 1,2
P( j
|
x),则x i
其中,
p(i | x)
p(x | i )P(i )
2
p(x | j )P( j )
j 1
例题讲解
（1） P(x|ω1)=P(x|ω2 )
p(i | x)
p( x | i ) P(i )
9模式识别第-第九章 K-L变换特征提取
（4）协方差矩阵已知
2、每次使用一个类别样本集合来建立K-L坐 标系，
该K-L变换常用于信息压缩，很少用于分类。
一组具有零均值的样本： 例：
x 1 (1,1) T , x 2 ( 2 , 2 ) T , x 3 ( 1, 1) T , x 4 ( 2 , 2 ) T
n 1
为x(t)的 K-L 展开，其逆过程为K-L变换。 其中n是为使得自相关系数单位化引入的实或 复的系数
计算相关函数
* * * R (, ts ) Ext [ () x( s ) ] E x () t s ) n n n kx k k( k n
9.4 K-L坐标系的生成
数据集合{x}的K-L坐标系是由二阶统计量来 确定的。可以使用以下几种方法来生成 K-L 坐标系： 样本所属类别未知时： 1、可以使用样本的自相关矩阵 Ψ E[xxT ] 2、对于无类别标签的样本集，均值向量无意 义，也常使用协方差矩阵 T Σ E [ ( x μ ) ( x μ )]
反 之 ， 为 了 使 xn和 xm互 不 相 关 ， 随 机 过 程 必 须 是 周 期 性 的 。
9.2 K-L展开
非周期随机过程： 正弦函数族不能使其傅立叶系数不相关，但是 可以寻找一个新的正交函数族ϕn(t)，使得其变 换系数互不相关 。 K-L变换定义
假设一个非周期随机过程，在区间[a, b]展开式为
第9章 基于K-L变换特征提取
线性变换法特征提取
9.1 傅立叶级数展开式
周期随机过程的傅立叶级数（三角级数）
x (t )
n
x n exp( jn 0 t )
模式识别导论9PPT课件
28.07.2020
北京邮电大学信息工程学院
4
首先对 x 1 将各样品按值大小编号，X 4 所对应的 x 1 值最
小(0.18)。编号为第1号，X 3 编为第2号，全部编号结果列在表9.2 的第一行中。于是有
R1(45213)/53， R2＝ 8， (N1)/25.5，
H1＝ 110 1215(35.5)25(85.5)2 6.82
8
在图9.1中可以看到，在 x 1 的直方图中两类样品可以比 较清楚地分开，而在特征 x3 的直方图则有较多的混淆现象。 因此，直方图可以作为检验特征分类能力的一种工具。
从直方图出发可以构造所谓可接受的运算特征(ROC)曲 线。一个一般的直方图如图9.2(a)所示。任意取x轴上一点t 作为分界点。第一类样品被判错部分的面积记为α，第二 类被判错部分记作β，不断改变t的位置，并将点(α,1-β)画 在平面上，便形成图9.2(b)中的ROC曲线。图中的面积A表 示特征x的分类能力，A越大，x的分类能力越强。
表9.2 对于各样品的重新编号
样品 X1
X2
X3
X4 X5
X6
X7
X8
X9
X10
Байду номын сангаас
特征
x1
4
5
2
1
3
8
7
9
6
9
x2
1
2
3
4
10 6
7
8
9
5
x3
1
3
5
7
9
2
4
6
8
10
x4
1
2
3
4
6
5
7
8
清华大学模式识别课件-09_第九章KL变换
i 表示K_L展开式中的方差
7
x2 S2 C x1 S1
A2
A1
8
问题
零均值化？ 保留和去掉什么样的特征轴？
9
K_L变换的应用-人脸检测,识别
问题的提出
10
K_L变换的应用-人脸识别
SVD 分解
人脸训练集
输入人脸
器官定位 归一化
建立人脸训练集
训练出来的特征脸
11
x2 S2 C x1
21
人脸检测
22
人脸检测
23
人脸检测
24
人脸检测
25
人脸检测
26
人脸检测
27
人脸检测
28
29
人脸压缩
使用少量的投影向量表示人脸图像。 保留特征脸
30
T i T T i
6
K_L展开式的性质 展开系数：
令 u [u1 , u2 ,, u D ]
T T
T 1
u u [u1 , u2 ,, u D ] [u1 , u2 ,, u D ]
u 0 1 [u1 , , u D ] T u D D 0 1 2 D K_L坐标系把 对角化了。 消除了原向量x的分量之间相关性 u1 , u 2 , , u D
第九章
K_L变换
1
K_L变换 Karhumen-Loeve展开式 向量 x [ x(1), , x(n)]T 完备，正交，归一向量基 u i , i 1,2, ,
x ci u i
i 1
1 u uj 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
21
人脸检测
22
人脸检测
23
人脸检测
24
人脸检测
25
人脸检测
26
人脸检测
27
人脸检测
28
29
人脸压缩
使用少量的投影向量表示人脸图像。 保留特征脸
30
17
K_L变换的应用-人脸识别
特 征
数 据 库
输入人脸
器官定位 归一化
特征脸
比对识别
输出
18
算法分析
基于图像本身的方法
依赖于图像的相对灰度分布 加入新的样本必须重新训练
识别性能与训练集合有关
特征向量的选择
19
20
人脸检测
选择大量的人脸图像，K-L变换，得到特 征脸； 选择一个窗口的图像x，向人脸空间投影； 把投影向量反变换到原始图像空间，得 到y； 计算x和y的差。
12
S1
A1
x在 u1 , , u d 上展开系数
' T
x [c1 , c 2 , , c d ] u [u1 , u2 , , uD ] T T x u c [c1 , c2 ,..., cd , cd 1 ,..., cD ] T 1 x [c1 , c2 ,..., cd , cd 1 ,..., cD ]u
T i T T i
6
K_L展开式的性质 展开系数：
令 u [u1 , u2 ,, u D ]
T T
T 1
u u [u1 , u2 ,, u D ] [u1 , u2 ,, u D ]
u 0 1 [u1 , , u D ] T u D D 0 1 2 D K_L坐标系把 对角化了。 消除了原向量x的分量之间相关性 u1 , u 2 , , u D
i 1
2
d
ˆ) ( x x ˆ )] E[( x x
T
E[( ci ui )
i d 1
T
j dj
]
E[ c ]
u x u c u k ci x u i
T i T
3
i d 1 T i k k 1
2 i
( j I )u j 0, j d 1, ,
u j j u j
5
x在 u1 , , u d 上展开系数称作x的K_L变换
u1 , , u d : K_L变换坐标系
x [c1 , c 2 , , c d ]
'
T
E[ci c j ] E[u xx u j ] i u u j i ij
第九章
K_L变换
1
K_L变换 Karhumen-Loeve展开式 向量 x [ x(1), , x(n)]T 完备，正交，归一向量基 u i , i 1,2, ,
x ci u i
i 1
1 u uj 0
T i
i j i j
ˆ ci u i x
求
极小
E[ u xx ui ]
i d 1 T i T j T
i d 1
u
E[ xx ]ui
i
T
i d 1
u u
T i
4
g (u i )
i d 1
u u [u
T i i i d 1 i
T i
u i 1]
g 2(u j j u j ) 0 u j
x ui ci
T
x u[c1 , c2 ,..., cd , cd 1 ,..., cD ] " T x u[0..., ci , 0]
T
13
Principal Component Analysis ( PCA )
16
Principal Component Analysis ( PCA )
i 表示K_L展开式中的方差
7
x2 S2 C x1 S1
A2
A1
8
问题
零均值化？ 保留和去掉什么样的特征轴？
9
K_L变换的应用-人脸检测,识别
问题的提出
10
K_L变换的应用-人脸识别
SVD 分解
人脸训练集
输入人脸
器官定位 归一化
建立人脸训练集
训练出来的特征脸
11
x2 S2 C x1