模式识别作业三——kl变换
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
模式识别作业报告
组员:
2011302265 孔素瑶
2011302268 马征
2011302273 周昳慧
一、实验要求
用FAMALE.TXT 和MALE.TXT 的数据作为本次实验使用的样本集,利用K-L 变换对该样本集进行变换,与过去用Fisher 线性判别方法或其它方法得到的分类面进行比较,从而加深对所学内容的理解和感性认识。
二、具体做法
1. 不考虑类别信息对整个样本集进行K-L 变换(即PCA ),并将计算出的新特征方向表示在
二维平面上,考察投影到特征值最大的方向后男女样本的分布情况并用该主成分进行分类。 2. 利用类平均向量提取判别信息,选取最好的投影方向,考察投影后样本的分布情况并用
该投影方向进行分类。 3. 将上述投影和分类情况与以前做的各种分类情况比较,考察各自的特点和相互关系。
三、实验原理
设n 维随机向量T n x x x x ),,(21⋯=,其均值向量][x E u =,相关矩阵][T
x xx E R =,协方差矩阵]))([(T
x u x u x E C --=,x 经正交变换后产生向量T n y y y y ),,(21⋯=。 设有标准正交变换矩阵)),,((21n t t t T T ⋯=,(即I T T T
=)
T
n T n y y y x t t t x T y ),,(),,(2121⋯=⋯==,x t y T
i i = (1,2
,)i n =
∑=-===n
i i i T
t y y T y T x 11
(称为 x 的K-L 展开式)
取前m 项为x 的估计值1
ˆm
i i i x
y t ==∑ 1m n ≤<其均方误差为
∑∑+=+=∧
∧=
=
--=n
m i i
i n
m i i
T
y y E y
E x x x x E m 1
'1
2
][][)]()[()(ξ
∑∑∑+=+=+==
==
n
m i i x i
n
m i i
n
m i i
i t R t
t
x x E t y y E m 1
'1
''
1
'
)(][)(ξ
在I T T ='
的约束条件下,要使均方误差
min )]()[()(1
''
→=
--=∑+=∧
∧n
m i i x i
t R t
x x x x E m ξ
为此设定准则函数∑∑+=+=--
=
n
m i i T
i i n
m i i x T
i t t t R t J 1
1
)1(λ
由
0i
J
t ∂=∂可得()0x i i R I t λ-= 1,...,i m n =+ 即x i i i R t t λ= 1,...,i m n =+
表明: λi 是x R 的特征值,而i t 是相应的特征向量。利用上式有:
∑∑∑+=+=+==
=
=
n
m i i
n
m i i i T i
n
m i i x T i
t t
t R t
m 1
1
1
)(λ
λξ
用“截断”方式产生x 的估计时,使均方误差最小的正交变换矩阵是其相关矩阵R x 的前m 个特征值对应的特征向量构成的。
四、实验内容
实验中,训练样本集的身高和体重数据构成二维特征向量。利用K-L 变换,找出合适的投影方向,将原坐标系中的二维向量变为新坐标系中的一维向量,根据变换后的数据进行分类及为实验目的。
(1).不考虑性别信息的特征提取
根据训练样本集数据,计算样本均值)(x E u =和协方差矩阵]))([(T
x u x u x E C --=,式中,
T x x x ),(21=是二维特征列向量。
令产生矩阵=ψ]))([(T
x u x u x E C --=计算ψ的特征值,则最大特征值对应的特征向量即为要求的新坐标系。将原来的二维坐标系中的数据投影到一维坐标系之后,给定适当的阈值即可实现对样本数据得分类。 (2).利用类均值向量的特征提取
根据训练样本集数据,分别计算两个样本的均值i u 和协方差矩阵i ∑。在给定先验概率)(i P ω的情况下可以计算出类内离散度矩阵∑=∑
=
2
1
)(i i
i
w P S ω以及类间离散度矩阵
∑=--=2
1
))()((i T i i i b x x x x P S ω,其中i x 和x 分别代表各类均值与总体均值。w S 是K-L 坐标
系的产生矩阵,变换后表征分类性能的函数
j
w T
j j b T
j j u S u u S u x J =
)(
可见()j J x 是类间离散度与类内离散度在j u 这坐标的分量之比,()j J x 越大,表明在新坐标系中该坐标轴包含较多可分性信息。为了降低特征空间的维数,可以将各分量按()j J x 大小重新排列,使:
)()()(21D x J x J x J ≥⋯≥≥
并且与前面d 个最大的()j J x 值相对应的特征向量j u ,j=1,……,d 作为特征空间的基向量。
五、程序框图
1.不考虑性别信息