第7章 基于K—L变换的特征提取
k-l变换 原理
k-l变换原理
k-l变换（Kullback-Leibler transform）是一种用于描述两个概
率分布之间的差异的数学方法。
k-l变换被广泛应用于信息论、统计学和机器学习等领域。
其
原理是基于信息熵的概念，即用来描述一个随机变量不确定性的度量。
信息熵可以表示一个概率分布的平均不确定性。
给定两个概率分布P和Q，k-l变换用来计算从P到Q的信息
熵差异，记为D(P||Q)。
其计算公式如下：
D(P||Q) = Σ P(x) log(P(x)/Q(x))
其中，P(x)和Q(x)分别代表P和Q在某个取值x处的概率。
该公式的基本含义是，对于每个取值x，计算P(x)相对于Q(x)的
比例，并求其对数。
然后将所有取值的结果求和。
k-l变换的值越小，表示P和Q之间的差异越小，即两个概率
分布越接近。
当且仅当P和Q是完全相同的分布时，k-l变换
的值为0。
k-l变换可以用于多种任务，如分类、聚类和降维等。
在分类
任务中，k-l变换可以用来计算一个样本与某个类别之间的相
似度。
在聚类任务中，k-l变换可以用来度量不同簇之间的差异。
在降维任务中，k-l变换可以用来选择最具信息量的特征。
总之，k-l变换是一种用于衡量概率分布之间差异的方法，通
过计算两个概率分布之间的信息熵差异来量化它们的相似度或差异性。
Karhunen-Loeve变换
Karhunen-Loeve变换K-L变换（ Karhunen-Loeve Transform）是建立在统计特性基础上的一种变换，有的文献也称为霍特林（Hotelling）变换，因他在1933年最先给出将离散信号变换成一串不相关系数的方法。
K-L变换的突出优点是相关性好，是均方误差（MSE，Mean Square Error）意义下的最佳变换，它在数据压缩技术中占有重要地位。
假定一幅N x N的数字图像通过某一信号通道传输M次，由于受随机噪音干扰和环境条件影响，接收到的图像实际上是一个受干扰的数字图像集合对第i次获得的图像fi(x,y) ，可用一个含N2 个元素的向量Xi 表示，即该向量的第一组分量（N个元素）由图像fi(x,y) 的第一行像素组成，向量的第二组分量由图像 f i(x,y) 的第二行像素组成，依此类推。
也可以按列的方式形成这种向量，方法类似。
X向量的协方差矩阵定义为：m f定义为： C f 和m f 的表达式中，“ E ”是求期望。
对于M幅数字图像，平均值向量 m f 和协方差矩阵 C f可由下述方法近似求得：可以看出，m f 是 N2 个元素的向量， C f 是 N2 x N2 的方阵。
根据线性代数理论，可以求出协方差矩阵的N2 个特征向量和对应的特征值。
假定是按递减顺序排列的特征值，对应的特征向量ei = 。
则K-L变换矩阵A定义为：从而可得K-L变换的变换表达式为：该变换式可理解为，由中心化图像向量 X - mx 与变换矩阵A 相乘即得到变换后的图像向量Y。
Y的组成方式与向量X相同。
K-L变换虽然具有MSE意义下的最佳性能，但需要先知道信源的协方差矩阵并求出特征值。
求特征值与特征向量并不是一件容易的事，维数较高时甚至求不出来。
即使能借助计算机求解，也很难满足实时处理的要求，而且从编码应用看还需要将这些信息传输给接收端。
这些因素造成了K-L变换在工程实践中不能广泛使用。
人们一方面继续寻求解特征值与特征向量的快速算法，另一方面则寻找一些虽不是“最佳”、但也有较好的去相关与能量集中的性能且容易实现的一些变换方法。
KL变换和主成分分析
根据经济学知识，斯通给这三个新 变量分别命名为总收入F1、总收入变化 率F2和经济发展或衰退的趋势F3。更有 意思的是，这三个变量其实都是可以直 接测量的。
主成分分析就是试图在力保数据信息丢 失最少的原则下，对这种多变量的数据表进 行最佳综合简化，也就是说，对高维变量空 间进行降维处理。
jd 1
λ j ：拉格朗日乘数
g(uj )
uTj Ru j
j
(u
T j
u
j
1)
jd 1
jd 1
用函数 g(u j ) 对 u j 求导，并令导数为零，得
(R j I )u j 0 j d 1, ,
——正是矩阵 R 与其特征值和对应特征向量的关系式。
• 如果这些数据形成一个椭圆形状的 点阵（这在变量的二维正态的假定下 是可能的）.
3.2 PCA: 进一步解释
• 椭圆有一个长轴和一 个短轴。在短轴方向上， 数据变化很少；在极端的 情况，短轴如果退化成一 点，那只有在长轴的方向 才能够解释这些点的变化 了；这样，由二维到一维 的降维就自然完成了。
分为： 连续K-L变换 离散K-L变换
1．K-L展开式 设{X}是 n 维随机模式向量 X 的集合，对每一个 X 可以
用确定的完备归一化正交向量系{u j } 中的正交向量展开：
X a juj j 1
d
用有限项估计X时 ：Xˆ a juj j 1
aj：随机系数；
引起的均方误差： E[( X Xˆ )T ( X Xˆ )]
总样本数目为 N。将 X 变换为 d 维 (d n) 向量的方法：
《模式识别基础》课程标准
《模式识别基础》课程标准（执笔人：刘雨审阅学院：电子科学与工程学院）课程编号：08113英文名称：Pattern Recognition预修课程：高等数学，线性代数，概率论与数理统计，程序设计学时安排：40学时，其中讲授32学时，实践8学时。
学分：2一、课程概述（一）课程性质地位模式识别课基础程是军事指挥类本科生信息工程专业的专业基础课，通信工程专业的选修课。
在知识结构中处于承上启下的重要位置，对于巩固已学知识、开展专业课学习及未来工作具有重要意义。
课程特点是理论与实践联系密切，是培养学生理论素养、实践技能和创新能力的重要环节。
是以后工作中理解、使用信息战中涉及的众多信息处理技术的重要知识储备。
本课程主要介绍统计模式识别的基本理论和方法，包括聚类分析，判别域代数界面方程法，统计判决、训练学习与错误率估计，最近邻方法以及特征提取与选择。
模式识别是研究信息分类识别理论和方法的学科，综合性、交叉性强。
从内涵讲，模式识别是一门数据处理、信息分析的学科，从应用讲，属于人工智能、机器学习范畴。
理论上它涉及的数学知识较多，如代数学、矩阵论、函数论、概率统计、最优化方法、图论等，用到信号处理、控制论、计算机技术、生理物理学等知识。
典型应用有文字、语音、图像、视频机器识别，雷达、红外、声纳、遥感目标识别，可用于军事、侦探、生物、天文、地质、经济、医学等众多领域。
（二）课程基本理念以学生为主体，教师为主导，精讲多练，以用促学，学以致用。
使学生理解模式识别的本质，掌握利用机器进行信息识别分类的基本原理和方法，在思、学、用、思、学、用的循环中，达到培养理论素养，锻炼实践技能，激发创新能力的目的。
（三）课程设计思路围绕培养科技底蕴厚实、创新能力突出的高素质人才的目标，本课程的培养目标是：使学生掌握统计模式识别的基本原理和方法，了解其应用领域和发展动态，达到夯实理论基础、锻炼理论素养及实践技能、激发创新能力的目的。
模式识别是研究分类识别理论和方法的学科，综合性、交叉性强，涉及的数学知识多，应用广。
kl变换 例题
kl变换例题
K-L变换（Karhunen-Loève Transform）是一种常用的特征提取方法，用于将高维数据投影到低维空间，同时保留数据的主要特征。
以下是一个简单的K-L变换的例子：假设我们有一个二维数据集，包含100个样本，每个样本有2个特征（X1和X2）。
首先，我们需要计算协方差矩阵，该矩阵描述了数据集的方差和协方差。
协方差矩阵计算如下：
Σ = (σ11 σ12; σ21 σ22)
其中，σ11 = Σ (X1 - μ1)^2，σ12 = Σ (X1 - μ1) * (X2 - μ2)，σ21 = Σ (X2 - μ2) * (X1 - μ1)，σ22 = Σ (X2 - μ2)^2。
μ1和μ2分别是X1和X2的均值。
接下来，我们需要计算协方差矩阵Σ的特征值λi和特征向量ei。
这些特征向量将构成新的坐标系，其中新的坐标轴分别与λi对应。
选择前d个特征向量构成投影矩阵E，将数据集投影到这d个特征向量上：
Y = E * X
其中，Y是投影后的数据，X是原始数据。
在本例中，我们将选择前d个最大的特征值对应的特征向量作为投影矩阵。
最后，我们可以将原始数据集X投影到新的坐标系上，得到低维特征Y。
Y将保留原始数据的主要特征，可以用于分类、聚类等机器学习任务。
特征变换
1）可以使变换后所生成的新分量正交或不相关。
2）在用较少的新分量来表示原特征向量时，可达到均方误差最小。
3）变换得到的向量能量更趋集中。1.离散 Nhomakorabea限K-L展开
设x是一个n维的随机向量，则它可以用下式无误差地展开：
式中： 满足 即 ，则表明 为正交矩阵。可得 ，进而说明a为向量X在由 张成的空间中的坐标，即 为X在 上的投影。
[pc,variances]=pcacov(C);
PC=pc(:,1:2);
PCA=PC'*x2;
PCA1=PCA(:,1:200);
PCA2=PCA(:,201:390);
2.基于K-L变换的数据压缩
从n个特征向量中取出m个组成变换矩阵A，即 ，欲将X将为M维，下面讨论怎样选m个特征向量使效果最优？
首先介绍使得降维的新向量在均方差准则下接近原来向量X的求解思路。
对于 ，现在只取其中的m项，而略去的n-m项用常数 来代替，这时对X的估计值为 。由此产生的误差为 。则均方误差为：
要使 最小，对 的选择应满足：
即
如果在K-L变换之前，将模式的总体均值向量作为新的坐标系原点，即在新的坐标系中 ，则此时均方误差变为：
因此选择m个最大特征值对应的特征向量组成变换矩阵A，将使 最小，即为最小的N-M个特征值之和。因此也将K-L变换称为主成分分析(PCA)。
现在描述基于K-L变换展开式的特诊抽取算法如下：
%--------------------利用K-L变换实现特征变换---------------------------------
x1=[x1;x2;x3];
x2=x1';
xx1=mean(x1);
K-L变换及例题
7.1 K-L变换的定义与性质
离散K-L变换（DKLT），又称霍特林 (Hotelling)变换或主分量分解，它是一种基 于目标统计特性的最佳正交变换
DKLT的性质： 1. 使变换后产生的新的分量不相关 2. 以部分新分量表示原向量均方误差最小 3. 使变换向量更趋确定、能量更趋集中
x2
t1
5
-5
5
x1
-5
t2
0
y
两组二维空间的数据（a）（b）如图所示， 试用K-L变 换来做一维的特征提取。
2
x2
2
1
2
x2
2
1
1
-2 -1
x1
12
-1
1
-2
-1
1
x1
2
-1
-2
-2
（a）
（b）
解：这两种情况下的期望向量 E [ x]0
对于数据（a），有
xa E ( x-E( x))( x-E( x))T
试用K-L变换做一维特征提取。
解：（1）
m
1 5
5 i 1
xi(1)
1 5
5 i 1
xi(2)
0
Pˆ (1) Pˆ (2 ) 5 /10 1/ 2
（2）
2
R E[xx']
i 1
Pˆ (i )E[x(i) x(i) ']
1 [1 25
5 i 1
xi(1) xi(1) ' ]
n
2(m) i min
i m 1
采用同等维数进行表示，该结果与原始数据的
特征提取的数学方法
欧式距离：
dab ( x1 x2 )2 ( y1 y2 )2 ( z1 z2 )2
02 几种类别可分性判据
2.2
几种距离的定义
• 欧氏距离
• （3）两个n维向量 a( x11 , x12 ,, x1n ) 和向量 b( x21 , x22 ,, x2n )
02
几种类别可分性判据
02
几种类别可分性判据
2.1 类别可分性判据的标准 2.2 几种距离的定义 2.3 基于几何距离的类别可分性判据 2.4 基于概率分布的类别可分性判据
02
几种类别可分性判据
类别可分性判据的标准
02 几种类别可分性判据
2.1
类别可分性判据的标准
N
通常两类之间的类别可分性测度要满足以下标准：
J ij ( x1 , x2 ,, xN ) J ij ( x1 , x2 ,, xN , x N 1 )
(4). 对特征数量具有单调性
02 几种类别可分性判据
2.1
类别可分性判据的标准
• 就空间分布而言，同一类模式的分布越密集越好， 不同类模式的分布越分散越好。因此，提出了基于 距离的可分性测度。
n
2
s k 为样本集的标准差
02 几种类别可分性判据
2.2
几种距离的定义
• 2.2.1点到点的几种距离表示
• 马氏距离
• 设有 M 个样本 X 1 , X 2 ,, X M ，协方差矩阵为 S ，均值为
，则定义样本向量 X 到均值 的马氏距离为：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2
式中所选的 i 愈小，误差愈小。 从以上可以得出结论：
im1
i
n
T
xi
im1
i
n
T
ii
im1
i
n
返回本章首页
第7章 基于K—L变换的特征提取
（1）为使误差最小，不采用的本征向量，其对应的本征 值应尽可能小。将本征值按大小次序标号，即 1 2 m n 应首先采用前面的本征向量。这时的变换矩阵为 T 1
2
2
1
2
x2
1
x1
1
2
2
2
1
2
x2
1
1
2
1
x1
1
1
1
2
2
（a）
（b）
返回本章首页
第7章 基于K—L变换的特征提取
解：这两种情况下的期望向量 E x 0 对于数据（a），有
T xa E ( x E ( x ))( x E ( x ))
1 E xx 4
2 E ( y b ) i i
yi iT x
第7章 基于K—L变换的特征提取
也就是说，对于省略掉的那些分量，应当用它们的期望 值来代替。这时的均方误差
2 im1
n
2 E ( y E ( y )) i i
bi E yi iT E x T yi i x
的样本的分类器。（1）在这种情况下，求Bayes判定规则和 Bayes错误率；（2）求按最近邻法决策的渐近平均错误率。
设有两类二维正态分布的样本基于最小错误率的贝叶斯决策分 界面方程为 x1 x2 -3x2 0 ，其中两类的协方差矩阵
返回本章首页
第7章 基于K—L变换的特征提取
1 试列举线性分类器中你所学过的最佳准则以及它们各自的原理。 答：Fisher准则：根据两类样本一般类内密集, 类间分离的特点， 寻找线性分类器最佳的法线向量方向，使两类样本在该方向上 的投影满足类内尽可能密集，类间尽可能分开。 该种度量通过类内离散矩阵 S w 和类间离散矩阵 Sb 实现。 感知准则函数：准则函数以使错分类样本到分界面距离之和最 小为原则，即 J P ( A) AT Y
YA
通过错分类样本提供的信息对分类器函数进行修正，这种准则 是人工神经元网络多层感知器的基础。 最小平方误差准则函数：使平方误差最小，即
n T 2 J s ( A) min e min YAb min ( A Yi bi ) i1
2 2
解线性不等式的问题转化为解线性等式的问题，求得的伪逆解 使平方误差最小。
返回本章首页
第7章 基于K—L变换的特征提取
7.1 离散的卡洛南—洛伊（K—L）变换
设 x 是一个 n 维的随机向量，则它可以用下式无误差的展 开：
n
x yii y
i1
11 12 11 22 (1 2 n ) 11 n 2 T y ( y1 y2 yn )
返回本章首页
第7章 基于K—L变换的特征提取
期末测试
1 试列举线性分类器中你所学过的最佳准则以及它们各自的原理。 2 试说明用监督学习与非监督学习两种方法对道路图像中道路区域 的划分的基本做法，以说明这两种学习方法的定义与它们间的区 别。 3 试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离 平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。 4 已知一组数据的协方差矩阵为
对于数据（b），有
返回本章首页
第7章 基于K—L变换的特征提取
xb 1 4 1 4
T x x i i i1
4
2 1 2 1 1 1 2 2 1 1 2 2 2 1 2 1 10 6 1 4 6 10
返回本章首页
第7章 基于K—L变换的特征提取
2 试说明用监督学习与非监督学习两种方法对道路图像中道路区域 的划分的基本做法，以说明这两种学习方法的定义与它们间的区 别。 答：监督学习方法用来对数据实现分类，分类规则通过训练获得。 该训练集由带分类号的数据集组成，因此监督学习方法的训练 过程是离线的。 非监督学习方法不需要单独的离线训练过程，也没有带分类号 （标号）的训练数据集，一般用来对数据集进行分析，如聚类， 确定其分布的主分量等。 就道路图像的分割而言，监督学习方法则先在训练用图像中获 取道路象素与非道路象素集，进行分类器设计，然后用所设计 的分类器对道路图像进行分割。 使用非监督学习方法，则依据道路路面象素与非道路象素之间 的聚类分析进行聚类运算，以实现道路图像的分割。
1 1 2 1 2 1
试问（1）协方差矩阵中各元素的含义。（2）求该数组的两个主 分量。（3）主分量分析或称K-L变换，它的最佳准则是什么？ （4）为什么说经主分量分析后，消除了各分量之间的相关性。
返回本章首页
第7章 基于K—L变换的特征提取
5
1 2 1 1 1 2 1 2 1 1 2 1 2 1 1 2 之值。 先验概率 P(1 ) P(2 ) ，并且有1 2 。试求： 6 考虑基于具有先验知识 P(1 ) P(2 ) 0.5 和分布 2 x, 0 x 1 2 2 x, 0 x 1 p( x 1 ) 和 p( x 2 ) 0, 其它 0, 其它
T I
x y yi iT x y
1
x x
T
假定我们只保留 y 向量的分量的一个子集 y1 , y2 ,, ym mn ， 就用这些分量估计出 x 。
返回本章首页
i 1, 2, , n
第7章 基于K—L变换的特征提取
下面讨论最佳子集的选取 若用 y 的分量来恢复原始模式 x ，不应使模式产生明显 的畸变。实际上我们的任务就是要选择一个最佳的变换 使得模式向量的维数降低后仍能保留模式的最重要的特 征。若保留 y1, y2 ,, ym ，不保留的用预先选定的常数 来代替，这时对 x 的估计值为：
2
T 对 i 的最佳选择（ i i 1 ）
im1
n
T iT E ( x E ( x ))( x E ( x )) i
im1
n
iT xi
实际上要在 iT i 1的条件下，找出使 2 最小的 i ，构 造Lagrange函数：
ˆ yii x
i1 n m im1
bii
n
x yii
i1 n m n ˆ yii yii bii ( yi bi )i x x x i1 im1 i1 im1 n
返回本章首页
第7章 基于K—L变换的特征提取
返回本章首页
第7章 基于K—L变换的特征提取
3 试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离 平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。 答：Mahalanobis 距离的平方定义为： 2 T 1
( x ) ( x )
x 、 为两个向量， 是一个正定对称矩阵（一般为 其中， 协方差矩阵）。根据定义，距某一点的Mahalanobis距离相等点 的轨迹是超椭球，如果 是单位矩阵，则Mahalanobis距离就 是通常的欧氏距离。
注意到 x 和 x 都是随机向量，用的 x均方误差作为选 取 m 个特征的子集的有效性的判据，则
2 E x
2
ˆ )T ( x x ˆ数，要使 2 最小，就是求使 2 取极小值 的最佳的 bi 和 i 的值。 对 bi 的选择
第7章 基于K—L变换的特征提取
第7章
基于K—L变换的特征提取
7.1 离散的卡洛南—洛伊(K—L)变换 7.2 采用K—L变换的分类特征提取 7.3 鉴别向量和鉴别平面
第7章 基于K—L变换的特征提取
上一章讨论的特征选择是在一定的准则下从n个特征中 选出m个来反映原来的模式，这种简单的删掉某个特征 总是不十分理想的，因为一般来说，原来的n个数据各 自在不同程度上反映了识别对象的某些特性，简单的删 掉可能会丢失较多的信息。这时，若将原来的特征作正 交变换，获得的每个数据都是原来的n个数据的线性组 合 ，然后从新的数据中选出少数几个，使它们尽可能 多地反映各类模式之间的差异，又尽可能的相互独立， 这比单纯的选择方法更灵活，效果更好，这就是将要介 绍的K—L变换，它适用于任何的概率密度函数。 K— L变换实际上是一种最佳的特征压缩。
返回本章首页
第7章 基于K—L变换的特征提取
4 已知一组数据的协方差矩阵为
1 1 2 1 2 1
试问（1）协方差矩阵中各元素的含义。（2）求该数组的两个主 分量。（3）主分量分析或称K-L变换，它的最佳准则是什么？ （4）为什么说经主分量分析后，消除了各分量之间的相关性。 答：1）对角元素是各分量的方差，非对角元素是各分量之间的协 方差。 3 , 1 2）主分量，求协方差矩阵的特征值， 1 2
T 2 T m
（2）K—L变换是在均方误差最小的意义下获得的数据 压缩的最佳变换，它消除模式特征之间的相关性，突出 其差异性，且不受模式分布的限制。
返回本章首页
第7章 基于K—L变换的特征提取
例题7-1 两组二维空间的数据（a）（b）如图所示， 试用K—L变换来做一维的特征提取。
T
T x x i i i1
4
2 1 2 1 1 1 2 2 1 1 2 2 1 2 1 2 10 10 1 4 10 10 1 4