KL变换
k-l变换 原理
k-l变换原理
k-l变换（Kullback-Leibler transform）是一种用于描述两个概
率分布之间的差异的数学方法。
k-l变换被广泛应用于信息论、统计学和机器学习等领域。
其
原理是基于信息熵的概念，即用来描述一个随机变量不确定性的度量。
信息熵可以表示一个概率分布的平均不确定性。
给定两个概率分布P和Q，k-l变换用来计算从P到Q的信息
熵差异，记为D(P||Q)。
其计算公式如下：
D(P||Q) = Σ P(x) log(P(x)/Q(x))
其中，P(x)和Q(x)分别代表P和Q在某个取值x处的概率。
该公式的基本含义是，对于每个取值x，计算P(x)相对于Q(x)的
比例，并求其对数。
然后将所有取值的结果求和。
k-l变换的值越小，表示P和Q之间的差异越小，即两个概率
分布越接近。
当且仅当P和Q是完全相同的分布时，k-l变换
的值为0。
k-l变换可以用于多种任务，如分类、聚类和降维等。
在分类
任务中，k-l变换可以用来计算一个样本与某个类别之间的相
似度。
在聚类任务中，k-l变换可以用来度量不同簇之间的差异。
在降维任务中，k-l变换可以用来选择最具信息量的特征。
总之，k-l变换是一种用于衡量概率分布之间差异的方法，通
过计算两个概率分布之间的信息熵差异来量化它们的相似度或差异性。
Karhunen-Loeve变换
Karhunen-Loeve变换K-L变换（ Karhunen-Loeve Transform）是建立在统计特性基础上的一种变换，有的文献也称为霍特林（Hotelling）变换，因他在1933年最先给出将离散信号变换成一串不相关系数的方法。
K-L变换的突出优点是相关性好，是均方误差（MSE，Mean Square Error）意义下的最佳变换，它在数据压缩技术中占有重要地位。
假定一幅N x N的数字图像通过某一信号通道传输M次，由于受随机噪音干扰和环境条件影响，接收到的图像实际上是一个受干扰的数字图像集合对第i次获得的图像fi(x,y) ，可用一个含N2 个元素的向量Xi 表示，即该向量的第一组分量（N个元素）由图像fi(x,y) 的第一行像素组成，向量的第二组分量由图像 f i(x,y) 的第二行像素组成，依此类推。
也可以按列的方式形成这种向量，方法类似。
X向量的协方差矩阵定义为：m f定义为： C f 和m f 的表达式中，“ E ”是求期望。
对于M幅数字图像，平均值向量 m f 和协方差矩阵 C f可由下述方法近似求得：可以看出，m f 是 N2 个元素的向量， C f 是 N2 x N2 的方阵。
根据线性代数理论，可以求出协方差矩阵的N2 个特征向量和对应的特征值。
假定是按递减顺序排列的特征值，对应的特征向量ei = 。
则K-L变换矩阵A定义为：从而可得K-L变换的变换表达式为：该变换式可理解为，由中心化图像向量 X - mx 与变换矩阵A 相乘即得到变换后的图像向量Y。
Y的组成方式与向量X相同。
K-L变换虽然具有MSE意义下的最佳性能，但需要先知道信源的协方差矩阵并求出特征值。
求特征值与特征向量并不是一件容易的事，维数较高时甚至求不出来。
即使能借助计算机求解，也很难满足实时处理的要求，而且从编码应用看还需要将这些信息传输给接收端。
这些因素造成了K-L变换在工程实践中不能广泛使用。
人们一方面继续寻求解特征值与特征向量的快速算法，另一方面则寻找一些虽不是“最佳”、但也有较好的去相关与能量集中的性能且容易实现的一些变换方法。
实验2_KL变换实验
实验二：KL 变换实验学时：4学时实验目的：1. 掌握特征提取的基本方法。
2. 掌握基于KL 变换的特征提取的方法。
3. 培养学生灵活使用KL 变换进行模式识别的能力。
实验内容：给出ORL 人脸数据库，共有400幅人脸图像（40人，每人10幅，大小为92*112象素）。
其中第一个人的图像如下图：选取数据库中的部分样本（每个人的前5张图片）作为训练样本，其余作为未知的测试样本。
从训练样本中得到KL 变换矩阵，然后对训练样本和测试样本都进行变换，用变换后的数据作最近邻识别，距离可以为对应灰度值之差的平方和，统计识别率。
KL 变换方法简介：设图像数据库图像大小为Width ⨯Height ，令d = Width ⨯Height ，则每幅图像可以用按行或者按列堆成一个d 维向量表示。
令111()()N T T t i i t t i S x m x m N N==--=ΦΦ∑，其中1(,,)t N x m x m Φ=-- 。
特征脸方法(KL 变换方法)是从PCA 方法导出的。
PCA 方法就是要寻找正交归一的变换矩阵12(,,,)d L L W u u u R ⨯=∈ ，1T WW =，使得判别准则()()T t J W tr W S W =达到最大，即arg max ()T t WW tr W S W =。
也就是在T y W x =的正交变换后使得总体散度矩阵y T t t S W S W =的迹最大，即各个样本分离得尽量远，将样本的方差尽量的保留下来，和原样本的均方误差尽量小。
可以证明求得12(,,,)L W u u u = 就是对应于矩阵t S 的前L 个最大的特征值的特征向量。
即12(,,,)L W u u u = 的各列向量是下面特征方程的解：t i i i S u u λ=显然，变换后的y T t t S W S W =是一个对角阵，对角线上的元素为相应的特征值，即1()dt i i tr S λ==∑，也就是说每个特征值都代表了相应的特征向量保留总体散度（方差）的能力。
KL变换和主成分分析
根据经济学知识，斯通给这三个新 变量分别命名为总收入F1、总收入变化 率F2和经济发展或衰退的趋势F3。更有 意思的是，这三个变量其实都是可以直 接测量的。
主成分分析就是试图在力保数据信息丢 失最少的原则下，对这种多变量的数据表进 行最佳综合简化，也就是说，对高维变量空 间进行降维处理。
jd 1
λ j ：拉格朗日乘数
g(uj )
uTj Ru j
j
(u
T j
u
j
1)
jd 1
jd 1
用函数 g(u j ) 对 u j 求导，并令导数为零，得
(R j I )u j 0 j d 1, ,
——正是矩阵 R 与其特征值和对应特征向量的关系式。
• 如果这些数据形成一个椭圆形状的 点阵（这在变量的二维正态的假定下 是可能的）.
3.2 PCA: 进一步解释
• 椭圆有一个长轴和一 个短轴。在短轴方向上， 数据变化很少；在极端的 情况，短轴如果退化成一 点，那只有在长轴的方向 才能够解释这些点的变化 了；这样，由二维到一维 的降维就自然完成了。
分为： 连续K-L变换 离散K-L变换
1．K-L展开式 设{X}是 n 维随机模式向量 X 的集合，对每一个 X 可以
用确定的完备归一化正交向量系{u j } 中的正交向量展开：
X a juj j 1
d
用有限项估计X时 ：Xˆ a juj j 1
aj：随机系数；
引起的均方误差： E[( X Xˆ )T ( X Xˆ )]
总样本数目为 N。将 X 变换为 d 维 (d n) 向量的方法：
kl变换 例题
kl变换例题
K-L变换（Karhunen-Loève Transform）是一种常用的特征提取方法，用于将高维数据投影到低维空间，同时保留数据的主要特征。
以下是一个简单的K-L变换的例子：假设我们有一个二维数据集，包含100个样本，每个样本有2个特征（X1和X2）。
首先，我们需要计算协方差矩阵，该矩阵描述了数据集的方差和协方差。
协方差矩阵计算如下：
Σ = (σ11 σ12; σ21 σ22)
其中，σ11 = Σ (X1 - μ1)^2，σ12 = Σ (X1 - μ1) * (X2 - μ2)，σ21 = Σ (X2 - μ2) * (X1 - μ1)，σ22 = Σ (X2 - μ2)^2。
μ1和μ2分别是X1和X2的均值。
接下来，我们需要计算协方差矩阵Σ的特征值λi和特征向量ei。
这些特征向量将构成新的坐标系，其中新的坐标轴分别与λi对应。
选择前d个特征向量构成投影矩阵E，将数据集投影到这d个特征向量上：
Y = E * X
其中，Y是投影后的数据，X是原始数据。
在本例中，我们将选择前d个最大的特征值对应的特征向量作为投影矩阵。
最后，我们可以将原始数据集X投影到新的坐标系上，得到低维特征Y。
Y将保留原始数据的主要特征，可以用于分类、聚类等机器学习任务。
K-L变换的一些典型应用
K-L变换的性质。
归结起来，它消除了各分量之间的相关性，因而用它来描述事物时，可以减少描述量的冗余性，做到用最经济有效的方法描述事物。
下面结合一些应用实例来说明如何运用K-L变换的这一性质。
1．降维与压缩以人脸图象这个例子看，K-L变换的降维效果是十分明显的。
对一幅人脸图象，如果它由M行与N到象素组成，则原始的特征空间维数就应为M×N。
而如果在K-L变换以及只用到30个基，那么维数就降至30，由此可见降维的效果是极其明显的。
另一方面降维与数据压缩又是紧密联系在一起的。
譬如原训练样本集的数量为V，而现采用30个基，每个基实质上是一幅图象，再加上每幅图象的描述参数(式(补4-3)中的C)，数据量是大大降低，尤其是图象数很大时，压缩量是十分明显的。
2．构造参数模型使用K-L变换不仅仅起到降维与压缩数据的作用，更重要的是每个描述量都有明确的意义，因而改变某一个参数就可让图象按所需要的方向变化。
在没有使用K-L变换的原数据集中对图象的描述量是每个象素的灰度值，而弧立地改变某个象素的灰度值是没有意义的。
而在使用K-L变换后，每个描述量都有其各自的作用。
因此通过改变这些参数的值就可实现对模型的有效描述，这在图象生成中是很有用的。
因此利用K-L变换构造出可控制的，连续可调的参数模型在人脸识别与人脸图象重构采方面的应用是十分有效的。
3．人脸识别利用K-L变换进行人脸图象识别是一个著名的方法。
其原理十分简单，首先搜集要识别的人的人脸图象，建立人脸图象库，然后利用K-L变换确定相应的人脸基图象，再反过来用这些基图象对人脸图象库中的有人脸图象进行K-L变换，从而得到每幅图象的参数向量(试问用哪个公式？)并将每幅图的参数向量存起来。
在识别时，先对一张所输入的脸图象进行必要的规范化，再进行K-L变换分析，得到其参数向量。
将这个参数向量与库中每幅图的参数向量进行比较，找到最相似的参数向量，也就等于找到最相似的人脸，从而认为所输入的人脸图象就是库内该人的一张人脸, 完成了识别过程。
KL变换
1. 主分量分析（PCA ）、K-L 变换（Hotelling 变换） 一般而言，这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。
相应的基向量组满足正交性且由它定义的子空间最优地考虑了数据的相关性。
将原始数据集合变换到主分量空间使单一数据样本的互相关性(cross-correlation)降低到最低点。
设s j x j ,...,1:=是N 维向量的数据集合，m 是其均值向量：有了特征向量集合，任何数据x 可以投影到特征空间（以特征向量为基向量）中的表示：相反地，任何数据x 可以表示成如下的线性组合形式：如果用A 代表以特征向量为列向量构成的矩阵，则A T 定义了一个线性变换：上述去相关的主分量分析方法可以用于降低数据的维数。
通过略去对应于若干较小特征值的特征向量来给y 降维。
例如，丢弃底下N-M 行得到N M ⨯的矩阵B ，kk sj Tj j x j j j sj j u d d s C mx d d x s m 向量及满足下列条件的特征特征值求出其从大到小排列的协方差矩阵是：是：差别向量λ∑∑===-==1111⎩⎨⎧≠===kl k l u u kl k T l ,0,1,δT N T k k y y y y m x u y ),...,,(,)(21=-=∑=+=s k k k u y m x 1⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==+=-=N x T y T A C A C A Ay m x m x A y λλ00()(1 ：变换后的协方差矩阵为是正交矩阵）并为简单起见假定均值m=0，则有：它只是被舍弃的特征向量所对应的特征值的和。
通常，特征值幅度差别很大，忽略一些较小的值不会引起很大的误差。
上述方法是图象数据压缩的数学基础之一，通常被称为Principal Component Analysis (PCA)或Karhunen-Loeve (K-L)变换。
K-L 变换的核心过程是计算特征值和特征向量，有很多不同的数值计算方法。
K-L变换
K-L 变换（Karhunen-Lo éve ）离散K-L 展开式的矩阵表示设非周期随机过程)(t x ，在采样区间[a, b]作均匀采样，采样样本表示为向量⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)()()(21D t x t x t x x （理解为每个样本向量有D 个特征）其相关函数][T xx E 为D 维方阵，有D 个线性无关的特征向量。
【假如有N 个采样样本，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⨯DN D D N N ND x x x x x x x x x212222111211x ， 相关函数][Txx E ＝TN D N D N⨯⨯x x 1】 则采样序列x 的展开式仅含有D 项∑-=Dj j c 1jx ϕ，式中，j ϕ为第j 个正交基函数（也叫基向量），j c 为对应的展开式系数。
【对于“K-L 展开式满足正交变换，且是最小均方误差的”证明如下：】假设向量集合),2,1}({ =i i x 中的x 可以用完备正交归一向量系或者称为变换基向量),,2,1(∞= j i u 来展开，则有∑∞==1j j j c u x基向量满足正交性⎩⎨⎧≠==i j ij j T i ,0,1u u在离散情况下使用有限基向量集合来表示，即∑==dj jj c 1ˆux其均方误差为][)]()[()]ˆ()ˆ[(1211∑∑∑∞+=∞+=∞+===--=d j jd j jjT d j jjTcE c c E E u u x x xx ξ将展开式系数x u Tj j c =（理解为x 在基坐标上的投影，而展开式系数就是坐标值）代入均方误差表达式，有∑∑∑∞+=∞+=∞+====111)(][d j jT jd j j TT jd j j TT jE E ψuu u xx uu xx u ξ（理解上式中j TT j j c u x x u ==，因为是行向量和列向量）)(T E xx ψ=为自相关矩阵（这是一个对称矩阵，因为T T T xx xx =)(）由拉格朗日条件极值法求均方误差的极限，相应的拉格朗日函数为]1[)(11--=∑∑∞+=∞+=jT jd j jd j j Tjj L u u ψu uu λ令0)(=j jL d du u （理解j 从的d ＋1取到无穷，总共就有这么多方程） 则022=-j j j u ψu λ得0)(=-j j u E ψλ，∞+=,,1 d j 【 这是矩阵的导数问题！相关概念知识如下： 令A 是一个与列向量x 无关的矩阵，则T ∂=∂x A A x ， ()T T T ∂=+=+∂x AxAx A x A A x x 特别地，若A 为对称矩阵，则有2T ∂=∂x AxAx x证明：前半部分：假设111221112222111112212211122111222222()()()()Tx a x a x a x a x x a a aa x a x a x a x a x x ∂∂⎡⎤++⎢⎥∂∂⎡⎤∂⎢⎥===⎢⎥∂∂∂⎢⎥⎣⎦++⎢⎥∂∂⎣⎦x A A x 后半部分：11nnTij i j i j A x x ===∑∑x Ax — 一个多项式梯度T ∂∂x Axx（是一个列向量）的第k 个分量为1111[]T n n n nk ij ijik ikjji j i j kA x x A x A xx ====∂∂==+∂∂∑∑∑∑x Ax x()T T T ∂=+=+∂x AxA x Ax A A x x】 其解就是使均方误差为极小的基向量j u ，同时求得的j u 为矩阵ψ的特征向量，其对应的特征值为j λ，则截断均方误差为∑∞+==1d j jλξ（此处用矩阵对角化的概念理解j j T j λ=ψu u ），式中j λ为矩阵ψ的特征值。