KL变换与主成分分析
主成分分析
实验三遥感图像的多光谱增强一、目的和要求学习和掌握主成分变换（K－L变换）的基本原理、方法及意义。
二、实验内容主成分变换（K－L变换）三、原理和方法主成分变换（Principal Component Analysis），又称K－L变换。
它的基本原理是：对某一多光谱图像实行一个线性变换，产生一组新的多光谱图像，使变换后各分量之间具有最小的相关性。
它是一种常用的数据压缩方法，可以将具有相关性的多波段数据压缩到完全独立的前几个主分量上；同时由于主成分变换后的前几个主分量包含了主要的地物信息，噪声较少，因而可以突出主要信息，抑制噪声，达到图像增强的目的；另外，它也可以用于分类前的预处理，减少分类的波段数并提高分类效果，即作为特征选择的方法。
四、实验步骤ERDAS 图标面板菜单条：Image Interpreter→Spectral Enhancement →Principial Comp →Pincipal Components对话框（图7-1）图7-1 Principal Component对话框在Pincipal Components对话框，需要设置下列参数：(1) 确定输入文件(InPut Fille)为1anier.img。
(2) 定义输出文件(output File)为principal.img。
(3) 定义坐标类型(Coordinate Type)为Map.(4) 处理范围确定(subset Definition)，默认状态为整个图像范围。
(5) 输出数据类型(Ouput Data Type)为float single。
(6) 输出数据统计时忽略零值，即选中ignore zero in stats复选框。
(7) 特征矩阵输出设置（Eigen Matrix)。
(8) 若需在运行日志中显示，选中show in Session Log复选框。
(9) 若需写入特征矩阵文件，选中Write to File复选框(必选项)。
KL变换和主成分分析
根据经济学知识，斯通给这三个新 变量分别命名为总收入F1、总收入变化 率F2和经济发展或衰退的趋势F3。更有 意思的是，这三个变量其实都是可以直 接测量的。
主成分分析就是试图在力保数据信息丢 失最少的原则下，对这种多变量的数据表进 行最佳综合简化，也就是说，对高维变量空 间进行降维处理。
jd 1
λ j ：拉格朗日乘数
g(uj )
uTj Ru j
j
(u
T j
u
j
1)
jd 1
jd 1
用函数 g(u j ) 对 u j 求导，并令导数为零，得
(R j I )u j 0 j d 1, ,
——正是矩阵 R 与其特征值和对应特征向量的关系式。
• 如果这些数据形成一个椭圆形状的 点阵（这在变量的二维正态的假定下 是可能的）.
3.2 PCA: 进一步解释
• 椭圆有一个长轴和一 个短轴。在短轴方向上， 数据变化很少；在极端的 情况，短轴如果退化成一 点，那只有在长轴的方向 才能够解释这些点的变化 了；这样，由二维到一维 的降维就自然完成了。
分为： 连续K-L变换 离散K-L变换
1．K-L展开式 设{X}是 n 维随机模式向量 X 的集合，对每一个 X 可以
用确定的完备归一化正交向量系{u j } 中的正交向量展开：
X a juj j 1
d
用有限项估计X时 ：Xˆ a juj j 1
aj：随机系数；
引起的均方误差： E[( X Xˆ )T ( X Xˆ )]
总样本数目为 N。将 X 变换为 d 维 (d n) 向量的方法：
KL变换与主成分分析
KL变换与主成分分析KL变换是一种通过数学变换来提取重要特征的方法。
KL变换是一种线性变换，它将原始数据从一个表示域转换到另一个表示域。
KL变换的主要思想是通过将数据在原始表示域中的协方差矩阵进行特征值分解，得到一组新的正交基向量，称为特征向量。
这些特征向量对应于协方差矩阵的特征值，表示变换后的表示域中数据的主要方向。
通过选择最重要的特征向量，可以获得原始数据的紧凑表示。
KL变换的应用非常广泛。
在图像处理中，KL变换可以用于图像压缩和去噪。
在语音处理中，KL变换可以用于语音识别和语音合成。
在模式识别中，KL变换可以用于特征提取和数据降维。
通过使用KL变换，可以提高数据的表示效率，并且在一定程度上保留原始数据的重要信息。
主成分分析（PCA）是一种与KL变换类似的数据变换方法，也用于特征提取和数据降维。
PCA的主要思想是通过线性变换将原始数据投影到一个新的坐标系中，使得数据在新坐标系中的方差最大化。
PCA的目标是找到一组正交基向量，称为主成分，它们能够最大化数据的方差。
通过选择最重要的主成分，可以实现数据的降维。
虽然KL变换和PCA在算法和应用上有一定的差异，但它们的目标是相似的，都是通过数学变换来提取原始数据的重要特征。
它们在很多领域都扮演着重要的角色，为实际问题的解决提供了有效的方法。
此外，KL 变换和PCA还可以通过适当的改进和扩展来满足具体问题的需求。
总结起来，KL变换和PCA是两种常用的数学方法，用于特征提取和数据降维。
它们的基本思想相似，但在具体算法和应用上有一些差异。
KL 变换通过特征值分解协方差矩阵来提取特征，而PCA通过求解特征值问题或奇异值分解来提取主成分。
两种方法都能提高数据的表示效率，并在实际问题中发挥着重要作用。
K-L变换及例题
7.1 K-L变换的定义与性质
离散K-L变换（DKLT），又称霍特林 (Hotelling)变换或主分量分解，它是一种基 于目标统计特性的最佳正交变换
DKLT的性质： 1. 使变换后产生的新的分量不相关 2. 以部分新分量表示原向量均方误差最小 3. 使变换向量更趋确定、能量更趋集中
x2
t1
5
-5
5
x1
-5
t2
0
y
两组二维空间的数据（a）（b）如图所示， 试用K-L变 换来做一维的特征提取。
2
x2
2
1
2
x2
2
1
1
-2 -1
x1
12
-1
1
-2
-1
1
x1
2
-1
-2
-2
（a）
（b）
解：这两种情况下的期望向量 E [ x]0
对于数据（a），有
xa E ( x-E( x))( x-E( x))T
试用K-L变换做一维特征提取。
解：（1）
m
1 5
5 i 1
xi(1)
1 5
5 i 1
xi(2)
0
Pˆ (1) Pˆ (2 ) 5 /10 1/ 2
（2）
2
R E[xx']
i 1
Pˆ (i )E[x(i) x(i) ']
1 [1 25
5 i 1
xi(1) xi(1) ' ]
n
2(m) i min
i m 1
采用同等维数进行表示，该结果与原始数据的
图像处理方法原理介绍
图像处理方法原理介绍(1)KL变换KL变换是遥感图像增强和信息提取中用得最多的线性变换，是对原波段图像进行波谱信息的线性投影变换，在尽可能不减少信息量的前提下，将原图像的高维多光谱空间的像元亮度值投影到新的低维空间，减少特征空间维数，达到数据压缩、提高信噪比、提取相关信息、降维处理和提取原图像特征信息的目的，并能有效地提取影像信息。
它可使原来多波段图像经变换后提供出一组不相关的图像变量，最前面的主分量具有较大的方差，包含了原始影像的主要信息，所以要集中表达信息，突出图像的某些细部特征，可采用主分量变换来完成。
(2)去相关拉伸变换通过去相关拉伸变换把相关性很高的波段进行去相关拉伸处理，减弱它们之间的相关性，然后进行拉伸，从而使深色区域的地物差异界线反映得更加清楚。
(3)纹理特征提取变换纹理特征的提取方法比较简单，它是用一个活动的窗口在图像上连续滑动，分别计算出窗口中的方差、均值、最大值、最小值及二者之差和信息熵等，形成相应的纹理图像，当目标的光谱特性比较接近时，纹理特征对于区分目标可以起到积极的作用。
选取适当的数据动态变化范围，进行纹理特征提取后，使影像的纹理特征得到突出，有利于提取构造信息。
(4)锐化增强调整图像的锐化程度使地物在图像上的差别便于人眼识别，可达到信息增强的目的。
对图像进行锐化增强实际上是利用变换函数把原图像进行灰度级转换，增大相邻像元的灰度值之差，从而达到突出图像细节的目的。
(5)定向滤波利用定向滤波对ＴＭ图像频率特征进行筛选，将图像中的线与边缘特征信息增强，突出给定方向的线性影像信息，抑制其他方向的无用信息。
采用45胺较蚵瞬ǎ 瞬ū尘爸涤?00%，滤波核设为3。
滤波后突出了断裂的线性影像，断裂两侧的色调影像花纹明显不同，断裂造成的山脊错断等特征在影像上非常明显。
(6)缨帽变换采用缨帽变换可以将ＴＭ图像除热红外波段的6个波段压缩成3个分量，其中的土壤亮度指数分量是6个波段的加权和，反映了总体的反射值；绿色植被指数分量反映了绿色生物量的特征；土壤特征分量反映了可见光和近红外与较长的红外的差值，它对土壤湿度和植物湿度最为敏感。
数字图像处理数字图像处理第二章(第六讲)KL变换、其他正交变换
第二章 常用的数学变换
2.6其他正交变换 —离散沃尔什-哈达玛变换(WHT)
1 1 1 1 1 1 1 1
1
1
1
1
1
1
1
1
1 1 1 1 1 1 1 1
H8
1 22
1 1
1 1
1 1
1 1
1
1 1
1
1 1 1 1
1
1
1
1 1
1
1
1
1 1 1 1 1 1 1 1
1
1
1
1
1
2.6其他正交变换 —离散沃尔什-哈达玛变换(WHT)
1893年法国数学家哈达玛总结前人研究只包含+1和-1的正交矩 阵结果，形成哈达玛矩阵，既简单又有规律
1923年美国数学家沃尔什提出Walsh函数，具有特点 函数取值仅有两个(0,1或-1，+1) 由Walsh函数构成的Walsh函数集，具备正交性和完备性
种是按照哈达玛排列来定义。由于哈达玛排序的沃尔什函数是由2n （n=0，1，2，…）阶哈达玛矩阵（Hadamard Matrix）得到的，而
哈达玛矩阵的最大优点在于它具有简单的递推关系， 即高阶矩阵可 用两个低阶矩阵的克罗内克积求得，因此在此只介绍哈达玛排列定 义的沃尔什变换。
第二章 常用的数学变换
0.443(60) 0.742(70) 0.376(62) 0.106(50)
119.53
国家级精品资源共享课
第二章 常用的数学变换
第二章 常用的数学变换
2.1 引言 2.2 空域变换 2.3 频率域变换 2.4 离散余弦变换 2.5 KL变换 2.6 其他正交变换
第二章 常用的数学变换
4遥感图像变换——主成分分析(教案).docx
实验四遥感图像变换——主成分分析一、主成分分析的思想与原理主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数儿个综合指标。
在实证问题研究中，为了全面、系统地分析问题，必须考虑众多影响因素。
这些涉及的因索一•般称为指标，在多元统计分析屮也称为变最。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并R指标Z间彼此冇一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在实际中研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具。
而把主成分方法用在遥感图像的变换处理上称为遥感图像的主成分变换（K ・L变换）。
原理如下：有矩阵：T-其中，m和n分別为波段数（或称变量数）和每幅图像中的像元数；矩阵中每一行矢量表示一个波段的图像。
对于一般的线性变换Y二TX,如果变换矩阵T是正交矩阵，并且它是由原始图像数据矩阵X 的斜方差矩阵S的特征向量所组成，则此式的变换称为K-L变换。
K-L变换的具体过程如F:第一步，根据原始图像数据矩阵X,求出它的协方差矩阵S, X的协方差矩阵为：■冈］—式中：I-QX--；（即为笫i个波段的均值）；113 ；S是一个实对称矩阵。
笫二步，求S矩阵的特征值X和特征向量，并H成变换矩阵T。
考虑特征方程:式中，I为单位矩阵,U为特征向量。
解上述的特征方程即可求出协方差矩阵S的各个特征值人比坷3・心/排列，求得各特征值对应的单位特征向量（经归一化）UJ：若以各特征方虽为列构成矩阵，即u・・［气1—U矩阵满足:U T U=UU T=I （单位矩阵），则U矩阵是正交矩阵。
U矩阵的转置矩阵即为所求的K-L变换的变换矩阵To有了变换矩阵T,将其代入Y=TX,则:式中Y矩阵的行向护为第j主成分。
经过K-L变换后，得到一组5个）新的变量（即Y的各个行向量），它们依次被称为第一主成分、第二主成分、…第m主成分。
模式识别主成分分析和KL变换
模式识别：主成分分析和KL变换什么是模式识别？模式识别是一种利用计算机算法和数学方法，通过对给定数据进行处理和分析，找出其内在规律和模式的一种技术。
模式识别在许多领域中都有应用，在人工智能、机器学习、数据挖掘等领域中都有广泛的应用。
主成分分析主成分分析（Principal Component Analysis，PCA）是一种数据降维技术，可以将高维数据降到低维，同时尽可能地保留数据的信息。
PCA的一般思路是找到一个新的坐标系，将数据映射到这个新的坐标系中，从而达到数据降维的目的。
主成分分析的基本实现步骤如下：1.数据中心化。
将各维度数据减去其均值，使其在新坐标系中保持原有的方差（即去除数据的线性相关性）。
2.计算协方差矩阵。
协方差矩阵的每个元素表示数据在不同维度上的相关程度。
3.计算协方差矩阵的特征值和特征向量。
特征向量描述了协方差矩阵的方向，而特征值表示协方差矩阵沿该方向的大小。
4.选择最大特征值对应的特征向量，作为新的坐标系。
5.将数据映射到新的坐标系中。
，PCA算法是将高维数据转化为低维数据的过程，它可以快速识别数据的内在结构，发现隐藏数据之间的相关性信息。
KL变换KL变换（Karhunen-Loève Transform，KLT）又称作Hotelling变换，它是一种优秀的信号处理技术，也常被用于模式识别。
KL变换的主要目的是分离信号中的信息和噪声成分，将重要信息提取出来，以便实现信号的压缩和去噪等操作。
KL变换的主要思路是将一组信号的协方差函数分析，然后求出其特征分解，从而得到KL基函数。
KL基函数是一组正交函数，它基于信号中的协方差函数进行计算。
KL基函数的特点是垂直于噪声分布的方向，能够很好地去除信号中的噪声成分。
对于一个N维随机向量X，KL变换可以描述为下列公式：KL变换公式KL变换公式式中，X是一个N维随机向量，K是一个N*N的矩阵，其列向量是单位正交向量。
KL变换可以针对任意信号类型进行处理，对于平稳信号而言，KL变换还可以处理非平稳性的问题，得到良好的结果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
主成分分析（PCA）是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法，它的本质实际上是K-L变换。
PCA方法最著名的应用应该是在人脸识别中特征提取及数据维，我们知道输入200*200大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面分类器的处理将带来极大的难度。
著名的人脸识别Eigenface 算法就是采用PCA算法，用一个低维子空间描述人脸图像，同时用保存了识别所需要的信息。
下面先介绍下PCA算法的本质K- L变换。
1、K-L变换（卡洛南-洛伊（Karhunen-Loeve）变换）：最优正交变换
一种常用的特征提取方法；
最小均方误差意义下的最优正交变换；
在消除模式特征之间的相关性、突出差异性方面有最优的效果。
离散K-L变换：对向量x（可以想象成M维=width*height 的人脸图像原始特征）用确定的完备正交归一向量系u j展开：
这个公式由来我想应该是任一n维欧式空间V均存在正交基，利用施密特正交化过程即可构建这个正交基。
现在我们希望用d个有限项来估计向量x，公式如下：
计算该估计的均方误差如下：
要使用均方误差最小，我们采用Langrange乘子法进行求解：
因此，当满足上式时，
取得最小值。
即相关矩阵R的d个特征向量（对应d个特征值从大到小排列）为基向量来展开向量x时，其均方误差最小，为：
因此，K-L变换定义：当取矩阵R的d个最大特征值对应的特征向量来展开x时，其截断均方误差最小。
这d个特征向量组成的正交坐标系称作x所在的D维空间的d维K-L变换坐标系，x在K-L坐标系上的展开系数向量y称作x的K-L变换。
总结下，K-L变换的方法：对相关矩阵R的特征值由大到小进行排队，
则均方误差最小的x近似于：
矩阵形式：
上式两边乘以U的转置，得
向量y就是变换（降维）后的系数向量，在人脸识别Eigenface算法中就是用系数向量y代替原始特征向量x进行识别。
下面，我们来看看相关矩阵R到底是什么样子。
因此，我们可以看出相关矩阵R是一个实对称矩阵（或者严谨的讲叫正规矩阵），正规矩阵有什么特点呢学过《矩阵分析》的朋友应该知道：若矩阵R是一个实对称矩阵，则必定存在正交矩阵U，使得R相似于对角形矩阵，即：
因此，我们可以得出这样一个结论：
降维后的系数向量y的相关矩阵是对角矩阵，即通过K-L变换消除原有向量x的各分量间的相关性，从而有可能去掉那些带有较少信息的分量以达到降低特征维数的目的。
2、主成分分析（PCA)
主成分分析（PCA）的原理就是将一个高维向量x,通过一个特殊的特征向量矩阵U，投影到一个低维的向量空间中，表征为一个低维向量y，并且仅仅损失了一些次要信息。
也就是说，通过低维表征的向量和特征向量矩阵，可以基本重构出所对应的原始高维向量。
在人脸识别中，特征向量矩阵U称为特征脸（eigenface）空间，因此其中的特征向量u i进行量化后可以看出人脸轮廓，在下面的实验中可以看出。
以人脸识别为例，说明下PCA的应用。
设有N个人脸训练样本，每个样本由其像素灰度值组成一个向量x i，则样本图像的像素点数即为x i的维数，M=width*height ，由向量构成的训练样本集为。
该样本集的平均向量为：
平均向量又叫平均脸。
样本集的协方差矩阵为：
求出协方差矩阵的特征向量u i和对应的特征值
，这些特征向量组成的矩阵U就是人脸空间的正交基底，用它们的线性组合可以重构出样本中任意的人脸图像，（如果有朋友不太理解这句话的意思，请看下面的总结2。
）并且图像信息集中在特征值大的特征向量中，即使丢弃特征值小的向量也不会影响图像质量。
将协方差矩阵的特征值按大到小排序：。
由大于
的
对应的特征向量构成主成分，主成分构成的变换矩阵为：
这样每一幅人脸图像都可以投影到
构成的特征脸子空间中，U的维数为M×d。
有了这样一个降维的子空间，任何一幅人脸图像都可以向其作投影
，即并获得一组坐标系数，即低维向量y，维数d×1,为称为KL分解系数。
这组系数表明了图像在子空间的位置，从而可以作为人脸识别的依据。
有朋友可能不太理解，第一部分讲K-L变换的时候，求的是相关矩阵
的特征向量和特征值，这里怎么求的是协方差矩阵
其实协方差矩阵也是：
，可以看出其实
用代替x就成了相关矩阵R，相当于原始样本向量都减去个平均向量，实质上还是一样的，协方差矩阵也是实对称矩阵。
总结下：
1、在人脸识别过程中，对输入的一个测试样本x，求出它与平均脸的偏差
，则
在特征脸空间U的投影，可以表示为系数向量y：
U的维数为M×d，
的维数为M×1，y的维数d×1。
若M为200*200=40000维，取200个主成分，即200个特征向量，则最后投影的系数向量y维数降维200维。
2、根据1中的式子，可以得出：
这里的x就是根据投影系数向量y重构出的人脸图像，丢失了部分图像信息，但不会影响图像质量。