kl变换及例题
实验2_KL变换实验
实验二：KL 变换实验学时：4学时实验目的：1. 掌握特征提取的基本方法。
2. 掌握基于KL 变换的特征提取的方法。
3. 培养学生灵活使用KL 变换进行模式识别的能力。
实验内容：给出ORL 人脸数据库，共有400幅人脸图像（40人，每人10幅，大小为92*112象素）。
其中第一个人的图像如下图：选取数据库中的部分样本（每个人的前5张图片）作为训练样本，其余作为未知的测试样本。
从训练样本中得到KL 变换矩阵，然后对训练样本和测试样本都进行变换，用变换后的数据作最近邻识别，距离可以为对应灰度值之差的平方和，统计识别率。
KL 变换方法简介：设图像数据库图像大小为Width ⨯Height ，令d = Width ⨯Height ，则每幅图像可以用按行或者按列堆成一个d 维向量表示。
令111()()N T T t i i t t i S x m x m N N==--=ΦΦ∑，其中1(,,)t N x m x m Φ=-- 。
特征脸方法(KL 变换方法)是从PCA 方法导出的。
PCA 方法就是要寻找正交归一的变换矩阵12(,,,)d L L W u u u R ⨯=∈ ，1T WW =，使得判别准则()()T t J W tr W S W =达到最大，即arg max ()T t WW tr W S W =。
也就是在T y W x =的正交变换后使得总体散度矩阵y T t t S W S W =的迹最大，即各个样本分离得尽量远，将样本的方差尽量的保留下来，和原样本的均方误差尽量小。
可以证明求得12(,,,)L W u u u = 就是对应于矩阵t S 的前L 个最大的特征值的特征向量。
即12(,,,)L W u u u = 的各列向量是下面特征方程的解：t i i i S u u λ=显然，变换后的y T t t S W S W =是一个对角阵，对角线上的元素为相应的特征值，即1()dt i i tr S λ==∑，也就是说每个特征值都代表了相应的特征向量保留总体散度（方差）的能力。
kl变换 例题
kl变换例题
K-L变换（Karhunen-Loève Transform）是一种常用的特征提取方法，用于将高维数据投影到低维空间，同时保留数据的主要特征。
以下是一个简单的K-L变换的例子：假设我们有一个二维数据集，包含100个样本，每个样本有2个特征（X1和X2）。
首先，我们需要计算协方差矩阵，该矩阵描述了数据集的方差和协方差。
协方差矩阵计算如下：
Σ = (σ11 σ12; σ21 σ22)
其中，σ11 = Σ (X1 - μ1)^2，σ12 = Σ (X1 - μ1) * (X2 - μ2)，σ21 = Σ (X2 - μ2) * (X1 - μ1)，σ22 = Σ (X2 - μ2)^2。
μ1和μ2分别是X1和X2的均值。
接下来，我们需要计算协方差矩阵Σ的特征值λi和特征向量ei。
这些特征向量将构成新的坐标系，其中新的坐标轴分别与λi对应。
选择前d个特征向量构成投影矩阵E，将数据集投影到这d个特征向量上：
Y = E * X
其中，Y是投影后的数据，X是原始数据。
在本例中，我们将选择前d个最大的特征值对应的特征向量作为投影矩阵。
最后，我们可以将原始数据集X投影到新的坐标系上，得到低维特征Y。
Y将保留原始数据的主要特征，可以用于分类、聚类等机器学习任务。
信号分析_第3章 一些常用的变换.
Rxˆx ( ) Rˆx ( ) Rxxˆ ( ) Rˆx ( )
8
4. 在通信中常用的Hilbert变换的重要公式
1 H {cos(ct )} sin(ct ) 2 H {sin(ct )} cos(ct )
3 .if m(t)为基带信号
LSB GLSB ( f ) F{Ac[m(t) jmˆ (t)]}
Ac[M ( f ) jM ( f )H ( f )]
Ac[M (
Ac
[
M
(
f f
) )
jM ( jM (
f f
)( j)] 0 )( j)] 2AcM (
f
)
( f 0) ( f 0)
12
USB gUSB(t) Ac[m(t) jmˆ (t)]
Ac[M ( f ) jM ( f )H ( f )]
Ac[M (
Ac
[
M
(
f f
) )
jM ( jM (
f f
)( j)] 2AcM ( )( j)] 0
f
)
( f 0) ( f 011)
M(f )
jMˆ ( f )
M ( f ) jMˆ ( f )
LSB gLSB (t) Ac[m(t) jmˆ (t)]
s(t)的包络可表示为
g(t) a(t) s2(t) sˆ2(t)
其瞬时相位为
(t)
arctan
sˆ(t) s(t)
0t
(t)
其瞬时频率为
i (t)
d (t)
dt
d dt
arctan
sˆ(t ) s(t )
0
d (t )
K-L变换及例题
7.1 K-L变换的定义与性质
离散K-L变换（DKLT），又称霍特林 (Hotelling)变换或主分量分解，它是一种基 于目标统计特性的最佳正交变换
DKLT的性质： 1. 使变换后产生的新的分量不相关 2. 以部分新分量表示原向量均方误差最小 3. 使变换向量更趋确定、能量更趋集中
x2
t1
5
-5
5
x1
-5
t2
0
y
两组二维空间的数据（a）（b）如图所示， 试用K-L变 换来做一维的特征提取。
2
x2
2
1
2
x2
2
1
1
-2 -1
x1
12
-1
1
-2
-1
1
x1
2
-1
-2
-2
（a）
（b）
解：这两种情况下的期望向量 E [ x]0
对于数据（a），有
xa E ( x-E( x))( x-E( x))T
试用K-L变换做一维特征提取。
解：（1）
m
1 5
5 i 1
xi(1)
1 5
5 i 1
xi(2)
0
Pˆ (1) Pˆ (2 ) 5 /10 1/ 2
（2）
2
R E[xx']
i 1
Pˆ (i )E[x(i) x(i) ']
1 [1 25
5 i 1
xi(1) xi(1) ' ]
n
2(m) i min
i m 1
采用同等维数进行表示，该结果与原始数据的
现代数字信号处理及其应用论文——KL变换的应用
Karhunen-Loeve 变换的应用摘要：本文对Karhunen-Loeve 变换的原理进行了说明，重点分析了K-L 变换的性质，结合K-L 变换的性质，对K-L 变换的具体应用进行了展示。
利用K-L 变换在人脸识别、遥感图像特征提取、地震波噪声抑制、数字图像压缩、语音信号增强中的具体利用，深入总结了K-L 变换在模式识别、噪声抑制和数据压缩领域的重要性。
关键字： Karhunen-Loeve 变换 K-L 变换 K-L 展开1、 Karhunen-Loeve 变换定义1.1Karhunen-Loeve 变换的提出在模式识别和图像处理等现实问题中，需要解决的一个主要的问题就是降维，通常我们选择的特征彼此相关，而在识别这些特征时，数据量大且效率低下。
如果我们能减少特征的数量，即减少特征空间的维数，那么我们将以更少的存储和计算复杂度获得更好的准确性。
于是我们需要一种合理的综合性方法，使得原本相关的特征转化为彼此不相关，并在特征量的个数减少的同时，尽量不损失或者稍损失原特征中所包含的信息。
Karhunen-Loeve 变换也常称为主成分变换(PCA)或霍特林变换，就可以简化大维数的数据集合，而且它的协方差矩阵除对角线以外的元素都是零，消除了数据之间的相关性。
所以可以用于信息压缩、图像处理、模式识别等应用中。
Karhunen-Loeve 变换，是以矢量信号X 的协方差矩阵Ф的归一化正交特征矢量q 所构成的正交矩阵Q ，来对该矢量信号X 做正交变换Y=QX ，则称此变换为K-L 变换（K-LT 或KLT ），K-LT 是Karhuner-Loeve Transform 的简称，有的文献资料也写作KLT 。
可见，要实现KLT ，首先要从信号求出其协方差矩阵Ф，再由Ф求出正交矩阵Q 。
Ф的求法与自相关矩阵求法类似。
1.2Karhunen-Loeve 展开及其性质设零均值平稳随机过程u(n)构成的M 维随机向量为u(n),相应的相关矩阵为R ，则向量u(n)可以表示为R 的归一化特征向量M 21q ,q ,q 的线性组合，即iMi i q c n u ∑==1)(，此式称为u(n)的Karhunen-Loeve 展开式，展开式的系数i c 是由内积 )(c i n u q Hi =M ,1,2,i =定义的随机变量，且有{}0E =i c ，{}⎩⎨⎧≠==l i li c c i li ,0,E *λ。
3-第三章离散余弦变换KL变换3
6
7
例如：N=4时，有：
⎡H 2 H4 = ⎢ ⎣H 2
⎡1 1 1 1 ⎤ ⎥ H2 ⎤ ⎢ 1 − 1 1 − 1 ⎢ ⎥ ＝ ⎥ －H 2 ⎦ ⎢1 1 − 1 − 1⎥ ⎢ ⎥ ⎣1 − 1 − 1 1 ⎦
8
例如：N=8时，有：
⎡1 ⎢1 ⎢ ⎢1 ⎢ 1 H8 = ⎢ ⎢1 ⎢ ⎢1 ⎢1 ⎢ ⎢ ⎣1 1 −1 1 −1 1 −1 1 −1 1 1 −1 −1 1 1 −1 −1 1 −1 −1 1 1 −1 −1 1 1 1 1 1 −1 −1 −1 −1 1 −1 1 −1 −1 1 −1 1 1 1 −1 −1 −1 −1 1 1 1⎤ −1⎥ ⎥ −1⎥ ⎥ 1⎥ −1⎥ ⎥ 1⎥ 1⎥ ⎥ −1⎥ ⎦
•如何衡量 相关性？
• φij 反映了xi和xj之间的相关性，若各分量之 间互不相关，则Φ x 只存在对角线，代表各分 量的方差。
2
(DHT) 3.8 离散哈达玛变换 离散哈达玛变换(DHT) 3.9 K －L变换 K－ 3.10 离散余弦变换（ DCT ） 离散余弦变换（DCT DCT）
3
(DHT) 3.8 离散哈达玛变换 离散哈达玛变换(DHT)
28
（4）K－L反变换 由： 得：
Y = A( X − m X )
X = A Y + mX
−1
由于A矩阵的各行都是正交归一化矢量，所以 A−1 = AT ， 可得：
X = AT Y + m x
29
K-L 变换的优点 四、 四、K-L K-L变换的优点 1.完全去除原信号X中的相关性。
2.将Y截短时，均方误差最小，并等于所舍去 的特征值之和。 3.若将N个特征按大小顺序排列，即， λ 0 ≥ λ1 ≥ ⋯ ≥ λ N −1 若将 λ m +1 ⋯ λ N −1 舍去后，保 留了原信号的最大能量。
模式识别第三次作业-KL变换
模式识别作业三一、编程要求：编程实现KL变换，并对TM六波段图像进行演算。
KL变换的思想是：从n维特征选取m维特征，删去的n-m维特征不一定就是无用的信息，如何在信息损失最小的情况下选取特征，在理论上就显得更严密些。
通常采用正交变换，得到新的经变换的模式，以保证信息损失最小情况下获得有利于分类的特征。
二、编程思想：将6副图象依次输入获得灰度值存在一个6*size(size为一副图象的像素数)的二维数组中，计算每个波段的灰度均值，然后计算协方差矩阵，得出特征值和特征向量，再重新计算要输出的处理的图象的灰度。
三、核心代码：void CKLchangeView::Oninput() //TM图象数据读入{AfxMessageBox("注意:请一次将6副图象都读入!");//读图象的方法int flag=0;while(flag<6){CFileDialog dlg(TRUE,"bmp",".bmp");if(dlg.DoModal()==IDOK){m_NewFileName[flag]=dlg.GetFileName();for(int j=0;j<5;j++){if(flag==j||m_NewFileName[flag]!=m_NewFileName[j]) continue;else{AfxMessageBox("已打开过的图象!请按方法重新打开!");flag=0;for(int i=0;i<6;i++) m_NewFileName[i]="";return;}}NewFileName=m_NewFileName[flag];flag++;}//判断是否是已经打开的图象，若已经打开，则要重新按方法打开else //不读图象，或是只是要看图象{for(int i=0;i<6;i++) m_NewFileName[i]="";return;}CDC *pDC = GetWindowDC();CFile f(NewFileName,0);m_pDib.Read(&f);//读图象if(m_pDib.m_nColorTableEntries!=256)//判断是否是灰度图象{AfxMessageBox("请打开灰度图象!");return;}CKLchangeDoc* pDoc = GetDocument();pDoc->pDib=&m_pDib;OnDraw(pDC);//调用OnDraw函数绘图sizeImage = m_pDib.GetDimensions();sizeSaveImage = m_pDib.GetDibSaveDim();a=sizeSaveImage.cx * sizeSaveImage.cy;//象素数if(flag==1) tm=CMatrix(6,a);//开第一副图象时为矩阵分配内存//将每幅图象象素灰度值放入矩阵中if(flag==1)for(int i=0;i<a;i++){tm.m_pData[i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%sizeImage.cx );}if(flag==2)for(int i=0;i<a;i++){tm.m_pData[a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%sizeImage. cx);}if(flag==3)for(int i=0;i<a;i++){tm.m_pData[2*a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%sizeImag e.cx);}if(flag==4)for(int i=0;i<a;i++){tm.m_pData[3*a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%sizeImag e.cx);}if(flag==5)for(int i=0;i<a;i++){tm.m_pData[4*a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%sizeImag e.cx);}if(flag==6)for(int i=0;i<a;i++){tm.m_pData[5*a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%sizeImag e.cx);}}}void CKLchangeView::OnKl() //KL变换计算{int i,j;xfea.Init(6,1);xfeat.Init(1,6);temp=CMatrix(6,6);feature=new double[6];fea.Init(6,6);double tmave[6];//求每幅图象的灰度均值for (i=0;i<6;i++){tmave[i]=0;for(j=0;j<a;j++){tmave[i]+=tm.m_pData[i*a+j];}tmave[i]/=(double)a;}//求方差矩阵Rfor(j=0;j<36;j++){temp.m_pData[j]=0.0;for(i=0;i<a;i++){temp.m_pData[j]+=(tm.m_pData[(j/6)*a+i%6]-tmave[j/6])*(tm.m_pData[(j%6)*a+i%6]-tmave[ j%6]);}temp.m_pData[j]/=(double)a;}temp.JacobiEigenv2(feature, fea, 0.000001);//求特征值和特征向量double t=0.0;double featuretemp[6];//临时变量for(i=0;i<6;i++)featuretemp[i]=feature[i];//给临时数组赋值for(i=0;i<6;i++)//"冒泡法"将特征值排序for(j=0;j<5;j++)if(feature[j]>feature[j+1]){t=feature[j];feature[j]=feature[j+1];feature[j+1]=t;}for(i=0;i<6;i++)//求出特征值排序后对应在特征值数组中的位置for(j=0;j<6;j++)if(feature[i]==featuretemp[j]){index[i]=j;}}void CKLchangeView::OnFirst() //第一主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[5]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnFive() //第五主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[1]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnFour() //第四主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[2]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnSecond() //第二主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[4]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnSix() //第六主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;}if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[0]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnThird() //第三主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;}if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[3]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::Draw() //图象输出{int i;for(i=0;i<a;i++)//处理越界的灰度值{if(result.m_pData[i]<0) result.m_pData[i]=0;if(result.m_pData[i]>255) result.m_pData[i]=255;}for (i = 0; i <a; i ++)//重新给图象每个象素赋灰度值{ unsigned char *pData=m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%sizeImage.cx;*pData=(BYTE)(long)(result.m_pData[i]+0.5);}CDC *pDC = GetWindowDC();CKLchangeDoc* pDoc = GetDocument();pDoc->pDib=&m_pDib;OnDraw(pDC);//将处理后图象绘出}。
第7章 基于K—L变换的特征提取
1 2 − 1 −2 (1 1) + ( 2 2 ) + ( − 1 − 1) + ( − 2 − 2 ) 1 2 − 1 −2 1 10 10 = 4 10 10
返回本章首页
基于K L 第7章 基于K—L变换的特征提取
1 试列举线性分类器中你所学过的最佳准则以及它们各自的原理。 试列举线性分类器中你所学过的最佳准则以及它们各自的原理。 Fisher准则 根据两类样本一般类内密集, 类间分离的特点， 准则： 答：Fisher准则：根据两类样本一般类内密集, 类间分离的特点， 寻找线性分类器最佳的法线向量方向， 寻找线性分类器最佳的法线向量方向，使两类样本在该方向上 的投影满足类内尽可能密集，类间尽可能分开。 的投影满足类内尽可能密集，类间尽可能分开。 实现。 该种度量通过类内离散矩阵 S w 和类间离散矩阵 Sb实现。 感知准则函数： 感知准则函数：准则函数以使错分类样本到分界面距离之和最 小为原则， 小为原则，即 J P ( A) = ∑ − AT Y
返回本章首页
基于K L 第7章 基于K—L变换的特征提取
7.1 离散的卡洛南—洛伊（K—L）变换 离散的卡洛南—洛伊（
设 x 是一个 n 维的随机向量，则它可以用下式无误差的展 维的随机向量， 开：
n
x = ∑ yiφi =Φ y φ11 φ12 φ11 φ22 Φ = (φ1 φ2 L φn ) = L L φ11 φn 2 y = ( y1 y2 L yn )T
ˆ x = ∑ yiφi +
i=1 n m i=m+1
∑ biφi
n
x = ∑ yiφi
i=1 n m n ˆ ∆ x = x − x = ∑ yiφi − ∑ yiφi + ∑ biφi = ∑ ( yi −bi )φi i=1 i=m+1 i=1 i=m+1 n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2
n
①变换后的向量的各分量不相关的
②i=E(yi2)，或i=E{[yi -E(yi)]2} (含义：方差)
DKLT使新的分量y1和y2不相关
两个新的坐标轴方向分别由t1 和t2 确定
x2
y2 r t2
r t1
y1
x1
通过K-L变换，消除了原有向量x的各分量之间的相 关性，从而有可能去掉那些带有较少信息的坐标轴 以达到降低特征空间维数的目的。
1 2
11,
第7章 基于K-L展开式的特征提取
7.1 K-L变换的定义与性质 7.2 K-L变换特征提取的原理及应用 7.3 利用K-L变换进行人脸识别
实现特征提取的途径
考虑利用线性变换的方式实现降维
x WT y
x1 w11
xd wd1
w1D y1
多重判别分析：考虑模式类可分离性
成分分析：用较少数量的特征对样本进行描 述，减少或去除冗余信息（去相关、信息压 缩）
所谓成分分析，即有可能将认为是不重要的成分 去除或用较少数据粗略表示，从而减少数据量， 实现特征降维
7.1 K-L变换的定义与性质
离散K-L变换（DKLT），又称霍特林 (Hotelling)变换或主分量分解，它是一种基 于目标统计特性的最佳正交变换
xri(1) xri(1) ' ]
1 [1 25
5 i 1
xபைடு நூலகம்i(2) xri(2) ' ]
25.4 25
25 25.4
（3）求R的特征值、特征向量
| R - I | (25.4 - )2 - 252 0 1 50.4, 2 0.4
r Rt j
r
r
jt j , j 1,2 t1
产生向量 yr ( y1, y2 ,L, yn )T
设有标准正交变换矩阵T，（即 T'T=I）
r y
T
rr 'x(t1
r t2
L
r tn
r )'x
(
y1,
y2
L
yn
)'
rr yi ti 'x
(i 1,2L, n)
r
x
(T
'
) -1
r y
T
r y
n
r
r
yiti （称为 x 的K-L展开式）
DKLT的性质
(2)最佳逼近性
rr yi ti 'x
i 1,2,L, m ; m n
n
2(m) i min
i m 1
采用同等维数进行表示，该结果与原始数据的
均方误差最小
(3)使能量向某些分量相对集中，增强随机 向量总体的确定性（即得到主要成分）
何谓主轴及主成分表示
nr r ti ' Rxrti -
n rr
i (ti 'ti -1)
由 Jr 0 可得
ti
i m 1
i m 1
r
(Rxr - i I )ti 0 i m 1,...,n
rr
即
Rxrti iti
i m 1,...,n
由
rr
Rxrti iti
i m 1,...,n 表明:
主轴
特征值大 方差大
主成分表示与类可分性
O Q
例: 已知两类样本
1 :{(-5,-5)', (-5,-4)', (-4,-5)', (-5,-6)', (-6,-5)'} 2 :{(5,5)' , (5,6)' , (6,5)' , (5,4)' , (4,5)'}
试用K-L变换做一维特征提取。
im1
im1
n
r ti
E ( xrxr)tri
nr r ti Rxti
im1
im1
yi
r ti
'xr
在T‘T=I的约束条件下,要使均方误差
n
2 (m) E[(x - xˆ)'(x - xˆ)] ti ' Rxti min
i m 1
为此设定准则函数J
i1
r 取前m项为 x 的估计值
xr
m
r yi ti
1 m n
i 1
其均方误差为 2 (m) E (x - xˆ)T (x - xˆ)
n
n
E[ yi2 ] E[ yi yi' ]
i m 1
i m 1
n
n
2 (m) E[ yi2 ] E[ yi yi ]
wdD yD
xi wi1 y1 wi2 y2 wiD yD wiT y 本质上说是高维→低维的投影
形式上可看是原始向量各分量的线性组合
由上章内容，此处关键是选择合适的变换，使 变换之后的数据保持足够的类别可分性
实现特征提取的途径
两类经典的处理方法
DKLT的性质
(1)r 变换后各特征分量不相关 y的自相关矩阵和协方差矩阵为
1
[ ] Ryr E
r y
r y
T
E[(T
r 'x)(T
'xr)']
T 'RxrT
1
2
n
[ ] C
r y
E
r (y
rrr -y)(y -y)'
T 'CxrT
DKLT的性质： 1. 使变换后产生的新的分量不相关 2. 以部分新分量表示原向量均方误差最小 3. 使变换向量更趋确定、能量更趋集中
设 n 维随机向量 xr ( x1, x2,L, xn )T ，其均
[ ] 值向量 xr E[xr]，相关矩阵 Rxr E xr xrT ，协方 [ ] 差矩阵Cxr E (xr - xr)(xr - xr)T ，xr 经正交变换后
r
i是 Rxr的特征值，而 ti 是相应的特征向量。
利用上式有:
n
n
n
2 (m) ti ' Rxti ti 'iti i
i m 1
i m 1
i m 1
用“截断”方式产生x的估计时，使均方误差最 小的正交变换矩阵是其相关矩阵Rx的前m个特征 值对应的特征向量构成的。
解：（1）
r m
1 5
5 i 1
xri(1)
1 5
5 i 1
xri(2)
r 0
Pˆ (1) Pˆ (2 ) 5 /10 1/ 2
（2）
rr 2
R E[xx']
i 1
Pˆ (i
)
E[
r x
(i
)
r x
(i)
'
]
1 [1 25
5 i 1