主成分分析_从一维到多维

均值 方差 标准差
x
1 n
n i 1
xi
Lxx =
1 n 1
n i 1
(xi
x )2
Sx Lxx
• 协方差矩阵/散布矩阵
S
n
1 1Biblioteka n k 1(xk
x )(xk
x )T
协方差矩阵的主对角线上的元素是各个维度上的方差 (即能量)，其他元素是两两维度间的协方差(即相关性)。
主成分分析目标:寻找最能够代表原始数据分布特 性的投影方向。
whose eigenvalue 2 is the second largest.
In general
var[zk ] akT Sak k
• The kth largest eigenvalue of S is the variance of the kth PC.
主成分分析:寻找在最小均方误差意义下最能够代 表原始数据的投影方向。
L a1T Sa1 (a1T a1 1)
a1
L
Sa1
a1
0
(S I p )a1 0
a therefore 1 is an eigenvector of S
corresponding to the largest eigenvalue 1.
主成分分析计算机理
To find the next coefficient vector a2 maximizing var[z2 ]
主成分分析的概念
主成分分析(Principal Component Analysis, 简称PCA) 是将多个变量通过线性变换以选出较少个数重要变量 （主成分）的一种多元统计分析方法。
确定主成分权重系数的过程就可以看作是主成分分析 的过程
基本数学概念
假设有n个D维的样本：x1, x2 ,..., xn，则：
主成分分析计算机理
Assume
x0
Form the matrix: X [ x1, x2 ,L , xn ] pn
then
S 1 XX T
n
主成分分析计算机理
a To find 1 that maximizes var[z1] subject to a1T a1 1
Let λ be a Lagrange multiplier
示例
x
y
D
2.5000 0.5000 2.2000 1.9000 3.1000 2.3000 2.0000 1.0000 1.5000 1.1000
PCA
1、降噪，消除维度间的相关性，恢复主要维度应有能量 2、去冗余，即去掉多余维度，压缩数据中包含的信息。
主成分分析的几何解释：平移、旋转坐标轴
x2
F1
F2
•• • • •
•• • •
•• •
•
• •
•••
•
•
•
• •••
• •• •
•• •
• ••
x1
••
平移、旋转坐标轴的目的是使样本数据在主轴方向的离 散程度最大，且不同轴之间具有不相关性。
subject to cov[z2 , z1] 0 and to a2T a2 1
uncorrelated
First note that cov[z2 , z1] a1T Sa2 1a1T a2
then let λ and φ be Lagrange multipliers, and maximize
参考文献
[1 ] L. Sirovich and M. Kirby, “Low-Dimensional Procedure for Characterization of Human Faces,” J. Optical Soc. Am., vol. 4, pp. 519-524, 1987. [2 ] M. Kirby and L. Sirovich, “Application of the KL Procedure for the Characterization of Human Faces,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 12, no. 1, pp. 103-108, Jan. 1990. [3 ] M. Turk and A. Pentland, “Eigenfaces for Recognition,” J. Cognitive Neuroscience, vol. 3, no. 1, pp. 71-86, 1991.
高维数据
? 高维数据的降维技 术
内蕴知识
……
主成分分析（PCA） 线性鉴别分析（LDA） 流形学习（ML）
线性降维技术数学模型
Original data
reduced data
Linear transformation
AT dp
X p
Apd : X Y AT X d
Y d
主成分分析（PCA）
主成分分析（PCA）
——从一维到多维
报告人： 赵才荣博士后
zhaocairong@
提纲
引言 主成分分析（PCA） 二维主成分分析（2DPCA） 多维主成分分析（MPCA） 总结
引言：高维数据
……
基因数据
人脸图像数据
数字手写体数据
其他数据
降维——从3维到2维
如何挖掘高维数据中隐藏的知识
var[z1] E((z1 z1)2)
1 n
n i 1
a1T xi a1T x 2
1 n
n i 1
a1T
xi x
xi x T a1 a1T Sa1
散布
矩阵：
S1 n n i1
xi x
T
xi x
PCA目 max a1T Sa1 标函数： s.t. a1T a1 1
L a2T Sa2 (a2T a2 1) a2T a1
主成分分析计算机理
L a2T Sa2 (a2T a2 1) a2T a1
a2
L
Sa2
a2
a1
0
0
Sa2 a2 and a2T Sa2
主成分分析计算机理
We find that a2 is also an eigenvector of S
min Apd
X A(AT X ) 2 F
subject to AT A Id
2
重构误差: X X F
最大散度： max AT SA s.t. AT A Id
Sa a aT Sa
结论1、求重构误差最小的投影方向等价于求散度最大的投影方向
结论2、主成分分析的本质就是对角化协方差矩阵
主成分分析的物理意义