pca算法综述

PCA 算法进行人脸识别综述

1 引言

人脸识别过程的一般思想是对于一幅图像可以看作一个由像素值组成的矩阵，也可以扩展开，看成一个矢量，如一幅N*N 象素的图像可以视为长度为N 2 的矢量，这样就认为这幅图像是位于N 2 维空间中的一个点，这种图像的矢量表示就是原始的图像空间，但是这个空间仅是可以表示或者检测图像的许多个空间中的一个。不管子空间的具体形式如何，这种方法用于图像识别的基本思想都是一样的，首先选择一个合适的子空间，图像将被投影到这个子空间上，然后利用对图像的这种投影间的某种度量来确定图像间的相似度，最常见的就是各种距离度量。

2、PCA 算法实现过程

首先在图片库中提取出N 张人脸图，每一张图的像素大小为P*M ，然后把第一张图的像素值按行（把每一行的元素依次都连到第一行中去）每一行的矩阵是一个1*（P*M ）维，这样就构成了一个N*（P*M ）维的由训练图像构成的矩阵B 。

PCA 算法就是对这样的一个矩阵B 进行K-L 变换，K-L 变换的公式为:

)()(_

1_B B B B S i N i i --=∑

其中_

B 是B 中各列的元素之和的再除以N 得到的一个1*（P*M ）维的行向量，i B 是B 的第

i 行，S 是一个N*(P*M)维的矩阵。

计算出这样的一个矩阵S 后，就消除了原来各张图像之间的相关性，接下来就是要计算出S 的特征值和特征向量，但是S 的维数太大了，计算出这样一个高维矩阵的特征值和特征向量非常的困难。这就要求对这样的一个高维矩阵进行降维处理。设C=T SS ，T S 为要的转置矩阵，C 是一个N*N 维矩阵，相比于S 维数降低了很多了，设C 的特征值和对应的特征向量分别为i λ和i ν，则有:

SS *i λ=i λ*i ν 对这个式子作如下变换：

SS * ( S*i ν)=i λ（S*i ν）由此可得C 的特征值也是原高维矩阵S 的特征值，C 的特征向量是S*i ν，到经过降维处理

后的低维矩阵C 的特征值也是原高维矩阵S 的特征值，这样就实现了由低维矩阵计算高维矩阵的特征值，只要对所求得的特征向量就可以了。

上述方去所求的每一个向量都构成一个特征脸。由这些特征脸所张成的空间称为特征脸子空间，需要注意对于正交基的选择的不同考虑，对应较大特征值的特征向量(正交基)也称主分量，用于表示人脸的大体形状，而对应于较小特征值的特征向量则用于描述人脸的具体细节，所以在选取特征向量的时候，我们把特征值较少的特征向量省去，只保留占人脸主特征的特征值大的对应的特征向量。通过实验已证明，选取T （T 《N ）个这样的特征向量，就足以把人脸图像给表达出来，并且能取得较高的人脸识别率，设由T 个这样的特征向量构成的所所得到的矩阵为V （N*T 维），由T 个这样的特征值对应的后的对角阵为F （1*T 维）。

计算特征脸形成的坐标系

设训练图像形成的子空间为G，则G1=F

S T*

*,G（（P*M）*T）为G1的单位化的正交矩

阵。把训练样本N副人脸图像乘以G，就得训练子空间，子空间的每一个点就对应一张人脸图在训练子空间的投影。

3、计算识别率

这里选取ORL人脸库，该人脸库由40个人脸图像组成，每个人10张，取每一个人的前5张作为训练样本，后5张图像作为测试样本，样本中的第每一张图像乘以上述各步所求得的子空间G：得到每一张图像在训练子空间的坐标。由三阶近邻法计算出与测试图像距离最小的三幅图像，这三幅图像所属的类别分别计为class1,class2,class3,若class1和class2且class3不属于同一类，则测试图像属于class1，若class1和class2相同，则测试图像也属于class1,而class2与测试图像也是相似的，若class2和class3属于同一类，则测试图像属于class2，这样计算200张测试图像属于class1的总数量，最后除以200得到识别率。

4、特征脸的生成

将训练样本的第一张人脸都乘以上述形成的特征子空间，就得到了训练样本的图像在特征子空间的投影，构成了一个特征脸空间，特征脸空间里的每一张人脸图包含了训练样本每个人脸的一部分特征。同时，将训练样本的平均人脸图也往子空间中投影，得到了平均人脸在子空间中的系数。特征脸的部分人脸图如下所示：

1 10 20 30 40

5、人脸的重建

选取训练空间的一部特征人脸，对训练样本和测试样本分别进行重建。训练效果如图所示：

前两张是取自训练样本的图像，后一张是取自测试样本的图像，可以看出，对训练图像，只要选取足够多的特征图像，是能达到很好的重建的，因为特征脸是由训练样本投影而成的，每一张特征脸包含了一定的训练图像的信息，选取的特征人你数越多，就越能重建出原图像来。而测试样本的有些信息不包含在特征人脸中，所以选取的特征人脸越多也不能完全重建出来，只是重建出每一个人的一部分与训练样本相同的部分。

6、PCA算法的缺陷

PCA是基于主元分析的特征提取，把所有的不同人脸的样本放在一起提取，以所有人的人脸样本最优重建为目的。因此，对于人脸样本之间的差异而言它存在着明显的缺陷，从这方面讲它来描述人脸识别的特征是不充分的。

文章的框架可以写成这样

1，引言

介绍你的那个人脸识别的思想

2，PCA算法的理论方法介绍

2.1 PCA算法的思想

2.2 PCA算法的具体计算步骤

2.3 PCA算法的识别过程

3，PCA算法在人脸识别中的应用

别人论文里都是怎么用的，不是单独用PCA，而是和别的算法结合在一起，针对这一点总结出PCA算法的优缺点。

4，以后的工作

这一点可写可不写

主成分分析 ( Principal Component Analysis , PCA )

主成分分析（Principal Component Analysis ，PCA ）主成分分析（Principal Component Analysis ，PCA ）是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将高维数据投影到较低维空间。给定n 个变量的m 个观察值，形成一个n ′m 的数据矩阵，n 通常比较大。对于一个由多个变量描述的复杂事物，人们难以认识，那么是否可以抓住事物主要方面进行重点分析呢？如果事物的主要方面刚好体现在几个主要变量上，我们只需要将这几个变量分离出来，进行详细分析。但是，在一般情况下，并不能直接找出这样的关键变量。这时我们可以用原有变量的线性组合来表示事物的主要方面，PCA 就是这样一种分析方法。PCA 主要用于数据降维，对于一系列例子的特征组成的多维向量，多维向量里的某些元素本身没有区分性，比如某个元素在所有的例子中都为1，或者与1差距不大，那么这个元素本身就没有区分性，用它做特征来区分，贡献会非常小。所以我们的目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使特征留下的都是“精品”，而且计算量也变小了。对于一个k维的特征来说，相当于它的每一维特征与其他维都是正交的（相当于在多维坐标系中，坐标轴都是垂直的），

那么我们可以变化这些维的坐标系，从而使这个特征在某些维上方差大，而在某些维上方差很小。例如，一个45度倾斜的椭圆，在第一坐标系，如果按照x,y坐标来投影，这些点的x和y的属性很难用于区分他们，因为他们在x,y轴上坐标变化的方差都差不多，我们无法根据这个点的某个x属性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小，所以可以考虑只保留这些点的长轴属性，来区分椭圆上的点，这样，区分性比x,y轴的方法要好！所以我们的做法就是求得一个k维特征的投影矩阵，这个投影矩阵可以将特征从高维降到低维。投影矩阵也可以叫做变换矩阵。新的低维特征必须每个维都正交，特征向量都是正交的。通过求样本矩阵的协方差矩阵，然后求出协方差矩阵的特征向量，这些特征向量就可以构成这个投影矩阵了。特征向量的选择取决于协方差矩阵的特征值的大小。举一个例子：对于一个训练集，100个对象模板，特征是10维，那么它可以建立一个100*10的矩阵，作为样本。求这个样本的协方差矩阵，得到一个10*10的协方差矩阵，然后求出这个协方差矩阵的特征值和特征向量，应该有10个特征值和特征向量，我们根据特征值的大小，取前四个特征值所对应的特征向量，构成一个10*4的矩阵，这个矩阵就是我们要求的特征矩阵，100*10的样本矩阵乘以这个10*4的

PCA降维方法(主成分分析降维)

一、简介 PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题时，比如经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像。这时，我们通常的方法是对图像库中的图片提取响应的特征，如颜色，纹理，sift，surf，vlad等等特征，然后将其保存，建立响应的数据索引，然后对要查询的图像提取相应的特征，与数据库中的图像特征对比，找出与之最近的图片。这里，如果我们为了提高查询的准确率，通常会提取一些较为复杂的特征，如sift，surf等，一幅图像有很多个这种特征点，每个特征点又有一个相应的描述该特征点的128维的向量，设想如果一幅图像有300个这种特征点，那么该幅图像就有300*vector（128维）个，如果我们数据库中有一百万张图片，这个存储量是相当大的，建立索引也很耗时，如果我们对每个向量进行PCA处理，将其降维为64维，是不是很节约存储空间啊？对于学习图像处理的人来说，都知道PCA是降维的，但是，很多人不知道具体的原理，为此，我写这篇文章，来详细阐述一下PCA及其具体计算过程：二、PCA原理 1、原始数据：为了方便，我们假定数据是二维的，借助网络上的一组数据，如下： x=[2.5, 0.5, 2.2, 1.9, 3.1, 2.3, 2, 1,1.5, 1.1]T y=[2.4, 0.7, 2.9, 2.2, 3.0, 2.7, 1.6, 1.1, 1.6, 0.9]T 2、计算协方差矩阵什么是协方差矩阵？相信看这篇文章的人都学过数理统计，一些基本的常识都知道，但是，也许你很长时间不看了，都忘差不多了，为了方便大家更好的理解，这里先简单的回顾一下数理统计的相关知识，当然如果你知道协方差矩阵的求法你可以跳过这里。（1）协方差矩阵：首先我们给你一个含有n个样本的集合，依次给出数理统计中的一些相关概念：均值：标准差：

PCA主成分分析计算步骤

主成分分析（ Principal Component Analysis ， PCA ）是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将高维数据投影到较低维空间。给定 n 个变量的 m 个观察值，形成一个 n*m 的数据矩阵， n 通常比较大。对于一个由多个变量描述的复杂事物，人们难以认识，那么是否可以抓住事物主要方面进行重点分析呢？如果事物的主要方面刚好体现在几个主要变量上，我们只需要将这几个变量分离出来，进行详细分析。但是，在一般情况下，并不能直接找出这样的关键变量。这时我们可以用原有变量的线性组合来表示事物的主要方面， PCA 就是这样一种分析方法。 PCA 的目标是寻找 r （ r

PCA算法详解

主成分分析法主成分分析（Principal Component Analysis，简称PCA）方法是目前应用很广泛的一种代数特征提取方法，可以说是常用的一种基于变量协方差矩阵对样本中的信息进行处理、压缩和抽提的有效方法，主要通过K-L（Karhunen-Loeve）变换展开式从人脸数据库中提取人脸的主要特征[i]，构成特征脸空间，在识别时将待测试的人脸图像投影到特征脸空间，得到一组投影系数，与数据库中各个人脸图像进行比对识别。这种方法保留了原向量在与其协方差矩阵最大特征值相对应的特征向量方向上的投影，即主分量(Principal Components)，因此被称为主成分分析。由于PCA方法在进行降维处理和人脸特征提取方面的有效性，在人脸识别领域得到了广泛的应用。它的核心思想是：利用较少数据的特征对样本进行描述以达到降低特征空间维数的目的，根据样本点在多维空间的位置分布，以样本点在空间中变化最大方向，即方差最大方向，作为差别矢量来实现数据的特征提取。利用K-L变换抽取人脸的主要成分，利用特征脸法进行人脸识别的过程由训练阶段和识别阶段两个阶段组成。 3.1.1 K-L变换概述 K-L变换是Karhunen-Loeve变换的简称，是一种特殊的正交变换。它是建立在统计特性基础上的一种变换，它的突出优点是它能去相关性，而且是均方误差(Mean Square Error，MSE)意义下的最佳变换。 K-L变换的基本思想是在一个新的特征空间中将样本数据沿其特征矢量用对齐的方式进行旋转变换。这个变换有效地克服了样本数据向量间的相关性，从而去除那些只带有较少信息的数据以达到降低特征空间维数的目的。经过以上K-L 变换得到的特征是原图像向量的正交分解，其图像信息的总能量不变，不损失任何信息。在这个互相正交、可测量的特征空间中进行图像的特征提取可以有效地利用图像之间的差异，提取有效信息。K-L特征空间中，较大特征值所对应的特征向量体现原图像的总体趋势以及低频分量，较小特征值所对应特征向量体现原图像的细节变化以及高频分量所以人们用PCA法提取图像总体特征，其目的是用较少数量的特征对样本进行描述，同时又能保留所需要的识别信息。在人脸图像

主元分析(PCA)理论分析及应用

主元分析(PCA)理论分析及应用什么是PCA PCA是Principal component analysis的缩写，中文翻译为主元分析。它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主元分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合。因此应用极其广泛，从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最价值的结果之一。在以下的章节中，不仅有对PCA的比较直观的解释，同时也配有较为深入的分析。首先将从一个简单的例子开始说明PCA应用的场合以及想法的由来，进行一个比较直观的解释；然后加入数学的严格推导，引入线形代数，进行问题的求解。随后将揭示PCA与SVD(Singular Value Decomposition)之间的联系以及如何将之应用于真实世界。最后将分析PCA理论模型的假设条件以及针对这些条件可能进行的改进。一个简单的模型在实验科学中我常遇到的情况是，使用大量的变量代表可能变化的因素，例如光谱、电压、速度等等。但是由于实验环境和观测手段的限制，实验数据往往变得极其的复杂、混乱和冗余的。如何对数据进行分析，取得隐藏在数据背后的变量关系，是一个很困难的问题。在神经科学、气象学、海洋学等等学科实验中，假设的变量个数可能非常之多，但是真正的影响因素以及它们之间的关系可能又是非常之简单的。下面的模型取自一个物理学中的实验。它看上去比较简单，但足以说明问题。如错误!未找到引用源。所示。这是一个理想弹簧运动规律的测定实验。假设球是连接在一个无质量无摩擦的弹簧之上，从平衡位置沿x轴拉开一定的距离然后释放。图表错误!未定义书签。

python实验报告(经过pca算法)

#-*-coding:utf-8-*- """ Created on Fri923:15:472017 @author """ #-*-coding:utf-8-*- """ Created on Tue May3020:31:022017 @author: """ import pandas as pd import numpy as np from sklearn.preprocessing import Imputer from sklearn.cross_validation import train_test_split from sklearn import svm from sklearn import cross_validation from sklearn.decomposition import PCA from sklearn.lda import LDA def loadData(filePath): fr=open(filePath,'r+') lines=fr.readlines() Data=[] label=[] for line in lines: items=line.strip().split(",") label.append(items[0]) Data.append([float(items[i])for i in range(1,len(items))]) return Data,label if__name__=='__main__': x1_train,y1_train=loadData('C:\Users\Administrator\SPECTF.train') x_test,y_test=loadData('C:\Users\Administrator\SPECTF.test') x_train=[] y_train=[] for i in range(23,37): x_train.append(x1_train[i]) y_train.append(y1_train[i]) for i in range(173,187): x_train.append(x1_train[i]) y_train.append(y1_train[i])

PCA的原理及详细步骤

一、基本原理主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标X1，X2，…，XP （比如p 个指标），重新组合成一组较少个数的互不相关的综合指标Fm 来代替原来指标。那么综合指标应该如何去提取，使其既能最大程度的反映原变量Xp 所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。设F1表示原变量的第一个线性组合所形成的主成分指标，即 11112121...p p F a X a X a X =+++,由数学知识可知，每一个主成分所提取的信息量可用其方差来度量，其方差Var(F1)越大，表示F1包含的信息越多。常常希望第一主成分F1所含的信息量最大，因此在所有的线性组合中选取的F1应该是X1，X2，…，XP 的所有线性组合中方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p 个指标的信息，再考虑选取第二个主成分指标F2，为有效地反映原信息，F1已有的信息就不需要再出现在F2中，即F2与F1要保持独立、不相关，用数学语言表达就是其协方差Cov(F1, F2)=0，所以F2是与F1不相关的X1，X2，…，XP 的所有线性组合中方差最大的，故称F2为第二主成分，依此类推构造出的F1、F2、……、Fm 为原变量指标X1、X2……XP 第一、第二、……、第m 个主成分。 11111221221122221122...............p p p p m m m mp p F a X a X a X F a X a X a X F a X a X a X =+++??=+++?? ??=+++? 根据以上分析得知： (1) Fi 与Fj 互不相关，即Cov(Fi ，Fj) = 0,并有Var(Fi)=ai ’Σai ，其中Σ为X 的协方差阵 (2)F1是X1，X2，…，Xp 的一切线性组合（系数满足上述要求）中方差最大的,……,即Fm 是与F1，F2，……，Fm －1都不相关的X1，X2，…，XP 的所有线性组合中方差最大者。 F1，F2，…，Fm （m ≤p ）为构造的新变量指标，即原变量指标的第一、第二、……、第m 个主成分。由以上分析可见，主成分分析法的主要任务有两点：（1）确定各主成分Fi （i=1，2，…，m ）关于原变量Xj （j=1，2 ，…， p ）的表达式，即系数ij a （ i=1，2，…，m ； j=1，2 ，…，p ）。从数学上可以证明，原变量协方差矩阵的特征根是主成分的方差，所以前m 个较大特征根就代表前m 个较大的主成分方差值；原变量协方差矩阵前m 个较大的特征值i λ（这样选取才能保证主成分的方差依次最大）所对应的特征向量就是相应主成分Fi 表达式的系数i a ，为了加以限制，系数i a 启用的是i λ对应的单位化的特征向量，

人脸识别PCA算法matlab实现及详细步骤讲解

%FaceRec.m %PCA人脸识别修订版，识别率88％ %calc xmean,sigma and its eigen decomposition allsamples=[];%所有训练图像 for i=1:40 for j=1:5 a=imread(strcat('e:\ORL\s',num2str(i),'\',num2str(j),'.jpg')); %imshow(a); b=a(1:112*92);%b是行矢量1×N，其中N＝10304，提取顺序是先列后行，即从上到下，从左到右 b=double(b); allsamples=[allsamples;b];%allsamples是一个M*N矩阵，allsamples中每一行数据代表一张图片，其中M＝200 end end samplemean=mean(allsamples);%平均图片，1×N for i=1:200xmean(i,:)=allsamples(i,:)-samplemean;%xmean是一个M×N矩阵，xmean 每一行保存的数据是“每个图片数据-平均图片” end; %获取特征值及特征向量 sigma=xmean*xmean';%M*M阶矩阵 [v d]=eig(sigma); d1=diag(d); %按特征值大小以降序排列 dsort=flipud(d1); vsort=fliplr(v); %以下选择90%的能量 dsum=sum(dsort); dsum_extract=0; p=0; while(dsum_extract/dsum<0.9) p=p+1; dsum_extract=sum(dsort(1:p)); end i=1; %(训练阶段)计算特征脸形成的坐标系 base=xmean'*vsort(:,1:p)*diag(dsort(1:p).^(-1/2)); %base是N×p阶矩阵，除以dsort(i)^(1/2)是对人脸图像的标准化（使其方差为1） %详见《基于PCA的人脸识别算法研究》p31 %xmean'*vsort(:,i)是小矩阵的特征向量向大矩阵特征向量转换的过程 %while(i<=p&&dsort(i)>0) %base(:,i)=dsort(i)^(-1/2)*xmean'*vsort(:,i);%base是N×p阶矩阵，除以dsort(i)^(1/2)是对人脸图像的标准化（使其方差为1） %详见《基于PCA的人脸识别算法研究》p31 %i=i+1;%xmean'*vsort(:,i)是小矩阵的特征向量向大矩阵特征向量转换的过程 %end %以下两行add by gongxun将训练样本对坐标系上进行投影,得到一个M*p阶矩阵allcoor allcoor=allsamples*base;%allcoor里面是每张训练人脸图片在M*p子空间中的一个点，即在子空间中的组合系数， accu=0;%下面的人脸识别过程中就是利用这些组合系数来进行识别

pca和KPCA的详细介绍与分析(全网最全-最经典)

第二章主成分分析 1. 主成分分析的基本原理统计学上PCA 的定义为用几个较少的综合指标来代替原来较多的指标，而这些较少的综合指标既能尽多地反映原来较多指标的有用信息，且相互之间又是无关的。作为一种建立在统计最优原则基础上的分析方法，主成分分析具有较长的发展历史。在1901年，Pearson 首先将变换引入生物学领域，并重新对线性回归进行了分析，得出了变换的一种新形式。Hotelling 于1933年则将其与心理测验学领域联系起来，把离散变量转变为无关联系数。在概率论理论建立的同时，主成分分析又单独出现，由Karhunen 于1947年提出，随后Loeve 于1963年将其归纳总结。因此，主成分分析也被称为K-L 变换[1]。 PCA 运算就是一种确定一个坐标系统的直交变换，在这个新的坐标系统下，变换数据点的方差沿新的坐标轴得到了最大化。这些坐标轴经常被称为是主成分。PCA 运算是一个利用了数据集的统计性质的特征空间变换，这种变换在无损或很少损失了数据集的信息的情况下降低了数据集的维数。 PCA 的基本原理如下：给定输入数据矩阵m n X ? (通常m n >)，它由一些中心化的样本数据1{}m i i x =构成，其中n i x R ∈且 10m i i x ==∑ (2-1) PCA 通过式(2-2)将输入数据矢量i x 变换为新的矢量 T i i s U x = (2-2) 其中：U 是一个n n ?正交矩阵，它的第i 列i U 是样本协方差矩阵 1 1n T i i i C x x n ==∑ (2-3) 的第i 个本征矢量。换句话说，PCA 首先求解如下的本征问题

人脸识别PCA算法matlab实现及详细步骤讲解

% FaceRec.m % PCA 人脸识别修订版，识别率88％ % calc xmean,sigma and its eigen decomposition allsamples=[];%所有训练图像 for i=1:40 for j=1:5 a=imread(strcat('e:\ORL\s',num2str(i),'\',num2str(j),'.jpg')); % imshow(a); b=a(1:112*92); % b 是行矢量1×N，其中N＝10304，提取顺序是先列后行，即从上到下，从左到右 b=double(b); allsamples=[allsamples; b]; % allsamples 是一个M * N 矩阵，allsamples 中每一行数据代表一张图片，其中M＝200 end end samplemean=mean(allsamples); % 平均图片，1 × N for i=1:200 xmean(i,:)=allsamples(i,:)-samplemean; % xmean 是一个M × N 矩阵，xmean 每一行保存的数据是“每个图片数据-平均图片” end; % 获取特征值及特征向量 sigma=xmean*xmean'; % M * M 阶矩阵 [v d]=eig(sigma); d1=diag(d); % 按特征值大小以降序排列 dsort = flipud(d1); vsort = fliplr(v); %以下选择90%的能量 dsum = sum(dsort); dsum_extract = 0; p = 0; while( dsum_extract/dsum < 0.9) p = p + 1; dsum_extract = sum(dsort(1:p)); end i=1; % (训练阶段)计算特征脸形成的坐标系 base = xmean' * vsort(:,1:p) * diag(dsort(1:p).^(-1/2)); % base 是N×p 阶矩阵，除以dsort(i)^(1/2)是对人脸图像的标准化（使其方差为1） % 详见《基于PCA 的人脸识别算法研究》p31 % xmean' * vsort(:,i)是小矩阵的特征向量向大矩阵特征向量转换的过程 %while (i<=p && dsort(i)>0) % base(:,i) = dsort(i)^(-1/2) * xmean' * vsort(:,i); % base 是N×p 阶矩阵，除以dsort(i)^(1/2) 是对人脸图像的标准化（使其方差为1） % 详见《基于PCA 的人脸识别算法研究》p31 % i = i + 1; % xmean' * vsort(:,i)是小矩阵的特征向量向大矩阵特征向量转换的过程 %end % 以下两行add by gongxun 将训练样本对坐标系上进行投影,得到一个M*p 阶矩阵allcoor allcoor = allsamples * base; % allcoor 里面是每张训练人脸图片在M*p 子空间中的一个点，即在子空间中的组合系数， accu = 0; % 下面的人脸识别过程中就是利用这些组合系数来进行识别

主成分分析PCA(含有详细推导过程以及案例分析matlab版)

主成分分析法(PCA) 在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。 I. 主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F ，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望)(1F Var 越大，表示1F 包含的信息越多。因此在所有的线性组合中所选取的1F 应该是方差最大的，故称1F 为第一主成分。如果第一主成分不足以代表原来p 个变量的信息，再考虑选取2F 即第二个线性组合，为了有效地反映原来信息，1F 已有的信息就不需要再出现在2F 中，用数学语言表达就是要求 0),(21=F F Cov ，称2F 为第二主成分，依此类推可以构造出第三、四……第p 个主成分。（二）主成分分析的数学模型对于一个样本资料，观测p 个变量p x x x ,,21，n 个样品的数据资料阵为： ??????? ??=np n n p p x x x x x x x x x X 21 222 21112 11()p x x x ,,21=

PCA算法的数学知识---特征值分解和奇异值分解

PCA算法的数学知识---特征值分解和奇异值分解： 1）特征值：如果说一个向量v是方阵X的特征向量，将一定可以表示成下面的形式： = Xv vλ 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 1 =∑ X Q Q- 其中Q是这个矩阵X的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。首先，要明确的是，乘以一个矩阵其实就是一个线性变换，而且将一个矩阵乘以一个向量后得到的向量，其实就相当于对这个向量进行了线性变换。如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。通过特征值分解得到的前N个特征向量，就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。也就是：提取这个矩阵最重要的特征。总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可

少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r 大的奇异值来近似描述矩阵，这里定义一下部分奇异值分解： ****T n p n r r r r p X U V ≈∑ r 是一个远小于n 、p 的数，右边的三个矩阵相乘的结果将会是一个接近于X 的矩阵，在这儿，r 越接近于p ，则相乘的结果越接近于X 。而这三个矩阵的面积之和（在存储观点来说，矩阵面积越小，存储量就越小）要远远小于原始的矩阵X ，我们如果想要压缩空间来表示原矩阵X ，我们存下这里的三个矩阵：U 、Σ、V 就好了。奇异值与主成分分析（PCA ）： PCA 的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N 维空间中，我们可以找到N 个这样的坐标轴，我们取前r 个去近似这个空间，这样就从一个N 维的空间压缩到r 维的空间了，但是我们选择的r 个坐标轴能够使得空间的压缩使得数据的损失最小。假设矩阵每一行表示一个样本，每一列表示一个特征，用矩阵的语言来表示，对一个n* p 的矩阵X 进行坐标轴的变化，P 就是一个变换的矩阵，从一个p 维的空间变换到另一个p 维的空间，在空间中就会进行一些类似于旋转、拉伸的变化。

pca和KPCA的详细介绍与分析

第二章主成分分析 1.主成分分析的基本原理统计学上PCA 的定义为用几个较少的综合指标来代替原来较多的指标，而这些较少的综合指标既能尽多地反映原来较多指标的有用信息，且相互之间又是无关的。作为一种建立在统计最优原则基础上的分析方法，主成分分析具有较长的发展历史。在1901年，Pearson 首先将变换引入生物学领域，并重新对线性回归进行了分析，得出了变换的一种新形式。Hotelling 于1933年则将其与心理测验学领域联系起来，把离散变量转变为无关联系数。在概率论理论建立的同时，主成分分析又单独出现，由Karhunen 于1947年提出，随后Loeve 于1963年将其归纳总结。因此，主成分分析也被称为K-L 变换[1]。 PCA 运算就是一种确定一个坐标系统的直交变换，在这个新的坐标系统下，变换数据点的方差沿新的坐标轴得到了最大化。这些坐标轴经常被称为是主成分。PCA 运算是一个利用了数据集的统计性质的特征空间变换，这种变换在无损或很少损失了数据集的信息的情况下降低了数据集的维数。 PCA 的基本原理如下：给定输入数据矩阵m n X ? (通常m n >)，它由一些中心化的样本数据1{}m i i x =构成，其中n i x R ∈且 10m i i x ==∑ (2-1) PCA 通过式(2-2)将输入数据矢量i x 变换为新的矢量 T i i s U x = (2-2) 其中：U 是一个n n ?正交矩阵，它的第i 列i U 是样本协方差矩阵 1 1n T i i i C x x n ==∑(2-3) 的第i 个本征矢量。换句话说，PCA 首先求解如下的本征问题

PCA分析方法

主成分分析主成分分析（Principal Component Analysis ，PCA ）或者主元分析。是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将高维数据投影到较低维空间。给定n 个变量的m 个观察值，形成一个n ′ m 的数据矩阵，n 通常比较大。对于一个由多个变量描述的复杂事物，人们难以认识，那么是否可以抓住事物主要方面进行重点分析呢？如果事物的主要方面刚好体现在几个主要变量上，我们只需要将这几个变量分离出来，进行详细分析。但是，在一般情况下，并不能直接找出这样的关键变量。这时我们可以用原有变量的线性组合来表示事物的主要方面，PCA 就是这样一种分析方法。 PCA 主要用于数据降维，对于一系列例子的特征组成的多维向量，多维向量里的某些元素本身没有区分性，比如某个元素在所有的例子中都为1，或者与1差距不大，那么这个元素本身就没有区分性，用它做特征来区分，贡献会非常小。所以我们的目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使特征留下的都是“精品”，而且计算量也变小了。对于一个k维的特征来说，相当于它的每一维特征与其他维都是正交的（相当于在多维坐标系中，坐标轴都是垂直的），那么我们可以变化这些维的坐标系，从而使这个特征在某些维上方差大，而在某些维上方差很小。例如，一个45度倾斜的椭圆，在第一坐标系，如果按照x,y坐标来投影，这些点的x和y的属性很难用于区分他们，因为他们在x,y轴上坐标变化的方差都差不多，我们无法根据这个点的某个x属性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小，所以可以考虑只保留这些点的长轴属性，来区分椭圆上的点，这样，区分性比x,y轴的方法要好！所以我们的做法就是求得一个k维特征的投影矩阵，这个投影矩阵可以将特征从高维降到低维。投影矩阵也可以叫做变换矩阵。新的低维特征必须每个维都正交，特征向量都是正交的。通过求样本矩阵的协方差矩阵，然后求出协方差矩阵的特征向量，这些特征向量就可以构成这个投影矩阵了。特征向量的选择取决于协方差矩阵的特征值的大小。举例：对于一个训练集，100个对象模板，特征是10维，那么它可以建立一个100*10的矩阵，作为样本。求这个样本的协方差矩阵，得到一个10*10的协方差矩阵，然后求出这个协方差矩阵的特征值和特征向量，应该有10个特征值和特征向量，我们根据特征值的大小，取前四个特征值所对应的特征向量，构成一个10*4的矩阵，这个矩阵就是我们要求的特征矩阵，100*10的样本矩阵乘以这个10*4的特征矩阵，就得到了一个100*4的新的降维之后的样本矩阵，每个特征的维数下降了。当给定一个测试的特征集之后，比如1*10维的特征，乘以上面得到的10*4的特征矩阵，便可以得到一个1*4的特征，用这个特征去分类。所以做PCA实际上是求得这个投影矩阵，用高维的特征乘以这个投影矩阵，便可以将高维特征的维数下降到指定的维数。 PCA 的目标是寻找r （r

经典的PCA和LDA算法介绍

LDA： LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning。有些资料上也称为是Fisher’s Linear Discriminant，因为它被Ronald Fisher发明自1936年，Discriminant这次词我个人的理解是，一个模型，不需要去通过概率的方法来训练、预测数据，比如说各种贝叶斯方法，就需要获取数据的先验、后验概率等等。LDA 是在目前机器学习、数据挖掘领域经典且热门的一个算法，据我所知，百度的商务搜索部里面就用了不少这方面的算法。 LDA的原理是，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。要说明白LDA，首先得弄明白线性分类器(Linear Classifier)：因为LDA是一种线性分类器。对于K-分类的一个分类问题，会有K个线性函数：当满足条件：对于所有的j，都有Yk > Yj,的时候，我们就说x属于类别k。对于每一个分类，都有一个公式去算一个分值，在所有的公式得到的分值中，找一个最大的，就是所属的分类了。上式实际上就是一种投影，是将一个高维的点投影到一条高维的直线上，LDA最求的目标是，给出一个标注了类别的数据集，投影到了一条直线之后，能够使得点尽量的按类别区分开，当k=2即二分类问题的时候，如下图所示：红色的方形的点为0类的原始点、蓝色的方形点为1类的原始点，经过原点的那条线就是投影的直线，从图上可以清楚的看到，红色的点和蓝色的点被原点明显的分开了，这个数

matlab PCA算法程序

%calc xmean,sigma and its eigen decomposition allsamples=[];%所有训练图像 for i=1:40 for j=1:5 a=imread(strcat('D:\rawdata\ORL\s',num2str(i),'\',num2str(j),'.pgm')); %imshow(a); b=a(1:112*92);%b是行矢量1×N，其中N＝10304，提取顺序是先列后行，即从上到下，从左到右 b=double(b); allsamples=[allsamples;b];%allsamples是一个M*N矩阵，allsamples中每一行数据代表一张图片，其中M＝200 end end samplemean=mean(allsamples);%平均图片，1×N for i=1:200xmean(i,:)=allsamples(i,:)-samplemean;%xmean是一个M×N矩阵，xmean每一行保存的数据是“每个图片数据-平均图片” end; sigma=xmean*xmean';%M*M阶矩阵 [v d]=eig(sigma); d1=diag(d); [d2index]=sort(d1);%以升序排序 cols=size(v,2);%特征向量矩阵的列数 for i=1:cols vsort(:,i)=v(:,index(cols-i+1));%vsort是一个M*col(注:col一般等于M) 阶矩阵，保存的是按降序排列的特征向量,每一列构成一个特征向量dsort(i)=d1(index(cols-i+1));%dsort保存的是按降序排列的特征值，是一维行向量 end%完成降序排列 %以下选择90%的能量 dsum=sum(dsort); dsum_extract=0; p=0; while(dsum_extract/dsum<0.9) p=p+1; dsum_extract=sum(dsort(1:p)); end

【免费下载】PCA算法的原理及其示例

PCA 算法的原理及其示例郑琛(北京师范大学，北京 100875)摘要：主成分分析是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题，对于某些复杂数据就可应用主成分分析法对其进行简化。计算主成分的目的是将高维数据投影到较低维空间。文中介绍了PCA 算法的基本概念和基本原理，利用算法在降维和特征提取方面的有效性，结合人脸识别的实例进行详细的阐述。关键字：主成分分析；数据降维；特征提取1、PCA 算法的基本概念 PCA 是Principal component analysis 的缩写,中文翻译为主成分分析。主成分又称主分量、主元素。它是研究如何通过原来变量的少数几个线性组合来解释随机向量的方差-协方差结构,是数据压缩和特征提取中一种多维向量的统计分析方法[1]。这种方法可以有效的找出数据中最“主要”的元素和结构,去除噪音[2]和冗余,将原有的复杂数据降维,揭示隐藏在复杂数据背后的简单结构。它的优点是简单, 而且无参数限制,可以方便的应用与各个场合。因此应用极其广泛,从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最有价值的结果之一。2、PCA 算法的原理与基本思想 PCA 算法的原理是设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和变量尽可能多地反映原来变量的信息的统计的方法，也是数学上、管路敷设技术通过管线敷设技术，不仅可以解决吊顶层配置不规范问题，而且可保障各类管路习题到位。在管路敷设过程中，要加强看护关于管路高中资料试卷连接管口处理高中资料试卷弯扁度固定盒位置保护层防腐跨接地线弯曲半径标高等，要求技术交底。管线敷设技术中包含线槽、管架等多项方式，为解决高中语文电气课件中管壁薄、接口不严等问题，合理利用管线敷设技术。线缆敷设原则：在分线盒处，当不同电压回路交叉时，应采用金属隔板进行隔开处理；同一线槽内，强电回路须同时切断习题电源，线缆敷设完毕，要进行检查和检测处理。、电气课件中调试对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料试卷相互作用与相互关系，根据生产工艺高中资料试卷要求，对电气设备进行空载与带负荷下高中资料试卷调控试验；对设备进行调整使其在正常工况下与过度工作下都可以正常工作；对于继电保护进行整核对定值，审核与校对图纸，编写复杂设备与装置高中资料试卷调试方案，编写重要设备高中资料试卷试验方案以及系统启动方案；对整套启动过程中高中资料试卷电气设备进行调试工作并且进行过关运行高中资料试卷技术指导。对于调试过程中高中资料试卷技术问题，作为调试人员，需要在事前掌握图纸资料、设备制造厂家出具高中资料试卷试验报告与相关技术资料，并且了解现场设备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。、电气设备调试高中资料试卷技术电力保护装置调试技术，电力保护高中资料试卷配置技术是指机组在进行继电保护高中资料试卷总体配置时，需要在最大限度内来确保机组高中资料试卷安全，并且尽可能地缩小故障高中资料试卷破坏范围，或者对某些异常高中资料试卷工况进行自动处理，尤其要避免错误高中资料试卷保护装置动作，并且拒绝动作，来避免不必要高中资料试卷突然停机。因此，电力高中资料试卷保护装置调试技术，要求电力保护装置做到准确灵活。对于差动保护装置高中资料试卷调试技术是指发电机一变压器组在发生内部故障时，需要进行外部电源高中资料试卷切除从而采用高中资料试卷主要保护装置。

PCA算法的原理及其示例

降维的一种方法。 PCA算法的基本思想是设法将原来众多具有一定相关性（比如P 个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。典型的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var（F1）越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现再F2中，用数学语言表达就是要求Cov （F1，F2）=0，则称F2为第二主成分，以此类推可以构造出第三、第四，...........，第P个主成分。应当注意，主成分分析本身往往并不是目的，而是达到目的的一种手段，因此，它多用在大型研究项目的某个中间环节。如把它用在多重回归，便产生了主成分回归，这种回归具有优良性质，另外，它在压缩、特征提取及分类应用中非常有用。三、PCA求解的一般步骤 PCA求解：特征方程的根在线形代数中,PCA问题可以描述成以下形式: 寻找一组正交基组成的矩阵P,有Y=PX,使得C Y 1 n-1YY T是对角阵。则P的行向量(也就是一组正交基),就是数据X的主元向量。对C Y进行推导: C Y= 1 n-1YY T = 1 n-1(PX)(PX) T = 1 n-1PXX T P T = 1 n-1P(XX T)P T