主成分分析法matlab实现_实例演示
《计量地理学》（徐建华，高等教育出版社，2005）配套实习指导 58 利用Matlab编程实现主成分分析 1.概述 Matlab语言是当今国际上科学界 (尤其是自动控制领域) 最具影响力、也是最有活力的软件。它起源于矩阵运算，并已经发展成一种高度集成的计算机语言。它提供了强大的科学运算、灵活的程序设计流程、高质量的图形可视化与界面设计、与其他程序和语言的便捷接口的功能。Matlab 语言在各国高校与研究单位起着重大的作用。主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。
1.1主成分分析计算步骤 ① 计算相关系数矩阵
pppppprrrrrrrrrR
212222111211
（1） 在（3.5.3）式中，rij（i，j=1，2，…，p）为原变量的xi与xj之间的相关系数，其计算公式为
nknkjkjikinkjkjikiijxxxxxxxxr11221)()(
))((
（2） 因为R是实对称矩阵（即rij=rji），所以只需计算上三角元素或下三角元素即可。 《计量地理学》（徐建华，高等教育出版社，2005）配套实习指导 59 ② 计算特征值与特征向量 首先解特征方程0RI，通常用雅可比法（Jacobi）求出特征值),,2,1(pii
，并使其按大小顺序排列，即0,21p；然后分别求
出对应于特征值i的特征向量),,2,1(piei。这里要求ie=1，即112pjije，其中ije表示向量ie的第j个分量。 ③ 计算主成分贡献率及累计贡献率 主成分iz的贡献率为
),,2,1(1pip
kki
累计贡献率为 ),,2,1(11pip
kkikk
一般取累计贡献率达85—95%的特征值m,,,21所对应的第一、第
二，…，第m（m≤p）个主成分。
④ 计算主成分载荷 其计算公式为 ),,2,1,(),(pjiexzplijijiij
（3） 《计量地理学》（徐建华，高等教育出版社，2005）配套实习指导 60 得到各主成分的载荷以后，还可以按照（3.5.2）式进一步计算，得到各主成分的得分
nmnnmmzzzzzzzzzZ
212222111211
（4） 2.程序结构及函数作用
在软件Matlab中实现主成分分析可以采取两种方式实现：一是通过编程来实现；二是直接调用Matlab种自带程序实现。下面主要主要介绍利用Matlab的矩阵计算功能编程实现主成分分析。
2.1程序结构
主函数 子函数
2.2函数作用 Cwstd.m——用总和标准化法标准化矩阵 Cwfac.m——计算相关系数矩阵；计算特征值和特征向量；对主成分进行排序；计算各特征值贡献率；挑选主成分（累计贡献率大于85%），输出主成分个数；计算主成分载荷
Cwprint.m Cwstd.m Cwfac.m Cwscore.m 《计量地理学》（徐建华，高等教育出版社，2005）配套实习指导
61 Cwscore.m——计算各主成分得分、综合得分并排序 Cwprint.m——读入数据文件；调用以上三个函数并输出结果
3.源程序 3.1 cwstd.m总和标准化法标准化矩阵 %cwstd.m,用总和标准化法标准化矩阵 function std=cwstd(vector) cwsum=sum(vector,1); %对列求和 [a,b]=size(vector); %矩阵大小,a为行数,b为列数 for i=1:a for j=1:b std(i,j)= vector(i,j)/cwsum(j); end end
3.2 cwfac.m计算相关系数矩阵 %cwfac.m function result=cwfac(vector); fprintf('相关系数矩阵:\n') std=CORRCOEF(vector) %计算相关系数矩阵 fprintf('特征向量(vec)及特征值(val)：\n') [vec,val]=eig(std) %求特征值(val)及特征向量(vec) newval=diag(val) ; [y,i]=sort(newval) ; %对特征根进行排序，y为排序结果，i为索引 fprintf('特征根排序：\n') for z=1:length(y) newy(z)=y(length(y)+1-z); end fprintf('%g\n',newy) rate=y/sum(y); fprintf('\n贡献率：\n') newrate=newy/sum(newy) 《计量地理学》（徐建华，高等教育出版社，2005）配套实习指导 62 sumrate=0; newi=[]; for k=length(y):-1:1 sumrate=sumrate+rate(k); newi(length(y)+1-k)=i(k); if sumrate>0.85 break; end end %记下累积贡献率大85%的特征值的序号放入newi中 fprintf('主成分数：%g\n\n',length(newi)); fprintf('主成分载荷：\n') for p=1:length(newi) for q=1:length(y) result(q,p)=sqrt(newval(newi(p)))*vec(q,newi(p)); end end %计算载荷 disp(result)
3.3 cwscore.m %cwscore.m,计算得分 function score=cwscore(vector1,vector2); sco=vector1*vector2; csum=sum(sco,2); [newcsum,i]=sort(-1*csum); [newi,j]=sort(i); fprintf('计算得分：\n') score=[sco,csum,j] %得分矩阵：sco为各主成分得分；csum为综合得分；j为排序结果
3.4 cwprint.m %cwprint.m function print=cwprint(filename,a,b); %filename为文本文件文件名，a为矩阵行数(样本数)，b为矩阵列数(变量指标数) fid=fopen(filename,'r') vector=fscanf(fid,'%g',[a b]); fprintf('标准化结果如下：\n') v1=cwstd(vector) result=cwfac(v1); cwscore(v1,result); 《计量地理学》（徐建华，高等教育出版社，2005）配套实习指导 63 4.程序测试 4.1原始数据 中国大陆35个大城市某年的10项社会经济统计指标数据见下表。
城 市 名 称 年底 总人口 (万人) 非农业 人口比(%) 农 业 总产值 (万元) 工业 总产值 (万元) 客运总量 (万人) 货运总量 (万吨) 地方财政 预算内收入(万元) 城乡居民年底储蓄余额 (万元)
在岗职工人数(万人)
在岗职工工资总额 (万元)
北 京 1 249.90 0.597 8 1 843 427 19 999 706 20 323 45 562 2 790 863 26 806 646 410.80 5 773 301 天 津 910.17 0.580 9 1 501 136 22 645 502 3 259 26 317 1 128 073 11 301 931 202.68 2 254 343 石 家 庄 875.40 0.233 2 2 918 680 6 885 768 2 929 1 911 352 348 7 095 875 95.60 758 877 太 原 299.92 0.656 3 236 038 2 737 750 1 937 11 895 203 277 3 943 100 88.65 654 023 呼和浩特 207.78 0.441 2 365 343 816 452 2 351 2 623 105 783 1 396 588 42.11 309 337 沈 阳 677.08 0.629 9 1 295 418 5 826 733 7 782 15 412 567 919 9 016 998 135.45 1 152 811 大 连 545.31 0.494 6 1 879 739 8 426 385 10 780 19 187 709 227 7 556 796 94.15 965 922 长 春 691.23 0.406 8 1 853 210 5 966 343 4 810 9 532 357 096 4 803 744 102.63 884 447 哈 尔 滨 927.09 0.462 7 2 663 855 4 186 123 6 720 7 520 481 443 6 450 020 172.79 1 309 151 上 海 1 313.12 0.738 4 2 069 019 54 529 098 6 406 44 485 4 318 500 25 971 200 336.84 5 605 445 南 京 537.44 0.534 1 989 199 13 072 737 14 269 11 193 664 299 5 680 472 113.81 1 357 861 杭 州 616.05 0.355 6 1 414 737 12 000 796 17 883 11 684 449 593 7 425 967 96.90 1 180 947 宁 波 538.41 0.254 7 1 428 235 10 622 866 22 215 10 298 501 723 5 246 350 62.15 824 034 合 肥 429.95 0.318 4 628 764 2 514 125 4 893 1 517 233 628 1 622 931 47.27 369 577 福 州 583.13 0.273 3 2 152 288 6 555 351 8 851 7 190 467 524 5 030 220 69.59 680 607 厦 门 128.99 0.486 5 333 374 5 751 124 3 728 2 570 418 758 2 108 331 46.93 657 484 南 昌 424.20 0.398 8 688 289 2 305 881 3 674 3 189 167 714 2 640 460 62.08 479 ,555 济 南 557.63 0.408 5 1 486 302 6 285 882 5 915 11 775 460 690 4 126 970 83.31 756 696 青 岛 702.97 0.369 3 2 382 320 11 492 036 13 408 17 038 658 435 4 978 045 103.52 961 704 郑 州 615.36 0.342 4 677 425 5 287 601 10 433 6 768 387 252 5 135 338 84.66 696 848 武 汉 740.20 0.586 9 1 211 291 7 506 085 9 793 15 442 604 658 5 748 055 149.20 1 314 766 长 沙 582.47 0.310 7 1 146 367 3 098 179 8 706 5 718 323 660 3 461 244 69.57 596 986 广 州 685.00 0.621 4 1 600 738 23 348 139 22 007 23 854 1 761 499 20 401 811 182.81 3 047 594 深 圳 119.85 0.793 1 299 662 20 368 295 8 754 4 274 1 847 908 9 519 900 91.26 1 890 338
主成分分析及其MATLAB实现
比 数为Ｐ ， ＝＾ ， ． 例系 ／ ｅ ／ Ａ
２ 样 本 主成 分 介绍
上面讨论的是全面的总体的主成分 ， 但在现实 问题中 ， 大多数 ∑（ 或 ） 是不知道的 ， 需要通过所
给 的样本来 估 计． 令 ‘＝ （ ｌ ， ，妇 ｒｉ＝ １２ ・ ，． ｉ … ） ， ， ，，・ ， ・１
＝ ， ｔ ’＝ １， … ， ２， ｐ，
第ｉ 个主要成分 的贡献 比率 ： ； ｍ个主要 生 前
。
￣ “ ／
∑Ａ ，
成分的累加计贡献 比率 ： ； 与 的相关
其中 ＝Ｅ 墨） ＝ ＶｒＸ） 这时 （ ， ａ（ ｉ．
’
＝
（ ， ， ， ） … ‘
造企 业为研 究对 象 ， 经 济效 益 出发 选取 ８个指 标 ， 用主 成 分 分析 法对 选取 指标 进 行 分析 ， 从 利 利 用 Ｍａａ ｄｂ软件 对 １ ４家机 械制 造 企业 的 经 济效益 进 行 了计 算和 排 名 ， 黑龙 江省 今后 实现 企 业 为 间经 济发展协 调提 供参 考依 据 ． 关 键词 ： 主 成分 分析 ； 润指标 ； Ｔ Ａ 利 ＭＡ Ｌ Ｂ
表１ １ ４家企 业的 利润指 标 的统 计数 据
样本均值 向量为 ：
＝
（７９９１．５ ． ０ ．４ １０４１． １ ．５ ４ ６６ ． ２．７ ０ ９０９ １０８５ ３１．６ ４ ６４１５２１．８ ）
１ ８ ３ ３ ６ ． ５ ４ ． ５ ４ ． １ ５ ． ０ ７ ． ７ ８ ６ ２ １ １ ６ ０ ６ ． ３ ０ ３ ７ ５ ７７ １２ ５ ７ ９６ １６ ２ ．０ ０ ．２
中图分 类号 ： ０ １ ２２ 文 献标 识码 ： Ａ
并且
主成分分析法实例
主成分分析法实例PCA的基本思想是将原始数据在坐标系下进行变换，使得各个坐标轴之间的相关性最小化。
在变换后的坐标系中，第一个主成分表示数据中方差最大的方向，第二个主成分表示与第一个主成分正交且方差次大的方向，以此类推。
因此，保留前k个主成分就可以达到降维的目的。
下面我们通过一个实例来详细介绍PCA的应用过程。
假设我们有一个二维数据集，其中包含了500个样本点，每个样本点具有两个特征。
我们首先需要对数据进行标准化处理，即对每个特征进行零均值化和单位方差化，这可以通过下面的公式实现：\[x_j' = \frac{x_j - \overline{x_j}}{\sigma_j}\]其中，\(x_j\)表示第j个特征的原始值，\(\overline{x_j}\)表示第j个特征的均值，\(\sigma_j\)表示第j个特征的标准差。
通过标准化处理后，我们可以得到一个均值为0，方差为1的数据集。
接下来，我们计算数据集的协方差矩阵。
协方差矩阵可以帮助我们衡量变量之间的相关性，它的第i行第j列的元素表示第i个特征与第j个特征的协方差。
\[Cov(X) = \frac{1}{n-1}(X - \overline{X})^T(X -\overline{X})\]其中，X是一个n行m列的矩阵，表示数据集，\(\overline{X}\)是一个n行m列的矩阵，表示X的每一列的均值。
协方差矩阵可以通过求解数据集的散布矩阵来得到，散布矩阵的定义如下：\[Scatter(X) = (X - \overline{X})^T(X - \overline{X})\]我们将协方差矩阵的特征值和特征向量求解出来，特征值表示每个特征方向上的方差，特征向量表示每个特征方向上的权重。
我们将特征值按照从大到小的顺序排序，选择前k个特征值对应的特征向量作为主成分。
最后，我们将数据集投影到选取的主成分上，得到降维后的数据集。
投影的过程可以通过下面的公式实现：\[y=XW\]其中，X是一个n行m列的矩阵，表示数据集，W是一个m行k列的矩阵，表示主成分。
主成分分析经典案例
主成分分析经典案例
主成分分析是一种常用的数据降维和模式识别方法，它可以帮助我们发现数据
中隐藏的结构和模式。
在实际应用中，主成分分析有很多经典案例，下面我们将介绍其中一些。
首先，我们来看一个经典的主成分分析案例，手写数字识别。
在这个案例中，
我们需要识别手写的数字，例如0-9。
我们可以将每个数字的图像表示为一个向量，然后利用主成分分析来找到最能代表数字特征的主成分。
通过这种方法，我们可以将复杂的图像数据降维到较低维度，从而更容易进行分类和识别。
另一个经典案例是面部识别。
在这个案例中，我们需要识别不同人脸的特征。
同样地，我们可以将每个人脸的图像表示为一个向量，然后利用主成分分析来找到最能代表人脸特征的主成分。
通过这种方法，我们可以将复杂的人脸数据降维到较低维度，从而更容易进行人脸识别和验证。
此外，主成分分析还可以应用于金融领域。
例如，在投资组合管理中，我们可
以利用主成分分析来发现不同资产之间的相关性和结构。
通过这种方法，我们可以将复杂的资产数据降维到较低维度，从而更容易进行资产配置和风险管理。
在医学领域，主成分分析也有着重要的应用。
例如，在基因表达数据分析中，
我们可以利用主成分分析来发现不同基因之间的相关性和结构。
通过这种方法，我们可以将复杂的基因表达数据降维到较低维度，从而更容易进行基因分析和疾病诊断。
总之，主成分分析在各个领域都有着重要的应用。
通过发现数据中的主要结构
和模式，主成分分析可以帮助我们更好地理解和利用数据。
希望以上经典案例的介绍能够帮助您更好地理解主成分分析的应用。
matlab数据预处理 代码
数据预处理是数据分析的重要一环，在使用MATLAB进行数据处理时，合理的数据预处理能够提高数据的质量，减小数据处理的难度。
本文将介绍MATLAB数据预处理的一般流程以及常用的代码实现。
一、数据预处理的一般流程1. 数据清洗数据清洗是数据预处理的第一步，其目的是处理数据中的错误、缺失和异常值。
常用的数据清洗方法包括删除缺失值、填充缺失值、删除重复值和处理异常值。
在MATLAB中，可以使用以下代码进行数据清洗：```matlab删除缺失值data = data(~any(ismissing(data), 2), :);填充缺失值data = fillmissing(data, 'previous');删除重复值data = unique(data);处理异常值data(data > 100) = NaN;```2. 数据转换数据转换是将原始数据转换为更适合模型处理的形式。
常用的数据转换方法包括标准化、归一化和对数变换。
在MATLAB中，可以使用以下代码进行数据转换：```matlab标准化data_stand = (data - mean(data)) / std(data);归一化data_norm = (data - min(data)) / (max(data) - min(data));对数变换data_log = log(data);```3. 数据集成数据集成是将不同数据源的数据合并成一个数据集的过程。
在MATLAB中，可以使用以下代码进行数据集成：```matlabdata_integrated = [data1; data2];```4. 数据降维数据降维是通过保留主要信息的方式减少数据特征的过程。
常用的数据降维方法包括主成分分析（PCA）和线性判别分析（LDA）。
在MATLAB中，可以使用以下代码进行数据降维：```matlabcoeff = pca(data);data_pca = data * coeff(:, 1:2);```二、数据预处理常用函数介绍1. ismissingismissing函数用于判断数据中是否有缺失值，返回一个逻辑数组。
主成分分析操作详细步骤
主成分分析操作详细步骤1.去除均值：对于给定的数据集，先计算每个特征的均值，然后将原始数据减去均值，即进行去均值处理。
这样可以使得数据的中心位于原点附近。
2.计算协方差矩阵：对去均值后的数据集，计算其协方差矩阵。
协方差矩阵描述了各个特征之间的相互关系。
协方差可以通过以下公式计算：cov(X,Y) = Σ((X-μ_X)(Y-μ_Y)) / (n-1)其中，X和Y分别是两个特征向量，μ_X和μ_Y是它们的均值，n 是样本数。
协方差矩阵是一个对称矩阵，对角线上的元素是各个特征的方差。
3.计算特征值和特征向量：对协方差矩阵进行特征值分解，可以得到特征值和对应的特征向量。
特征值表示了数据在特征向量方向上的方差，而特征向量则表示了数据在这个方向上的投影。
特征值和特征向量是成对出现的，每个特征值对应一个特征向量。
4.选择主成分：根据特征值的大小，选择前k个特征值对应的特征向量作为主成分。
这些主成分具有较大的特征值，表示数据在这些方向上的方差较大，所以选择这些主成分可以保留较多的数据信息。
5.数据映射：将原始的数据集映射到选取的主成分所构成的低维空间中。
对于一个样本，可以通过将其与各个主成分进行内积运算，得到其在主成分上的投影。
这样就将高维数据转换为低维数据。
6.可视化和解释：对于得到的低维数据，可以进行可视化展示，以了解数据的分布和结构。
同时，可以通过解释各个主成分的特征向量，来理解数据在不同维度上的重要特征。
7.降维应用：降维后的数据可以应用于其他任务，如数据挖掘、分类、聚类等。
由于降维后的数据具有较低的维度，所以可以提高计算效率，并且可能减小过拟合问题。
需要注意的是，主成分分析假设数据服从线性分布，并且对数据的方差敏感。
因此，在进行主成分分析之前，需要对原始数据进行归一化处理，以避免量纲对结果的影响。
另外，主成分分析还可以通过计算解释方差比例，来评估选择的主成分个数是否合适。
如果选择的主成分个数能够解释大部分的方差，那么可以认为降维后的数据已经保留了原始数据的主要信息。
主成分分析
PCA基本原理：
• 根据方差最大化原理，用一组新的、线性无关 且相互正交的向量来表征原来数据矩阵的行（或 列）。这组新向量（主成分）是原始数据向量的 线性组合。 • 通过对原始数据的平移、尺度伸缩(减均值、除 方差)和坐标旋转(特征分解)，得到新的坐标系(特 征向量)后，用原始数据在新坐标系下的投影(点积) 来替代原始变量
维数规约： 所谓维数规约就是降低特征维度。维 规约的好处体现在一下几个方面： （1）维度减少能够改善模型性能； （2）使数据集更好理解，因此较低的特征维度可以 更容易数据可视化； （3）降低了训练模型的时间开销和节省存储空间。 维数规约最常用的技术就是主成分分析（PCA）。
本质上讲，PCA就是将高维的数据通过线性变换投影到 低维空间上去，但这个投影并不是随便投，要遵循一个 指导思想，那就是：找出最能够代表原始数据的投影方 法。“最能代表原始数据”希望降维后的数据不能失真， 也就是说，被PCA降掉的那些维度只能是那些噪声或是 冗余的数据。这里的噪声和冗余可以这样认识：
问题 1，能不能不从原点出发？ 可以，但那样计算就复杂了，归一化时候将均值 设为 0，目的就是为了在寻找方向的时候使向量从原点 出发，方便计算。 问题 2， 多维空间下多个主方向时怎么办？ 就是不止寻找一个单位向量，找到一个主方向后， 将该主方向的方差影响去掉，然后再找主方向。如何 去掉前一个主方向的方差影响呢？对于二维数据来说， 是将所有数据点在垂直于该主方向的另一个方向上做 投影，比如要去掉主方向u1的方差影响，需要在u2方 向上进行投影，多维空间上也可以类推。
主成分分析
（Principal Components Analysis,PCA)
报告人：李帆
一、使用PCA的动机 二、数据预处理 三、PCA模型的定义 四、PCA在matlab中的计算 五、应用PCA的建议
MATLAB_智能算法30个案例分析
MATLAB_智能算法30个案例分析1.线性回归：使用MATLAB的回归工具箱，对给定的数据集进行线性回归分析，获取拟合的直线方程。
2.逻辑回归：使用MATLAB的分类工具箱，对给定的数据集进行逻辑回归分析，建立分类模型。
3.K均值聚类：使用MATLAB的聚类工具箱，对给定的数据集进行K 均值聚类算法，将数据集分为多个簇。
4.支持向量机：使用MATLAB的SVM工具箱，对给定的数据集进行支持向量机算法，建立分类或回归模型。
5.决策树：使用MATLAB的分类工具箱，对给定的数据集进行决策树分析，建立决策模型。
6.随机森林：使用MATLAB的分类和回归工具箱，对给定的数据集进行随机森林算法，集成多个决策树模型。
7. AdaBoost：使用MATLAB的分类工具箱，对给定的数据集进行AdaBoost算法，提升分类性能。
8.遗传算法：使用MATLAB的全局优化工具箱，利用遗传算法进行优化问题的求解。
9.粒子群优化：使用MATLAB的全局优化工具箱，利用粒子群优化算法进行优化问题的求解。
10.模拟退火算法：使用MATLAB的全局优化工具箱，利用模拟退火算法进行优化问题的求解。
11.神经网络：使用MATLAB的神经网络工具箱，构建和训练多层感知机模型。
12.卷积神经网络：使用MATLAB的深度学习工具箱，构建和训练卷积神经网络模型。
13.循环神经网络：使用MATLAB的深度学习工具箱，构建和训练循环神经网络模型。
14.长短期记忆网络：使用MATLAB的深度学习工具箱，构建和训练长短期记忆网络模型。
15.GAN（生成对抗网络）：使用MATLAB的深度学习工具箱，构建和训练生成对抗网络模型。
16.自编码器：使用MATLAB的深度学习工具箱，构建和训练自编码器模型。
17.强化学习：使用MATLAB的强化学习工具箱，构建和训练强化学习模型。
18.关联规则挖掘：使用MATLAB的数据挖掘工具箱，发现数据中的关联规则。
主成分分析(PCA)详解(附带详细公式推导)
主成分分析（PCA）详解（附带详细公式推导）1.假设有一个m维的数据集X，其中每个数据点有n个样本。
需要将其降维到k维，且k<m。
2. 首先需进行数据的中心化，即对每个维度的数据减去该维度的均值，即X' = X - mean(X)。
3.然后计算协方差矩阵C=(1/n)*X'*X'^T，其中X'^T表示X'的转置。
4.对协方差矩阵C进行特征值分解，得到特征值和对应的特征向量。
5.接下来，将特征值按从大到小的顺序排列，选取前k个最大的特征值及其对应的特征向量。
6. 最后，将选取的k个特征向量组成一个投影矩阵W =[e1,e2,...,ek]，其中ei表示第i个特征向量。
7.对中心化的数据集进行降维，Y=W*X'，其中Y即为降维后的数据。
上述推导过程中，协方差矩阵C的特征值代表了数据的方差，特征向量则代表了数据的主成分。
选取最大的k个特征值和对应的特征向量，即实现了数据的降维。
PCA的应用包括但不限于以下几个方面：1.数据可视化：PCA能够将高维度的数据映射到二维或三维空间，从而方便数据的可视化展示。
2.数据预处理：PCA能够降低数据的维度，从而减少噪声和冗余信息，提升后续模型的精度和效率。
3.特征提取：PCA能够提取数据中最重要的特征，从而辅助后续建模和特征工程。
4.噪声过滤：PCA能够降低数据的维度，从而过滤掉一些无关的噪声信息。
需要注意的是，PCA只能应用于线性数据，并且假设数据的方差和协方差是固定的。
同时，PCA对于数据中非线性关系的捕捉能力较弱，因此在处理非线性数据时，需考虑使用其他非线性降维方法，如核主成分分析（Kernel PCA）等。
综上所述，PCA是一种常用的多变量数据降维技术，在数据分析和机器学习领域有着广泛的应用。
通过线性变换，PCA将高维度的数据投影到低维空间中，从而减少数据的维度，并保留了数据中的主要信息。
主成分分析法
主成分分析法主成分分析法1. 因⼦分析1. EM算法求解因⼦分析对于EM算法⽽⾔，E-步是⾮常简单的，我们只需要计算Q i(z(i)) =p(z(i)|x(i); µ, Λ, Ψ)。
然⽽在这⾥的条件分布为，z(i)|x(i); µ, Λ, Ψ∼ N (µz(i)|x(i) , Σz(i)|x(i))，这⾥满⾜：由此，我们得到了E-步的更新公式：现在，我们想办法解决M-步。
我们需要最⼤化的下式：这⾥的参数是µ, Λ, Ψ。
这⾥仅给出Λ的推导过程。
根据我们需要最⼤化的式⼦，我们可以化简如下：这⾥的下标z(i)∼ Q i表⽰z(i)服从 Q i分布。
然后去掉与Λ⽆关的项。
得到我们最终想要最⼤化的结果：这⾥，只有最后⼀项是依赖于Λ的。
对其求偏导数，如下：上述的推导，使⽤了矩阵的⼀些公式，对于a ∈ R，tr a = a(tr表⽰取矩阵的迹)，trAB = trBA，∇AtrABA T C = CAB + C T AB。
之后，让其等于0，化简结果如下：因此，我们得到Λ的值如下：这⾥我们发现⼀个有趣的现象。
这⾥得到的Λ结果和回归模型中最⼩⼆乘法的⽅程结果很类似(θT= (y T X )(X T X )−1)。
这⾥类⽐⼀下，x是z的线性函数(包含了⼀定的噪声)，在E-步中给出了z的估计之后，我们需找的Λ实际上是x和z的线性关系。
⽽最⼩⼆乘法也是去寻找特征和结果的直接的线性关系。
⽽这两者很重要的不同点在于最⼩⼆乘⽤的z是最好的猜测(也就是所谓的观测到的分类)。
之后，我们会看到这些不同。
为了完成M-步的更新，我们需要求解出Λ结果中的各个期望值。
从开始的Q i定义，我们很容易得到：第⼀步是根据z的条件分布得到的，第⼆步是根据E[Y Y T] = E[Y ]E[Y ]T+ Cov(Y )得到的。
再带回到Λ的结果中，得到了M-步中的更新如下：这⾥很重要的⼀点是右侧等式中的Σz(i)|x(i)，这是后验分布p(z(i)|x(i))的协⽅差，M-步中⼀定要考虑后验分布的z(i)不确定性。
主成分分析法
计算 1、计算相关系数矩阵
r11 r12 r1 p
R
r21
r22
r2
p
rp1
rp2
rpp
rij（i，j=1，2，…，p）为原变量xi与xj的
相关系数， rij=rji，其计算公式为
n
( xki xi )(xkj x j )
rij
k 1 n
n
( xki xi )2 ( xkj x j )2
主成分分析法
说明
1.这里提取出来的变量，不是具体的变 量，只是几个指标的综合 2.提取出几个综合变量可以反映原来多 个变量的大部分信息，并且所含的信息 又互不重叠，即它们之间要相互独立， 互不相关。
主成分分析法
主成分分析法与因子分析的区别
主成分分析是研究如何通过少数几 个主成分来解释多变量的方差和协方差 结构的分析方法,也就是求出少数几个主 成分,使它们尽可能多地保留原始变量的 信息,且彼此不相关。
=U’x
其中U’为正交矩阵，即有U’=U-1，U’ U-1=I 主成分分析法
什么是主成分分析法？
主成分分析也称主分量分析。 就是利用降维的思想，把多指标转化为少
数几个综合指标。 用较少的几个综合指标来代替原来较多的
变量指标，而且使这些较少的综合指标既 能尽量多地反映原来较多指标所反映的信
息，同时它们之间又是彼此独立的。
主成分分析法
使用散点图表示人的身高与体重
w y2
y1
h i=1，2，┅┅，n
主成分分析法
θ
根据旋转公式
y1=h cosθ+ w sinθ y2=-h sinθ+ w cosθ 我们看到新变量 y1和 y2 是原变量h和w的线 性组合,它的矩阵表示形式为