第04章主成分分析和典型相关分析
偏最小二乘回归多元线性回归分析典型相关分析主成分分析
偏最小二乘回归是一种新型的多元统计数据分析方法，它与1983年由伍德与阿巴诺等人首次提出。
近十年来，它在理论、方法与应用方面都得到了迅速的发展。
密西根大学的弗耐尔教授称偏最小二乘回归为第二代回归分析方法。
偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面：（1）偏最小二乘回归是一种多因变量对多自变量的回归建模方法。
（2）偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决的问题。
在普通多元线形回归的应用中，我们常受到许多限制。
最典型的问题就是自变量之间的多重相关性。
如果采用普通的最小二乘方法，这种变量多重相关性就会严重危害参数估计，扩大模型误差，并破坏模型的稳定性。
变量多重相关问题十分复杂，长期以来在理论与方法上都未给出满意的答案，这一直困扰着从事实际系统分析的工作人员。
在偏最小二乘回归中开辟了一种有效的技术途径，它利用对系统中的数据信息进行分解与筛选的方式，提取对因变量的解释性最强的综合变量，辨识系统中的信息与噪声，从而更好地克服变量多重相关性在系统建模中的不良作用。
（3）偏最小二乘回归之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。
由于偏最小二乘回归在建模的同时实现了数据结构的简化，因此，可以在二维平面图上对多维数据的特性进行观察，这使得偏最小二乘回归分析的图形功能十分强大。
在一次偏最小二乘回归分析计算后，不但可以得到多因变量对多自变量的回归模型，而且可以在平面图上直接观察两组变量之间的相关关系，以及观察样本点间的相似性结构。
这种高维数据多个层面的可视见性，可以使数据系统的分析内容更加丰富，同时又可以对所建立的回归模型给予许多更详细深入的实际解释。
一、 偏最小二乘回归的建模策略\原理\方法 1.1建模原理设有 q 个因变量{q y y ,...,1}与p 自变量{p x x ,...,1}。
为了研究因变量与自变量的统计关系,我们观测了n 个样本点,由此构成了自变量与因变量的数据表X={p x x ,...,1}与.Y={q y y ,...,1}。
数据分析习题集
5
成都信息工程学院>>精品课程>>数据分析
第四章 主成分分析与典型相关分析
1、设总体 X = ( X 1 X 2 X 3 )T 的协方差矩阵为
179.41
13
福建
19.46
250.16
14
江西
10.93
122.06
15
山东
40.26
552.74
16
河南
19.82
268.20
17
湖北
19.49
221.43
18
湖南
16.01
197.68
19
广东
99.32
1080.26
20
广西
14.77
160.6021海南3.9639.51
22
重庆
10.49
111.76
(2) 求出方差分析表，解释线性回归关系显著性检验结果，求复相关系数的
平方 R 2 的值并解释其意义。
(3) 分别求 b1 和 b 2 的置信度为 0.95 的置信区间。 (4) 该 公 司 欲 在 一 个 适 宜 使 用 该 化 妆 品 的 人 数 x01 = 220 ， 人 均 月 收 入
x02 = 2500 的城市销售该化妆品，求其销量的预测值及其置信度为 0.95 的置信区 间。
表 1.5 血液中 4 种成分的含量数据
x1 18.8 17.4 16.0 19.3 17.4 15.3 16.7 17.4 16.2 16.7 18.2 16.7 x2 28.1 25.6 27.4 29.5 27.4 25.3 25.8 26.7 25.7 26.7 28.0 26.7 x3 5.1 4.9 5.0 1.7 4.5 3.6 4.4 4.4 2.3 6.4 3.2 2.1 x4 35.1 33.9 32.2 29.1 35.6 32.2 33.0 33.0 33.9 35.0 29.7 34.9
主成分分析法精华讲义及实例
主成分分析类型：一种处理高维数据的方法。
降维思想：在实际问题的研究中，往往会涉及众多有关的变量。
但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。
一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。
因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。
一、总体主成分1.1 定义设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。
记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为()[(())(())],T ij p p E X E X X E X σ⨯∑==--它是一个 p 阶非负定矩阵。
设1111112212221122221122Tp p Tp pT pp p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X⎧==+++⎪==+++⎪⎨⎪⎪==+++⎩（1） 则有()(),1,2,...,,(,)(,),1,2,...,.T T i i i i TT T i j ijij Var Y Var l X l l i p Cov Y Y Cov l X l X l l j p ==∑===∑= （2）第 i 个主成分： 一般地，在约束条件1T i i l l =及(,)0,1,2,..., 1.T i k i k Cov Y Y l l k i =∑==-下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的T i i Y l X =称为 X 1，X 2，…，X p 的第 i 个主成分。
1.2 总体主成分的计算设 ∑是12(,,...,)T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特征向量分别为120p λλλ≥≥≥≥及12,,...,,p e e e则 X 的第 i 个主成分为1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3）此时(),1,2,...,,(,)0,.Ti i i i Ti k i k Var Y e e i p Cov Y Y e e i k λ⎧=∑==⎪⎨=∑=≠⎪⎩ 1.3 总体主成分的性质1.3.1 主成分的协方差矩阵及总方差记 12(,,...,)T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ=由此得主成分的总方差为111()()()()(),p ppTTiii i i i Var Y tr P P tr PP tr Var X λ=====∑=∑=∑=∑∑∑即主成分分析是把 p 个原始变量 X 1，X 2，…，X p 的总方差1()pii Var X =∑分解成 p 个互不相关变量 Y 1，Y 2，…，Y p 的方差之和，即1()pii Var Y =∑而 ()k k Var Y λ=。
什么是主成分分析精选全文
可编辑修改精选全文完整版主成分分析（principal component analysis, PCA）如果一组数据含有N个观测样本，每个样本需要检测的变量指标有K个, 如何综合比较各个观测样本的性质优劣或特点？这种情况下，任何选择其中单个变量指标对本进行分析的方法都会失之偏颇，无法反映样本综合特征和特点。
这就需要多变量数据统计分析。
多变量数据统计分析中一个重要方法是主成份分析。
主成分分析就是将上述含有N个观测样本、K个变量指标的数据矩阵转看成一个含有K维空间的数学模型，N个观测样本分布在这个模型中。
从数据分析的本质目的看，数据分析目标总是了解样本之间的差异性或者相似性，为最终的决策提供参考。
因此，对一个矩阵数据来说，在K维空间中，总存在某一个维度的方向，能够最大程度地描述样品的差异性或相似性(图1)。
基于偏最小二乘法原理，可以计算得到这个轴线。
在此基础上，在垂直于第一条轴线的位置找出第二个最重要的轴线方向，独立描述样品第二显著的差异性或相似性；依此类推到n个轴线。
如果有三条轴线，就是三维立体坐标轴。
形象地说，上述每个轴线方向代表的数据含义，就是一个主成份。
X、Y、Z轴就是第1、2、3主成份。
由于人类很难想像超过三维的空间，因此，为了便于直观观测，通常取2个或者3个主成份对应图进行观察。
图（1）PCA得到的是一个在最小二乘意义上拟合数据集的数学模型。
即，主成分上所有观测值的坐标投影方差最大。
从理论上看，主成分分析是一种通过正交变换，将一组包含可能互相相关变量的观测值组成的数据，转换为一组数值上线性不相关变量的数据处理过程。
这些转换后的变量，称为主成分（principal component, PC）。
主成分的数目因此低于或等于原有数据集中观测值的变量数目。
PCA最早的发明人为Karl Pearson，他于1901年发表的论文中以主轴定理（principal axis theorem）衍生结论的形式提出了PCA的雏形，但其独立发展与命名是由Harold Hotelling于1930年前后完成。
主成分分析、聚类分析、因子分析的基本思想及优缺点
主成分分析：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),用综合指标来解释多变量的方差协方差结构，即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的综合指标即为主成分。
欧阳学文求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。
（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）注意事项：1. 由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；2. 对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；3.主成分分析不要求数据来源于正态分布；4. 在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。
优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息。
其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价。
再次它在应用上侧重于信息贡献影响力综合评价。
缺点：当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确。
命名清晰性低。
聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。
目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。
其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。
常用聚类方法：系统聚类法，K均值法，模糊聚类法，有序样品的聚类，分解法，加入法。
注意事项：1. 系统聚类法可对变量或者记录进行分类，K均值法只能对记录进行分类；2. K均值法要求分析人员事先知道样品分为多少类；3. 对变量的多元正态性，方差齐性等要求较高。
主成分分析与因子分析
∴
( yk ,xi )
k ii
tik
4. m个主成分对原始变量的贡献率
用xi 与 y1 , …, ym 的复相关系数的平方，作为
度量主成分y1 , …, ym包含有 xi 的信息多少的指标
称为m个主成分y1 , …, ym对原始变量xi的贡献率，
记为νi（ i21 m）。
m
m
ቤተ መጻሕፍቲ ባይዱ
i 2 ( xi ,y j ) jti2j / ii
载荷矩阵
∵ X=T y 其中 T = ( tij )
x1 x2
t11 t21
t12 t22
x p
t p1
t p2
t1 p t2 p
y1 y2
t
pp
y
p
选取前m个主成分，记
xˆ 1
一般地，第 i 主成分为：
y i tiT x
var yi i ,
i 1, p
主成分的性质
1.主成分的协方差矩阵
Y
y1
,
1
0
y p
0
p
由于 Y T T X X TY
var(Y ) var( T T x ) T T var( x )T T T T TTTTTT
标准化主成分 f 的载荷矩阵
先对m个主成分 的方差标准化，再求出主 成分的载荷矩阵。令：
典型相关分析(CCA)简介
典型相关分析(CCA)简介一、引言在多变量统计分析中，典型相关分析（Canonical Correlation Analysis，简称CCA）是一种用于研究两个多变量之间关系的有效方法。
这种方法最早由哈罗德·霍特林（Harold Hotelling）于1936年提出。
随着数据科学和统计学的发展，CCA逐渐成为多个领域分析数据的重要工具。
本文将对典型相关分析的基本原理、应用场景以及与其他相关方法的比较进行详细阐述。
二、典型相关分析的基本概念1. 什么是典型相关分析典型相关分析是一种分析两个多变量集合之间关系的方法。
设有两个随机向量 (X) 和 (Y)，它们分别包含 (p) 和 (q) 个变量。
CCA旨在寻找一种线性组合，使得这两个集合在新的空间中具有最大的相关性。
换句话说，它通过最优化两个集合的线性组合，来揭示它们之间的关系。
2. 数学模型假设我们有两个数据集：(X = [X_1, X_2, …, X_p])(Y = [Y_1, Y_2, …, Y_q])我们可以表示为：(U = a^T X)(V = b^T Y)其中 (a) 和 (b) 是待求解的权重向量。
通过最大化协方差 ((U, V))，我们得到最大典型相关系数 ()，公式如下：[ ^2 = ]通过求解多组 (a) 和 (b)，我们可以获得多个典型变量，从而得到不同维度的相关信息。
三、典型相关分析的步骤1. 数据准备在进行CCA之前，需要确保数据集满足一定条件。
一般来说，应对数据进行标准化处理，以消除可能存在的量纲差异。
可以使用z-score标准化的方法来处理数据。
2. 求解协方差矩阵需要计算两个集合的协方差矩阵，并进一步求出其逆矩阵。
给定随机向量 (X) 和 (Y)，我们需要计算如下协方差矩阵：[ S_{xx} = (X, X) ] [ S_{yy} = (Y, Y) ] [ S_{xy} = (X, Y) ]同时，求出逆矩阵 (S_{xx}^{-1}) 和 (S_{yy}^{-1})。
主成份分析与典型相关分析
第 18 页 共 27 页 第 4 章 主成份分析与典型相关分析
第 4 章 主成份分析与典型相关分析
⎡ R11 R12 ⎤ ⎡S 代 S = 11 R=⎢ ⎥ ⎢ S21 ⎣ ⎣ R21 R22 ⎦ 实用中, 常从 R 出发进行分析.
4. 典型相关系数的显著性检验 设 ρ1 ≥
第 13 页 共 27 页 第 4 章 主成份分析与典型相关分析
*
4β 2 1 * 1. 和相应有 e1 = ρ = (1 + α )(1 + γ ) 2
*2 1
第 14 页 共 27 页 第 4 章 主成份分析与典型相关分析
同理可得 B = ρ22 ρ21 ρ11 ρ12 相应于 ρ1 的正交化特
并假定 Σ11 , Σ 22 满秩, p ≤ q .
X = ( X 1, X 2 ,
记 ( X 1, X 2 ,
, X p )T , Y = (Y1 , Y2 ,
, Yq )T
下面分步讨论 1) 作第一对典型变量
, X p , Y1 , Y2 ,
, Yq )T 的协方差阵为
⎡Σ Σ = ⎢ 11 ⎣ Σ 21
−1 −1 22 21 11 12 的前
从而有 A = D1 Σ11 Σ12 Σ 22 D1 = D1 AD1
*
*
−1
−1
−1
−1
特征值(也为 B = ρ ρ ρ ρ
p 个特征值)
由此知 A 与 A 有相同的特征值, 由此得标准前后 的典型相关系数相同, 但典型变量中的系数会变.
第 12 页 共 27 页
第 4 章 主成份分析与典型相关分析
第 4 章 主成份分析与典型相关分析
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
总体主成分
▪ 如果第一主成分 Y1 还不足以反映原变量的信息， 进一步求Y2 。
▪ 为了使 Y1 和 Y2 反映原变量的信息不相重叠，要 求二者不相关，在约束条件 Cov(Y1,Y2 ) l1T l2 0 l2Tl2 1 求l2 使Var(Y2 ) 达到最大。
第二主成分：Y2 l2T X
依次类推……
▪ 在约束条件 l1Tl1 下1，当 l时1 ，e1 达Va到r(Y最1) 大，且
max{Var
l1T l1 1
(Y1
)}
Var(e1T
X
)
e1T e1
1.
设 为X的第二主成分，则有
Y2 l2T X
l2T l2 1
Cov(Y2 ,Y1) l2T e1 1l2T e1 0
即有
且
l2T l2 1
z1 (z11, z12, , z1p )T PTl1,
则
Var(Y1) l1T l1 z1T PT Pz1 1z121 2z122 p z12p
1z1T z1 1l1T PPT l1 `1,
并且当 z1 (1,0, ,0)T 时，等号成立。这时
l1 Pz1 e1.
总体主成分的求法
Var(Yi ) eiT ei ieiT ei i ,i 1, 2, , p,
Cov(Yi ,Yk )
eiT ek
k eiT ek
0, i
k.
事实上，令 P (e1, e2, , ep ) ，则 P 为一正交矩阵，
且 PTP Diag(1,2, ,p)
总体主成分的求法
▪ 设 Y1 l1T X 为X的第一主成分，其中l1Tl1 1 。令
用方差来度量。即要求Var(Y1) l1T l1达到最大。
对任意常数 k ，若取l1 kl1 ，
则
T
Var(l1
X
)
k 2Var(l1T
X)
k 2l1T l1
。
总体主成分
因此，必须对 l1加以限制，否则 Var(Y1)无界。 最方便的限制是要求 l1 具有单位长度，即 我们在约束条件 l1Tl1 1 之下，求 l1 使Var(Y1)达 到最大，由此 l1 所确定的随机变量Y1 l1T X 称 为 X1, X 2, , X p 的第一主成分。
它是一个 阶p 非负定矩阵。设 li (li1,li2, 常数p 向量，考虑如下线性组合：
Y1 l1T X l11X1 l12 X 2 Y2 l2T X l21X1 l22 X 2
l1p X p , l2 p X p ,
Yp
l
T p
X
lp1X1
lp2X2
lpp X p.
,lip)T (为i 1,2个, , p)
主成分分析即构造原变量的一系列线性组合， 使其方差（或观测值的样本方差）达到最大。
YY12
X1 cos X2 X1 sin X
sin
2 cos
4.1.2 总体主成分
▪ 设X1, X2, 为, X某p 实际问题所涉及的 个随p机变量。 记 X (，X1,其X2协, 方, X差p)T矩阵为
Cov(X ) (ij )pp E (X E(X ))(X E(X ))T
第4章 主成分分析和典型相关分析
引言
▪ 变量太多会增加计算的复杂性 ▪ 变量太多给分析问题和解释问题带来困难 ▪ 变量提供的信息在一定程度上会有所重叠
用为数较少的互不相关的新变量来反映原变量所提 供的绝大部分信息，降维的思想来处理高维数据。
4.1 主成分分析
▪ 主要目的：
对原变量加以“改造”，在不致损失原变量 太多信息的条件下尽可能地降低变量的维数， 即用较少的“新变量”代替原来的各变量。
l2T e1 0
总体主成分的求法
▪ 令 Z2 (z21, z22, , z2p )T PTl2,
则有 l2Te1 z2T PTe1 z21e1Te1 z22e2Te1 z2 peTpe1 z21 0,
从而
Var(Y2 ) l2T l2 z2T PT Pz2 z2T z2
1z221 2 z222 p z22p 2 z2T z2 2l2Tl2 2 ,
总体主成分的性质
▪ 主成分的协方差矩阵及总方差 记 Y (Y1,Y2, ,Yp )T为主成分向量，则 Y PT X，其中
P (e1, e2, , ep ) ，Y的协方差矩阵为 Cov(Y) Cov(PT X ) PTP Diag(1, ,p)
▪ 设 是 X (X1, X2, , X p)T的协方差矩阵，的特征值
及相应的正交单位化特征向量分别为 1 2 p 0
及 e1, e2, , ep ，则 X 的第 i 个主成分为
Yi eiT X ei1X1 ei2 X2 eip X p,i 1, 2, , p, (4.2)
其中ei (ei1,ei2, ,eip )T。易见：
并且当 z2 (0,1, , 0)T，即 l2 Pz2 e2时，Var(Y2 ) 2 。 由此知，当 l2 e2时，满足l2T l2 1 ，Cov(Y2,Y1) 0 且使 Var(Y2) 2 达到最大。依此类推….
总体主成分的求法
▪ 以上结果告诉我们，求X的各主成分，等 价于求它的协方差矩阵∑的各特征值及相 应的正交单位化特征向量。按特征值由大 到小所对应的正交单位化特征向量为组合 系数的X1, X 2 ,..., X p 的线性组合分别为X的 第一、第二、直至第p个主成分，而各主 成分的方差等于相应的特征值。
总体主成分
▪ 易知有 Var(Yi ) Var(liT X ) liT li ,i 1, 2, , p,
Cov(Yi,Yj ) Cov(liT X ,lTj X ) liTlj , j 1, 2, , p.
我们希望用 Y1 代替原来 p 个变量X1, X 2, , X p ，这就 要求 Y1 尽可能地反映原来 p 个变量的信息。这里
总体主成分
▪ 一般地，在约束条件 liTli 1及
Cov(Yi ,Yk ) liT lk 0(k 1, 2,..., i 1) 下，求 li 使 Var(Yi )达到最大，由此 li 所确定的 Yi liT X
i 称为 X1, X 2 ,..., X p 的第 个主成分。
总体主成分的求法