偏最小二乘回归方法-PPT
偏最小二乘回归
在多元线性回归模型中，设有一组自变 量 X x1 , x2 , , x p 和一组因变量
Y y1 , y2 , , yq
当 数据满足高斯—马尔科夫假定时，根据 最小二乘法，有
ˆ (X Y X )1 X Y
怎样确定所应提取的成分个数
在偏最小二乘回归建模中，可通过考察增加一个 新的成分后，能否对预测功能有明显的改进来考 虑。把所有的n个样本点分成两部分：第一部分是 除去某个样本点i 的所有样本点的集合（共含n 1个 样本点），用这部分样本点并使用h个成分拟合一 ˆ hj 个回归方程，得到y j 在样本点i, n, 重复上述测试，则可定义 y j的预测误差平方和为：
2 ˆ hj PRESShj ( yij y ) （-i ) i 1 n
定义Y的预测误差平方和为： PRESSh PRESShj
j 1 p
如果回归方程的稳健性不好，误差很大，它对样本 点的变动就会十分敏感，这种扰动误差的作用，就 会加大PRESSh值。
比较PRESS h 和SS h -1. SSh -1是用样本点拟合的具有h-1个成分的拟合 误差；PRESS h 增加了一个成分th ,但却含有样 本点的扰动误差。如果h个成分的回归方程的 含扰动误差能在一定程度上小于h-1个成分回 归方程的拟合误差，则认为增加一个成分th， 会使预测的精度明显提高。因此我们希望 PRESS h与SS h -1的比值能越小越好. 若 PRESS h / SS h -1 0.952 就认为增加成分是 有益的，反之，则认为新增加的成分对减少 方程的预测误差无明显的改善作用。
4. 变量 x j 与 xk的相关系数 rjk r(x j , xk ) s jk s j sk
偏最小二乘回归方法(PLS)
偏最小二乘回归方法1 偏最小二乘回归方法(PLS)背景介绍在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分析是一种普遍应用的统计分析与预测技术。
多元线性回归中，一般采用最小二乘方法(Ordinary Least Squares :OLS)估计回归系数，以使残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往失效。
而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重，但又普遍存在。
为消除这种影响，常采用主成分分析(principal Components Analysis :PCA)的方法，但采用主成分分析提取的主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。
最小偏二乘回归方法(Partial Least Squares Regression：PLS)就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。
它于1983年由S.Wold和C.Albano等人首次提出并成功地应用在化学领域。
近十年来，偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展，己经广泛地应用在许多领域，如生物信息学、机器学习和文本分类等领域。
偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模，它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。
它不再是直接考虑因变量集合与自变量集合的回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量(又称成分)，然后对它们进行回归建模。
偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化(主成分分析)以及两组变量间的相关性分析(典型性关分析)，即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。
下面将简单地叙述偏最小二乘回归的基本原理。
一元线性回归模型及参数的最小二乘估计课件-高二数学人教A版(2019)选择性必修第三册
§8.2 一元线性回归模型及其应用 第1课时 一元线性回归模型及参数的最小二乘估计
1 一元线性回归模型 2 最小二乘法和
经验回归方程
3 利用经验回归方程
进行预测
01 一元线性回归模型
知识梳理
一元线性回归模型：我们称
Y＝bx＋a＋e， Ee＝0，De＝σ2
为Y关于x的_一__元__线__性__回__归_
8
∑i＝1xiyi－8 x b^ ＝ 8
∑i＝1x2i －8 x
y
2
＝132245－6－8×8×52×25982＝14，
所以a^ ＝ y －b^ x ＝98－14×52＝12，故经验回归方程为y^＝14x＋12.
(2)若该次考试数学平均分为120分，物理平均分为91.5分，试由(1)的结 论预测数学成绩为128分的同学的物理成绩.
n
(xi－ x )2
n
x2i －n x 2
i＝1
i＝1
由题意可得 x ＝15×(1＋1.5＋2＋2.5＋3)＝2， y ＝15×(0.9＋0.7＋0.5＋0.3＋0.2)＝0.52.
5
(xi－ x )(yi－ y )＝－1×0.38－0.5×0.18＋0.5×(－0.22)＋1×(－0.32)
i＝1
(1)(2)(3)(4)(5)回归模型，(6)(7)函数模型.
练1习1 若某地财政收入x与支出y满足一元线性回归模型y＝bx＋a＋e(单
位：亿元)，其中b＝0.7，a＝3，|e|≤0.5，如果今年该地区财政收入10亿
元，年支出预计不会超过
A.9亿元 C.10亿元
偏最小二乘回归分析
x y xy 101.8389 b 2 2 , x x a y b x -28.6883
y
2 [ y ( a bx )] i i
n2
0.931912
利用肖维涅舍弃判据来剔除测量值中带有粗差的数 据，列表如下（n=16时,Cu=2.15)：
递推关系:
P0(x)=1, P1(x)=x,
2 P2 ( x) 1 ( 3 x 1) 2
则： a 28.7 0.4 b 101.8 0.1
即回归方程为：
y 28.7 101.8 x
附：临界相关系数 R表
N-2 a
0.05 0.01
1
2
3
4
5
6
7
8
9
10
0.997 0.950 0.878 0.811 0.754 0.707 0.666 0.632 0.602 0.576 1.000 0.990 0.959 0.917 0.874 0.834 0.798 0.765 0.735 0.707
1.3 相关关系
相关关系的描述 相关关系最直观的描述方式——坐标图（散点图）
非线性相关
零相关
正相关
负相关
相关系数 — 相关程度的度量
X和Y的总体 相关系数： •
Cov( X , Y ) Var ( X )Var (Y )
其中： Var(X)-----X 的方差 Var(Y)-----Y的方差 Cov（X，Y）-----X和Y的协方差
解： 1.列表
n x
y x2 y2 xy
1 2 3 4 5 6 7 8 9
1.11
82.5 1.2321 6806.25 91.575
偏最小二乘课件
20/45
2019/3/13
算法流程
每次舍去第 i 个观测数据（ i 1,2, ，对余下 , n）
的 n 1个观测数据用偏最小二乘回归方法建模，并考 虑抽取 h （ h r ）个成分后拟合的回归式，然后把舍 去的自变量组第 i 个观测数据代入所拟合的回归方程 式，得到 y j ( j 1,2, ˆ ( h) 。 b
5/45
2019/3/13
简介
偏最小二乘回归分析在建模过程中集成了主成分分 析、典型相关分析和线性回归分析方法的特点，因此在 分析结果中， 除了可以提供一个更为合理的回归模型外， 还可以同时完成一些类似于主成分分析和典型相关分析 的研究内容，提供一些更丰富、深入的信息。
6/45
2019/3/13
简介
（6）
16/45
2019/3/13
算法流程
（3）用残差阵 A1 和 B1 代替 A和 B 重复以上步骤。 ˆ u ˆ， ˆ u ˆ1 (1)T ， B ˆ1 (1)T ，则残差阵 E1 A A 记A ˆ 。如果残差阵 B 中元素的绝对值近似为 0， B1 B B 1 则认为用第一个成分建立的回归式精度已满足需要 了， 可以停止抽取成分。 否则用残差阵 A1 和 B1 代替 A和 B 重复以上步骤即得
4. 否则继续对第二成分的提取，直到能达到满意的精度 为止。 5. 若最终对自变量集提取 r 个成分 u1 , u2 , 二乘回归将建立 y1 , 6. 最后表示为 y1 ,
, ur ，偏最小
, y p 与 u1 , u2 ,
, ur 的回归方程。
, y p 与原自变量的回归方程，即偏
最小二乘回归方程式。
分别为 X ,Y 的第二对成分的负荷量。这时有 (1)T ( 2)T ˆ ˆ A u u A2 , 1 2 (1)T ( 2)T ˆ ˆ B u u B2 . 1 2
专题6偏最小二乘回归ppt课件
3
一、偏最小二乘回归概述——偏最小二乘回归方法的产生背景(续)
在国内,最早对此进行系统研究的学者 是北京航空航天大学的王惠文教授。
4
一、偏最小二乘回归概述
偏最小二乘回归的基本思想
2 T
。一般地,若有ˆT2
ˆ
2 B
,
则回归方程会有更好的预测效果;若
ˆT2
ˆ
2 B
,
则回归方程不宜用于预测。
22
二、偏最小二乘回归的建模步骤
在PLS建模中,究竟该选取多少个成分为宜,这 可通过考察增加一个新的成分后,能否对模型的预 测功能有明显改进来考虑。
采用类似于抽样测试法的工作方式,把所有n 个样本点分成2部分:第1部分除去某个样本点i的 所有样本点集合(共含n-1个样本点),用这部分样本 点并使用h个成分拟合一个回归方程;第二部分是 把刚才被排除的样本点i代入前面拟合的回归方程, 得到 y j 在样本点i上的拟合值 yˆ hj(i)。
显提高。
26
三、偏最小二乘回归的辅助分析技术
与典型相关分析对应的研究内容 与主成分分析对应的研究内容
27
三、偏最小二乘回归的辅助分析技术
与典型相关分析对应的研究内容
1.精度分析
(1)th对某自变量xj的解释能力为
Rd (xj ;th ) r2 (xj ,th )
(2)th对X的解释能力为
1 p
m
Rd (xj ;t1,t2, ,tm ) Rd (xj ;th ) h1
(5)th对某因变量yk的解释能力为 Rd ( yk ;th ) r2 ( yk ;th )
偏最小二乘回归方法(PLS)
偏最小二乘回归方法1 偏最小二乘回归方法(PLS)背景介绍在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分析是一种普遍应用的统计分析与预测技术。
多元线性回归中，一般采用最小二乘方法(Ordinary Least Squares :OLS)估计回归系数，以使残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往失效。
而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重，但又普遍存在。
为消除这种影响，常采用主成分分析(principal Components Analysis :PCA)的方法，但采用主成分分析提取的主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。
最小偏二乘回归方法(Partial Least Squares Regression：PLS)就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。
它于1983年由S.Wold和C.Albano等人首次提出并成功地应用在化学领域。
近十年来，偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展，己经广泛地应用在许多领域，如生物信息学、机器学习和文本分类等领域。
偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模，它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。
它不再是直接考虑因变量集合与自变量集合的回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量(又称成分)，然后对它们进行回归建模。
偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化(主成分分析)以及两组变量间的相关性分析(典型性关分析)，即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。
下面将简单地叙述偏最小二乘回归的基本原理。
偏最小二乘回归分析
偏最小二乘回归分析偏最小二乘回归分析（PartialLeastSquaresRegression，简称PLSR）是一种统计分析方法，它通过最小二乘法拟合变量间的关系来预测数据。
它可以在没有任何变量相关性、异方差假设和线性回归假设的情况下，推断出解释变量与被解释变量之间的关系。
PLSR的实质是利用原始变量的变量组合作为自变量，利用原始被解释变量的变量组合作为因变量，采用最小二乘法拟合变量之间的关系，进而推断出解释变量与被解释变量之间的关系，以及变量组合之间的关系。
PLSR能够有效地把来自大量解释变量的信息汇总到有限的因变量中，从而减少计算时间，并得到更好的预测结果。
尤其是当解释变量之间存在多重共线性时，PLSR能解决多重共线性的问题，也能够更好地拟合变量间的关系，从而获得更好的预测结果。
PLSR的应用在各种数据分析中都有一定的价值，如财务预测、市场调研及消费者行为研究等应用中都有所体现。
同样，PLSR也可以用于研究生物学遗传现象，帮助探索生物学相关变量之间的关系，从而为深入分析提供有价值的参考数据。
PLSR所涉及到的数学模型具有一定的复杂性，数据分析者在使用PLSR方法时，要注意解释变量和被解释变量之间是否存在强关联。
如果是强关联，PLSR分析可能会陷入过拟合，出现拟合不令人满意的预测结果。
同时，还要注意解释变量之间的关联性，以防止多重共线性的影响，否则PLSR的结果也可能不太理想。
因此，在使用PLSR进行数据分析之前，数据分析者应该首先分析出解释变量和被解释变量之间大致的关系，以及它们之间是否存在强关联或多重共线性；其次，数据分析者还要注意选择正确的变量组合，以保证PLSR结果的准确性。
总的来说，偏最小二乘回归分析是一种统计分析方法，它可以有效地减少计算时间，并能得到更好的预测结果，将被广泛用于各种数据分析中，但是必须注意变量的选择以及变量间的关系，以保证PLSR 结果的准确性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4
此方法的优点：
（4）偏最小二乘回归方法与其 他的建模方法相比，具有计算简单、 预测精度高，易于定性解释的优点。
5
多因变量偏最小二乘算法推导
首先将数据做标准化处理。
原自变量数据表 X(x1,x2,Lxp)np 经标准化后的数据矩阵记为
C o v t 1 ,u 1 V a r t 1 V a r u 1 r t 1 ,u 1 m a x
10
多因变量偏最小二乘算法推导
正规的数学表述应该是求解下 列优化问题，即
max
1,c1
E0
1,F0c1
s .t
T 1
c
T 1
1
c1
1 1
11
多因变量偏最小二乘算法推导
采用拉格朗日算法，记
第二步：用残差矩阵E 1 和F 1 取
代 E 0 和 F 0 。然后，求第二个轴 2 和 c 2 以及第二个成分 t 2 ，u 2 ，有
t2 E12
u2 F1c2
2t2,u2 2 TE1 TF 1c2
20
多因变量偏最小二乘算法推导
2 是对应于矩阵 E1T F1F1T E1 的最
大特征值
2 2
13
s
2
c1Tc1 1
0
（4）式
多因变量偏最小二乘算法推导
由上述四个式子可以推出
21 221 T E 0 T F 0 c 1E 01 ,F 0 c 1
记 12 12 2 1 TE 0 TF 0c1，所以 1 正是 优化问题的目标函数值。
14
多因变量偏最小二乘算法推导
把（1）和（2）式写成 E0TF0c1 11
E 0(E 0 1,L,E 0p)n p
原因变量数据表 Y(y1,y2,Lyq)n q 经标准化后的数据矩阵记
6
F 0(F 01,L,F 0q)n q
多因变量偏最小二乘算法推导
第一步：记 t 1是 E 0 的第一个成 分，t1 E01 ， 1是 E 0 的第一个轴，它 是一个单位向量,即有 1 1 。
的特征向量；
c
2
是对应
于矩阵
F1T E1E1T F1 的最大特征值
的 2
2
特征向量。
21
多因变量偏最小二乘算法推导
计算回归系数
p2
E
T 1
t
2
t2 2
r2
F
T 1
t
2
t2 2
因此，有回归方程
E1 t2p2T E2
F1 t2r2T F2
（8）式
22
多因变量偏最小二乘算法推导
如此计算下去，如果的 X 秩是 ， 则会m 有
多因变量偏最小二乘算法推导
另一方面，由于回归建模的需
要，又要求 t 1 对u 1 有最大的解释能
力，由典型相关分析的思路，t 1 与 u 1
的相关度应达到最大值，即
rt1,u1max
9
多因变量偏最小二乘算法推导
因此，综合起来，在偏最小二
乘回归中，我们要求 t 1 与 u 1 的协
方差达到最大，即
s 1 T E 0 T F 0 c 1 11 T 1 1 2 c 1 T c 1 1
对 s 分别求关于 1 ，c 1 ， 1 和 2 的偏导
数，并令之为零，有
12
多因变量偏最小二乘算法推导
s
1
E0TF0c12110
（1）式
s c1
F0TE0122c1
0（2）式
s
1
1T1
1
0
（3）式
t i 对某自变量 x j 的解释能力为
Rd(xj;ti)r2(xj,ti)
32
典型相关分析中的精度分析
t i 对某因变量y k 的解释能力为
Rd(yk;ti)r2(yk,ti)
t i 对X 的解释能力为
Rd(X;ti)1pkp1Rd(xk;ti)
33
t1,L ,th 对X 的解释能力为
h
Rd(X;t1,L,th) Rd(X;ti) i1
是使yˆ用h j i 全部样本点并取h
个
成分回归建模后，第 个i 样本点的
拟合值， yˆ h j是( i ) 在建模时删除样本 点 ，i
29
交叉有效性具体的步骤：
取 h 个成分回归建模后，再用此模
型计算的 y i j 的拟合值，记
p
pn
SSh SShj
(yij yˆhji)2
i1
j1i1
pn
35
谢谢！
讲演人：汤佳佳
36
同理，可得
16
F0TE0E0TF0c112c1
多因变量偏最小二乘算法推导
易知，c 1 是对应于矩阵 F0TE0E0TF0
的最大特征值 12 的单位特征向量。
求得轴 c 1 和 1 后，即可得到成
分 t1 E01，u1 F0c1 。然后，分别求
E
和
0
F
0
对 t 1 与 u 1 的三个回归方程
E 0t1p 1 T Ltm p m T
F 0 t1 r 1 T L tm r m T F m
由于 t1,L ,tm 均可以表示成 E01,L,E0p 的线性组合。
23
多因变量偏最小二乘算法推导
因此，（8）式还可以还原成
yk* F0k
关于
x
* j
E0
j
的回归方程形式，
即
y k *k 1 x 1 * L k p x * p F m k k1,2,L,q
t1,L ,th 对 x k 的解释能力为
h
Rd(xk;t1,L,th) Rd(xk;ti) i1
34
典型相关分析中的精度分析
t1,L ,th 对Y 的解释能力为
h
Rd(Y;t1,L,th) Rd(Y;ti) i1
t1,L ,th 对 y k 的解释能力为
h
Rd(yk;t1,L,th) Rd(yk;ti) i1
F m k 是残差矩阵 F m 的第k 列。
24
偏最小二乘回归的简化算法
（1）求矩阵 E0TF0F0TE0 最大特征值
所对应的单位特征向量 1 ，求成分 ，
得t1
t1 E01
E1 E0 t1p1T
其中
25
p1
E
T 0
t1
t1 2
偏最小二乘回归的简化算法
（2）求矩阵 E1TF0F0TE1 最大特征
F0TE01 1c1
将（6）代入（5），有
（5）式 （6）式
E0 TF0F0TE0 112 1 （7）式
15
多因变量偏最小二乘算法推导
易知， 1 是矩阵 E0TF0F0TE0的特征
向量，对应的特征值为
2 1
。
1
是目
标函数，它要求取最大值。
所以， 1 是对应于矩阵 E0TF0F0TE0 的最大特征值的单位特征向量。
17
多因变量偏最小二乘算法推导
E0 t1p1T E1 F0 u1q1T F1*
其中
F0 t1r1T F1
p1
E
T 0
t1
t1 2
r1
F
T 0
t1
t1 2
q1
F
T 0
u
1
u1 2
18
多因变量偏最小二乘算法推导
而 E 1 ，F 1 * ，F 1 分别是三个回归方程的 残差矩阵。
19
多因变量偏最小二乘算法推导
值所对应的单位特征向量 2 ，求成
分t 2 ，得
t2 E12
E2 E1t2p2T
26
其中
p2
E
简化算法
至第h步，求成分 ， th Eh1h h 是 EhT1F0F0TEh1 矩阵最大特征值所对应 的特征向量。
如果根据交叉有效性，确定共 抽取h个主成分 t1,L ,th 可以得到一 个满意的预测模型。
偏最小二乘回归方法
讲演人：
1
简言之
偏最小二乘回归是一种集多元 线性回归分析、典型相关分析和主 成分分析的基本功能为一体的新型 多元统计分析方法。
2
此方法的优点：
（1）能在自变量存在严重多重 相关性的条件下进行回归建模；
（2）允许在样本点个数少于自 变量个数的条件下进行回归建模；
3
此方法的优点：
记 u 1 是 F 0 的第一个成分 u1 F0c1 ， c 1 是 F 0 的第一个轴，它是一个单位 向量，即 c 1 1 。
7
多因变量偏最小二乘算法推导
如果要使 t 1 ，u 1 能很好的代表 X
与Y 中的数据变异信息，根据主成
分分析原理，应该有 Vart1max， Varu1max 。
8
27
偏最小二乘回归的简化算法
则求 F 0 在 t1,L ,th 上的普通最小二 乘回归方程为
F 0 t1 r 1 T t2 r 2 T L F m
其中
28
ri
F0Tti ti 2
,i
1,2,
h
交叉有效性具体的步骤：
记 y i j为原始数据，t1,t2,L tm 是在 偏最小二乘回归过程中提取的成分，
PRESSh
(yij yˆhj(i))2
j1 i1
30
Qh2
1
PRESSh SSh1
交叉有效性具体的步骤：
当 Qh2 0.0975即 时， PRESSh0.95SSh1 引进新的成分 会对t h 模型的预测能 力有明显的改善作用。