第十一章 偏最小二乘法
偏最小二乘法
什么是偏最小二乘偏最小二乘法是一种新型的多元统计数据分析方法，它于1983年由伍德(S.Wold)和阿巴诺(C.Albano)等人首次提出。
近几十年来，它在理论、方法和应用方面都得到了迅速的发展。
长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。
而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。
这是多元统计数据分析中的一个飞跃。
偏最小二乘法在统计应用中的重要性体现在以下几个方面：偏最小二乘法是一种多因变量对多自变量的回归建模方法。
偏最小二乘法可以较好的解决许多以往用普通多元回归无法解决的问题。
偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。
主成分回归的主要目的是要提取隐藏在矩阵X中的相关信息，然后用于预测变量Y的值。
这种做法可以保证让我们只使用那些独立变量，噪音将被消除，从而达到改善预测模型质量的目的。
但是，主成分回归仍然有一定的缺陷，当一些有用变量的相关性很小时，我们在选取主成分时就很容易把它们漏掉，使得最终的预测模型可靠性下降，如果我们对每一个成分进行挑选，那样又太困难了。
偏最小二乘回归可以解决这个问题。
它采用对变量X和Y都进行分解的方法，从变量X 和Y中同时提取成分(通常称为因子)，再将因子按照它们之间的相关性从大到小排列。
现在，我们要建立一个模型，我们只要决定选择几个因子参与建模就可以了。
偏最小二乘法的起源与发展H Wold作为PLS的创始人，在70年代的经济学研究中引入了偏最小二乘法进行路径分析，创建了非线性迭代偏最小二乘算法(Nonlinear Iterative Partial Least Squares algorithm，NIPALS)，至今仍然是PLS中最常用和核心的算法。
HW．old的儿子S Wold和C Albano等人在1983年提出了偏最小二乘回归的概念，用来解决计量化学中变量存在多重共线性，解释变量个数大于样本量的问题，如在光谱数据分析中。
偏最小二乘法
偏最小二乘法 ( PLS)是光谱多元定量校正最常用的一种方法 , 已被广泛应用 于近红外 、 红外 、拉曼 、核磁和质谱等波谱定量模型的建立 , 几乎成为光谱分析中建立线性定量校正模型的通用方法 〔1, 2〕 。
近年来 , 随着 PLS 方法在光谱分析尤其是分子光谱如近红外 、 红外和拉曼中应用 的深入开展 , PLS 方法还被用来解决模式识别 、定量校正模型适用性判断以及异常样本检测等定性分析问题 。
由于 PLS 方法同时从光谱阵和浓度阵中提取载荷和得分 , 克服主成分分析 ( PCA)方法没有利用浓度阵的缺点 , 可有效降维 , 并消除光谱间可能存在的复共线关系 , 因此取得令人非常满意的定性分析结果 〔3 ～ 5〕 。
本文主要介绍PLS 方法在光谱定性分析方面的原理及应用 实例 。
偏最小二乘方法(PLS-Partial Least Squares))是近年来发展起来的一种新的多元统计分析法, 现已成功地应用于分析化学, 如紫外光谱、气相色谱和电分析化学等等。
该种方法，在化合物结构-活性/性质相关性研究中是一种非常有用的手段。
如美国Tripos 公司用于化合物三维构效关系研究的CoMFA (Comparative Molecular Field Analysis)方法, 其中，数据统计处理部分主要是PLS 。
在PLS 方法中用的是替潜变量，其数学基础是主成分分析。
替潜变量的个数一般少于原自变量的个数，所以PLS 特别适用于自变量的个数多于试样个数的情况。
在此种情况下，亦可运用主成分回归方法，但不能够运用一般的多元回归分析，因为一般多元回归分析要求试样的个数必须多于自变量的个数。
§§ 6.3.1 基本原理6.3 偏最小二乘（PLS ）为了叙述上的方便，我们首先引进“因子”的概念。
一个因子为原来变量的线性组合，所以矩阵的某一主成分即为一因子，而某矩阵的诸主成分是彼此相互正交的，但因子不一定，因为一因子可由某一成分经坐标旋转而得。
偏最小二乘课件
20/45
2019/3/13
算法流程
每次舍去第 i 个观测数据（ i 1,2, ，对余下 , n）
的 n 1个观测数据用偏最小二乘回归方法建模，并考 虑抽取 h （ h r ）个成分后拟合的回归式，然后把舍 去的自变量组第 i 个观测数据代入所拟合的回归方程 式，得到 y j ( j 1,2, ˆ ( h) 。 b
5/45
2019/3/13
简介
偏最小二乘回归分析在建模过程中集成了主成分分 析、典型相关分析和线性回归分析方法的特点，因此在 分析结果中， 除了可以提供一个更为合理的回归模型外， 还可以同时完成一些类似于主成分分析和典型相关分析 的研究内容，提供一些更丰富、深入的信息。
6/45
2019/3/13
简介
（6）
16/45
2019/3/13
算法流程
（3）用残差阵 A1 和 B1 代替 A和 B 重复以上步骤。 ˆ u ˆ， ˆ u ˆ1 (1)T ， B ˆ1 (1)T ，则残差阵 E1 A A 记A ˆ 。如果残差阵 B 中元素的绝对值近似为 0， B1 B B 1 则认为用第一个成分建立的回归式精度已满足需要 了， 可以停止抽取成分。 否则用残差阵 A1 和 B1 代替 A和 B 重复以上步骤即得
4. 否则继续对第二成分的提取，直到能达到满意的精度 为止。 5. 若最终对自变量集提取 r 个成分 u1 , u2 , 二乘回归将建立 y1 , 6. 最后表示为 y1 ,
, ur ，偏最小
, y p 与 u1 , u2 ,
, ur 的回归方程。
, y p 与原自变量的回归方程，即偏
最小二乘回归方程式。
分别为 X ,Y 的第二对成分的负荷量。这时有 (1)T ( 2)T ˆ ˆ A u u A2 , 1 2 (1)T ( 2)T ˆ ˆ B u u B2 . 1 2
偏最小二乘法
for i=1:n %以下计算 w，w*和 t 的得分向量，
matrix=e0'*f0*f0'*e0; [vec,val]=eig(matrix); %求特征值和特征向量 val=diag(val); %提出对角线元素
[val,ind]=sort(val,'descend'); w(:,i)=vec(:,ind(1)); %提出最大特征值对应的特征向量 w_star(:,i)=chg*w(:,i); %计算 w*的取值 t(:,i)=e0*w(:,i); %计算成分 ti 的得分 alpha=e0'*t(:,i)/(t(:,i)'*t(:,i)); %计算 alpha_i chg=chg*(eye(n)-w(:,i)*alpha'); %计算 w 到 w*的变换矩阵 e=e0-t(:,i)*alpha'; %计算残差矩阵
在上式中， p1
X
T α
t1 2
， s1
YαT t1 2
； X β 、Yβ 为回归方程的残差矩阵。
（2）第2个成分 t2 的提取
以 X β 取代 X α ，以Yβ 取代Yα ，用求 t1 的方法，求到第2个轴 w2 以及第2个成分 t2 。
w2
X
T β
Yβ
X
T β
Yβ
同样， X β 、Yβ 分别对 t2 进行回归，得到 X β 、Yβ 对 t2 的回归方程： X β t2 p2T X δ
6.119 6.9293 6.934 6.1524 7.4984 7.35 7.1299 7.8258 8.9597 8.1966 8.5688 8.5383 9.3404 9.2511 9.4694 9.9961 10.5853 10.616 10.0119 10.0782 11.2238 11.4733 11.3371 11.4427 12.7513 12.3517 12.1622 12.1067 13.2551 13.8308 13.7943 13.9619
偏最小二乘法(PLS)简介
偏最小二乘法（PLS）简介偏最小二乘法（PLS）简介简介偏最小二乘法是一种新型的多元统计数据分析方法，它于1983年由伍德(S.Wold)和阿巴诺(C.Albano)等人首次提出。
近几十年来，它在理论、方法和应用方面都得到了迅速的发展。
偏最小二乘法长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。
而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。
这是多元统计数据分析中的一个飞跃。
偏最小二乘法在统计应用中的重要性体现在以下几个方面：偏最小二乘法是一种多因变量对多自变量的回归建模方法。
偏最小二乘法可以较好的解决许多以往用普通多元回归无法解决的问题。
偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。
主成分回归的主要目的是要提取隐藏在矩阵X中的相关信息，然后用于预测变量Y的值。
这种做法可以保证让我们只使用那些独立变量，噪音将被消除，从而达到改善预测模型质量的目的。
但是，主成分回归仍然有一定的缺陷，当一些有用变量的相关性很小时，我们在选取主成分时就很容易把它们漏掉，使得最终的预测模型可靠性下降，如果我们对每一个成分进行挑选，那样又太困难了。
偏最小二乘回归可以解决这个问题。
它采用对变量X和Y都进行分解的方法，从变量X和Y中同时提取成分(通常称为因子)，再将因子按照它们之间的相关性从大到小排列。
现在，我们要建立一个模型，我们只要决定选择几个因子参与建模就可以了基本概念偏最小二乘回归是对多元线性回归模型的一种扩展，在其最简单的形式中，只用一个线性模型来描述独立变量Y与预测变量组X之间的关系:Y = b0 + b1X1 + b2X2 + ... + bpXp在方程中，b0是截距，bi的值是数据点1到p的回归系数。
例如，我们可以认为人的体重是他的身高、性别的函数，并且从各自的样本点中估计出回归系数，之后，我们从测得的身高及性别中可以预测出某人的大致体重。
第十一章 偏最小二乘法解剖
一、 偏最小二乘回归的建模原理和方法
（一）建模原理
设有 q个因变量{ y1, y2,…, yq}和p个自变量 { x1, x2,…, xp}。为了讨论两组变量之间的关系， 观测了n个样本点。偏最小二乘回归开始与典型 相关分析相同，分别在X与Y中提取出主成分。 设 { t1, t2,…, tr}为{ x1, x2,…, xp}的主成分， { u1, u2,…, ur}为{ y1, y2,…, yq}，其中r=min（p，q）。
（2）偏最小二乘回归可以较好地解决许多以往用 普通多元回归无法解决的问题。
在普通多元线形回归的应用中，我们常受到许
多限制。最典型的问题就是自变量之间的多重共线 性。如果采用普通的最小二乘方法，这种变量多重 相关性就会严重危害参数估计，扩大模型误差，并 破坏模型的稳定性。变量多重相关问题十分复杂， 长期以来在理论和方法上都未给出满意的答案，这 一直困扰着从事实际系统分析的工作人员。偏最小 二乘回归中开辟了一种有效的技术途径，它利用对 系统中的数据信息进行分解和筛选的方式，提取对 因变量的解释性最强的综合变量，辨识系统中的信 息与噪声，从而更好地克服变量多重相关性在系统 建模中的不良作用。
2.建立回归方程
分别求X0和Y0对t1 和u1的两个回归方程
X0 t1α1 E1 Y0 t1β1 F1
根据最小二乘估计的原理，则
α1
t1t1 1 t1X0
X0t1
t1t1
β1
t1t1
1 t1Y0
Y0t1 t1t1
称1为模型效应载荷量。
3.用残差代替X0和Y0的进行以上的工作
在第二步工作中，由于第一对主成分并未将 相关的信息提取完，所以需要再重复第一步工作， 在残差矩阵E0和F0中再提取第二对主成分。
偏最小二乘法基本知识
偏最小二乘法（PLS）简介-数理统计偏最小二乘法partial least square method是一种新型的多元统计数据分析方法，它于1983年由伍德(S.Wold)和阿巴诺(C.Albano)等人首次提出。
近几十年来，它在理论、方法和应用方面都得到了迅速的发展。
偏最小二乘法长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。
而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。
这是多元统计数据分析中的一个飞跃。
偏最小二乘法在统计应用中的重要性体现在以下几个方面：偏最小二乘法是一种多因变量对多自变量的回归建模方法。
偏最小二乘法可以较好的解决许多以往用普通多元回归无法解决的问题。
偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。
主成分回归的主要目的是要提取隐藏在矩阵X中的相关信息，然后用于预测变量Y的值。
这种做法可以保证让我们只使用那些独立变量，噪音将被消除，从而达到改善预测模型质量的目的。
但是，主成分回归仍然有一定的缺陷，当一些有用变量的相关性很小时，我们在选取主成分时就很容易把它们漏掉，使得最终的预测模型可靠性下降，如果我们对每一个成分进行挑选，那样又太困难了。
偏最小二乘回归可以解决这个问题。
它采用对变量X和Y都进行分解的方法，从变量X和Y 中同时提取成分(通常称为因子)，再将因子按照它们之间的相关性从大到小排列。
现在，我们要建立一个模型，我们只要决定选择几个因子参与建模就可以了基本概念偏最小二乘回归是对多元线性回归模型的一种扩展，在其最简单的形式中，只用一个线性模型来描述独立变量Y与预测变量组X之间的关系:Y= b0 + b1X1 + b2X2 + ... + bpXp在方程中，b0是截距，bi的值是数据点1到p的回归系数。
例如，我们可以认为人的体重是他的身高、性别的函数，并且从各自的样本点中估计出回归系数，之后，我们从测得的身高及性别中可以预测出某人的大致体重。
偏最小二乘法
偏最小二乘法( PLS)是光谱多元定量校正最常用的一种方法, 已被广泛应用于近红外、红外、拉曼、核磁和质谱等波谱定量模型的建立, 几乎成为光谱分析中建立线性定量校正模型的通用方法〔1, 2〕。
近年来, 随着PLS方法在光谱分析尤其是分子光谱如近红外、红外和拉曼中应用的深入开展, PLS 方法还被用来解决模式识别、定量校正模型适用性判断以及异常样本检测等定性分析问题。
由于PLS方法同时从光谱阵和浓度阵中提取载荷和得分, 克服主成分分析( PCA)方法没有利用浓度阵的缺点, 可有效降维, 并消除光谱间可能存在的复共线关系, 因此取得令人非常满意的定性分析结果〔3 ～5〕。
本文主要介绍PLS方法在光谱定性分析方面的原理及应用实例。
偏最小二乘方法(PLS-Partial Least Squares))是近年来发展起来的一种新的多元统计分析法, 现已成功地应用于分析化学, 如紫外光谱、气相色谱和电分析化学等等。
该种方法，在化合物结构-活性/性质相关性研究中是一种非常有用的手段。
如美国Tripos公司用于化合物三维构效关系研究的CoMFA (Comparative Molecular Field Analysis)方法, 其中，数据统计处理部分主要是PLS。
在PLS方法中用的是替潜变量，其数学基础是主成分分析。
替潜变量的个数一般少于原自变量的个数，所以PLS特别适用于自变量的个数多于试样个数的情况。
在此种情况下，亦可运用主成分回归方法，但不能够运用一般的多元回归分析，因为一般多元回归分析要求试样的个数必须多于自变量的个数。
§§ 6.3.1 基本原理6.3 偏最小二乘（PLS）为了叙述上的方便，我们首先引进“因子”的概念。
一个因子为原来变量的线性组合，所以矩阵的某一主成分即为一因子，而某矩阵的诸主成分是彼此相互正交的，但因子不一定，因为一因子可由某一成分经坐标旋转而得。
在主成分回归中，第一步，在矩阵X的本征矢量或因子数测试中，所处理的仅为X矩阵，而对于矩阵Y 中信息并未考虑。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
u1 Y0c1
注意这里t1和u1分别为n维向量，是n个 个案在两组变量的主成分的取值。
2.建立回归方程
分别求X0和Y021 22 w'1X Y0c1 0
则 记
X Y0c1 1w1 0 0 Y0 X0w1 1c1 0
可得
X Y0Y0 X0w1 w1 0
2 1
Y 0 X0 X 0Y0c1 c
' '
2 1 1
可见,w1是矩阵的 X0Y0Y0X0 特征向量,对应 12 。所以w1是对应于矩阵 X0Y0Y0X0 的特征值为 12 的单位特征向量。而另一方面, 最大特征值 ' ' 12 的 c1是对应于 Y 0 X0 X 0Y0 矩阵最大特征值 单位特征向量c1。
求X组变量的第一主成分t1，w1为第一主成分 的系数向量， w1是一个单位向量。 t1=X0w1 求Y组变量的第一主成分t1，c1为第一主成分 的系数向量， c1是一个单位向量。 u1=Y0c1 有Var(t1)=max Var(u1)=max (t1, u1)=max
因此综合起来，在偏最小二乘回归中， 我们要求与的协方差达到最大，既
一、 偏最小二乘回归的建模原理和方法 （一）建模原理
设有 q个因变量{ y1, y2,…, yq}和p个自变量 { x1, x2,…, xp}。为了讨论两组变量之间的关系， 观测了n个样本点。偏最小二乘回归开始与典型 相关分析相同，分别在X与Y中提取出主成分。 设 { t1, t2,…, tr}为{ x1, x2,…, xp}的主成分， { u1, u2,…, ur}为{ y1, y2,…, yq}，其中r=min（p，q）。
max X0 w1 , Y0c1 w1 ,c1 w1w1 1 cc 1 11
（1）求w1和c1
采用拉格朗日乘数法，讨论有约束条件的极值问题。
Q(w1, c1 ) w1X0Y0c1 1 (w1w1 1) 2 (c1c1 1)
(1) t1和u1应尽可能大地携带他们各自数据表 中的变异信息; (2) t1和u1的相关程度能够达到最大。
这两个要求表明， t1和 u1应尽可能好的代表 数据表X和Y,同时自变量的成分t1对因变量的成 分u1又有最强的解释能力。
在第一个成分t1和u1被提取后，偏最小二 乘回归分别实施X对t1的回归以及 Y对t1的回归。 如果回归方程已经达到满意的精度，则算法终 止；否则,将利用 X被t1解释后的残余信息以 及Y 被t1 解释后的残余信息进行第二轮的成 分提取。如此往复，直到能达到一个较满意的 精度为止。若最终对 X共提取了 m个成分{ t1, t2,…, tr}，偏最小二乘将通过实施Y1， Y2， …，Yq对{ t1, t2,…, tr}的回归，然后再 表达成YK关于原变量X1，X2， …，Xp 的回归 方程，其中k=1，2，…，q 。
（二）计算方法推导
首先将数据做标准化处理。设X组变量标准化 的观测值矩阵为 x11 x12 x1 p
x 21 X0 xn1 x22 x2 p xn 2 xnp
设Y组变量标准化的观测值矩阵为
y11 y 21 Y0 yn1 y12 y1 p y22 y2 p yn 2 ynp
第十一章 偏最小二乘法
偏最小二乘回归是一种新型的多元统计数据分 析方法，它与1983年由伍德和阿巴诺等人首次提出。 近十年来，它在理论、方法和应用方面都得到了迅 速的发展。密西根大学的弗耐尔教授称偏最小二乘 回归为第二代回归分析方法。 偏最小二乘回归方法在统计应用中的重要性主要 的有以下几个方面： （1）偏最小二乘回归是一种多因变量对多自变量 的回归建模方法。 （2）偏最小二乘回归可以较好地解决许多以往用 普通多元回归无法解决的问题。
对Q分别求关于c1，w2，1，2和的偏导并令 之为零，有
Q X Y0c1 21w1 0 0 w1 Q Y0 X0 w1 22c1 0 c1
Q w1w1 1 0 1 Q c1c1 1 0 2
可以推出
0 w1X Y0c1 21w1w1 0 c1F0 X0w1 22c1c1 0 0 w1X Y0c1 21 22
（3）偏最小二乘回归之所以被称为第二代 回归方法，还由于它可以实现多种数据分析 方法的综合应用。
偏最小二乘回归=多元线性回归分析+典型相关分析+ 主成分分析
由于偏最小二乘回归在建模的同时实现了数 据结构的简化，因此，可以在二维平面图上对多 维数据的特性进行观察，这使得偏最小二乘回归 分析的图形功能十分强大。在一次偏最小二乘回 归分析计算后，不但可以得到多因变量对多自变 量的回归模型，而且可以在平面图上直接观察两 组变量之间的相关关系，以及观察样本点间的相 似性结构。这种高维数据多个层面的可视见性， 可以使数据系统的分析内容更加丰富，同时又可 以对所建立的回归模型给予许多更详细深入的实 际解释。
在普通多元线形回归的应用中，我们常受到许 多限制。最典型的问题就是自变量之间的多重共线 性。如果采用普通的最小二乘方法，这种变量多重 相关性就会严重危害参数估计，扩大模型误差，并 破坏模型的稳定性。变量多重相关问题十分复杂， 长期以来在理论和方法上都未给出满意的答案，这 一直困扰着从事实际系统分析的工作人员。偏最小 二乘回归中开辟了一种有效的技术途径，它利用对 系统中的数据信息进行分解和筛选的方式，提取对 因变量的解释性最强的综合变量，辨识系统中的信 息与噪声，从而更好地克服变量多重相关性在系统 建模中的不良作用。