正交回归(正交多项式回归)
正交多项式回归设计及参数设计
• 配一个4次多项式的回归方程
ˆ b0 b1x b2 x2 +b3 x3 +b4 x4 y
• 将x变为一组标准等距点x’（1，2，…，7） • 利用n=7做正交多项式，则回归方程变为
x 16 x 2
ˆ b0 b11 ( x) b22 ( x)+b33 ( x)+b44 ( x) y b0 b111 ( x) b22 2 ( x)+b333 ( x)+b44 4 ( x)
b0 y b11 ( x) b22 ( x) L bk k ( x)
• 为简化计算，同时令 （即正交性）
x 0, i 1, 2,L k x x 0, i j
t 1 i t j t t 1 n i t
n
• 求解偏回归系数和截距
y b0 b1x b2 x2 +L +bk xk
• 设ψ1（x）、 ψ2（x）、…、 ψk（x）分别为x的一、二、 及k次多项式，则可见
y b0 b11 ( x) b22 ( x)+L +bk k ( x)
Cont…
• k次线性回归方程的偏回归系数由正规方程组决定
lk1b1 lk 2b2 L lkk bk lky
• 每次多项式φi（x）的系数bi及相应的Bi只与yt及φi（x）有 关，而不随其他各次多项式的增减而变化；在整个回归中 多配一项φi（x）将使回归平方和增加一项biBi，故第i次多 项式φi（x）的效应为Pi=biBi=Bi² /si，而回归平方和则是各 次效应的和 • 方差分析表
Cont…
• 为考察甲醛浓度x与缩醛化度y之间的定量关系，对7种不 同甲醛浓度各进行了若干次试验，测出各种浓度的平均缩 醛化度
回归正交组合试验设计PPT课件
第11页/共83页
3.2 一次回归正交设计及统计分析
表3-2 3元一次回归正交设计试验方案
试验号
1 2 3 4 5 6 7 8 9 … N
1 x1 (Z1)
1 (17) 1 (17) 1 (17) 1 (17) -1 (7) -1 (7) -1 (7) -1 (7) 0 (12)
… 0 (12)
2 x2 ( Z2 )
1 (22.6) 1 (22.6) -1 (9.4) -1 (9.4) 1 (22.6) 1 (22.6) -1 (9.4) -1 (9.4) 0 (16)
x1m1x1m
x2 m 1 x2 m
xNm 1 xNm
第15页/共83页
3.2 一次回归正交设计及统计分析
记： Y=(y1,y2,…,yN)′ β=[β0,β1, β2,… , βm , β12 , β13 , …， β(m-1)m]′ ε=(ε1,ε2,…,εN )′
则(3-4)的矩阵形式为： Y = X β +ε
m
ya j xaj ij xaj xaj a
j 1
ij
(a＝1，2，…，N， i<j) (3-4)
其结构矩阵 X 为：
1 x11 x12 X 1 x21 x22
1 xN1 xN 2
x1m x11x12 x11x13 x2m x21x22 x21x23
xNm xN1xN 2 xN1xN 3
（3-2）
第6页/共83页
2）对因素Zj的各水平进行编码
① 编码过程 即对Zj的各水平进行线性变换，其计算式为：
第七章 回归正交设计
y 26. 9 28. 3 28. 7 28. 9 29. 6 30. 0 30. 4
y2 723. 61 800. 89 823. 69 835. 21 876. 16 900. 00 924. 16
l iy
k
2
(k ) yk
14.8 28 0. 5286 7.823 1
y 202 .8
(1 )
z 16 2
ˆ (2) y ˆ (1) b 2 2 ( x ) y ˆ (1 ) 0 . 04762 ( x 2 8 x 12 ) y
0 . 04762 z 16 2 z 16 12 8 2 2
根据表 7. 2. 2 的计算，得回归计算 ˆ (1 ) b 0 b1 1 ( x ) 28 . 971 0 . 5286 ( x 4 ) y
26 . 857 0 . 525 x 26 . 857 0 . 525
=22. 628+0. 2625z. 或 =
ˆ y
方差分析
方差来源
平方和
自由度
平均平方和 7. 823 0. 190 0. 135 0. 131 0. 0175
F
显著性 **
一次 二次 回归 三次 四次
7 . 716 Q1 0 . 190 Q2 8 . 279 Q3 0 . 135 Q4 0 . 137
其中 k (x) x a1k x 是l 次待定系数多项式
k k 1
a 2k
k 2
a k 1,k x a kk , (k 1,2,p)
y b0 b1 φ (x) b2φ (x) bpφ 1 2 p(x)
三因素三水平正交多项式回归求解案例
三因素三水平正交多项式回归求解案例
1、一个人问另一个人：“你会数钱吗？”另一个人说：“会啊。
”第一个人说：“那行，我请客。
”
2、女孩子对男孩子说：“你敢不敢给我买一只鳄鱼皮包？”男
孩子回答：“我敢，但是我买不起。
”
3、有一个人走进商店，看到一个滑稽的小丑挂在墙上，就问店员：“这个小丑卖多少钱？”店员回答：“我们不卖小丑，只卖墙。
”
4、两个人一起在看电视，一看到广告就跳跳广告，一看到电视
剧就跳跳电视剧。
对于这种奇怪行为，另一个人问：“你到底跳的是
什么啊？”他回答：“四肢。
”
5、一个人上了一堂叫做“怎么做一个拖鞋”的课程，结果他考
试不及格。
为什么呢？因为他漏掉了拖。
6、两个人去参观博物馆。
一个人问另一个人：“你知道这个恐
龙有多大吗？”他回答：“我猜应该有一辆卡车那么大吧。
”接着，
他们走到了展览馆的商店，看到了一个迷你版的恐龙，那个人问另一
个人：“你看到那个恐龙了吗？”他回答：“看到了，你是不是觉得
这辆卡车比我想象的还要小？”。
正交回归
正交回归
正交回归用于检验两个连续变量之间的线性关系：一个响应 (Y) 和一个预测变量 (X)。
正交回归经常在您希望知道临床化学和实验室设置中的两种设备或两种方法是否测量相同的内容时使用。
与简单线性回归不同，正交回归中的响应和预测变量均包含测量误差。
在简单回归中，只有响应变量包含测量误差。
如果在 X 和 Y 都包含测量误差时使用最小二乘回归分析数据，斜率可能会出现偏倚，从而影响结果的有效性。
正交回归提供与数据“最佳”拟合的线。
然后可将这条线用于：
·确定两种检验方法是否等价
·检验响应变量如何随预测变量的变化而变化
·针对预测变量 (X) 预测响应变量 (Y) 的值
在正交回归中，最佳拟合线就是最小化标绘点与直线之间的加权正交距离的线。
如果误差方差比为 1，加权距离为 Euclidean 距离。
在正交回归中，必须满足以下假定：
·预测变量和响应分别包含一个表示为 x 和 y 的固定未知数量以及一个误差分量。
·误差项为独立的项。
·误差项的均值为零而且包含恒定方差。
·预测变量和响应呈线性相关。
数值分析-正交多项式
代入 x cos , 即得递推关系式.
(2) 正交性
0, m n,
11
1
1
x
2Tm
(
x)Tn
(
x
)dx
/
2, ,
m n 0, m n 0.
(2.12)
(3) 奇偶性 Tn( x)当n为奇数时为奇函数，且只含x的奇次幂; 当n为偶数时为偶函数，且只含x的偶次幂.
f
(n1) (x) ||
对 于 一 般 区 间 [a,b] 上 的 插 值 ， 只 要 利 用 变 换
x 1 [(b a)t a b]即可得到相应结果，此时插值节点为 2
xk
ba 2
cos 2k 1
2(n 1)
a
b, 2
k 0,1, n
例：求 f (x) ex在[0,1]上的四次拉格朗日插值多项式L4 (x)，
例如，三角函数族 1,cos x,sin x,cos 2x,sin 2x,,
为[ , ]上的正交函数族, (1,1) 2 ,(cos kx,cos kx) (sin kx,sin kx) ,其他内积 0.
定义6 设pn( x)是[a,b]上首项系数an 0的n次多项式, ( x)
xk
cos 2k 1 ,
2n
k 1,2, n
和n 1个极值点(包括端点)
xk
cos
k
2n
,
k 0,1,2, n
这两组点称为切比雪夫点，它们在插值中有重要作用.
利用切比雪夫点做插值，可使插值区间最大误差最小化. 下面设插值点 x0 , x1, xn [1,1], f Cn1[1,1]，L(x)为相应的 n 次拉格朗日多项式.
r语言 多元正交多项式回归
r语言多元正交多项式回归R语言是一种广泛使用的编程语言和数据分析工具。
多元正交多项式回归是R语言中的一种回归分析方法。
正交多项式回归是一种非参数回归方法，常常用于设计实验和建立测试预测模型。
在正交多项式回归中，使用正交多项式代替原始多项式作为回归变量的基础，可显著降低模型的复杂度和偏差。
多元正交多项式回归可以用于建立多个自变量和一个因变量之间的回归关系，该方法可以帮助研究人员发现变量之间的相互作用和非线性关系，提高回归模型的预测能力。
在R语言中，可以使用poly()函数来执行正交多项式回归。
下面是多元正交多项式回归的R语言代码示例。
```R# 加载数据data(mtcars)# 建立多元正交多项式回归模型model <- lm(mpg ~ poly(hp, 2, raw = TRUE) + poly(disp, 2, raw = TRUE), data = mtcars)# 查看回归模型的摘要信息summary(model)# 绘制回归模型的拟合图plot(model)```在上述代码中，我们使用了mtcars数据集，并建立了mpg（每加仑英里数）和hp（发动机马力）以及disp（排量）之间的回归关系。
poly()函数可以将原始变量转换为正交多项式，并使用raw = TRUE参数来指定使用原始变量而不是标准化变量。
lm()函数可以建立多元线性回归模型，其中mpg是因变量，hp和disp是自变量。
执行summary()函数可以获得回归模型的摘要信息，包括拟合优度、方差分解、回归系数和显著性等统计指标。
最后，我们使用plot()函数绘制回归模型的拟合图，可视化回归模型的拟合效果。
综上所述，多元正交多项式回归是R语言中常用的回归分析方法之一，可以用于研究多个自变量和一个因变量之间的回归关系，并显著提高回归模型的拟合能力。
通过上述代码示例，我们可以看到如何在R语言中使用这种方法来建立回归模型，并获得模型的统计摘要和拟合图。
[资料]正交回归（正交多项式回归）
![[资料]正交回归（正交多项式回归）](https://img.taocdn.com/s3/m/29b98fe1bb0d4a7302768e9951e79b896802683c.png)
正交回归（正交多项式回归）多项式回归虽然是一种有效的统计方法，但这种方法存在着两个缺点：一是计算量较大，特别是当自变量个数较多，或者自变量幂较高时，计算量迅速增加；二是回归系数间存在着相关性，从而剔除一个变量后还必须重新计算求出回归系数。
当自变量x的取值是等间隔时，我们可以利用正交性原理有效地克服上述缺点。
这种多项式回归方法就是本节将要介绍的正交多项式回归。
一、正交多项式回归的数学模型设变量y和x的n组观测数据服从以下k次多项式(2-4-17)令(2-4-18)…分别是x的一次、二次,…k次多项式，a ij是一些适当选择的常数，如何选择将在下面讨论(i=1,2,…，n)。
将(2-4-18)式代入(2-4-17)式，则有(2-4-19)比较(2-4-19)和(2-4-17)式可知，二者系数间存在简单的函数关系，只要求出，就可以求出。
若把…看作新的自变量，则(2-4-19)式就成为一个k元线性模型，其结构矩阵为(2-4-20)正规方程为(2-4-21)(2-4-22)其中在上节中我们遇到的困难是解正规方程系数矩阵的工作量太大，如果我们有办法使其对角线上的元素不为零，而其余元素均为零，那么计算就大大简化了，而且同时消去了系数间的相关性。
对于…我们可以通过选择系数a10,a21,a20,…,a k,k-i,…,a k0使得(2-4-23)（2-4-24）从而使则正规方程组为(2-4-29)回归系数为(2-4-30)满足(2-4-23)和(2-4-24)式的多项式组…我们称之为正交多项式。
显然这里关键的问题是如何找出一组正交多项式。
换言之，就是如何选择系数a10,a21,a20,…,a k,k-i,…,a k0使(2-4-23)和(2-4-24)式成立。
在正交多项式回归中自变量的选择是等间隔的，设间隔为h,x0=a, 则(2-4-31)若令(2-4-32)则(2-4-33)由此可见，是1至n的正整数。
只要我们用代替x作为自变量，问题就变得简单了。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
正交回归（正交多项式回归）
多项式回归虽然是一种有效的统计方法，但这种方法存在着两个缺点：一是计算量较大，特别是当自变量个数较多，或者自变量幂较高时，计算量迅速增加；二是回归系数间存在着相关性，从而剔除一个变量后还必须重新计算求出回归系数。
当自变量x的取值是等间隔时，我们可以利用正交性原理有效地克服上述缺点。
这种多项式回归方法就是本节将要介绍的正交多项式回归。
一、正交多项式回归的数学模型
设变量y和x的n组观测数据服从以下k次多项式
(2-4-17)
令
(2-4-18)
…分别是x的一次、二次,…k次多项式，a ij是一些适当选择的常数，如何选择将在下面讨论(i=1,2,…，n)。
将(2-4-18)式代入(2-4-17)式，则有
(2-4-19)
比较(2-4-19)和(2-4-17)式可知，二者系数间存在简单的函数关系，只要求出，就可以求出。
若把…看作新的自变量，则(2-4-19)式就成为一个k元线性模型，其结构矩阵为
(2-4-20) 正规方程为
(2-4-21)
(2-4-22) 其中
在上节中我们遇到的困难是解正规方程系数矩阵的工作量太大，如果我们有办法使其对角线上的元素不为零，而其余元素均为零，那么计算就大大简化了，而且同时消去了系数间的相关性。
对于…我们可以通过选择系数a10,a21,a20,…,a k,k-,…,a k0使得
i
(2-4-23)
（2-4-24）
则正规方程组为
(2-4-29)
回归系数为
(2-4-30)
满足(2-4-23)和(2-4-24)式的多项式组…我们称之为正交多项式。
显然这里关键的问题是如何找出一组正交多项式。
换言之，就是如何选择系数a10,a21,a20,…,a k,k-i,…,a k0使(2-4-23)和(2-4-24)式成立。
在正交多项式回归中自变量的选择是等间隔的，设间隔为h,x0=a, 则
(2-4-31)
(2-4-32)
则
(2-4-33)
由此可见，是1至n的正整数。
只要我们用代替x作为自变量，问题就变得简单了。
在条件许可时，为简便起见我们在选取自变量时可直接取
x1=1,x2=2,…，x n=n。
当x1=1,x2=2,…，x n=n时有
这时可验证以下多项式是正交的，即
(2-4-34)
显然，当x取正整数时，不一定是整数，为了克服这给计算上带来的困难，取
(2-4-35)
为这样一个系数，它使x取正整数时是整数。
可以验证用
正交多项式代替所求得的回归方程与用正交多项式
所求得的回归方程是完全一样的。
对于正交多项式有
(2-4-36)
不同的n相对应的,在时的值以及S i值都已制成正交多项式表(见附录)，根据正交多项式表，可以计算出回归方程的系数。
令
(2-4-37)
则
回归方程为
(2-4-40)
由于正交多项式回归系数之间不存在相关性，因此某一项如果不显著，只要将它剔除即可，而不必对整个回归方程重新计算。
二、回归方程与回归系数的显著性检验
正交多项式回归方程与回归系数的显著性检验可利用正交多项式的性质按表2-4-5进行。
经检验不显著的高次项可以剔除，将其效应并入残差平方和，自由度也同时并入，如果对回归方程精度不满意，可以增加高次项，而已经计算出的结果不必重算。
表2-4-5 正交多项式回归方差分析表
一、应用举例
我们仍以例2-4-2为例讨论正交多项回归的应用。
由图2-4-3我们知道，y是x的二次函数，现在我们利用正交多项式方法配一个三次多项式。
首先做变换其中a=36.5,h=0.5,则
然后查正交多项式表，将n=13表中数据抄录下来。
计算：
将以上结果列于计算表，见表2-4-6。
表2-4-6 计算表
由表2-4-6可得
S总＝L yy=
S残＝L yy-S回＝L yy－=0.8139
b0=
方差分析结果列于表2-4-7。
表2-4-7 方差分析表
查F分布表，F0.01(1,9)=10.6,F0.05(1,9)=5.12，对照表2-4-7可知，一次项显著，二次项高度显著，三次项不显著，故可将三次项剔除，并将三次项的偏回归平方和并入残差项。
多项式回归方程为
为了利用回归方程进行予报和控制，常需要求出的估计值。
当存在不显著项时，估计方法如下：
本例中
故
二、正交多项式回归分析程序框图
1.数学模型
2.变量及数组说明
J－正确读入数据的控制变量
N－试验组数
M－所取正交多项式项数
X(I)－存自变量数值
Y(I)－存因变量数值
Z(I)－存Y(I)的平方项
E(I,1)－存在正交多项式一次项
E(I,2)－存在正交多项式二次项
E(I,3)－存在正交多项式三次项(其中I=1,…N)
S(J)－结构矩阵逆矩阵元素J=1,2,3 B(J)－常数项矩阵B J=1,2,3
D(J)－回归系数J=0,1,2,3
Q(J)－偏回归平方和J=0,1,2,3
S0－剩余平方和
S－标准离差
S1－总平方和
F(J)－F检验值
3.程序框图：。