第九章_回归的旋转设计
合集下载
第九章 回归分析
系数：
参数a、b的最小二乘估计
A good
line is one that minimizes the sum of squared differences between the points and the line.
根据推导，
a y bx
( x x )( y y ) b (x x)
Multiple Regression
R2adj - “adjusted R-square”
R2是一个受自变量个数与样本规模之比（k:n）影响的系数，一般是1：10 以上为好。当这个比值小于1：5时，R2倾向于高估实际的拟合的程度。 Takes into account the number of regressors in the model
X的变异
r2
Y的变异
Simple Regression
R2 - “Goodness of fit”
For simple regression, R2 is the square of the correlation coefficient
Reflects variance accounted for in data by the best-fit line
第九章 多元回归分析
浙江师范大学教育学院心理系
徐长江 xucj@
纲要
回归分析的基本原理
一元回归分析 多元回归分析
多元回归分析的方法 多元回归分析的实现
回归分析的目的
设法找出变量间的依存(数量)关系, 用函数 关系式表达出来
Example: Height vs Weight
Takes values between 0 (0%) and 1 (100%) Frequently expressed as percentage, rather than decimal
第九章 复习-方差分析及回归分析
s
n j X . j nቤተ መጻሕፍቲ ባይዱ X ij nX 0
j 1 i 1
因此得知SA的自由度是 s -1.
由（1.3）,（1.6）及Xij的独立性得知
X ~ N ( , / n)
2
s j 1
（1.14）
E ( S A ) E[ n j X .2j nX 2 ]
j 1
s
（1.13） 可以计算 E( S E ) (n s) 2. SA的统计特性. 它是s个变量 n j ( X . j X )
2
的平方和，且仅有一个线性约束条件:
j 1 s j 1
s
nj
nj ( X. j X ) nj ( X. j X )
j 1 s nj
i 1
( X ij X . j ) 2 / 2 ~ 2 (n j 1)
i 1
nj
（1.11）中各项独立，根据 分布的可加性，得 s
2
S E / 2 ~ 2 ( ( n j 1))
j 1
即S E / 2 ~ 2 ( n s ),
n n j （1.12）
j
Xij - μj可以看成是随机误差. 记为Xij - μj =εij ，
则Xij 可以写为
Xij = μj +εij
εij ~N(0, ζ2),各ε
ij独立
(1.1)
i=1,2,…,nj , j=1,2,…,s
(1.1)称为单因素方差分析的数学模型.
方差分析的任务
X i1 ~ N (1 , 2 ), X i 2 ~ N (2 , 2 ),..., X is ~ N ( s , 2 ) I. 检验s个总体
第9章多元线性回归-PPT精品文档
9.1 9.2 9.3 9.4 9.5 多元线性回归模型 拟合优度和显著性检验 多重共线性及其处理 利用回归方程进行预测 虚拟自变量的回归
统计学
STATISTICS (第三版)
学习目标
多元线性回归模型、回归方程与估计的回 归方程 回归方程的拟合优度与显著性检验 多重共线性问题及其处理 利用回归方程进行预测 虚拟自变量的回归 用Excel和SPSS进行回归分析
统 计 学
(第三版)
2019
作者 贾俊平
统计学
STATISTICS (第三版)
统计名言
上好的模型选择可遵循一个称为奥 克姆剃刀(Occam’s Razor)的基本原 理：最好的科学模型往往最简单， 且能解释所观察到的事实。
——William Navidi
9-2 2019年8月
第 9 章 多元线性回归
b1，b假定其他变量不变，当 xi 每变 动一个单位时，y 的平均变动值
9 - 10
2019年8月
统计学
STATISTICS (第三版)
估计的多元线性回归的方程
(estimated multiple linear regression equation)
9 - 11 2019年8月
9.1 多元线性回归模型 9.1.2 参数的最小二乘估计
统计学
STATISTICS (第三版)
参数的最小二乘估计
1. 使因变量的观察值与估计值之间的离差平方和 ˆ ,b ˆ ,b ˆ ,, b ˆ 。即 达到最小来求得 b 0 1 2 k
2 2 ˆ ,b ˆ ,b ˆ ,, b ˆ ) (y y ˆ Q( b ) e i i i 最小 0 1 2 k i 1 i 1 n n
统计学
STATISTICS (第三版)
学习目标
多元线性回归模型、回归方程与估计的回 归方程 回归方程的拟合优度与显著性检验 多重共线性问题及其处理 利用回归方程进行预测 虚拟自变量的回归 用Excel和SPSS进行回归分析
统 计 学
(第三版)
2019
作者 贾俊平
统计学
STATISTICS (第三版)
统计名言
上好的模型选择可遵循一个称为奥 克姆剃刀(Occam’s Razor)的基本原 理：最好的科学模型往往最简单， 且能解释所观察到的事实。
——William Navidi
9-2 2019年8月
第 9 章 多元线性回归
b1，b假定其他变量不变，当 xi 每变 动一个单位时，y 的平均变动值
9 - 10
2019年8月
统计学
STATISTICS (第三版)
估计的多元线性回归的方程
(estimated multiple linear regression equation)
9 - 11 2019年8月
9.1 多元线性回归模型 9.1.2 参数的最小二乘估计
统计学
STATISTICS (第三版)
参数的最小二乘估计
1. 使因变量的观察值与估计值之间的离差平方和 ˆ ,b ˆ ,b ˆ ,, b ˆ 。即 达到最小来求得 b 0 1 2 k
2 2 ˆ ,b ˆ ,b ˆ ,, b ˆ ) (y y ˆ Q( b ) e i i i 最小 0 1 2 k i 1 i 1 n n
第九章方差分析及回归分析 第2讲精品PPT课件
x1, x2, , xn
因此干脆不把X看成随机变量，而将它当作 普通的变量。X的变化将使Y发生相应的变 化，但它们之间的变化是不确定的。由于Y 是随机变量 ，当X取得任一个可能的值x时， Y都相应地服从一定的概率分布。
10
设进行 n 次独立试验，测得试验数据如下表：
xபைடு நூலகம்
x1
x2
xn
y
y1
y2
yn
我们的问题是，如何根据这组观察值，用 “最佳”的形式来表达变量Y与x的相关关系？
比较合理的想法就是，取Xx时随机变量
Y的数学期望EY Xx 作为Xx时Y的估计值。
11
设Y的数学期望EY存在,其值随X的取值
而定，即Y的数学期望是x的函数。将这一函数
记为yx 或x，xEY Xx称为Y关于x
的回归函数。 为 此 ， 我 们 就 将 讨 论 Y 与 x的 相 关 关 系 的 问 题
转 换 为 讨 论 E Y x与 x的 函 数 关 系 了 。
由一个或一组非随机变量来估计或预测某 一个随机变量的观察值时所建立的数学模 型及所进行的统计分析称为回归分析
7
如果这个模型是线性的就称为线性回归分析 这种方法是处理变量间相关关系的有力工具，是
数理统计工作中一种常用的方法。它不仅告诉人 们怎样建立变量间的数学表达式，即经验公式， 而且还利用概率统计知识进行分析讨论，判断出 所建立的经验公式的有效性，从而可以进行预测 或估计。 本章主要介绍如何建立经验公式。
14
温度x(oc) 100 110 120 130 140 150 160 170 180 190 得率（%） 45 51 54 61 66 70 74 78 85 89
得率与温度关系的散点图 100 90 80 70 60 50 40
回归旋转试验设计dolly
• 结果显示，x2最不显著，所以考虑剔除此 变量，且x3比较好，变量变为x3，x1*x3， x3*x3。
• • • • • • • • • • • • • • •
data ex; input x1 x2 x3 y; X4=x3*x3;x5=x1*x3; cards; 1.0 13 1.5 0.330 1.4 19 3.0 0.366 1.8 25 1.0 0.294 2.2 10 2.5 0.476 2.6 16 0.5 0.209 3.0 22 2.0 0.451 3.4 28 3.5 0.482 ; proc glm ; model y=x3 x4 x5; run;
• Y=0.315x3-0.759x3*x3+0.026x1*x3
• • • • • • • • • • • • • • •
data ex; input x1 x2 x3 y; X4=x3*x3;x5=x1*x3; cards; 1.0 13 1.5 0.330 1.4 19 3.0 0.366 1.8 25 1.0 0.294 2.2 10 2.5 0.476 2.6 16 0.5 0.209 3.0 22 2.0 0.451 3.4 28 3.5 0.482 ; proc glm ; model y=x3 x4 x5/noint; run;
一．回归旋转设计的步骤
1. 确定参与试验的因素，选定处理水平。 设某试验p个因素，以z1、z2、zp表 示，每个处理因素设上下两个水平， 第j个因素的上水平为z2j，下水平为 z1j，则各处里的零水平为 z0j＝（ z1j + z2j ）/2
2. 计算各因素的变化区间，并对处理水平 编码。 将第j因素的变化区间以Δ j表示， Δ j＝ （ z2j – z1j ）/2，然后对每个因素zj的 处理水平进行编码，即对每个因素的取 值进行线性变换，因素zj与规范变量xj 变换的对应关系是xj＝（zj-z0j）/ Δ j， 上、下、零水平的编码值分别为+1、-1、 0。
4、高级实验设计—回归的旋转设计(Regressional Rotary Design)
2 i 2 j
x
i，j =1，2„P；
待定参数
以上为 P 元二次回归旋转设计的旋转性条件。
此外，为了使旋转设计成为可能，还必须使信
息矩阵 A 不退化，为此，必须有不等式：
4 p 2 2 P 2
上式为 P 元二次回归的非退化条件。 已证明，只要使 N 个试验点不在同一个球面上， 就能满足非退化条件。或者说只要使 N 个试验点至少 分布于两个半径不等的球面上，就有可能获得旋转设
P 2 2 ˆ D y P 2 4 PN
4 1 2 P 1 4 P 1 4 1 2 2 4 P 2 4 4
（4.11） 由式（4.11）经研究表明，只有采用恰当的方法 确定 4 ，才能满足通用性的要求。如何确定 4 ？对 4 有什么要求呢？总的来说，它必须使上式中 i处的
ˆ 的 二次旋转组合设计具有同一球面预测值 y
方差相等的优点，但回归统计数的计算较繁琐，
若使它获得正交性就能简化计算手续。
在二次旋转组合计划中，一次项和交互项的 回归系数 bj ，bij 仍保持正交，但 b0 与 bjj 之间，
以及 bii 与 bjj 之间都存在相关，即不具正交性，
它们之间的相关矩分别为：
计方案。
为了获得 P 元二次旋转设计方案，就要求既要
满足非退化条件式，又要满足旋转性条件式。
如何才能满足这两方面的条件呢？这主要借助
于组合设计来实现，因为组合设计中 N 个试验点：
N mc m m0
分布在三个半径不相等的球面上：
mc 个点分布在半径为 P 的球面上； c m 个点分布在半径为 的球面上； m0 个点分布在半径为 0 0 的球面上；
x
i，j =1，2„P；
待定参数
以上为 P 元二次回归旋转设计的旋转性条件。
此外，为了使旋转设计成为可能，还必须使信
息矩阵 A 不退化，为此，必须有不等式：
4 p 2 2 P 2
上式为 P 元二次回归的非退化条件。 已证明，只要使 N 个试验点不在同一个球面上， 就能满足非退化条件。或者说只要使 N 个试验点至少 分布于两个半径不等的球面上，就有可能获得旋转设
P 2 2 ˆ D y P 2 4 PN
4 1 2 P 1 4 P 1 4 1 2 2 4 P 2 4 4
（4.11） 由式（4.11）经研究表明，只有采用恰当的方法 确定 4 ，才能满足通用性的要求。如何确定 4 ？对 4 有什么要求呢？总的来说，它必须使上式中 i处的
ˆ 的 二次旋转组合设计具有同一球面预测值 y
方差相等的优点，但回归统计数的计算较繁琐，
若使它获得正交性就能简化计算手续。
在二次旋转组合计划中，一次项和交互项的 回归系数 bj ，bij 仍保持正交，但 b0 与 bjj 之间，
以及 bii 与 bjj 之间都存在相关，即不具正交性，
它们之间的相关矩分别为：
计方案。
为了获得 P 元二次旋转设计方案，就要求既要
满足非退化条件式，又要满足旋转性条件式。
如何才能满足这两方面的条件呢？这主要借助
于组合设计来实现，因为组合设计中 N 个试验点：
N mc m m0
分布在三个半径不相等的球面上：
mc 个点分布在半径为 P 的球面上； c m 个点分布在半径为 的球面上； m0 个点分布在半径为 0 0 的球面上；
三元二次正交回归旋转通用设计
三元二次正交回归旋转通用设计引言：在现代科学与技术领域，研究人员经常需要对大量数据进行分析和处理。
其中，回归分析是一种常用的数据分析方法，用于研究变量之间的关系。
然而，传统的回归分析方法在处理高维数据时存在一些问题，例如维度灾难和多重共线性。
因此，三元二次正交回归旋转通用设计被提出，旨在解决这些问题，提高回归分析的准确性和可解释性。
一、维度灾难与多重共线性的问题在传统的回归分析中，当自变量维度较高时，会出现维度灾难的问题。
维度灾难指的是随着自变量维度的增加，样本空间的体积迅速膨胀，导致所需的样本数量呈指数增长。
这使得回归分析在高维数据中变得困难且不可靠。
多重共线性是指自变量之间存在较高的相关性，这会导致回归分析结果不稳定且难以解释。
在传统的回归模型中，多重共线性会导致回归系数的估计不准确，增加了模型的不确定性。
二、三元二次正交回归旋转通用设计的原理为了解决维度灾难和多重共线性的问题，三元二次正交回归旋转通用设计被提出。
该方法的核心思想是通过正交设计和回归旋转的方式来提高回归分析的效果。
通过正交设计的方法，可以使自变量之间的相关性尽可能小。
正交设计是一种特殊的实验设计方法，它通过合理安排实验因素的水平组合，降低了自变量之间的相关性。
这样一来，回归分析中的多重共线性问题就能够得到缓解，提高了模型的稳定性。
通过回归旋转的方式，可以将高维数据转化为低维数据，从而降低了维度灾难的影响。
回归旋转是一种将原始自变量进行线性或非线性变换的方法，使得新的自变量能够更好地解释因变量的变化。
通过回归旋转，可以使自变量的数量减少，同时保留了原始数据的信息。
三、三元二次正交回归旋转通用设计的应用三元二次正交回归旋转通用设计在实际应用中具有广泛的应用价值。
它可以用于多个领域的数据分析，如经济学、医学、环境科学等。
在经济学中，三元二次正交回归旋转通用设计可以用于预测和解释经济变量之间的关系。
通过分析各种经济指标的数据，可以帮助经济学家预测未来的经济发展趋势，为政策制定者提供决策依据。
第十讲(2) 旋转D最优设计
14
当p=2时的饱和D—最优计划。
试验号 1 2 3 4 5 6 7 8
6点设计
7点设计
8点设计
x1
x2
x1
x2
x1
x2
-1 -1 -1 -1 1 -1 1 -1 -1 1 -1 1 -0.1315 -0.1315 1 1 1 0.3945 -0.092 0.092 0.3945 1 1 -0.067 0.067 -1
-1 -1 1 -1 -1 1 -1 -1 -1 0.1925 0.1925 -1 0.1925 0.1925 -0.2912 1 1 -0.2912 1 1
p=3时的饱和设计称为310设计。
16
关于p4的饱和D—最优计划问题，至今尚未解决。 对于p=4，有人找到了一个较好的15点设计 。见188页 表9-3。 根据p=2,3的二次饱和D—最优计划的谱点结构，得 到一般的二次饱和设计的方案表9-4(188页)。
当p=4时，D—最优计划是：
12
当p=4时，D—最优计划是：
x1 1 1 -1 -1 1 x2 -1 1 -1 -1 1 x3 1 -1 1 -1 1 x4 -1 1 1 -1 -1
一般地，当p+1是2的整数次幂时，p个因子的一 次饱和D—最优计划可用2p型的全因子试验的部分 实施法给出。
13
二、二次饱和Ｄ—最优设计 对二次回归模型
定义在因子空间中若试验计划使a达到最大或使c达到最小即定义在因子空间中若试验计划使a达到最大或使c达到最小即则称为一个d最优计划设计
第八章
回归的旋转设计
回归正交设计的优点：(1)试验次数少；(2)计算简便； (3)消除了回归系数间的相关性。缺点：二次回归的预测 值y的方差依赖于试验点在因子空间的位置，不能根据 预测值直接寻找最优区域。为此提出回归的旋转设计 (旋转性)。它不仅克服了正交设计的缺点，还能基本保 留其优点。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在3个变量情况下，二次回归模型为：
3
3
y xxxxx oo
jj
ij i j
2
ij j ij
j 1
ipj
j 1
y x x x x x x x x x x 即 0 1 2 2 3 3 1 2 1 2 1 3 1 3 2 3 2 3 1 1 2 1
x x 2 2 2 2 3 3 2 3
第九章 回归的旋转设计
本章内容：
§1 旋转设计的基本原理 §2 二次正交旋转组合设计及其统计分析 §3 通用旋转组合设计及其统计分析
本章学习目的与要求：
1. 2. 3.
.
§1 旋转设计的基本原理
1.1 回归设计的旋转性
§1 旋转设计的基本原理
“回归的正交设计” 具有试验处理数比较少，计算简便，消除了回归 系数之间的相关性等优点。但它也存在一定的缺点，即二次回归预测y 值 的方差随试验点在因子空间的位置不同而呈现较大的差异。由于误差的干 扰，就不易根据预测值寻找最优区域。为了克服这个缺点，人们通过进一 步研究，提出了回归的旋转设计（whirly design）。
。实际操作上主要借助于组合设计来实现。因为组合设计中 N 个试验
点 N ＝ mc+mγ +m0 ，分布在3个半径不相等的球面上。即
mc个点分布在半径
c
m 的球面上；
mγ个点分布在半
的球面上；
因此，采m用0个组点合分设布计在选半取径的试0 验 0点的，球完面全上能；够满足非退化条件式(13－
x xx 事实上只要
4
j
3
2
i
2
j
求出
γ
值就行了。
在组合设计下，当 mc＝2m （全实施）时，则前式变为
2m2432m
解此方程，即可建立全实施时 γ 值的计算式，即
m
24
(13－31)
同理
m2 2 当
m 1（ 1实 施 ）
c
2
m 1 4
m2 2 当
m 2（ 1实 施 ）
c
4
m 2 4
m2 2 当
30) ，即信息矩阵 A 不会退化。此外，采用组合设计，其信息矩阵 A 的
元素中
xj xixj x 2ixj0
而它的偶次方元素
x2 i
mc2
2
x4 i
mc2
4
均不等于零，完全符合式(13－29)的.要求。
x x m 2 2
i j
c
§1 旋转设计的基本原理
为了获得旋转设计方案，还必须根据旋转性条件式(13－29)确定 γ 值，
此外，为了使旋转设计成为可能，还必须使信息矩阵 A 不退化（满秩）。 为此，必须有不等式
4
2
m m
2
2
(13－30)
式 (13－30) 就是 m 元二次旋转设计的非退化条件。已经证明，只要使 N 个试验点不在同一个球面上，就能满足非退化条件。
最简单的情况是把 N 个试验点分布在 2 个或 3 个半径不等的球面上。如 m0 个点分布在半径为 0 的球面上（即在中心点重复 m0 次试验），另外 m1 ＝N－m0 个点均匀分布在半径为 ρ (ρ≠0)的球面上。
旋转性对试验设计有什么要求以及获得旋转性必须满足哪
些基本条件。首先必须明确的是：在旋转设计中，试验处
理的预测值
y
的方差仅与因素空间中从试验点到试验中心
的距离 ρ 有关而与方向无关，从而克服了通常因为不知道
最优点在什么方向的缺陷。
.
§1 旋转设计的基本原理
这里应该解决的是二次回归正交的旋转性问题。下面以试验设计中常用的 三元二次回归方程来讨论这个问题。
所谓旋转性是指试验因素空间中与试验中心距离相等的球面上各处理
组合的预测值 y 的方差具有几乎相等的特性，具有这种性质的回归设计称 回归旋转设计。利用具有旋转性的回归方程进行预测时，对于同一球面上 的点可直接比较其预测值的好坏，从而找出预测值较优区域。
.
如何才能使试验设计具有旋转性呢？这就需要弄清楚
12 13
11
12
13
1 x x x xx xx xx x x x
X
21
22
23
21 22
21 23
22 23
2
2
2
21
22
23
MM M M M M M M M M
1 x x x xx xx xx x x x
N1
N2
N3
N1 N2
N1 N3
N2 N3
2 N1
2 N2
2 N3
.
§1 旋转设计的基本原理
m 3（ 1实 施 ）
c
8
m 3 4
.
§1 旋转设计的基本原理
为了便于设计，现将 m 个因素不同实施情况下的 γ 值列于表13－24。
表13－24 二次正交旋转组合设计参数表
.
§1 旋转设计的基本原理
1.2 正交性的获得
2次旋转组合设计具有同一球面预测值 y 的方差相等的优点，但回归 统计数的计算较繁琐。如果使它获得正交性就能大大简化计算手续。
在2次旋转组合计划中，1次项和交互项的回归系数 bi 和 bij 仍保持正 交，但 b0 与 bij 之间，以及 bii 与 bjj 之间都存在相关，即不具正交性，它 们之间的协方差分别为：
cov（ bo， bjj） 224t2
N
cov（ bii， bjj)=(
2
2
4)t
2
N
(13－32)
.
§1 旋转设计的基本原理
综上所述，为了获得 m 元二次旋转设计方案，就要求既要满足旋转性
条件式 (13－29) ，又要满足非退化条件式 (13－30) 。满足条件式
(13－29)是旋转设计的必要条件，满足非退化条件式 (13－30)是使旋
转性成为可能的充分条件。两者结合起来才能使旋转性设计得以实现
其中
t24(m21)4m22
.
§1 旋转设计的基本原理
对于 m 个因素的二元旋转组合设计，式（13－33）中的m、mc和 γ 都是固
定的。因此，只有适当地调整 N 才能使 λ4 /λ22 ＝1 ，而试验处理数 N ＝ mc+mγ +m0
同样，对于 m 元二次旋转组合设计，上式中的 mc 和 mγ 也都是固定的。这 样就只能通过调整中心点的试验处理数 m0 使 λ4 /λ22 ＝1。由此可见，适当 地选取 m0 ，就能使2次旋转组合设计具有一定的正交性。为了方便设计， 已将 m 元不同实施的 m0 和 N 列入表13－24中。
1,2,,NA 的 元 素 分 类 1 2 ..其 其 指 指 数 数 1 1 ， ， 2 2 ， ， L L ， ， m m 都 中 是 至 偶 少 数 有 或 1 个 零 为 奇 数
它的结构矩阵为：
1 x x x xx xx xx x x x
2
2
2
11
12
13
11 12
11 13