基于Matlab的回归分析

Matlab 回归分析
许多实际问题往往需要对大量数据进行分析，尤为重要的是统计分析
(statistical analysis)。

如统计预报中的预测、经验公式中的参数确定等等，常常用到各种统计方法。

回归分析（regression analysis ）是研究各变量间相互关系的一种统计方法。

在回归分析中，分析者所关心的问题有以下几个方面：
(1) 拟合：建立因变量与自变量之间有效的经验函数关系，为进一步的研究提供线索；
(2) 变量选择：在一批自变量中确定哪些变量确实对因变量有影响，而哪些没有的影响；
(3) 估计与检验：估计回归模型中的未知参数，并且对模型提出的各种假设进行推断；
(4) 预测：根据已经观测的数据来预测因变量在未经观测的自变量上的值。

本章主要介绍一元或多元线性回归以及非线性回归的基本方法，介绍怎样使用MATLAB 软件进行回归分析，并且应用回归方程对因变量进行各种预测。

1 回归模型及回归分析 1.1 一元线性回归模型
一元线性回归模型：2;~(0,)
Y a bx N εεσ=++⎧⎨⎩ 或 ),(~2σbx a N Y + 称Y 与x 之间存在线性回归关系，其中的参数a 和b 称为一元线性回归的回归系数。

解决的问题归纳为以下几个方面：
1） 在回归模型中如何估计参数a 、b 和 σ2
？ 2） 建模的假设是否正确？
3） 如何应用所求的回归方程对试验指标进行预测？ 1. 回归系数a 、b 的最小二乘估计
已知观测值为 (,)x y i i （i =1，2，…,n）。

将它代入回归模型中有如下关系： y a bx i i i =++ε 其中i = 1，2，…,n。

采用最小二乘法，求观测值与期望值的离差平方和最小。

min (,)[()]Q a b y a bx i i n
i =-+=∑1
2
求出的解记为 a b ∧∧
,，回归方程为： y a b x ∧∧
∧
=+。

(可用MATLAB 软件求解) 2. 回归模型的统计检验
回归模型的假设（f(x)= a+bx ）是否成立？该问题可转化为对系数b 提出假设，
0:;0:10≠=b H b H
然后判断H 0是否成立，这就是假设检验问题。

有两种检验方法： 1) 相关系数检验法
在概率论中，相关系数(correlation coefficient)计算公式
为：
DY DX Y X r ⋅=
),cov(，它反映了X 与Y 线性相关密切程度的数量指标。

但计算它需要用X ，Y 的联合分布函数，而许多实际问题事先并不知道它的分布规律。

因此，需用样本相关系数的计算公式：
yy
xx xy n
i i
n
i i
n
i i i
L L L y y
x x
y y x x
r
=
-⋅
---=∑∑∑===1
2
1
2
1
)
()()
)((ˆ， r
ˆ是r 的一个点估计值。

其中 1|ˆ|0≤≤r
，当 |ˆ|r 越接近于1时，说明X 与Y 的线性关系就越显著；当 |ˆ|r 靠近零时，表明X 与Y 的线性关系不明显。

或者X 与Y 之间可能是非线性的关系，或者是两者根本不存在什么关系。

检验上述原假设 0:0=b H ，其拒绝域为： )}2(|ˆ{|0->=n r r αχ， α为检验水平。

2） F 检验法
平方和分解公式：
∑∑∑===-+-=-n
i i n i i i n
i i
y y y
y y y
1
21
2
1
2
)ˆ()ˆ()(
简记为： U Q L yy += 其中 Q 被称为残差平方和(residual sum of squares)，
U 被称为回归平方和(regressive sum of squares)。

考虑检验假设 0:;0:10≠=b H b H 。

在 0H 为真时，可证明：
)}2,1({)
2,1(~)
2/(10->=--=
-n F F n F n Q U
F αχ拒绝域
上述检验法只是针对一元线性回归模型。

注意：
1. 对多元线性回归模型，同样存在类似的F 检验法和相关系数检验法。

称
∑∑==--=
n
i i
n
i i
y y
y y
r 12
12)()ˆ(为多元线性回归的复相关系数(multiple correlation
coefficient)。

2. 回归分析的计算工作量大，现在已有多种用于进行回归分析的计算机软件可供使用，比如：MATLAB 、SAS 、SPSS 、EXEL 等。

本节只介绍MATLAB 的使用方法。

3. 回归模型应用
建立回归模型目的在于应用，主要有两方面的应用——预测与控制。

下面做简单介绍。

1） 预测
对于给定的控制量x = x 0，给出E(y 0)的点估计: 00x b a y ∧
∧
∧
+=。

精度如何呢？
关于y 0的置信度为(1-a)%的预测区间为: )ˆ,ˆ(00n n d y d y
+-
其中 xx
n L x x n n t d 2
02)(11ˆ)2(-++-=σα,
2ˆ2-=n Q σ 2） 控制
观察值y 在某个区间 (y 1,y 2) 取值时,应如何控制x 的取值范围, 使得相应的观
察值落入指定区间(y 1,y 2)内的概率至少为1-a %.
解方程
2
1
211ˆˆˆˆˆαασσz x b a z y y -+=-=
2
2
222ˆˆˆˆˆαασσz x b a z y y ++=+=
求解得的x 1,x 2,即x 的控制区间的两个端点值.
1.2 多元线性、非线性回归模型 1．多元线性回归模型的形式及假设：
0112
...~(0,)
m m Y x x N βββε
εσ=++++⎧⎨⎩
1） 回归系数 βββ01,,...,m 的确定
根据观测值 (,,...,,)(,,...,)x x x y i n i i im i 1212=，要确定回归系数 βββ01,,...,m ，其方法仍然是最小二乘法。

y x x y x x m m n n m nm n 1011111011=++++=++++βββεβββε.........
... 建立优化目标函数：
min Q y x x m i i i n
i n
i m im (,,...,)[(...)]βββεβββ0121
1
0112
==-+++==∑∑
2）回归模型的检验 问题可转化为：
H 0： m βββ===...10= 0
检验法同样有两种--------相关系数和F 检验法。

这里只简介F 检验法。

平方和分解公式： 简记为： U Q L yy += 其中 Q 被称为剩余平方和，自由度为n-m-1；
U 被称为回归平方和，自由度为m ；
F 检验统计量： 在 0H 为真时，可证明：
3） 回归系数的检验
问题提出：H 0： 0=i β（i=1，…，m ），H 1： 0≠i β。

可以证明： ),(~ˆ2σββij i i c N （i=1，…，m ）。

可用该结果求95%的置信区间和对上述假设进行检验。

若检验结果是接受H 0，则说明自变量
x i 对因变量y 的影响较小，可以将该变量从回归模型中剔除。

实际上，该检验结果成为剔除哪些自变量的一个重要依据。

4） 预测
给定一组值(x 1,x 2,…,x m )0，可以得到一点估计值y 0。

同理，可以计算它的预测区间。

2．多元非线性回归模型
⎩⎨⎧+=)
,0(~),...,,(221σεεN x x x f Y m
函数f(x 1,x 2,…,x m )为非线性函数形式,对该模型进行统计分析较为困难。

若已知函数形式, 则问题转换为确定某些参数问题, 在MATLAB 软件中只需进行参数的曲线拟合即可. 2 MATLAB 实现
MATLAB 统计工具箱用命令regress 实现多元线性回归，具体用法是：
b = regress(Y,X)
或 [b, bint, r, rint, stats] = regress(Y, X, alpha) 其中 Y 是因变量数据向量，X 是自变量数据矩阵，其排列方式如下：
⎥
⎥⎥
⎥⎦⎤
⎢⎢⎢
⎢⎣⎡=nm n m x x x x X
1
111
11，
⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=n y y Y 1 alpha 为显著性水平（缺省时设定为0.05），输出向量b ，bint 为回归
系数估计值 βββ01,,...,m 和它们的置信区间，r,rint 为残差（向量）及其置信区间，stats 是用于检验回归模型的统计量，有三个数值，第1
个是R2，R是相关系数，第2个是F统计量值，第三个是与统计量F对应的概率p，当p<α时拒绝H0，说明回归模型假设成立。

注意：残差及其置信区间可以用rcoplot(r, rint)画图。