回归分析方法

第八章 回归分析方法

当人们对研究对象的内在特性和各因素间的关系有比拟充分的认识时，一般用机理分析方法建立数学模型。如果由于客观事物内部规律的复杂性及人们认识程度的限制，无法分析实际对象内在的因果关系，建立符合机理规律的数学模型，那么通常的方法是搜集大量数据，基于对数据的统计分析去建立模型。本章讨论其中用途非常广泛的一类模型——统计回归模型。回归模型常用来解决预测、控制、生产工艺优化等问题。

变量之间的关系可以分为两类：一类叫确定性关系，也叫函数关系，其特征是：一个变量随着其它变量确实定而确定。另一类关系叫相关关系，变量之间的关系很难用一种准确的方法表示出来。例如，通常人的年龄越大血压越高，但人的年龄和血压之间没有确定的数量关系，人的年龄和血压之间的关系就是相关关系。回归分析就是处理变量之间的相关关系的一种数学方法。其解决问题的大致方法、步骤如下： 〔1〕收集一组包含因变量和自变量的数据；

〔2〕选定因变量和自变量之间的模型，即一个数学式子，利用数据按照最小二乘准那么计算模型中的系数；

〔3〕利用统计分析方法对不同的模型进展比拟，找出与数据拟合得最好的模型； 〔4〕判断得到的模型是否适合于这组数据； 〔5〕利用模型对因变量作出预测或解释。

应用统计分析特别是多元统计分析方法一般都要处理大量数据，工作量非常大，所以在计算机普及以前，这些方法大都是停留在理论研究上。运用一般计算语言编程也要占用大量时间，而对于经济管理及社会学等对高级编程语言了解不深的人来说要应用这些统计方法更是不可能。MA TLAB 等软件的开发和普及大大减少了对计算机编程的要求，使数据分析方法的广泛应用成为可能。MATLAB 统计工具箱几乎包括了数理统计方面主要的概念、理论、方法和算法。运用MA TLAB 统计工具箱，我们可以十分方便地在计算机上进展计算，从而进一步加深理解，同时，其强大的图形功能使得概念、过程和结果可以直观地展现在我们面前。本章内容通常先介绍有关回归分析的数学原理，主要说明建模过程中要做的工作及理由，如模型的假设检验、参数估计等，为了把主要精力集中在应用上，我们略去详细而繁杂的理论。在此根底上再介绍在建模过程中如何有效地使用MA TLAB 软件。没有学过这局部数学知识的读者可以不深究其数学原理，只要知道回归分析的目的，按照相应方法通过软件显示的图形或计算所得结果表示什么意思，那么，仍然可以学到用回归模型解决实际问题的根本方法。包括：一元线性回归、多元线性回归、非线性回归、逐步回归等方法以及如何利用MATLAB 软件建立初步的数学模型，如何透过输出结果对模型进展分析和改良，回归模型的应用等。

8.1 一元线性回归分析

回归模型可分为线性回归模型和非线性回归模型。非线性回归模型是回归函数关于未知参数具有非线性构造的回归模型。某些非线性回归模型可以化为线性回归模型处理；如果知道函数形式只是要确定其中的参数那么是拟合问题，可以使用MA TLAB 软件的curvefit 命令或nlinfit 命令拟合得到参数的估计并进展统计分析。本节主要考察线性回归模型。 8.1.1 一元线性回归模型的建立及其MATLAB 实现

01y x ββε=++ 2~(0,)N εσ

其中01ββ，是待定系数，对于不同的,x y 是相互独立的随机变量。

假设对于x 的n 个值i x ，得到y 的n 个相应的值i y ，确定01ββ，的方法是根据最小二乘准那么，要使

2201011

1

(,)[()]n n

i i i i i Q y x ββεββ====-+∑∑

取最小值。利用极值必要条件令

01

0,0Q Q ββ∂∂==∂∂，求01ββ，的估计值01ˆˆββ，，从而得到回归直线01

ˆˆy x ββ=+。只不过这个过程可以由软件通过直线拟合完成，而无须进展繁杂的运算。

〔1〕参数的区间估计

由于我们所计算出的01ˆˆββ，仍然是随机变量，因此要对01

ˆˆββ，取值的区间进展估计，如果区间估计值是一个较短的区间表示模型精度较高。

〔2〕对误差方差的估计

设ˆi y

为回归函数的值，i y 为测量值，残差平方和 21ˆ()n

i i i Q y y

==-∑ 剩余方差2

2

Q

s n =

- 〔3〕线性相关性的检验

由于我们采用的是一元线性回归，因此，如果模型可用的话，应该具有较好的线性关系。反映模型是否具有良好线性关系可通过相关系数R 的值及F 值观察〔后面的例子说明〕。 〔4〕一元线性回归的MATLAB 实现

MATLAB 工具箱中用命令regress 实现，其用法是： b=regress(y,x)

[b ,bint , r ,rint , s]=regress(y , x , alpha) 输入y 〔因变量，列向量〕、x 〔1与自变量组成的矩阵，见下例〕，alpha 是显著性水平〔缺省时默认0.05〕。

输出01

ˆˆ(,)b ββ=，注意：b 中元素顺序与拟合命令polyfit 的输出不同，bint 是01ββ，的置信区间，r 是残差〔列向量〕，rint 是残差的置信区间，s 包含4个统计量：决定系数2

R 〔相关系数为R 〕；F 值；F(1,n-2)分布大于F 值的概率p ；剩余方差2

s 的值〔MATLAB7.0以后版本〕。2

s 也可由程序sum(r.^2)/(n-2)计算。

其意义和用法如下：2

R 的值越接近1，变量的线性相关性越强，说明模型有效；如果满足

1(1,2)F n F α--<，那么认为变量y 与x 显著地有线性关系，其中1(1,2)F n α--的值可查F

分布表，或直接用MATLAB 命令finv(1-α,1, n-2)计算得到；如果p α<表示线性模型可用。这三个值可以相互印证。2

s 的值主要用来比拟模型是否有改良，其值越小说明模型精度越高。

例1 测得16名成年女子身高y 与腿长x 所得数据如下：

首先利用命令plot(x,y,'r*')画出散点图，从图形可以看出，这些点大致分布在一条直线的左右，因此，可以考虑一元线性回归。可编制程序如下：

y=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]; x=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]; n=16;

X=[ones(n,1),x'];

[b,bint,r,rint,s]=regress(y',X,0.05); b,bint,s,

rcoplot(r,rint) 运行后得到 b =

2R =0.9282，由finv(0.95,1,14)=，即1(1,2)F n α--=

可以通过残差图发现，第二个数据为奇异数据，去掉该数据后运行后得到

2R =0.9527，由finv(0.95,1,13)=，即1(1,2)F n α--=

因此我们得到身高与腿长的关系17.6549 1.4363y x =+。

当然，也可以利用直线拟合得到同一方程。只不过不能得到参数置信区间和对模型进展检验。拟合程序如下：

y=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]; x=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102];

a=polyfit(x,y,1) temp=polyval(a,x); plot(x,y,'r*',x,temp)