概率论与数理统计课程设计_一元线性回归分析

沈阳理工大学课程设计论文成绩评定表

课程设计任务书

沈阳理工大学课程设计论文

摘要

数理统计是具有广泛应用的数学分支，在生产过程和科学实验中，总会遇到多个变量，同一过程中的这些变量往往是相互依赖，相互制约的，也就是说他们之间存在相互关系，这种相互关系可以分为确定性关系和相关关系。变量之间的确定性关系和相关关系在一定条件下是可以相互转换的。本来具有函数关系的变量，当存在试验误差时，其函数关系往往以相关的形式表现出来相关关系虽然是不确定的，却是一种统计关系，在大量的观察下，往往会呈现出一定的规律性，这种函数称为回归函数或回归方程。回归分析是一种处理变量之间相关关系最常用的统计方法，用它可以寻找隐藏在随机后面的统计规律。确定回归方程，检验回归方程的可信度等是回归分析的主要内容。按回归模型类型可划分为线性回归分析和非线性回归分析。

本文利用概率纶与数理统计中的所学的回归分析知识，对用切削机房进行金属品加工时为了适当地调整机床，测量刀具的磨损速度与测量刀具的厚度间的关系建立数学模型，利用这些数据做出刀具厚度x关于时间y的线性回归方程，并MATLAB 与EXCEL软件对验数据进行分析处理，得出线性回归系数与拟合系数等数据，并用F检验法检验了方法的可行性，同时用分布参数置信区间和假设检验问题，得出了刀具厚度x关于时间y的线性关系显著，并进行了深入研究，提出了小样本常用分布参数的置信区间与假设检验的解决方法。

关键词：统计量法；置信区间；假设检验；线性关系；回归分析

目录

一．设计目的 (1)

二．设计问题 (1)

三．设计原理 (1)

四．方法实现 (5)

五．设计总结 (14)

参考文献 (15)

致谢 ...................................................... 错误！未定义书签。

沈阳理工大学课程设计论文

一．设计目的

了解一元回归方程，回归系数的检验方法及应用一元回归方程进行预测的方法；学会应用MATLAB软件进行一元回归实验的分析方法。同时更好的了解概率论与数理统计的知识，熟练掌握概率论与数理统计在实际问题上的应用，并将所学的知识结合Excel对数据的处理解决实际问题。本设计是利用一元线性回归理论对用切削机房进行金属品加工时为了适当地调整机床，测量刀具的磨损速度与测量刀具的厚度间的关系建立数学模型，并用Excel分析工具库中的回归分析软件进行解算。

二．设计问题

用切削机床进行金属加工时，为了适当地调节机床，需要测定刀具的磨损速

由此，我们利用这些数据做出刀具厚度x关于时间y的线性回归方程。三．设计原理

在实际问题中，经常会出现两个变量之间的相关关系不是线性的（即直线

型），而是非线性的（即曲线型）。设其中有两个变量x 与y ，我们可以用一个

确定函数关系式：)(x y x

=

大致的描述y 与x 之间的相关关系，函数)(x u 称为y 关于x

的回归函数，

方程)(x u y

=称为y 关于x

的回归方程。

一元线性回归处理的是两个变量

x 与y 之间的线性关系，可以设想y 的值由两部分构成：一部分由自变量x 的线性影响所致，表示x 的线性函数

bx

a +；另一部分则由众多其他因素，包括随机因素的影响所致，这一部

分可以视为随机误差项，记为

ε。可得一元线性回归模型

ε++=bx a y (1)

式中，自变量x 是可以控制的随机变量，成为回归变量；固定的未知参数a,b 成为回归系数；y 称为响应变量或因变量。由于ε是随机误差，根据中心极限

定理，通常假定),0(~2

σεN ，2σ是未知参数。

确定y 与x 之间的关系前，可根据专业知识或散点图，选择适当的曲线

回归方程，而这些方程往往可以化为线性方程或者就是线性方程，因此我们可以用线性方程：

bx

a y +=大致描述变量

y 与x

之间的关系；

1)模型回归系数的估计

为了估计回归系数，假定试验得到两个变量

x 与y 的n 个数据对

(),3,2,1,,n i

y x i i =我们将这n 对观测值代入式（1）

，得

n i bx a y n i i ,3,2,1, =++=ε

这里n εεε,,,21 互独立的随机变量，均服从正态分布，即

n ,1,2,3i ),～N(0,2 =σε

回归系数估计的方法有多种，其中使用最广泛的是最小二乘法，即要求选

取的

a ，

b ， 的值使得述随机误差ε 的平方和达到最小，即求使得函数

()()∑∑==--=

=

n

i i i

n

i i

bx a y b a Q 1

2

2

1

,ε

取得最小值的

a ，

b 。

由于()b a Q

,是a ，b 的二元函数，利用微积分中的函数存在极值的必要

条件，分别对()b a Q ,求a ，b 偏导数，并令其为0，构成二元一次方程组

∑==--n

i

i i bx a y 0

0)(，

∑===--0

1

0)(i i

i i i x bx a y ，

化简后得到如下正规方程组 ,)(11∑∑===

+n

i n

i

i i y b x na a .)()(1

1

1

2

∑∑∑====

+n

i

i i n i n

i i i y x b x a x 解方程组得到总体参数

b a ,估计量

∑∑-=

i i

x n

b

n

a y 1

?1

?,∑∑∑∑∑--=

2

2

)

(?i i i i i i x x n y x y x n b

这里， )2,1(和n i y x i i =均已有的观测数据。 由此得到回归方程

x b

a y ??+= 带入观测i x ，得到值i y 称为回归预测值。方程的直线称为回归直线。

2)回归方程显著性检验

建立一元线性回归方程当且仅当变量之间存在线性相关关系时才是有意义的，因此必须对变量之间的线性相关的显著性进行检验，即对建立的回归模型进行显著性检验。

我们首先引入几个概念：

（1） ∑=-=

n

i

T y y SS 1

i 2)(，称为T SS 总偏差平方和，它表示观测值i y 总的

分散程度；

（2） ∑=-=

n

i

R y y SS 1

i 2)?(，称R SS 为回归平方和，它是由回归变量x 的变

化引起的，放映了回归变量x 对变量y 线性关系的密切程度；

（3） ∑=-=

n

i i E y y SS 1

i 2

)?(，称E SS 为残差（剩余）平方和，它是由观测误差等其他因素起误差，它的值越小说明回归方程与原数据拟合越好。

可以证明下列关系成立 E R T

SS SS SS +=

即

∑=-n

i

y y 1

i 2

)(=∑=-n

i y y 1

i 2

)?(+ ∑=-n

i i y y 1

i 2)?(

我们主要考虑回归平方和在总偏差和中所占的比重，记T

R

SS SS R =

2。(0<=R<=1 ),称R 为复相关系数，用R 的大小来评价模型的有效性，R 越大，则反映回归变量与相应变量之间的线性函数关系越密切。引入F 统计量。

定义)

2(-=

n SS SS F E

R ，可知F~F （1，n-2）.对于给定的显著水平a(一般这里

取0.05或0.01)，查表可得临界值F a （1,n-2）

如果F> F α（1,n-2）,则认为y 与x 之间的线性关系显著；如果F<= F α（1,n-2），则认为y 与x 之间的线性关系不显著，或者不存在线性关系，在实际应用中也可以通过F 对应的概率P<α来说明y 与x 之间的线性相关性显著。

3)回归系数的置信区间

回归方程（1）的回归系统^

a ,^

b 是一个点估计值，给定置信水平1-α后，可得到他们对应的置信区间，并且回归区间越短越好，如果摸个回归系数的置信区间包含0点，则说明该回归变量的影响不显著，需要进一步地修改回归方程，尽量是每个回归系数的置信区间都不包含0点。

4)利用模型预测

在对所建立的回归模型进行相关程度检验与分析之后，如果预测变量y 与相关变量x 的每一个给定值x 0，带入回归模型，就可以求得一个相对应的回归预测值0^

y ,0^

y 称为模型的点估计值。

四．方法实现

（1）输入数据，并输入作散点图命令：

>> y=[30 29.1 28.4 28.1 28.0 27.7 27.5 27.2 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.8 24.0 23.7 23.1 22.9 22.6 22.3 22.1 21.7 21.5 21.3 21.0 20.6 20.3 20.1];

>> x=[0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29];

>> plot(x,y,'*')

生成图（1），可以看出x 和y 大体成线性关系。

图 1 散点图（横轴：X 纵轴Y）（2）作一元回归分析，输入：

>> n=length(y);

>> X=[ones(n,1),x'];

>> [b,bint,r,rint,s]=regress(y',X);

>> b,bint,s

b =

29.5501

-0.3329

bint =

29.3326 29.7676

-0.3458 -0.3200

s =

1.0e+003 *

0.0010 2.8019 0 0.0001

一元回归方程为：

x y 3329.05501.29-=

从几个方面都可以检验模型是有效的：F 检验-P -接近于0；1β的置信区间不含零点；α

()F F <=1960.428,195.0，F 为统计量观测值，所以X 与Y 的相关性显著。

残差及其置信区间作图代码输入： rcoplot(r,rint)

结果如图2所示：

5

10

15

20

25

30

-1

-0.8-0.6-0.4-0.200.20.40.60.8

1Residual Case Order Plot

R e s i d u a l s

Case Number

图 2 残差图（横轴：削磨时间 纵轴：残差分析值）

所谓残差是指实际观察值与回归估计值的差，残差分析就是通过残差所提供的信息，分析出数据的可靠性、周期性或其它干扰。从残差图可以

看出，数据的残差离零点较近，且残差的置信区间均包含零点，这说明回归模型

x y 3329.05501.29-=能很好的符合原始数据。

（3）讲上面的回归系数估计值5501.29?0=β，3329.0-?1=β带入回归方程，刀具磨损速度的测试中，对时间间隔为30/h 的刀具厚度进行预测，得到

19.5631?0=y 。

在05.0=α，刀具的厚度预测区间简化为??????+---s u y s u y 210210?,?αα，输入计

算指令：

>> t1=19.5631-norminv(0.0975,0,1)*sqrt(sum(r.^2)/16) t1 =

20.0742

>> t2=19.5631+norminv(0.0975,0,1)*sqrt(sum(r.^2)/16) t2 =

19.0520

即时间间隔为30/h 的刀具磨损速度测试中，刀具厚度的置信度为0.95的预测区间为[]

0742.20，0520.19。

也可以用命令：

>> y=[30 29.1 28.4 28.1 28.0 27.7 27.5 27.2 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.8 24.0 23.7 23.1 22.9 22.6 22.3 22.1 21.7 21.5 21.3 21.0 20.6 20.3 20.1];

>> x=[0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29];

>> polytool(x,y,1,0.05)

作出散点图及拟合曲线，并对30=x 时的y 进行预报，结果如图 3 所示。

图 3 散点图及拟合曲线

如图3所示，红线表示为数据离合区间，蓝色“+”表示为数据散点分布，绿色表示为拟合曲线。

(4)下面用Excel“分析工具库”提供的“回归”工具，找出线性回归方程，并检验其显著性。

1、具体步骤如下：

1>在【工具】菜单中选中【数据分析】，则会弹出【数据分析】对话框，然后“分析工具”中选择“回归”选项，如图二所示。单击【确定】后，则弹出【回归】对话框，如图<5>所示。

2>填写【回归】对话框。如图<6>所示，该对话框的内容较多，可以根据需要，选择相关项目。

在“X值输入区域”内输入队因变量数据区域的引用，该区域必须有单列数据组成，如本题中组分B；在“Y只输入区域”输入对自变量数据区域的引用，如本题中组分C。

“标志”：如果输入区域的第一行中包含标志项，则选中此复选框，本题中的输入区域包含标志项；如果在输入区域中没有标志项，则应清楚此复选框，Excel 将在输出表中生成合适的数据标志。

“置信度”：如果需要在汇总输出表中包含附件的置信度信息，则选中此复选框，然后在右侧的编辑框中，输入所要使用的置信度。Excel默认的置信度为95%，相当于显著性水平a=0.05。

“常数为零”：如果要强制回归线通过原点，则选中此复选框。

“输出选项”：选择“输出区域”，在此输出对输出表左上角单元格的引用。

3>“残差”：如果需要以残差输出表形式查看残差，则选中此复选框。“标准残差”：如果需要在残差输出表中包含标准残差，则选中此复选框。“残差图”：如果需要生成一张图表，绘制每个自变量及其残差，则选中此复选框。

“线性拟合图”：如果需要为预测值和观察值生成和观测值生车一个图表，则选中此复选框。

“正态概率图”：如果需要绘制正态概率图，则选中此复选框。

图 4 散点图

图 5 Excel数据分析工具

图<5>Excel数据分析工具

图 6 回归分析工具界面

回归分析工具运行结果：

Multiple R 0.995041

R Square 0.990106

Adjusted R

Square 0.989752

标准误差0.298135

观测值30

表 2 回归统计

表2中，“Multiple R”是线性回归的系数“R Square”是拟合系数“Adjusted R Square”调整后的拟合系数。

df SS MS F Significance

F

回归分

析 1 249.0449 249.0449 2801.898 1.29E-29 残差28 2.488762 0.088884

总计29 251.5337

表 3 方差分析

Coefficients 标准误差t Stat P-value Lower

95%

Upper

95%

下限

95.0%

Intercept 29.55011 0.106197 278.2575 9.73E-50 29.33257 29.76764 29.3325 X Variable 1 -0.33288 0.006289 -52.933 1.29E-29 -0.34576 -0.32 -0.3457

表4 回归分析结果1

RESIDUAL OUTPUT PROBABILITY OUTPUT

观测

值预测Y残差标准残

差百分比排位Y

129.550110.449892 1.535734 1.66666720.1 229.21723-0.11723-0.40016520.3 328.88435-0.48435-1.653348.33333320.6 428.55146-0.45146-1.541111.6666721 528.21858-0.21858-0.746151521.3 627.8857-0.1857-0.6339118.3333321.5 727.55282-0.05282-0.1803121.6666721.7 827.21994-0.01994-0.068072522.1 926.887060.112940.38552828.3333322.3 1026.554180.2458210.83912531.6666722.6 1126.22130.2787020.9513663522.9 1225.888420.411583 1.40496338.3333323.1 1325.555540.544464 1.8585641.6666723.7 1425.222650.477345 1.6294464524 1524.889770.410226 1.40033148.3333324.8 1624.556890.2431070.8298651.6666725.3 1724.22401-0.22401-0.764685525.7 1823.89113-0.19113-0.6524458.3333326.1 1923.55825-0.45825-1.5642661.6666726.3 2023.22537-0.32537-1.110676526.5 2122.89249-0.29249-0.9984268.3333326.8 2222.55961-0.25961-0.8861871.6666727 2322.22673-0.12673-0.432597527.2 2421.89385-0.19385-0.661778.3333327.5 2521.56096-0.06096-0.208181.6666727.7

2621.228080.0719170.2454938528 2720.89520.1047980.35773488.3333328.1 2820.562320.0376790.12861991.6666728.4 2920.229440.070560.240869529.1 3019.896560.2034410.69445798.3333330

表 5 回归分析结果残差与标准残差

观测值预测 Y 残差

1 29.55011 0.449892

2 29.2172

3 -0.11723

3 28.88435 -0.48435

4 28.55146 -0.45146

5 28.21858 -0.21858

6 27.885

7 -0.1857

7 27.55282 -0.05282

8 27.21994 -0.01994

9 26.88706 0.11294

10 26.55418 0.245821

11 26.2213 0.278702

12 25.88842 0.411583

13 25.55554 0.544464

14 25.22265 0.477345

15 24.88977 0.410226

16 24.55689 0.243107

17 24.22401 -0.22401

18 23.89113 -0.19113

19 23.55825 -0.45825

20 23.22537 -0.32537

21 22.89249 -0.29249

22 22.55961 -0.25961

23 22.22673 -0.12673

24 21.89385 -0.19385

25 21.56096 -0.06096

26 21.22808 0.071917

27 20.8952 0.104798

28 20.56232 0.037679

29 20.22944 0.07056

30 19.89656 0.203441

表6 回归分析结果3

图 7 EXCEL 处理数据得出的散点图

图 8 用EXCEL 处理数据得出的残差分布图

由表3所知，若保留四位有效数字，该回归方程的截距是29.5501，斜率为-0.3329，所以所回归方程的表达式为：x y 3329.05501.29-=；根据回归统计结果，知决定系数9898.0=x 即相关系数9231.0=r ，说明自变量与因变量之间有较高的相关性；根据方差分析的结果，F=2801.9，有效的F<0.01，所以建立的回归方程非常显著。

在表五中，除了列出了回归系数，还有标准误差等项目。其中“标准误差”表示的事对应回归系数的标准误差，其中偏回归系数的标准误差。“t Stat ”就是t 检验时的统计量t ；如果多元线性回归，则可直接根据“t Stat ”的大小，判断因素的主次顺序。“P-value ”表示t 检验偏回归系数不显著的概率，如果P-value<0.01，则可认为该系数对应的变量对试验结果影响非常显著（* *），如果0.01< P-value <0.05,则可认为该系数对应的变量对试验结果影响显著（*）；对于常数项，P-value 则表示常数项为零的几率。

五．设计总结

通过对概率论与数理统计的这道实际问题的解决，不仅使我更加深刻的理解

了概率论与数理统计的基础知识，而且使我对这些知识在实际中的应用产生了浓厚的兴趣，同时对我学习好概率论与数理统计这门课有很大帮助。在实现这道题的过程中我应用了Excel软件，学会了该软件的一些新的应用，更加熟练的操作该软件进行一些数据上的处理。

参考文献

[1]沈恒范.概率论与数理统计教程[M].第四版.北京：高等教育出版社,2003.4:140-196

[2]朱燕堂、赵选民、徐伟.应用概率统计方法[M].第2版.西北工业大学出版社,2000年元月.西安

[3]章栋恩、马玉兰、李双、徐元平.MATLAB高等数学数据分析[M].西北工业大学出版社,2002.北京