概率统计(9)

ˆ b
(x
i 1 n
n
i
x )( y i y )
( xi x ) 2
i 1
ˆ ˆ a y bx
其中
1 n 1 n x xi , y y i n i 1 n i 1
用最小二乘法求出的估计 a ，ˆ 分别称为a，b的最 ˆ b 小二乘估计 ˆ ˆ ˆ ˆ 此时，拟合直线为 y a bx y b( x x) 下面再用矩法求 2的估计 由于 2
例1 在彩色显像技术中，考虑析出银的光学密度x与 形成染料光学密度Y之间的相关关系，其中11个样 本数据如下所示：
xi yi 0.05 0.10 0.06 0.14 0.07 0.23 0.10 0.37 0.14 0.59 0.20 0.79 0.25 1.00 0.31 1.12 0.38 1.19 0.43 1.25 0.47 1.29
解 根据这11个样本数据点 （xi,yi）作出散点图（图9-3）. 从散点图上看出，这些数据 点在一条曲线L周围.
图9-3
根据有关的专业知识，结合散点图，可以认为 曲线L大致为：
y e


x
( , 0)
对上式两边取对数：
1 ln y ln x
令 y ln y
i 1
n
~ N (0,1)
2
ˆ 2 ~ 2 (n 2)
ˆ 且 b 与 2 独立 ˆ
ˆ b
因而

T
( xi x) 2
i 1
n
n2
~ t ( n 2)
2
ˆ 2 /n2
故 P | T | t (n 2) , 2
为显著性水平
画出散点图如图9-1所示.从图中可以看出，随 着广告投入x的增加，销售额Y基本上也呈上升趋 势，图中的点大致分布在一条向右上方延伸的直 线附近.但各点不完全在一条直线上，这是由于Y还 受到其他一些随机因素的影响. 这样，Y可以看成是由两部分叠加而成，一部 分是x的线性函数a+bx，另一部分是随机因素引起的 误差 ，即 Y=a+bx+
经整理后得到
n n na xi b bi i 1 i 1 n n 2 x a xi b i i 1 i 1
（2）
x
i 1
n
i
yi
式（2）称为正规方程组.
由正 规方程组解得
例如，农作物的单位面积产量与施肥量之间有 密切的关系，但是不能由施肥量精确知道单位面积 产量，这是因为单位面积产量还受到许多其他因素 及一些无法控制的随机因素的影响． 又如，人的身高与体重之间存在一种关系，一 般来说，人的身高越高，体重越大． 但同样高度的人，体重却往往不同．这种变量 之间的不确定性关系称之为相关关系． 对于具有相关关系的变量，虽然不能找到他们之 间的确定表达式，但是通过大量的观测数据，可以发 现他们之间存在一定的统计规律，数理统计中研究变 量之间相关关系的一种有效方法就是回归分析．
（4） 2 分别与 a，b独立。 ˆ ˆ ˆ
例2 在例1中可分别求出a，b， 2的估计值为：
ˆ b = 3.17
ˆ a = 45.27
sˆ = 1996.8
2
故经验回归直线为： Y=45.27+3.17x
三、线性回归的显著性检验
在实际问题中，事先我们并不能断定Y与x确有线 性关系，Y=a+bx+ 只是一种假设. 当然，这个假设不是没有根据的，我们可以通过 专业知识和散点图来作出粗略判断. 但在求出经验回归方程后，还需对这种线性回归 方程通过实际观测数据拟合的效果进行检验. 下面说明这一检验的方法.
易见，t检验法、相关系数检验法都拒绝H0， 即回归效果显著．
ˆ 于是，当x0=80时，y0的预测值为 y0 298.98
y0的95%的预测区间为（186.77，411.99）.
第二节 可线性化的非线性回归
在实际问题中，常常会遇到这样的情形：散 点图上的几个样本数据点明显地不在一条直线附 近，而在某曲线周围： 或者，用线性回归方程描述变量间的关系计 算的结果与样本值误差较大，这表明变量之间不 存在线性相关关系，而是一种非线性的相关关系. 下面举例说明对这类问题用线性化处理的方法．
1 x x
a ln
b
即有： y a bx
500 400 300 200 100 0 0 20 40 60 80 100 120 140
这就是所谓的 一元线性回归模型
图9-1
一般地，假设x与Y之间的相关关系可表示为 (1) Y a bx 其中：a, b为未知常数 为随机误差且 ~ N (0, 2 ) 2 未知，
若假设Y=a+bx+ 符合实际，则b不应为零
因为如果b=0，则Y=a+

意味着Y与x无关
所以Y=a+bx是否合理，归结为对假设： H0: b=0 进行检验 下面介绍检验假设H0的二种常用方法.
H1 : b 0
1．t 检验法
若H0成立，即b=0，由定理7.1知，
ˆ b

n2
( xi x ) 2
ˆ ˆ ˆ y0 a bx0
作为y0的预测值.可以证明
T ˆ y0 y0 1 ( x0 x) 2 ˆ 1 n n ( xi x)2
i 1
~ t (n 2)
从而可得
P | T | t (n 2)
2
1
所以，给定置信概率 1 ，Y0的置信区间为
当假设 H 0 : b 0 被拒绝时，就认为Y与x存在线性 关系，从而认为回归效果显著；
若接受H0，则认为Y与x的关系不能用一元线性回 归模型来描述，即回归效果不显著. 此时，可能有如下几种情形：
（1）x对Y没有显著影响； （2）x对Y有显著影响，但这种影响不能用线性相关关 系来描述； （3）影响Y取值的，除x外，另有其他不可忽略的因素.
如果由样本得到式（1）中，a, b的估计值 a , b ， ˆ ˆ 则称 y a bx为拟合直线或经验回归直线，它 ˆ ˆ ˆ 可作为回归直线的估计 一元线性回归主要解决下列一些问题： 2 （1）利用样本对未知参数a、b、 进行估计； （2）对回归模型作显著性检验； （3）当x=x0时对Y的取值作预测，即对Y作区间 估计.
( y0 ( x0 ), y0 ( x0 ))
其中
1 ( x0 x) ˆ ( x0 ) t (n 2) 1 n ˆ n 2 2 ( xi x)
2 i 1
可以看出在x0处y的置信区间的长度为 2 ( x0 ) 当 x0 x 时置信区间的长度最短，估计最精确， 置信区间愈长，估计的精度愈差．
二、 参数a，b， 2 的估计
现在我们用最小二乘法来估计模型（1）中的 未知参数a,b. 记 Q Q(a, b) i2 ( yi a bxi ) 2
i 1 i 1 n n
称Q(a, b)为偏差平方和 最小二乘法就是选择a，b的估计 Q(a, b)为最小（图9-2） ，使得 ˆ ˆ a, b
厂 家 1 6 31 2 10 58 3 21 124 4 40 220 5 62 299 6 62 190 7 90 320 8 100 406 9 120 380 广告费x 销售额Y
广告费与销售额之间不可能存在一个明确的 函数关系，事实上，即使不同的厂家投入了相同 的广告费，其销售额也不会是完全相同的．影响 销售额的因素是多种多样的，除了广告投入的影 响，还与厂家产品的特色、定价、销售渠道、售 后服务以及其他一些偶然因素有关．
x与Y的这种关系称为一元线性回归模型 y=a+bx称为回归直线 b称为回归系数
此时
Y ~ N (a bx, 2 )
yi a bxi i i 1, , n i ~ N (0, 2 ) 1 , , n相互独立
对于（x, Y）的样本（x1，y1），…，（xn，yn）有：
1 n 2 D E 2 由矩估计法，可用 E 2 估计 n i i 1
而i
yi a bxi
，a，b分别由 a， b 代入 ˆ ˆ
1 n 2 ˆ 2 ( yi a bxi ) 2 作估计 ˆ ˆ 故 可用 n i 1
对于估计量 a， b 2 的分布，有： ， ˆ ˆˆ 定理1 （1）
（x1,y1） ，（x2,y2），…，（xn, yn）
其中yi是x=xi时随机变量Y的观测结果.将n对观测结 果（xi，yi）（i=1,…,n）在直角坐标系中进行描点， 这种描点图称为散点图.散点图可以帮助我们粗略 地看出Y与x之间的某种关系.
例1 对某广告公司为了研究某一类产品的广告费x用 与其销售额Y之间的关系，对多个厂家进行调查， 获得如下数据
第九章 线性回归分析与方差分析
第一节 第二节 第三节 第四节 一元线性回归分析 可线性化的非线性回归 多元线性回归简介 方差分析
第一节 一元线性回归分析
在许多实际问题中，我们常常需要研究多个 变量之间的相互关系． 一般来说，变量之间的关系可分为两类： 一类是确定性关系，确定性关系是指变量之 间的关系可以用函数关系来表达，例如电流I，电 压V，电阻R之间有关系式V=IR． 另一类是非确定性关系，有些变量之间的关 系是非确定性的关系，这种关系无法用一个精确的 函数式来表示．
图9-2
为了求Q（a, b）的最小值，分别求Q关于a， b的偏导数，并令它们等于零：
n a Q(a, b) ( y i a bxi )(2) 0 i 1 n Q ( a, b) ( yi a bxi )(2 xi ) 0 b i 1