数理统计 第五章1
合集下载
数理统计第五章总结
x1 ,, xn .
(2).主要类型
(1).性质：二重性
随机性 确定性
完全样本 分组样本
第五章 知识点总结
x1 ,, xn ~ F ( x ), (3).简单随机样本：
(4).样本的联合分布函数： F ( x1 ,, xn )
0, k (5). 经验分布函数: Fn ( x ) , n 1, x x( 1 )
n 2 n ![ F ( z ) F ( y )] p( y ) p( z ) p1n ( y, z ) . (n 2)!
( y z)
第五章 知识点总结
(3). 次序统计量的函数及其分布
①. 样本中位数:
n 2k 1， x( n21 )， x n x n (2) ( 2 1) ， n 2k . 2
i 1 j i 1 n j n ![ F ( y )] [ F ( z ) F ( y )] [ 1 F ( z )] p( y ) p( z ) pij ( y, z ) . (i 1)!( j i 1)!(n j )!
( y z)
次序统计量 ( x(1) , x(n) ) 的联合密度函数为
若 X ~ 2 (n), 则 E ( X ) n, Var( X ) 2n. 若 X ~ 2 (m ), Y ~ 2 (n), 且 X 与 Y 独立， 则
X Y ~ 2 (m n).
2 2. 分布的分位数： P( 2 1 (n)) 1 .
第五章 知识点总结
第20页
6. 对来自总体N(2,4) 的样本 y1 , y2 ,, y25 , S 2 是样本方差， 若 2 b s 2 ~ 2 (24), 则b = ( ).
《概率论与数理统计》课件 概率学与数理统计 第五章
时，
n
n
X k =BnZn + k
k 1
k 1
n
近似地服从正态分布 N( k，Bn2) 。这说明无论随机变量 Xk (k
i 1
n
=1, 2,…)具有怎样的分布，只要满足定理条件，那么它们的和Xk
k 1
当n很大时就近似地服从正态分布。而在许多实际问题中，所
考虑的随机变量往往可以表示为多个独立的随机变量之和，因
实测值的算术平均值
时,取
作为 a 1 n
n i1 X i
1 n
n i 1
Xi
，根据此定理，当
n
足够大
的近似值，可以认为所发生的误差是
很小的，所以实用上往往用某物体的某一指标值的一系列
实测值的算术平均值来作为该指标值的近似值。
第二节 中心极限定理
在第二章，我们说只要某个随机变量受到许多相互独立 的随机因素的影响，而每个个别因素的影响都不能起决定性 的作用，那么就可以断定这个随机变量服从或近似服从正态 分布。这个结论的理论依据就是所谓的中心极限定理。概率 论中有关论证独立随机变量的和的极限分布是正态分布的一 系列定理称为中心极限定理( Central limit theorem) 。下面介 绍几个常用的中心极限定理.
P{X 102} P{ X 100 102 100} 1 P{X 100 2}
1
1
1 (2) 1 0.977250 0.022750.
例
对敌人的防御地进行100次轰炸，每次轰炸命中目标的炸弹数目是 一个随机变量,其期望值是2，方差是。求在100次轰炸中有180颗到 220颗炸弹命中目标的概率。 解 令第 i 次轰炸命中目标的炸弹数为 Xi ，100次轰炸中命中目
《概率论与数理统计》第五章
第五章 极限定理
‹#›
研究随机现象的大量观测， 常采用极限形式， 由此导致了极限定理的研究。 极限定理的内容很 广泛, 最重要的有两种:
“大数定律”和“中心极限定理”。
第五章 极限定理
‹#›
§1 大数定律
对随机现象进行大量重复观测，各种结果的出 现频率具有稳定性。
大量地掷硬币 正面出现频率
生产过程 中废品率
棣莫佛—拉普拉斯定理的内容是：当 n 很大时 ，二项分布可用正态分布近似。
总结/summary
第五章 极限定理
‹#›
切比雪夫不等式 理解切比雪夫不等式
大数定律
了解辛钦大数定理。
中心极限定理
掌握运用列维-林德伯格中心定理和棣 莫弗-拉普拉斯中心极限定理求解独立 随机变量之和的近似概率值
第五章 极限定理
字母使用频率
第五章 极限定理
‹#›
1. 切比雪夫不等式
定理1: 设随机变量X有期望μ和方
差σ2，则对任给的ε> 0, 有
P
X
2
1
2
或
P | X |
2 2
.
第五章 极限定理
‹#›
证明：只对X 是连续型情况加以证明。
设X 的概率密度函数为 f(x)，则有
P | X | f (x) dx
2.5
1
P
X
n 14 0.2
2.5
1 (2.5) 0.0062 ；
第五章 极限定理
‹#›
(2).
P{X n
14}
P
X
n
14
14 14
2 / 100 2 / 100
1
P
X
n 14 0.2
概率论与数理统计 第五章
n →∞ n →∞
∑ X − ∑µ
k =1 k =1
k
Bn
≤ x} = ∫
ቤተ መጻሕፍቲ ባይዱ
x
1 2π
−∞
e
t2 − 2
dt＝Φ(x).
说明: 说明
在定理条件下, r.v. Zn =
∑ X − ∑µ
k =1 k k =1
n
n
k
Bn
当 n很 大
时, 近似地服从正态分布N(0, 1),由此当n很大时,
∑X
k =1 n
n
t2 2
（本定理 可以由独立同分布 的中心极限定理证 明）
说明: 说明 本定理不难看出 :若ηn
~ b(n,p), 有
t2 2
b ηn − np 1 lim P a < e dt = Φ(b) − Φ(a), ≤ b = ∫ a n →∞ npq 2π 因 而 当 n较 大 时 , 我 们 可 以 用 正 态 分 布 近 似 计 算 二 项 分布 的 概率 。
2. 切比雪夫大数定律: 设X1 , X 2 , L Xn , L 是由两两互 不相关的随机变量所构成的序列, 每一个随机变量都 有有限的方差, 并且它们有公共的上界 , D(X1 ) ≤ C, D(X 2 ) ≤ C, L , D(Xn ) ≤ C, L 则对∀ε > 0, 都有 1 n 1 n lim P ∑ Xk − ∑ E(Xk ) < ε = 1. n →∞ n k =1 n k =1
k
2 , k = 0,1, L ,90000. 3 ≤ 30500}
90000-k
显然直接计算十分麻烦, 我们利用德莫佛-拉普拉斯定理 来求它的近 似 值 即有P{29500 < X ≤ 30500} 29500-np = P < np(1-p ) 30500-np ≤ np(1-p ) np(1-p ) X-np
∑ X − ∑µ
k =1 k =1
k
Bn
≤ x} = ∫
ቤተ መጻሕፍቲ ባይዱ
x
1 2π
−∞
e
t2 − 2
dt＝Φ(x).
说明: 说明
在定理条件下, r.v. Zn =
∑ X − ∑µ
k =1 k k =1
n
n
k
Bn
当 n很 大
时, 近似地服从正态分布N(0, 1),由此当n很大时,
∑X
k =1 n
n
t2 2
（本定理 可以由独立同分布 的中心极限定理证 明）
说明: 说明 本定理不难看出 :若ηn
~ b(n,p), 有
t2 2
b ηn − np 1 lim P a < e dt = Φ(b) − Φ(a), ≤ b = ∫ a n →∞ npq 2π 因 而 当 n较 大 时 , 我 们 可 以 用 正 态 分 布 近 似 计 算 二 项 分布 的 概率 。
2. 切比雪夫大数定律: 设X1 , X 2 , L Xn , L 是由两两互 不相关的随机变量所构成的序列, 每一个随机变量都 有有限的方差, 并且它们有公共的上界 , D(X1 ) ≤ C, D(X 2 ) ≤ C, L , D(Xn ) ≤ C, L 则对∀ε > 0, 都有 1 n 1 n lim P ∑ Xk − ∑ E(Xk ) < ε = 1. n →∞ n k =1 n k =1
k
2 , k = 0,1, L ,90000. 3 ≤ 30500}
90000-k
显然直接计算十分麻烦, 我们利用德莫佛-拉普拉斯定理 来求它的近 似 值 即有P{29500 < X ≤ 30500} 29500-np = P < np(1-p ) 30500-np ≤ np(1-p ) np(1-p ) X-np
概率论与数理统计(第五章第1节)
5
பைடு நூலகம்
定义2. 设有随机变量序列 {Xn}, n = 1, 2, · · ; X是随机变量。Fn(x) 和 FX (x) 分 ·· ·· 别是 Xn 和 X 的分布函数, 如果在 FX (x) 的 连续点处, 都有
则称 {Xn} 依分布收敛于X, 也说 Xn 以 X 的 分布为极限分布。记为
6
依分布收敛是随机变量序列的又一种 收敛形式, 可以证明: 如果 反之则不一定。
第五章 大数定律与中心极限定理
极限理论是概率论与数理统计的基本 理论, 在理论研究和应用中都十分重要。 随机现象的统计规律性描述的实际上 是试验次数无限增大时呈现的极限状态。
大数定律和中心极限定理是关于随机 变量序列的极限定理最基本的两种类型。 下面先介绍关于随机变量序列收敛性的概 念。
1
第一节 随机变量序列的收敛性
4
例1. 设随机变量序列 X1, X2,·, · · Xn· · 服从如下的分布: ·· ··
P{ Xn = 0 }= 1 则对任意的 0, 有 P{ | Xn |≥ } = P{ Xn = 2n } = 0 P{ Xn = 2n }=
故 {Xn} 依概率收敛于 0。但无论对多大的 n, Xn都可能取远离 0 的值 2n。
两种收敛性 的关系
7
, 则必有
,
3
在定义 1中, 随机变量X也可以是一个 常数 a, 称为随机变量序列 {Xn} 依概率收 敛于常数 a。记为 随机变量序列依概率收敛和一般序列 的收敛有很大的不同。假定 {Xn} 依概率收 敛于常数 a , 是指当 n 足够大时, 有足够 大的概率保证 Xn 任意接近于 a , 但此时Xn 仍然有可能取与 a 相差很大的数值(参见下 面例1 ), 即依概率收敛不是绝对保证。
பைடு நூலகம்
定义2. 设有随机变量序列 {Xn}, n = 1, 2, · · ; X是随机变量。Fn(x) 和 FX (x) 分 ·· ·· 别是 Xn 和 X 的分布函数, 如果在 FX (x) 的 连续点处, 都有
则称 {Xn} 依分布收敛于X, 也说 Xn 以 X 的 分布为极限分布。记为
6
依分布收敛是随机变量序列的又一种 收敛形式, 可以证明: 如果 反之则不一定。
第五章 大数定律与中心极限定理
极限理论是概率论与数理统计的基本 理论, 在理论研究和应用中都十分重要。 随机现象的统计规律性描述的实际上 是试验次数无限增大时呈现的极限状态。
大数定律和中心极限定理是关于随机 变量序列的极限定理最基本的两种类型。 下面先介绍关于随机变量序列收敛性的概 念。
1
第一节 随机变量序列的收敛性
4
例1. 设随机变量序列 X1, X2,·, · · Xn· · 服从如下的分布: ·· ··
P{ Xn = 0 }= 1 则对任意的 0, 有 P{ | Xn |≥ } = P{ Xn = 2n } = 0 P{ Xn = 2n }=
故 {Xn} 依概率收敛于 0。但无论对多大的 n, Xn都可能取远离 0 的值 2n。
两种收敛性 的关系
7
, 则必有
,
3
在定义 1中, 随机变量X也可以是一个 常数 a, 称为随机变量序列 {Xn} 依概率收 敛于常数 a。记为 随机变量序列依概率收敛和一般序列 的收敛有很大的不同。假定 {Xn} 依概率收 敛于常数 a , 是指当 n 足够大时, 有足够 大的概率保证 Xn 任意接近于 a , 但此时Xn 仍然有可能取与 a 相差很大的数值(参见下 面例1 ), 即依概率收敛不是绝对保证。
数理统计第五章
=
2 2 c σ ∑ k =1 k k . n
证明：因 X k ~ N ( ak , σ k2 ), 故其特征函数 (c.f.)为 1 2 iak t − t 2σ k 1 2 2 itX k 2 ϕ k (t ) = E(e ) = e = exp{iak t − t σ k }, 2 it ∑ c X itc X itT n
⎧ ⎫ ⎡ ⎤ ⎪ ⎪ = ∏ ⎨C (θ )exp ⎢ ∑ W j (θ )T j ( xi ) ⎥ h( xi ) ⎬ i =1 ⎪ ⎪ ⎣ j=1 ⎦ ⎩ ⎭
n k
i =1
= C (θ ) exp
n '
{∑ C (θ ) exp { ∑
k j =1 k
W j (θ )∑ i =1 T j ( xi )
7
如何抽样(how to get a sample)
抽取样本的目的是为了利用样 本对总体进行统计推断,这就要求 样本能很好的反映总体的特性且便 于处理.为此,需对抽样提出一些要 求,通常有两条:
数理统计
1. 代表性： X1,X2,…, Xn中每一个与所考察的总体X有相同的 分布. (Why?) 2. 独立性： X1,X2,…, Xn是相互独立的随机变量. (And Why?) 满足上述两条性质的样本称为简单随机样本. 获得简单随机样本的抽样方法称为简单随机抽样.
n
}∏
n i =1
h( xi )
' ' ' W ( θ ) T ( x ) h ( x) j j j =1
}
18
只要样本如何?(just sample?)
样本容量可能很大 无法从样本信息做直观的统计推断
数理统计
必须对样本进行加工！
数理统计课本 第五章 统计量及其分布
D (X
)
+
[E
(X
)]2，
E( X
2)
=
D( X
)
+ [E(X
)]2
=
1 n
D( X
)
+ [E(X
)]2
，
n
则 E[∑ ( X i i =1
−
X )2 ] =
n{D( X )
+ [E( X )]2} −
n{1 n
D(X )
+ [E( X )]2} = (n
− 1)D( X ) ，
4
故
E
(S
2)
=
i =1
对于连续型总体的情形，设总体 X 的密度函数为 p (x)，故样本(X1, X2, …, X n)的联合密度函数为
n
p(x1, x2 ,", xn ) = p(x1 ) p(x2 )" p(xn ) = ∏ p(xi ) ． i =1
例 设 X ~ e (λ )，求样本 (X1, X2, …, X n) 的联合密度函数．
得c
=
1 n
n
∑
i =1
Xi
=
X
，且
g ″(c)
=
2n
>
0，
3
n
n
故当 c = X 时， g(c) = ∑ ( X i − c)2 为最小值 ∑ ( X i − X )2 ；
i =1
i =1
（3）
E( X
)
=
E⎜⎜⎝⎛
1 n
n
∑
i =1
Xi
⎟⎟⎠⎞
=
1 n
n
∑
《概率论与数理统计》5-1 中心极限定理
即: 只要供应 320Q 瓦的电力, 就能以99%的把握保证该 车间的机器能正常工作.
例5. 为了测定一台机床的质量, 将其分解成若干个部件 来称量. 假定每个部件的称量误差（单位: kg ）服从区 间 1,1 上的均匀分布, 且每个部件的称量是独立的, 试 问至多分成多少个部件才能以不低于99%的概率保证 机床的称量总误差的绝对值不超过10.
1.55 1.55
2 1.55 1 0.8788.
例3. 有一批钢材, 其中80%的长度不小于3m, 现从钢材 中随机取出100根, 试利用中心极限定理求小于3m的钢 不超过30根的概率. 解 以Yn 为100根钢材中小于3m的钢材根数, 由题意知:
1 E X p, D X p 1 p n
定理5.3 独立同分布情形下大数定律
设
X1 , X 2 ,
是一个独立同分布的随机变量序列. 且
P E X , D X 2 . 则 X
证明关键步骤:
1 2 E X , D X n
Yn
B 200,0.15 .
Y np N 30 0.95, P Yn N P n np 1 p 25.5 N 30 查表得: 1.645, 即: N 38.3068, 所以可取
25.5
N 39方能以95%的把握保证在该时刻分机可以使用外
在§1.3中, 我们曾经提到频率的稳定性. 设随机事件A的概率P(A)=p, 在n重贝努利试验中事件A 发生的频率为 f n A .当n很大时, 将与p非常接近. 由 于 f n A 本质上是一个随机变量，它随着不同的n次试 验可能取不同的值, 因而需要对随机变量序列引进新 的收敛性定义.
例5. 为了测定一台机床的质量, 将其分解成若干个部件 来称量. 假定每个部件的称量误差（单位: kg ）服从区 间 1,1 上的均匀分布, 且每个部件的称量是独立的, 试 问至多分成多少个部件才能以不低于99%的概率保证 机床的称量总误差的绝对值不超过10.
1.55 1.55
2 1.55 1 0.8788.
例3. 有一批钢材, 其中80%的长度不小于3m, 现从钢材 中随机取出100根, 试利用中心极限定理求小于3m的钢 不超过30根的概率. 解 以Yn 为100根钢材中小于3m的钢材根数, 由题意知:
1 E X p, D X p 1 p n
定理5.3 独立同分布情形下大数定律
设
X1 , X 2 ,
是一个独立同分布的随机变量序列. 且
P E X , D X 2 . 则 X
证明关键步骤:
1 2 E X , D X n
Yn
B 200,0.15 .
Y np N 30 0.95, P Yn N P n np 1 p 25.5 N 30 查表得: 1.645, 即: N 38.3068, 所以可取
25.5
N 39方能以95%的把握保证在该时刻分机可以使用外
在§1.3中, 我们曾经提到频率的稳定性. 设随机事件A的概率P(A)=p, 在n重贝努利试验中事件A 发生的频率为 f n A .当n很大时, 将与p非常接近. 由 于 f n A 本质上是一个随机变量，它随着不同的n次试 验可能取不同的值, 因而需要对随机变量序列引进新 的收敛性定义.
概率论数理统计基础知识第五章
C
]
（A）Y ~ 2 (n). （B）Y ~ 2 (n 1). （C）Y ~ F (n,1). （D）Y ~ F (1, n).
【例】设 随机变量X和Y都服从标准正态分布，则[ C ]
（A）X+Y服从正态分布.
2 2 2
（B）X2 +Y2服从 2分布. Y
2
2 X （C）X 和Y 都服从 分布. （D）
(X ) ~ t ( n 1) S n
客、考点 10，正态总体的抽样分布
33/33
34/33
35/33
【例】设总体 X ~ N (0,1)，X 1 , X 2 , X1 X 2
2 2 X3 X4
, X n 是简单随机
2 X i. i 4 n
样本 , 试问下列统计量服从什么分布？ （1 ） ; （2 ） n 1X1
记：F分布是两个卡方分布的商
2. F 分布的上侧分位数
设 F ~ F (k1 , k2 ) ，对于给定的 a (0,1) ，称满足条件
P{F Fa (k1 , k2 )}
Fa ( k1 ,k2 )
f F ( x)dx a
的数 Fa (k1 , k2 ) 为F 分布的上侧a 分位数。
服从F分布.
§5.5 正态总体统计量的分布
一、单个正态总体情形 总体
X ~ N ( , 2 ) ，样本 X1 , X 2 , , Xn ，
1 n 样本均值 X X i n i 1
n 1 2 样本方差 S 2 ( X X ) i n 1 i 1
1. 定理1 若设总体X~N(μ,σ2), 则统计量
有一约束条件
(X
i 1
概率论与数理统计总结之第五章
或
证明：
因为 ～ ，有
…
其中， … …相互独立，且都服从以p为参数的（0-1）分布，因而 … ，由定理一得
…
即
这个定理表明事件发生的频率的稳定性
定理三（辛钦定理）
设随机变量 … …相互独立，服从同一分布，且具有数学期望 … ，则对于任意正数ε，有
显然，伯努利大数定理是辛钦定理的特殊情况
中心极限定理
定理四（独立同分布的中心极限定理）
定理五（李雅普诺夫定理）
设随机变量 … …相互独立，它们具有数学期望和方差：
…，
记 ,
若存在正数δ，使得当 时，
则随机变量之和 的标准化变量：
的分布函数 对于任意x，满足
对其的解释为：
随机变量 ，
当n很大时，近似服从正态分布N(0,1)，因此，当n很大时， 近似服从正态分布
这就是说，无论各个随机变量 服从什么分布，只要满足定理的条件，那么它们的和 当n很大时，就近似服从正态分布
第五章
大数定律
定理一（契比雪夫定理的特殊情况）
设随机变量 … …相互独立（是指对于任意n>1， … …是相互独立），且具有相同的数学期望和方差： … 。作前n个随机变量的算术平均
则对于任意正数ε，有
证明：
由于
，
由契比雪夫不等式可 … …是一个随机变量序列，a是一个常数。若对于任意正数ε，有
定理六（棣莫弗-拉普拉斯定理）
设随机变量 服从参数为n,p（0<p<1)的二项分布，则对于任意x，有
证明：
将 分解成为n个相互独立、服从同一（0-1）分布的诸随机变量 … 之和，即有
= ，
其中 的分布律为
由于 由定理四得
这个定理表明，正态分布是二项分布的极限分布，当n充分大时，我们可以利用定理六中的式子来计算二项分布的概率
证明：
因为 ～ ，有
…
其中， … …相互独立，且都服从以p为参数的（0-1）分布，因而 … ，由定理一得
…
即
这个定理表明事件发生的频率的稳定性
定理三（辛钦定理）
设随机变量 … …相互独立，服从同一分布，且具有数学期望 … ，则对于任意正数ε，有
显然，伯努利大数定理是辛钦定理的特殊情况
中心极限定理
定理四（独立同分布的中心极限定理）
定理五（李雅普诺夫定理）
设随机变量 … …相互独立，它们具有数学期望和方差：
…，
记 ,
若存在正数δ，使得当 时，
则随机变量之和 的标准化变量：
的分布函数 对于任意x，满足
对其的解释为：
随机变量 ，
当n很大时，近似服从正态分布N(0,1)，因此，当n很大时， 近似服从正态分布
这就是说，无论各个随机变量 服从什么分布，只要满足定理的条件，那么它们的和 当n很大时，就近似服从正态分布
第五章
大数定律
定理一（契比雪夫定理的特殊情况）
设随机变量 … …相互独立（是指对于任意n>1， … …是相互独立），且具有相同的数学期望和方差： … 。作前n个随机变量的算术平均
则对于任意正数ε，有
证明：
由于
，
由契比雪夫不等式可 … …是一个随机变量序列，a是一个常数。若对于任意正数ε，有
定理六（棣莫弗-拉普拉斯定理）
设随机变量 服从参数为n,p（0<p<1)的二项分布，则对于任意x，有
证明：
将 分解成为n个相互独立、服从同一（0-1）分布的诸随机变量 … 之和，即有
= ，
其中 的分布律为
由于 由定理四得
这个定理表明，正态分布是二项分布的极限分布，当n充分大时，我们可以利用定理六中的式子来计算二项分布的概率
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
独立性意味着对于一个特定的 x 值，它所对 应的ε与其他 x 值所对应的ε不相关 对于一个特定的 x 值，它所对应的 y 值与其 他 x 所对应的 y 值也不相关
四、估计方程 (回归方程)
(estimated regression equation)
ˆ 代替回归方程中的未 ˆ 和 b 1、用子样统计量 知参数 和 b ，就得到了估计的回归方程
n Q 2 ( yi b xi ) i 1 n Q 2 ( yi b xi ) xi n b i 1
Q 0 0 b ˆ ˆ ,b
ˆ x y ˆ +b n i i
n
正规方程
n n ˆ x y ˆ n + b i i i 1 i 1 n n n ˆ x2 x y ˆ xi + b i i i i 1 i 1 i 1
e i = y iyi ＾
x
（2）公式：根据最小二乘法的要求，可得
ˆ 的公式如下 求解 ˆ和 b
回归直线方程
ˆx ˆ +b ˆ y
推导过程：令
ˆ 是 ˆ, b α ，b 的最小二乘估计
的最小值点。由于二次函数的极值点满足
Q
ˆ ˆ ,b
的
而
i 1 i 1 ˆ ˆ , b 满足正规方程 n 即 n n ˆ x2 x y ˆ xi + b i i i i 1 i 1 i 1
( x x )( y y ) r (x x) ( y y) n xy x y 或化简为 r n x x n y 之间线性相关程度的度量称为 复相关系数 ② 相关系数的意义 r 的取值范围是 [-1,1] 10 |r|=1，为完全相关 r =1，为完全正相关 r =-1，为完全负正相关 20 r = 0，不存在线性相关关系相关 30 -1r<0，为负相关 40 0<r1，为正相关 50 |r|越趋于1表示关系越密切；|r|越趋于0表 示关系越不密切
第五章 回归分析
§5.1 一元线性回归 §5.2 多元线性回归
§5.1 一元线性回归分析
一、相关关系及分析方法 （一） 相关关系 1、函数关系：设有两个变量 x 和 y ，变量 y 随变量 x 一起变化，并完全依赖于 x ，当 变量 x 取某个数值时， y 依确定的关系取相 应的值，则称 y 是 x 的函数，记为 y = f (x)， 其中 x 称为自变量，y 称为因变量。 注意：函数关系是一种确定性的关系。
不良贷款
10
10 8 6 4 2 0 0 50 100 150 200 固定资产投资额
不良贷款与贷款项目个数的散点图
不良贷款与固定资产投资额的散点图
(2)相关系数（测度变量之间的线性关系）
①相关系数定义：根据母体计算而得的相关 系数记为；根据子样数据计算而得的相关系 数记为 r 10 对两个变量之间线性相关程度的度量称为 简单相关系数，其计算公式为
例：
某种商品的销售额 (y) 与销售量 (x)之 间的关系可表示为 y = px (p 为单价) 圆的面积 (S) 与半径之间的关系可表 示为S=R2 企业的原材料消耗额 ( y) 与产量 ( x1) 、单位产量消耗 ( x2) 、原材料价格 (x3)之间的关系可表示为y = x1 x2 x3
负线性相关
不相关
正线性相关
【例】一家大型商业银行在多个地区设有分行， 其业务主要是进行基础设施建设、国家重点项目 建设、固定资产投资等项目的贷款。近年来，该 银行的贷款额平稳增长，但不良贷款额也有较大 比例的提高，这给银行业务的发展带来较大压力 。为弄清楚不良贷款形成的原因，希望利用银行 业务的有关数据做些定量分析，以便找出控制不 良贷款的办法。下面是该银行所属的25家分行 2002年的有关业务数据
* 一元线性回归中估计的回归方程为
ˆx ˆ +b ˆ y
ˆ是直线 ˆ 是估计的回归直线在 y 轴上的截距，b 其中： ˆ 是 y 的估 的斜率，它表示对于一个给定的 x 的值， y 计值，也表示 x 每变动一个单位时， y 的平均变动值
2、 回归方程的目的：用回归方程代替 y 与 x 的真实关系。
3. 根据显著性水平＝0.05，查t分布表得 t(n-2)=2.0687，由于t=7.5344>t(23)=2.068 样本落入拒绝域，拒绝H0，可以认为不良贷款 与贷款余额之间存在着显著的正线性相关关系
各相关系数检验的统计量
比较 t(n-2)=2.0687
结论：？
2、回归分析：回归分析的概念：研究一个 变量（因变量）对另外一些变量（自变量） 的依存关系。 适用于因果相关 例如： 研究儿子身高y如何依赖于父母亲的身高x1 , x2,； 研究支出y如何依赖于收入x； 研究粮食亩产量(y)与施肥量(x1) 、降雨量(x2) 、温度(x3)之间的关系
（二）相关关系分析方法 1、相关分析：研究变量之间的密切程度 （适用于所有相关关系）
（1）散点图(scatter diagram)
非线性相关
完全正线性相关
完全负线性相关
相关系数(意义)
完全负相关 无线性相关 完全正相关
-1.0
-0.5
0
+0.5
正相关程度增加
+1.0
r
负相关程度增加
例：不良贷款，各项贷款余额，累计应收贷款， 贷款项目个数，固定资产投资额之间的相关系数
(三) 相关关系的显著性检验(t 检验) 1、目的：检验两个变量之间是否存在线性相 关关系 相关 2、R.A.Fisher提出的 t 检验步骤 (1) 提出假设：H0： ；H1： 0 (2) 检验的统计量：
（1）一元回归模型：自变量个数 p=1 （2）线性回归模型： f(x1 , x2, … xp ) 为线性 形式，即 y = b + b x + b x + … + b x + e
1 1 2
p p
（3）一元线性回归模型 y = α + b x + e * 线性部分反映了由于 x 的变化而引起的 y 的 变化；* 误差项 e 是随机变量：反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响， 是不能由 x 和 y 之间的线性关系所解释的变异性
解出
记
可表示为
2、 σ2 的估计 （1）残差及残差平方和
n 2 n
ˆx －残差 ˆ b ˆi yi ei yi y i
五、一元线性回归分析 （一）模型估计 内容： (1)估计参数 α
2 b 及 σ ，
(2) 建立回归方程(估计方程)
ˆx ˆ +b ˆ y
1、 α ，b 的估计(最小二乘估计) （1）最小二乘估计：使因变量的观察值与估计 ˆ 的方 ˆ和 b 值之间的离差平方和最小者来求得 n n 2 2 法。即 ˆ ˆ ( y bx ) min ( y bx )
1、原模型： y 与 x1 , x2, … xp 的真实关系
y =f(x1 , x2, … xp ) + e * f(x1 , x2, … xp )反映了由于 x 的变化而引起的 y 的变化；* 误差项 e 是随机变量，反映了除 x 和 y 之间的关系之外的随机因素对 y 的影响， 是不能由 x 和 y 之间的关系所解释的变异性
？
回归一词是 怎么来的?
二、回归分析的概念 1、回归分析的概念：研究一个变量(因变量) 对另外一些变量(自变量)的依存关系。 2、回归分析的特点 （1）从一组子样数据出发，确定变量之间的关 系式（2）对这些关系式的可信程度进行各种统 计检验，并从影响某一特定变量的诸多变量中 找出哪些变量的影响显著，哪些不显著（3）利 用所求的关系式，根据一个或几个变量的取值 来预测或控制另一个特定变量的取值，并给出 这种预测或控制的精确程度
3、回归分析与相关分析的区别 （1）相关分析中，变量 x 变量 y 处于平等的地 位；回归分析中，变量 y 称为因变量，处在被解 释的地位，x 称为自变量，用于预测因变量的变 化（2）相关分析中所涉及的变量 x 和 y 都是随 机变量；回归分析中，因变量 y 是随机变量，自 变量 x 可以是非随机变量（3）相关分析主要是 描述两个变量之间线性关系的密切程度；回归分 析不仅可以揭示变量 x 对变量 y 的影响大小，还 可以由回归方程进行预测和控制
b0 ， b1 ， … ，bp为模型的参数
ˆ + bx 代替 y = α + b x + e * 建模目的：用 y
描述因变量 y 如何依赖于自变量 (2) 用于预测和控制
(1)
2、子样模型
或直接用 数据
y1 + bx1 + e1 y + bx + e 2 2 2 y n + b xn + e n
i 1
i
i
,b
i 1
i
i
用最小二乘法拟合的直线来代表 x与y之间的 关系与实际数据的误差比其他任何直线都小
最小二乘估计(图示)
y
( xn , yn ) ( x2 , y2 ) ( x1 , y1 )
ˆx ˆ +b ˆ y
｝
( x i , y i)
n2 t r ~ t (n 2) 2 1 r
(3) 确定显著性水平 ，拒绝域为
J
| t | t
2
四、估计方程 (回归方程)
(estimated regression equation)
ˆ 代替回归方程中的未 ˆ 和 b 1、用子样统计量 知参数 和 b ，就得到了估计的回归方程
n Q 2 ( yi b xi ) i 1 n Q 2 ( yi b xi ) xi n b i 1
Q 0 0 b ˆ ˆ ,b
ˆ x y ˆ +b n i i
n
正规方程
n n ˆ x y ˆ n + b i i i 1 i 1 n n n ˆ x2 x y ˆ xi + b i i i i 1 i 1 i 1
e i = y iyi ＾
x
（2）公式：根据最小二乘法的要求，可得
ˆ 的公式如下 求解 ˆ和 b
回归直线方程
ˆx ˆ +b ˆ y
推导过程：令
ˆ 是 ˆ, b α ，b 的最小二乘估计
的最小值点。由于二次函数的极值点满足
Q
ˆ ˆ ,b
的
而
i 1 i 1 ˆ ˆ , b 满足正规方程 n 即 n n ˆ x2 x y ˆ xi + b i i i i 1 i 1 i 1
( x x )( y y ) r (x x) ( y y) n xy x y 或化简为 r n x x n y 之间线性相关程度的度量称为 复相关系数 ② 相关系数的意义 r 的取值范围是 [-1,1] 10 |r|=1，为完全相关 r =1，为完全正相关 r =-1，为完全负正相关 20 r = 0，不存在线性相关关系相关 30 -1r<0，为负相关 40 0<r1，为正相关 50 |r|越趋于1表示关系越密切；|r|越趋于0表 示关系越不密切
第五章 回归分析
§5.1 一元线性回归 §5.2 多元线性回归
§5.1 一元线性回归分析
一、相关关系及分析方法 （一） 相关关系 1、函数关系：设有两个变量 x 和 y ，变量 y 随变量 x 一起变化，并完全依赖于 x ，当 变量 x 取某个数值时， y 依确定的关系取相 应的值，则称 y 是 x 的函数，记为 y = f (x)， 其中 x 称为自变量，y 称为因变量。 注意：函数关系是一种确定性的关系。
不良贷款
10
10 8 6 4 2 0 0 50 100 150 200 固定资产投资额
不良贷款与贷款项目个数的散点图
不良贷款与固定资产投资额的散点图
(2)相关系数（测度变量之间的线性关系）
①相关系数定义：根据母体计算而得的相关 系数记为；根据子样数据计算而得的相关系 数记为 r 10 对两个变量之间线性相关程度的度量称为 简单相关系数，其计算公式为
例：
某种商品的销售额 (y) 与销售量 (x)之 间的关系可表示为 y = px (p 为单价) 圆的面积 (S) 与半径之间的关系可表 示为S=R2 企业的原材料消耗额 ( y) 与产量 ( x1) 、单位产量消耗 ( x2) 、原材料价格 (x3)之间的关系可表示为y = x1 x2 x3
负线性相关
不相关
正线性相关
【例】一家大型商业银行在多个地区设有分行， 其业务主要是进行基础设施建设、国家重点项目 建设、固定资产投资等项目的贷款。近年来，该 银行的贷款额平稳增长，但不良贷款额也有较大 比例的提高，这给银行业务的发展带来较大压力 。为弄清楚不良贷款形成的原因，希望利用银行 业务的有关数据做些定量分析，以便找出控制不 良贷款的办法。下面是该银行所属的25家分行 2002年的有关业务数据
* 一元线性回归中估计的回归方程为
ˆx ˆ +b ˆ y
ˆ是直线 ˆ 是估计的回归直线在 y 轴上的截距，b 其中： ˆ 是 y 的估 的斜率，它表示对于一个给定的 x 的值， y 计值，也表示 x 每变动一个单位时， y 的平均变动值
2、 回归方程的目的：用回归方程代替 y 与 x 的真实关系。
3. 根据显著性水平＝0.05，查t分布表得 t(n-2)=2.0687，由于t=7.5344>t(23)=2.068 样本落入拒绝域，拒绝H0，可以认为不良贷款 与贷款余额之间存在着显著的正线性相关关系
各相关系数检验的统计量
比较 t(n-2)=2.0687
结论：？
2、回归分析：回归分析的概念：研究一个 变量（因变量）对另外一些变量（自变量） 的依存关系。 适用于因果相关 例如： 研究儿子身高y如何依赖于父母亲的身高x1 , x2,； 研究支出y如何依赖于收入x； 研究粮食亩产量(y)与施肥量(x1) 、降雨量(x2) 、温度(x3)之间的关系
（二）相关关系分析方法 1、相关分析：研究变量之间的密切程度 （适用于所有相关关系）
（1）散点图(scatter diagram)
非线性相关
完全正线性相关
完全负线性相关
相关系数(意义)
完全负相关 无线性相关 完全正相关
-1.0
-0.5
0
+0.5
正相关程度增加
+1.0
r
负相关程度增加
例：不良贷款，各项贷款余额，累计应收贷款， 贷款项目个数，固定资产投资额之间的相关系数
(三) 相关关系的显著性检验(t 检验) 1、目的：检验两个变量之间是否存在线性相 关关系 相关 2、R.A.Fisher提出的 t 检验步骤 (1) 提出假设：H0： ；H1： 0 (2) 检验的统计量：
（1）一元回归模型：自变量个数 p=1 （2）线性回归模型： f(x1 , x2, … xp ) 为线性 形式，即 y = b + b x + b x + … + b x + e
1 1 2
p p
（3）一元线性回归模型 y = α + b x + e * 线性部分反映了由于 x 的变化而引起的 y 的 变化；* 误差项 e 是随机变量：反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响， 是不能由 x 和 y 之间的线性关系所解释的变异性
解出
记
可表示为
2、 σ2 的估计 （1）残差及残差平方和
n 2 n
ˆx －残差 ˆ b ˆi yi ei yi y i
五、一元线性回归分析 （一）模型估计 内容： (1)估计参数 α
2 b 及 σ ，
(2) 建立回归方程(估计方程)
ˆx ˆ +b ˆ y
1、 α ，b 的估计(最小二乘估计) （1）最小二乘估计：使因变量的观察值与估计 ˆ 的方 ˆ和 b 值之间的离差平方和最小者来求得 n n 2 2 法。即 ˆ ˆ ( y bx ) min ( y bx )
1、原模型： y 与 x1 , x2, … xp 的真实关系
y =f(x1 , x2, … xp ) + e * f(x1 , x2, … xp )反映了由于 x 的变化而引起的 y 的变化；* 误差项 e 是随机变量，反映了除 x 和 y 之间的关系之外的随机因素对 y 的影响， 是不能由 x 和 y 之间的关系所解释的变异性
？
回归一词是 怎么来的?
二、回归分析的概念 1、回归分析的概念：研究一个变量(因变量) 对另外一些变量(自变量)的依存关系。 2、回归分析的特点 （1）从一组子样数据出发，确定变量之间的关 系式（2）对这些关系式的可信程度进行各种统 计检验，并从影响某一特定变量的诸多变量中 找出哪些变量的影响显著，哪些不显著（3）利 用所求的关系式，根据一个或几个变量的取值 来预测或控制另一个特定变量的取值，并给出 这种预测或控制的精确程度
3、回归分析与相关分析的区别 （1）相关分析中，变量 x 变量 y 处于平等的地 位；回归分析中，变量 y 称为因变量，处在被解 释的地位，x 称为自变量，用于预测因变量的变 化（2）相关分析中所涉及的变量 x 和 y 都是随 机变量；回归分析中，因变量 y 是随机变量，自 变量 x 可以是非随机变量（3）相关分析主要是 描述两个变量之间线性关系的密切程度；回归分 析不仅可以揭示变量 x 对变量 y 的影响大小，还 可以由回归方程进行预测和控制
b0 ， b1 ， … ，bp为模型的参数
ˆ + bx 代替 y = α + b x + e * 建模目的：用 y
描述因变量 y 如何依赖于自变量 (2) 用于预测和控制
(1)
2、子样模型
或直接用 数据
y1 + bx1 + e1 y + bx + e 2 2 2 y n + b xn + e n
i 1
i
i
,b
i 1
i
i
用最小二乘法拟合的直线来代表 x与y之间的 关系与实际数据的误差比其他任何直线都小
最小二乘估计(图示)
y
( xn , yn ) ( x2 , y2 ) ( x1 , y1 )
ˆx ˆ +b ˆ y
｝
( x i , y i)
n2 t r ~ t (n 2) 2 1 r
(3) 确定显著性水平 ，拒绝域为
J
| t | t
2