应用统计学5-参数估计(1)

收视率为（10%，16%），这个可信度达 到95% 区间估计
第五章
5.2.1
参数估计
区间估计的概念
5.2.1 区间估计的概念
ˆ , θˆ 使得 若估计量 θ 1 2
则
P{θˆ1 ≤ θ ≤ θˆ2 } = 1 − α
决定了参数的估 计区间的精确性
1-α称为置信度或置信水平
[θˆ1 , θˆ2 ] 称为置信度为1-α时θ的置信区间
1−α α/2
− u1−α / 2
0
u1−α / 2
x
第五章
5.2.2 若X ~ N
参数估计
单个总体参数的区间估计 ，则样本均值
(μ,σ2 )
X ~ N (µ ,
σ
2
X −µ U= ~ N (0 , 1) σ/ n
n
)
σ σ P X − u1−α 2 ≤ µ ≤ X + u1−α 2 = 1−α n n
∑
∑
=〉
1 ˆ= xi = x µ n 1 1 2 2 σ ˆ = ( xi − µ ) = n n
∑ ∑
∑
( xi − x )2
第五章
5.2
参数估计
区间估计
点估计的局限性：没有给出估计值的精确度
【引例】某电视台调查某电视节目的收视率，根据此 信息考虑是否继续办这个电视节目。 收视率为14% 点估计
L( µ ,σ 2 ) = Π f ( x i ; µ ,σ 2 )
i =1 n
n
=Π =(
1
i =1
σ 2π
1
e
−
1 2σ
2 ( x − µ ) i 2
σ 2π
)n e
−
2 ( x − µ ) i ∑ 2σ 2
1
ln L( µ , σ 2 ) = ln(
1
σ σ
= n ln
2π 1
)n e
−
1 2σ
罗—克拉美下限值为
∂Inf ( x, θ ) nE ∂θ
1
2
=
1 n⋅ 1
=
σ2
n
=D x
()
σ2
∴ x 为 µ 的最佳无偏估计量
第五章
参数估计
5.1.2 点估计的常用方法
1.特征数法：
用总体特征数对应的样本特征数作为其点估计
x→µ
S →σ m M p= → p= n N
具有最小方差 两个以上的 无偏估计量 罗—克拉美不等式 一个估计量 检验 最佳无偏估计量
非最佳无偏估计量
第五章
参数估计
∧
5.1.1 衡量估计量优劣的标准
4．罗—克拉美不等式
∧
对于一个无偏估计量 θ 的方差 D (θ ) 在一般的条件， 其方差永远不会小于一个正数，这个正数是 D(θ ) 的下限，它依赖于总体的概率密度函数和样本容量n 即:
S X ± tα / 2 (n − 1) ⋅ n
【例5.3】某种零件长度服从正态分布，从该批产品中随机抽 取９件，测得其平均长度为21.40 mm。已知总体标准差σ = 0.15mm，试建立该种零件平均长度的置信区间，给定置信 水平为0.95。
解：已知Ｘ~N(µ，0.152)， X ＝21.40, n=9, 1-α = 0.95，u1-α/2=1.96 总体均值 µ 的置信区间为
【例5.2】 X ~ N (μ,σ2 )， X1，X2，…，Xn为其随机样本， 求μ和σ2 的MLE 解：
X ~ f ( x; µ , σ ) =
2
1
σ 2π
1
ewenku.baidu.com
−
1 2σ
2 ( ) − µ x 2
X i ~ f ( x i ; µ ,σ 2 ) =
σ 2π
e
−
1 2σ
2
( x i − µ )2
似然函数
与样本均值有关的常用统计量 （1）正态总体， σ２已知
X −µ U= ~ N (0 , 1) σ/ n
（2）一般分布总体， 大样本 σ２已知 σ２未知
X − µ 近似 U= ~ N (0 , 1) σ/ n X − µ 近似 U= ~ N (0 , 1) S/ n
X −µ T= ~ t ( n − 1) S/ n
单个总体参数的区间估计
（2）一般分布， 大样本 σ２已知 σ２未知
X − µ 近似 U= ~ N (0,1) σ n
X −µ U= S n
近似
~ N (0,1)
X ± u1−α 2
σ
n
X ± u1−α 2
S n
第五章
5.2.2
参数估计
单个总体参数的区间估计
（3）正态分布， σ２未知，小样本
X −µ T= ~ t (n − 1) S n
2
∑ ( xi − µ )2
2π
−
1 2σ
2
∑
2
( xi − µ )2 1 2σ
2
n n = − ln 2π − ln σ 2 2
−
∑
( xi − µ )2
对数似然方程组
∂ ln L =0 ∂µ ∂ ln L = 0 ∂σ 2
=〉
( xi − µ ) =0 2 σ 2 µ − x ( ) 1 i − n − − ( )=0 2 4 2 σ 2σ
第五章
参数估计
点估计 区间估计 样本容量的确定
第五章
参数估计
5.1 点估计
• 所谓点估计就是由样本x1 , x2 , … , xn确定一个统计量
θ = g (x1 , x2 ,, xn )
用它来估计总体的未知参数 θ ，称为总体参数θ 的估计量。
∧
当具体的样本抽出后，可求出样本统计量的值。 用它作为总体参数的估计值，称作总体参数的点估计。
（1）写出似然函数
L(θ 1 ,θ 2 ,,θ m ) = Π f ( x i ; θ 1 ,θ 2 ,,θ m )
i =1
n
（2）列出似然方程
∂L(θ 1 ,θ 2 ,,θ m ) =0 ∂θ i ∂ ln L(θ 1 ,θ 2 ,,θ m ) =0 ∂θ i
或对数似然方程
ˆ = (θ ˆ ,θ ˆ ,,θ ˆ ) 即为所求 （3）求解上述方程组，其解 θ 1 2 m
2 2
第五章
参数估计
5.1.2 点估计的常用方法
2、最大似然法（Maximum Likelihood Estimate）
应用前提：总体分布形式已知
a. 基本思想：让样本选择“总体”
【例】样本（ X1，X2，…，X6 ）来自于方差已知但均值 未知的一个正态分布 样本(x1，x2，…，x6) 会“选择”使样本发生可 能性较大的总体，即总体 A x
θ 与 都是 θ 2
∧
的无偏估计量且
∧ D θ 1 ＜1 ∧ D θ 2
∧
或
D(θ 1 )＜D θ 2
( )
则称θ 1 较θ 2为 θ 的有效估计量。
∧
∴ x 较Me为µ 的有效估计量
第五章
参数估计
5.1.1 衡量估计量优劣的标准
4．罗—克拉美不等式
) =σ n 2 σ2 E (Sn ) = n −1 E (S
2 n −1 2 2
2 2 Sn −1 是σ 的无偏估计
2 Sn 不是σ 2的无偏估计
【课后习题】 证明 E ( S n −1 ) = σ
2
【课后思考】 样本标准差 S n −1 是不是σ 的无偏估计?
第五章
参数估计
5.1.1 衡量估计量优劣的标准
证：
f ( x, µ , σ ) =
2
2
1
( x − µ) 1 ∴ ln f ( x, µ , σ ) = ln 1 − (ln σ + ln(2π )) − 2 2σ 2 ∂ ln f ( x, µ , σ 2 ) 1 =− 2 • ( x − µ ) • (−1) ∂µ σ x − µ) ( = σ2
第五章
参数估计
5.1.1 衡量估计量优劣的标准
1.无偏性 (unbiasedness)
设 θ 为总体未知参数 θ 的估计量，若
∧
E (θ ) = θ
则称θ 是 θ 的无偏估计量，称 θ 具有无偏性。 若 θ 是有偏估计量，则它的偏差量为 偏差= E（θ ）－θ
∧
∧
∧
∧
∧
第五章
【例】
参数估计
5.1.1 衡量估计量优劣的标准
在1-α置信水平下，总体均值 µ 的置信区间为
S S , X + tα 2 ( n − 1) X − tα 2 ( n − 1) n n
N
σ２已知？ Y
Y
数据服从 正态分布
N
增加n至 大样本情形
σ X ± u1−α / 2 ⋅ n
是大样本？
Y
σ２已知？ N
Y
N
S X ± u1−α / 2 ⋅ n
（3）正态总体， σ２未知，小样本
第五章
5.2.2
参数估计
单个总体参数的区间估计
（1）正态分布， σ２已知
X −µ U= ~ N (0,1) σ n
在1-α置信水平下，总体均值 µ 的置信区间为
σ σ , X + u1−α 2 X − u1−α 2 n n
第五章
5.2.2
参数估计
参数估计
注： 置信区间是一个随机区间
对于给定置信水平，例如0.95，得到具体的样本之后，就能 确定具体的置信区间，它可能包含参数真值，也可能不包含。
µ
……
但是若不断的抽样， 则所有区间中有95%包括参数真值。
【例5.4】某大学从该校学生中随机抽取100人，调查到 他们平均每人每天完成作业时间为120分钟，样本标准 差为30分钟，试以95％的置信水平估计该大学全体学生 平均每天完成作业时间。
=[114.12 , 125.88]
n n 0.15 0.15 ,21.4 + 1.96 = 21.4 − 1.96 9 9 = (21.30,21.50 )
2 2
X − u1−α
σ
, X + u1−α
σ
我们可以 95 ％的概率保证该种零件的平均长度在 21.30～21.50 mm之间
第五章
似然函数的大小反映了样本(x1，x2，…，xn)发 生的可能性大小，L(x1，x2，…，xn ; θ)最大，说明 样本(x1，x2，…，xn) 最有可能性发生 c. 最大似然估计 MLE 使似然函数 L(θ ) 最大化的
ˆ 称为θ的MLE θ
第五章
参数估计
5.1.2 点估计的常用方法 d.求解MLE的步骤
1−α ：置信水平 α ：显著性水平 常取0.99，0.95，0.90 常取0.01，0.05，0.10
区间估计：在一定置信度下求参数的置信区间
第五章
5.2.2
参数估计
单个总体参数的区间估计
一、总体均值的区间估计
ˆ1 ≤ µ ≤ µ ˆ2 } = 1 − α P{µ
对于U~N(0,1)，有
ϕ ( x)
E( X ) = µ
X 是μ 的无偏估计
Me ~ N ( µ ,
中位数的抽样分布
πσ2
2n
)
E ( Me ) = µ
Me是μ 的无偏估计
第五章
定义
参数估计
5.1.1 衡量估计量优劣的标准
n 1 2 2 = − Sn ( X X ) ∑ i −1 n − 1 i =1 n 1 2 Sn = ∑ ( X i − X )2 n i =1
2．一致性（consistency）
如果对任意小的正数，有
∧ lim P θ − θ < ε = 1 n →∞
则称 θ 是 θ 的一致估计量，称
∧
θ
∧
具有一致性。
S 2 均具有一致性。 可以证明: x 与
第五章
3．有效性
若θ 1
∧
参数估计
5.1.1 衡量估计量优劣的标准
f(x)
B
A
x1 x2 x3 x4 x5 x6
第五章
参数估计
5.1.2 点估计的常用方法 b. 似然函数 Likelihood Function
设总体X ~ f(x;θ)，其中θ是未知参数， X1，X2，…，Xn 是其样本，则Xi ~ f(xi;θ)且相互独立，称∏ f(xi;θ)为似然函数， 记为L(x1，x2，…，xn ; θ)或L(θ )
σ 2π
e
2
第五章
参数估计
5.1.1 衡量估计量优劣的标准
∂ ln f ( x, µ , σ 2 ) ( x − µ ) = ∂µ σ2
∴
2 ∂ ln f ( x, µ , σ ) ( ) x 1 1 − µ σ 2 E = 4 E(x − µ ) = 4 = 2 = E 2 ∂µ σ σ σ σ 2 2
解： X = 120,
S = 30, n = 100, 1 − α = 0.95, u1−α / 2 = 1.96
∴ 在95％的置信度下，μ的置信区间为
S S X − u1−α / 2 n , X + u1−α / 2 n 30 30 = 120 − 1.96 ,120 + 1.96 100 100
∧
ˆ) ≥ D(θ
1 ∂ ln f ( x, θ ) nE ∂θ
2
ˆ 等于不等式右端时，这时称 θ 为最佳 注：当 D θ 无偏估计量。
()
∧
第五章
参数估计
则 x 是总体均值的最
( x − µ )2 −
2σ 2
5.1.1 衡量估计量优劣的标准
【例5.1】 若 X ~ N ( µ , σ 2 ) 佳无偏估计量。