7.1_参数的点估计
概率论与数理统计复习7章

( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为: 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有:E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是:Av = 1 ∑ X iv n i =1
n
估计的未知参数,假定总体X 的k阶原点矩E ( X k ) 存在,
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计,即令: ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法: 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数,θ ∈ Θ, Θ为参数空间,即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值:
i =1 n
概率论与数理统计第7章参数估计PPT课件

a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时,可用样本值的j阶原点矩Aj估计vj,其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;),则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而, 这个方法常归功于英国统
Gauss
计学家费歇(Fisher) . 费歇在1922年重新发现了
这一方法,并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路:根据样本的具体情况
注:估计量为样本的函数,样本不同,估计量不 同。
常用估计量构造法:矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系,解出参数, 并用样本矩替代总体矩而得到的参数估计方法。 (由大数定理可知样本矩依概率收敛于总体矩, 且许多分布所含参数都是矩的函数)
下面我们考虑总体为连续型随机变量的情况:
n
它是的函数,记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数,记为L( )。
注:似然函数的概念并不仅限于连续随机变量 ,
对于离散型随机变量,用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知,且只含一个未知参数,
第7章参数估计

x 1 0
f P 1-p
x
xf f
1 p 0 (1 p) p (1 p)
p
2 (x x)2 f (1 p)2 p (0 p)2 (1 p)
f
p (1 p)
似然函数常简记为L或 L 1,2, ,k
未知参数的函数。
38
若有 ˆi (x1, x2,..., xn ) i 1, 2, k 使得
L x1, x2,..., xn;ˆ1, ˆ 2,
, ˆ k
max L (1 ,2 , ,k )
x1, x2,..., xn; 1, 2,
, k
则 ˆi (X1, X2,..., Xn) 为参数θi的极大似然估计量。
中选出一个使样本观察值出现的概率为最大的 ˆ 作
为θ的估计量。
称 ˆ 为θ 的极大似然估计量。
37
2.似然函数的数学表达式
设X1,X2,…Xn是取自总体X的一个样本,样本的联合密度 (连续型)或联合分布律 (离散型)为 :
f (x; 1,2 , , k )
定义似然函数为:
n
L L x1,..., xn; 1, 2, , k f xi; 1, 2, , k i 1 x1, x2 ,..., xn 给定的样本观察值
§7.1.4抽样误差
1.误差:调查结果与实际值之间的差异 抽样调查中的误差
登记性误差(非抽样误差) 误差代表性误差随系机统误误差差((抽非样抽误样差误)差)
2.抽样误差—由于抽样的随机性而产生的 样本指标对总体指标的代表性误差。抽样误 差可以计算并加以控制,但不可以避免。
7.1 点估计的基本概念及矩估计方法

点估计的基本概念及矩估计方法总体样本统计量描述作出推断随机抽样统计推断:参数估计和假设检验这类问题称为参数估计问题.参数估计问题的一般提法设有一个总体X ,其分布函数为F (x,θ),其中θ为未知参数,现从该总体抽样,得样本X 1,X 2,…,X n .参数估计问题就是利用从总体抽样得到的样本来估计总体未知参数的问题.要依据该样本对参数θ作出估计,或估计参数θ的某个函数g (θ).点估计(Point Estimation)参数估计区间估计(Interval Estimation)点估计——估计未知参数的值区间估计——根据样本构造出适当的区间,使它以一定的概率包含未知参数.这是点估计.这是区间估计.估计μ在区间(1.59, 1.77)内,假如我们要估计某队男生的平均身高.(假定身高服从正态分布N (μ,0.12)),现从该总体抽取容量为5的样本,分别为1.65 1.67 1.681.71 1.69,求总体均值μ的估计.估计μ为1.68,全部信息就由这5个数组成.设总体X 的分布函数F (x ,θ)形式已知,θ是待估参数,X 1, X 2, …, X n 为抽自总体X 的样本,x 1, x 2,…, x n 是相应的一个样本值. 据此,应如何估计未知参数θ呢?点估计问题为估计θ,需要构造一个适当的统计量每当有了样本观测值x 1,x 2,…,x n ,就代入该统计量计算出一个值作为未知参数θ的近似值.12ˆ(,,,),n X X X θ12ˆ(,,,)n x x x θ称为参数θ的估计量(Estimator ).称为参数θ的估计值(Estimate ).在不引起混淆情况下统称为估计,记为12ˆ(,,,)n X X X θ12ˆ(,,,)n x x x θˆθ注意:被估计的参数θ是一个未知常数,而估计量是样本的函数,是一个随机变量,当样本值取定后,估计值是个已知的数值.对于不同的样本值,θ的估计值一般不同.问题:使用什么样的统计量去估计θ?矩估计法(Method of Moments)最大似然估计法(Method of Maximum Likelihood)矩估计法由英国统计学家卡尔•皮尔逊(Karl Pearson)在20世纪初提出.1.矩估计方法的基本思想用样本矩估计总体矩利用样本k阶原点矩作为总体k阶原点矩的估计.由此进一步估计未知参数θ,这就是矩估计法.1857-1936由大数定律总体k 阶原点矩为因此,可以用A k 估计μk 设X 1,X 2, …, X n 为来自总体X 的一个样本,()kk E X μ=样本k 阶原点矩为若g 为连续函数,则用g (A k )估计g (μk )又由于μk 一般可以表示为总体中未知参数的函数,从而可以估计出未知参数.11n kk i i A X n ==∑11nP kk i i A X n ==−−→∑k μ()Pk g A −−→()k g μ2.矩估计的步骤(1)根据未知参数的个数,求出总体的各阶矩.设总体X~F (x ,θ1,θ2, …,θk ), X 1,X 2, …, X n 为来自总体X 的样本.1(,,),1,2,,l l k l kμμθθ==X 为连续型X 为离散型+12()(;,,)lll k E X x f x ,dxμθθθ∞-∞==⎰12()(;,,)Xll l k x R E X x p x ,μθθθ∈==∑总体X 的密度函数总体X 的分布律(3)用样本矩估计相应的总体矩,即:用A l 替代相应的μl ,得到θl 的矩估计量(2)解方程(组),得12ˆ(,,,),1,2,,l l kA A A l k θθ==(4)g (θ1 ,⋯,θk )的矩估计量为12ˆˆˆ(,,,)kg θθθ1(,,),1,2,,l l k l kθθμμ==解:(1)10.求总体的1阶矩例1.设总体X 的概率密度为其中α>−1是未知参数,X 1,X 2,…,X n 是取自总体X 的样本,求(1)参数α的矩估计量;(2)g (α)=(α+1)/α的矩估计量.(1),01()0,x x f x αα⎧+<<=⎨⎩其它1()E X μ=111(1)=2x dx αααα++=++⎰+()xf x dx ∞-∞=⎰112EX αμα+==+20. 解方程11211μαμ-=-21ˆ1X Xα-=-10.30. 用代替μ1,得α的矩估计为111nii A X X n ===∑用代替α,得g (α)=(α+1)/α的矩估计为ˆα21ˆ1X Xα-=-ˆ1ˆ()ˆgααα+=21X X =-例1.设总体X 的概率密度为其中α>−1是未知参数,X 1,X 2,…,X n 是来自总体X 的样本,求(1)参数α的矩估计量;(2)g (α)=(α+1)/α的矩估计量.(1),01()0,x x f x αα⎧+<<=⎨⎩其它例2.设总体X 的均值μ和方差σ2都存在,且σ2>0,但μ和σ2均未知,设X 1,X 2,…,X n 是来自总体X 的样本,求μ,σ2的矩估计量.解:10.求总体的1阶矩和2阶矩122222()()()()E X E X D X EX μμμσμ==⎧⎪⎨==+=+⎪⎩20.解方程组12221μμσμμ=⎧⎪⎨=-⎪⎩30.分别以A 1, A 2代替μ1, μ2得到μ, σ2的矩估计量分别为1ˆA X μ==22222211111ˆ()n ni i i i A A X X X X n n σ===-=-=-∑∑例2.设总体X 的均值μ和方差σ2都存在,且σ2>0,但μ和σ2均未知,设X 1,X 2,…,X n 是来自总体X 样本,求μ,σ2的矩估计量.特别,若X~N (μ, σ2),μ, σ2未知,则μ, σ2的矩估计量分别为ˆX μ=2211ˆ()ni i X X n σ==-∑若总体X~U [a,b ],其中a<b 且均未知,X 1,X 2, …,X n 是来自总体X 的样本,则a ,b 的矩估计量分别为213ˆ()ni i a X X X n ==--∑213ˆ()ni i b X X X n ==+-∑优点:直观、简单缺点(1)不唯一,如例1例1.设总体X 的概率密度为其中α>−1是未知参数,X 1,X 2,…,X n 是来自总体X 的样本,求(1)参数α的矩估计;(1),01()0,x x f x αα⎧+<<=⎨⎩其它可以求总体的二阶矩μ2,用A 2代替μ2得到矩估计.规定:用尽量低阶的矩求相应的矩估计.缺点(2)损失信息,如例2例2.设总体X的均值μ和方差σ2都存在,且σ2>0,但μ和σ2均未知,设X1, X2,…,X n是来自总体X样本,求μ,σ2的矩估计量.若已知总体X的服从正态分布,则该分布形式已知的信息没有用到,从而造成信息的损失.。
7.1参数的点估计

(三) 对 求导 d ln L( ) , 并令 d ln L( ) 0, 对数
d
d
似然
解方程即得未知参数 的最大似然估计值ˆ. 方程
最大似然估计法也适用于分布中含有多个 未知参数的情况. 此时只需令
ln L 0,
i
i 1,2,,k. 对数似然方程组
解出由 k 个方程组成的方程组,即可得各未知参
f (x) 0,
其它
样本X1, X2,Xn,未知参数 ,求1 的矩估计.
解
数学期望 是一阶 原点矩
1
E(X)
1
( 1)
1
x(
1)
x
dx
0
x 1dx
1
0
2
由矩法, X 1
总体矩
样本矩
2
从中解得 ˆ 2X 1, 即为 的矩估计.
1 X
盐城工学院概率论与数理统计课题组
ex2 设
因 X1, X2,相, 互Xn独立,且与总体 同分布X ,故
X1,, Xn的联合分布律:
P( X1 x1, X2 x2 ,, Xn xn )
n
n
P( Xi xi ) P( xi; ).
i 1
i 1
设
n
L( ) P( xi; )
(1)
i 1
L( ):它是 的函数,称之为样本的似然函数.
例7.1.2 设总体X ~ U[a, b],a, b未知;X1,, Xn是一个 样本, 求a, b的矩估计量.
解:
1
EX
a
2
b,
2
EX
2
DX
(EX )2
(b
a)2 12
(a
b)2 4
第六章 数理统计的基本概念 - 浙江大学邮件系统

31
2 极大似然估计
注意到,L ,
1
n
e
1
n
i1
xi
n
是的增函数,
取到最大值时,L达到最大。
故 X1 min X1, X 2 , , X n ,
又lnL
nln
1
n i 1
Xi
ˆ
令 dlnL d
n
解:似然函数L f xi , i 1
n
xi
1n 2来自 n 1
xi
i 1
i1
lnL
n 2
ln
n
1 ln xi
i 1
令
dlnL
d
n 2
1
2
1
n
ln xi 0
i 1
lnL 称为对数似然函数.
利用lnL
i
0, i
1,
2,...,
k.解得ˆi,i
1,
2,...,
k.
3. 若L 关于某个i 是单调增减函数,此时i的极大似然
估计在其取值范围的边界取得;
4. 若ˆ是 的极大似然估计,则g 的极大似然估计为g ˆ 。
n i 1
(xi 1)2
2 2
d
d 2
ln
L(
2
)
n
2
2
1
2
4
n
( xi
i 1
1)2
概率论与数理统计电子教案:MC7_1参数的点估计

20.8.27
第七章 参数估计
电子科技大学
参数估计
20.8.27
数理统计问题:如何选取样本来对总体的种种统计 特征作出判断。
参数估计问题:知道随机变量(总体)的分布类型, 但确切的形式不知道,根据样本来估计总体的参数,这 类问题称为参数估计(paramentric estimation)。
指数分布的参数估计 矩估计与似然估计不等的例子 均匀分布的极大似然估计
电子科技大学
参数估计
小结
1. 矩法估计量与极大似然估计量不一定相同; 2. 用矩法估计参数比较简单,但有信息量损失; 3.极大似然估计法精度较高,但运算较复杂; 4.不是所有M.L.E都需要建立似然方程求解.
电子科技大学
பைடு நூலகம்
参数估计
注1 总体X的分布函数中可有多个不同未知参数. 注2 统计量是不含未知参数的样本函数.
电子科技大学
参数估计
20.8.27
点估计(point estimation) :如果构造一个统计量
(X1, X2, , Xn ) 来作为参数的估计量,则称为
参数的点估计。
点估计的方法:矩估计法、极大似然估计法。
20.8.27
(θ
1)n
n
xθi
,
L( x1,...,xn;θ )
i 1
0,
0 xi 1; 其它
2. 取对数: 当 0<xi<1, (i=1,2, …,n) 时
n
ln L n ln( 1) ln xi
i 1
3. 建立似然方程
d ln L n n
d
1
ln
i 1
xi
0,
电子科技大学
7.1 点估计

1 xi
n n i 1
0 x i 1 的最大值
n
n ln L ln 2
1 ln xi
i 1
求导数
0 xi 1
令 d ln L n 1 d 2 2
n i 1
ln xi 0
解似然方程
ˆ 故θ的极大似然估计量为 极 大
而 ln L 与
6
4
2
L 在同一 处达到最大值,
取对数
求导数
即
ln L ln 4 6 ln 2 ln1 2 4 ln1
d ln L 6 2 8 令 0 d 1 1 2
7 13 解方程:6-28+24 ² =0 得 1,2 2 7 13 1 ˆ 参数 的极大似然估计值为 极大 12 2
6 28 24 2 0 1 1 2
极大似然估计法定义
定义
若似然函数 则称
L( x1 , x 2 ,, x n ; )
ˆ 取到最大值, 在
ˆ 为 的极大似然估计.
设总体X 的概率密度为:
x 1 , f ( x) 0,
其中 1
X1,X2,…,Xn是X 的一个样本,.
求θ的估计量.
X~B(n,p)
X~ P (λ),
X~E(θ), X~U(a,b)
2 X~N(μ,σ )
7.1 点估计 (point estimate)
点估计就是由样本x1,x2,…xn构造一个统计 量 ,用它来估计总体的未知参数 ,称为总体 参数的估计量。
样本一阶原点矩
2
用A1 代替1 得: 1
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
解 (1) 就是总体的一阶矩,用样本一阶矩
X
1 n
n i 1
Xi
作为
的矩估计。
即:
ˆ X 。
(2)由于 2 DX EX 2 (EX )2 ,
信息系 刘康泽
EX 2 是总体的二阶矩,则用样本二阶矩
信息系 刘康泽
证明
因
{X
n
}
独
立,那么
{
X
k n
}
也独
立
,
又
k
EX k
,
于是
EX
k n
EX k
k 。
由辛钦大数定理知:
Ak
1 n
n i1
X
k i
P k , k N
.
(2) 设 总 体 X 的 矩 k EX k , k 1, 2, , m 存 在 ,
f (t1, t2 ,, tm ) 为连续函数,
矩的矩估计量。
信息系 刘康泽
这是因为:总体 k 阶中心矩 E( X EX )k 是总体各阶矩 EX , EX 2 , , EX k 的线性函数,而样本的 k 阶中心矩是样
本各阶矩同样的线性函数,由矩估计的方法可知,
EX , EX 2 , , EX k 矩计是相应地各阶样本矩。
因此:总体 k 阶中心矩的矩估计量就是样本的 k 阶中心
则 f ( A1, A2 ,, Am ) P f (1, 2 ,, m ) .
信息系 刘康泽
2、矩估计法
用样本 k 阶矩 Ak 作为总体 k 阶矩 EX k k 的估计量。
实施步骤:
(1) 求出总体的矩 EX k k (与未知参数 的关系);
(2)
求出样本的矩估计 Ak
1 n
n i 1
X
k i
1 n
n i 1
X
2 i
作为
EX 2 的矩估计,用 X 作为 EX 的矩估计,由此
ˆ 2
1 n
n i 1
X
2 i
X2
1 n
n i 1
(Xi
X )2
即
ˆ 2 Sn2 。
因此总体均值的矩估计就是样本均值 X ,总体方差的
矩估计就是样本方差
S
2 n
【注 1】 可以用样本的 k 阶中心矩作为总体 k 阶中心
而 EX
的矩估计就是 X
1 n
n i 1
Xi
因此 ˆ
X
1 n
n i 1
Xi
。
例 3 设 X ~ E() ,求 ˆ .
解 由于 EX 1 ;
而 EX
的矩估计就是 X
1 n
n i 1
Xi
信息系 刘康泽
因此
ˆ 1 X
n。
n
Xi
i 1
如:已知总体服从参数为 的指数分布,从总体中抽取
n
了容量为 20 的样本,经计算得 X i 60 ,要求总体参数 i 1
的矩估计。
由上面的讨论知: ˆ 1 X
n
n
Xi
故
ˆ
n
n
Xi
20 60
1。 3
i 1
i 1
信息系 刘康泽
进一步还可得总体数学期望和方差的矩估计为:
ˆ
1
ˆ
3
,
ˆ 2
1
ˆ2
9。
例 4 设 X ~ N (, 2 ) ,求 ˆ ,ˆ 2 .
解 由于 EX , 2 DX EX 2 EX 2 ;
(2)
联立方程 (1), (2) 求解得: aˆ X 3Sn , bˆ X 3Sn 。
信息系 刘康泽
其中
X
1 n
n i 1
Xi
, Sn
1 n
n i 1
(Xi
X )2
信息系 刘康泽
三、极大似然估计法 1、统计思想:
一 次 观 测 样 本 X1, X2, , Xn , 得 到 样 本 观 测 值 x1, x2 , , xn 。 一 般 地 , 样 本 X1, X 2 , , X n 取 值 为 x1, x2 , , xn 的可能性较大,即试验条件对 X1, X 2 , , X n 取 到 x1, x2 , , xn 最有利,因而概率最大。
信息系 刘康泽
第 7-1节 参数的点估计
信息系 刘康泽
第 7-1 节 参数的点估计
思想:利用样本信息来推断总体信息。
通常总体的分布是未知的,或总体分布的参数 是未知
的。如果抽取了一个容量为 n 的样本 X1, X2 , Xn ,则希
望利用样本 X1, X2 , Xn 得到总体分布参数 的估计,也
就是说用一个合适的样本的函数作为总体参数的估计。
一、点估计
1、 的点估计量:设 F (x, ) 是总体 X 的分布函数,
为未知参数,构造统计量(它是样本的一个函数)
ˆ(X1, X2, , Xn) ,用以估计 ,则称ˆ(X1, X2, , Xn) 为 的点估计量。
信息系 刘康泽
点估计量有时也简记作ˆ ,当总体的未知参数多于一个 时,ˆ 为一个向量ˆ (ˆ1,ˆ2, ,ˆm ) 。
矩。
【注 2】总体的未知参数 往往与 EX , DX 2
有关,于是可以先用
X
与
S
2 n
作为总体
EX
与
DX
的估计
量;然后求出总体的 EX 与 DX 与未知参数 的关系,即得
的点估计量ˆ ˆ(X1, X2,, Xn ) 。
信息系 刘康泽
例 2 设 X ~ P() ,求 ˆ .
解 由于 EX ;
因此:
ˆ
X
1 n
n i 1
Xi
,
ˆ 2
1 n
n i 1
(Xi
X )2
。
信息系 刘康泽
例 5 设 X ~ U[a,b],求 aˆ, bˆ 。
解 由于 EX a b ,故令 X a b ,
2
2
即
a b 2X
(1)
又
DX
(b a)2 12
,故令:
Sn2
(b a)2 12
,
即
b a 12Sn2 2 3Sn
;
(3) 用样本 k 阶矩 Ak 作为相应总体 k 阶矩 EX k k
的估计量,即令:
ˆk Ak (k 1, 2, ) (4)联立求解上式,得未知参数 的点估计量:
ˆ ˆ(X1, X2,, Xn ) ;
信息系 刘康泽
(5)将样本的观察值代入ˆ ˆ(X1, X2,, Xn ) 可得总 体参数的点估计值ˆ ˆ(x1, x2, , xn) 。
极 大 似 然 估 计 就 是 在 使 得 X1, X2, , Xn 取 值 为 x1, x2 , , xn 的 概 率 为 最 大 的 前 提 下 。 通 过 样 本 值
x1, x2 , , xn 等数求得总体 X 的分布参数的估计。
2、 的点估计值: 的点估计量ˆ(X1, X2, , Xn) 的 样本观察值ˆ(x1, x2, , xn) 为 的点估计值,.
二、矩估计法
1、矩估计法的理论依据
(1) 设总体 X 的 k 阶矩 k EX k 存在, 则样本 k 阶
矩
Ak
1 n
n i 1
X
k i
依概率收敛于总体
X
的k
阶矩,即:
Ak P k , k N .