7.1参数的点估计概念
合集下载
统计基础理论与相关知识：参数的点估计
点估计⼜称定值估计，是⼀种对未知的总体参数进⾏估计的统计⽅法，其估计结果是⼀个具体数值。
点估计的优点在于它能够提供总体参数的具体估计值，其表达更直观、简练，并可以作为⾏动决策的数量依据。
但其不⾜之处也是很明显：点估计所提供的信息量⽐较少，尤其不能提供估计的误差和把握程度⽅⾯的信息，⽐如说，误差会有多⼤，有多⼤把握可以保证结果正确等，这些信息在决策中往往是⾮常重要的。
点估计的⽅法主要有矩估计法、似然法及贝叶斯法等。
1．矩估计法
矩估计法⾸先在1849年由英国统计学家⽪尔逊提出，它有简单易⾏的优点。
⽤样本的矩作为相应（同类、同阶）总体矩的估计⽅法称为矩估计法。
在统计学中，矩是指以期望值为基础⽽定义的数字特征。
矩分原点矩和中⼼矩两种。
2．似然估计法
似然估计法是费歇在1912年提出的。
从理论上看，它是参数点估计中最重要的⽅法，具有优良的数学性质，应⽤⼗分⼴泛。
似然估计法是建⽴在似然原理基础上的求估计量的⽅法。
（1）似然原理
似然原理的直观想法是：将在试验中概率的事件推断为最可能出现的事件。
（2）似然估计法简介（略）
3．估计量的评选标准
（1）⽆偏性：⽆偏估计的实际意义就是⽆系统误差
（2）有效性：在多次重复试验中，估计值更为集中在真值的附近，就是有效性的直观意义。
综合上述两⽅⾯可知，⼀个好的估计量不仅要求它能围绕待估参数的真值摆动，⽽且希望摆动幅度越⼩越好。
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
参数的点估计及区间估计
参数的点估计及区间估计点估计的基本思想是根据样本数据，通过统计量来估计总体参数的值。
常用的点估计方法有最大似然估计和矩估计。
最大似然估计是找到一个参数值，使得样本观察值的概率最大。
矩估计是根据样本矩的性质来估计总体参数的值。
例如，如果总体服从正态分布，那么样本均值和样本方差就是总体均值和总体方差的估计量。
区间估计的基本思想是给出一个区间，使得总体参数落在该区间内的概率达到一定的置信水平。
在区间估计中，置信水平通常是根据统计学的理论设定的，常见的有95%和99%置信水平。
区间估计的计算方法主要有正态分布法和t分布法。
正态分布法适用于大样本情况下，而t分布法适用于小样本情况下。
对于点估计，我们需要考虑估计量的偏倚和方差。
偏倚表示估计量的期望值与总体参数的真实值之间的差异。
如果估计量的期望值与总体参数的真实值之间没有差异，就称为无偏估计；否则，就称为有偏估计。
方差表示估计量的离散程度。
我们通常希望找到无偏估计，并且方差越小越好。
对于区间估计，我们需要考虑置信水平和置信区间的宽度。
置信区间的宽度越小，说明估计的精度越高。
但是，要得到一个狭窄的置信区间就需要使用更大的样本量，或者降低置信水平。
在进行区间估计时，需要根据具体需求平衡估计的精度和置信水平。
在实际应用中，点估计和区间估计通常是一起使用的。
点估计提供了一个具体的估计值，而区间估计提供了一个参数值可能的范围。
通过点估计和区间估计，我们可以对总体参数进行合理的估计，并且给出估计的精度和可靠性的度量。
总之，参数的点估计和区间估计是统计学中常用的两种估计方法。
点估计通过选择适当的统计量来估计总体参数的值，而区间估计通过给出参数值可能的范围来表示估计的不确定性。
点估计和区间估计是统计学中重要的概念，对于数据分析和决策制定具有重要的指导意义。
估计量设为总体X的未知参数
mk= E（Xk） ck= E[X-E(X)]k
显然 通常取
mk
$ ck
= =
1 n k Ak = ∑ X i n i =1 1 n Bk = ∑( Xi − X )k n i=1
m1 =
A1 = X ,
$ 2 = B2 = n − 1 s 2 c
n
$ 2 = s2 c
首页 上页 返回 下页
结束
֠
例1．设总体X~N(µ，σ2 )，试求µ，σ2的矩估计量。 解：由于 E(X)= µ, D(X)= σ2， 据矩估计法有 m1 = A1
首页 上页 返回 下页 结束 ֠
例4．X~P（λ），求λ极大似然估计。 解：设x1,…,xn为样本的一组观测值，于是似然函数为：
∑ xi
n
L(λ ) = L( x1 , L , xn ; λ ) =
λx
1
x1!
e L
n
−λ
λx
n
xn !
e =
n
−λ
λ
i =1
x1!L xn !
e
− nλ
两边取对数得， ln L = − nλ + ∑ xi ln λ − ∑ ln( xi !)
=∏
i =1
n
1 2π σ
e
− e
−
∑
i =1
( xi − µ ) 2 2σ 2
由
1 n ∂ ln L 得µ，σ2的极大似然估计值为： ∂µ = σ 2 ∑ ( xi − µ ) = 0 i =1 n 1 n 2 2 ∂ ln L = − n 1 + 1 ˆ ∑ ( xi − µ ) = 0 µ = X , σˆ = n ∑ ( xi − X ) 2 = B2 2 4 ∂σ 2 2σ 2σ i =1 i =1
第七章 参数估计
第七章 参数估计
1、正态总体、方差已知或非正态总体，大样本 当总体服从正态分布且方差已知时，或者总体不是正态分布但是大样本时，样本 均值的抽样分布均为正态分布，其数学期望为总体均值u，方差为Ϭ2/n。而样本均 值经过标准化以后的随机变量则服从标准正态分布，即 Z=(x-u)/(Ϭ/n0.5)~N(0,1) 根据上式和正态分布的性质可以得出总体均值u在1-α置信水平下的置信区间为： xα+是(-)事Z(α先/2)所(Ϭ确/n定0.5的)。而其一中个，概x率+Z值(α/2，) (Ϭ也/n称0.为5)为风置险信值上，限是，总x体-Z均(α/2值) (Ϭ不/包n0.含5)为在置置信信下区限间，的 概是率估；计1总- 体α称均为值置时信的水估平计，误Z差(α/。2) 是标准正态分布右侧面积为α/2的z值；Z(α/2) (Ϭ/n0.5) 也即是说，总体均值的置信区间由两个部分构成：点估计值和描述估计量精度的 +(-)值，这个+(-)值称为估计误差。
第七章 参数估计
在区间估计中，由样本统计量所构造的总体参数的估计区间称为置信区间。
其中，区间的最小值称为置信下限，最大值称为置信上限。
由于统计学家在某种程度上确信这个区间会包含真正的总体参数，所以给它取名 为置信区间。原因是：如果抽取了许多不同的样本，比如说抽取100个样本，根据 每一个样本构造了一个置信区间，这样，由100个样本构造的总体参数的100个置 信区间中，有95%的区间包含了总体参数的真值，而5%则没有包含，则95%这个值 称为置信水平。一般，如果将构造置信区间的步骤重复多次，置信区间中包含总 体参数真值的次数所占的比例称为置信水平，也称为置信度或置信系数。
自然使用估计效果最好的那种估计量。什么样的估计量才算一个好的估计量呢？ 统计学家给出了评价估计量的一些标准，主要包括以下几个：
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
第六章 数理统计的基本概念 - 浙江大学邮件系统
31
2 极大似然估计
注意到，L ,
1
n
e
1
n
i1
xi
n
是的增函数，
取到最大值时，L达到最大。
故 X1 min X1, X 2 , , X n ,
又lnL
nln
1
n i 1
Xi
ˆ
令 dlnL d
n
解：似然函数L f xi , i 1
n
xi
1n 2来自 n 1
xi
i 1
i1
lnL
n 2
ln
n
1 ln xi
i 1
令
dlnL
d
n 2
1
2
1
n
ln xi 0
i 1
lnL 称为对数似然函数.
利用lnL
i
0, i
1,
2,...,
k.解得ˆi，i
1,
2,...,
k.
3. 若L 关于某个i 是单调增减函数，此时i的极大似然
估计在其取值范围的边界取得；
4. 若ˆ是 的极大似然估计，则g 的极大似然估计为g ˆ 。
n i 1
(xi 1)2
2 2
d
d 2
ln
L(
2
)
n
2
2
1
2
4
n
( xi
i 1
1)2
7第7章--参数估计(点估计与区间估计)---复习思想
(例题分析)
解：已知n=36, 1- = 90%，z/2=1.645。根据样本数 据计算得：x39.5，s7.77 总体均值在1- 置信水平下的置信区间为
x z 2
s 39.51.6457.77
n
36
39.5 2.13
37.37,41.63
投保人平均年龄的置信区间为37.37岁~41.63岁
2021/2/4
相应的 为0.01，0.05，0.10
2021/2/4
19
置信区间
(confidence interval)
1. 由样本统计量所构造的总体参数的估计区间称 为置信区间
2. 统计学家在某种程度上确信这个区间会包含真 正的总体参数，所以给它取名为置信区间
3. 用一个具体的样本所构造的区间是一个特定的 区间，我们无法知道这个样本所产生的区间是 否包含总体参数的真值
7第7章--参数估计(点估计与区间估计)--复习思想
学习目标
1. 估计量与估计值的概念 2. 点估计与区间估计的区别 3. 评价估计量优良性的标准 4. 一个总体参数的区间估计方法 5. 两个总体参数的区间估计方法 6. 样本容量的确定方法
2021/2/4
2
参数估计在统计方法中的地位
统计方法
描述统计
3. 2. 根据样本统计量的抽样分布能够对样本统计量与 总体参数的接近程度给出一个概率度量
比如，某班级平均分数在75～85之间，置信水平是95%
置信区间
样本统计量 (点估计)
2021/2/4
置信下限
置信上限
16
举例：总体均值的区间估计
(方差已知或大样本)
1. 假定条件
总体服从正态分布,且方差(２) 已知
解：已知n=36, 1- = 90%，z/2=1.645。根据样本数 据计算得：x39.5，s7.77 总体均值在1- 置信水平下的置信区间为
x z 2
s 39.51.6457.77
n
36
39.5 2.13
37.37,41.63
投保人平均年龄的置信区间为37.37岁~41.63岁
2021/2/4
相应的 为0.01，0.05，0.10
2021/2/4
19
置信区间
(confidence interval)
1. 由样本统计量所构造的总体参数的估计区间称 为置信区间
2. 统计学家在某种程度上确信这个区间会包含真 正的总体参数，所以给它取名为置信区间
3. 用一个具体的样本所构造的区间是一个特定的 区间，我们无法知道这个样本所产生的区间是 否包含总体参数的真值
7第7章--参数估计(点估计与区间估计)--复习思想
学习目标
1. 估计量与估计值的概念 2. 点估计与区间估计的区别 3. 评价估计量优良性的标准 4. 一个总体参数的区间估计方法 5. 两个总体参数的区间估计方法 6. 样本容量的确定方法
2021/2/4
2
参数估计在统计方法中的地位
统计方法
描述统计
3. 2. 根据样本统计量的抽样分布能够对样本统计量与 总体参数的接近程度给出一个概率度量
比如，某班级平均分数在75～85之间，置信水平是95%
置信区间
样本统计量 (点估计)
2021/2/4
置信下限
置信上限
16
举例：总体均值的区间估计
(方差已知或大样本)
1. 假定条件
总体服从正态分布,且方差(２) 已知
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
55
今抽到 5 个球中有 1 个红球的概率是
PX
1
5
1
p 1
p4
5 p 1
p 4 ．
若 p 1 ，则PX 1 5 1 (1 1)4 256 ．
5
5 5 625
若 p 4 ，则P{X 1} 5 4 (1 4)4 4 ．
5
5 5 625
这就是说，袋中是红球少时抽取 5 个球出现 1 个
三、极大似然法
是在总体类型已知条件下使用的一种 参数估计方法 .
它首先是由德国数学家 高斯在1821年提出的 , 然而，这个方法常归功于 英国统计学家费歇 .
Gauss
费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
极大似然法的基本思想 先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 .
第七章 参数估计
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布 的类型.
总体分布的未知参数的估计──总体分 布的参数往往是未知的,需要通过样本来估 计.通过样本来估计总体的参数,称为参数估 计,它是统计推断的一种重要形式.
一般地,am (m=1,2, ,k)是总体分布中 的参数 1,2,,k的函数. 故应该把am
(m= 1,2, ,k)记之为:
am (1,2,,k) (m=1,2, ,k)
步骤二、 算出m阶样本原点矩:
Am
1 n
n
X
m i
i 1
m 1,2, , k
步骤三、令 am (1,2,,k) = Am
如果要你推测， 是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中,猎人命中的 概率一般大于这位同学命中的概率. 看来这 一枪是猎人射中的 .
这个例子所作的推断已经体现了极大似 然法的基本思想 .
下面我们再看一个例子,进一步体会极 大似然法的基本思想 .
例 7.5 设一袋子中装有许多红球和白球，且知两 种球的数目之比为 1：4，但不知哪种球多．现从袋 中有放回地抽取 5 个球，发现这 5 个球中只有 1 个 红球，问袋中是红球多还是白球多？
（7.3）
显然上式（7.3）是未知参数1,2,L ,l 的函数，称
之为似然函数．
根据最大似然原理，既然已取得样本值
x1, x2,L , xn ，就可认为当时确定总体成分的未知
参数1,2,L ,l 的取值，应使样本值 x1, x2,L , xn出
现的概率 L 为最大．
于是，可选择1,2,L ,l 的适当值ˆ1,ˆ2,L ,ˆl ，
n
使
max L p(xi;ˆ1,L ,ˆl )．
（7.4）
由（7.4）式所确i1定的ˆ1,ˆ2,L ,ˆl 叫做未知参数
1,2,L ,l 的最大似然估计值．
最大似然估计值ˆ1,ˆ2,L ,ˆl 与样本值 x1, x2,L , xn 有 关 ， 常 记 为ˆk (x1, x2,L , xn ) ， k 1,2,L ,l．
例如 (1) 为了研究人们的市场消费行为,
我们要先搞清楚人们的收入状况. 假设某城市人均年收入X∼N( , 2).
但参数和2的具体值并不知道,需要通过样 本来估计.
(2) 假定某城市在单位时间(譬如一个 月)内交通事故发生次数 X ∼ P().
参数未知,需要从样本来估计.
本章讨论:
参数估计的常用方法. 估计的优良性准则. 若干重要总体的参数估计问题.
用样本矩估计 总体矩
解得 ˆ X
1 n
n i1
(Xi
X )2
ˆ
1 n
n i1
(Xi
X )2
ˆ,ˆ 即为参数 , 的矩估计.
矩法的优点是简单易行,并不需要 事先知道总体是什么分布 .
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时， 选取那些总体矩用相应样本矩代替带 有一定的随意性 .
其它
其中 1
是未知参数,
X1,X2,…,Xn是取自X的样本,求参数 的矩估计.
解: E(X ) 1 x( 1)x dx
数学期望
是一阶
(
1)
0
1 x 1dx
1
原点矩由矩估计法,
X
0
1
2
总体矩
样本矩
2
从中解得 ˆ 2X 1, 即为 的矩估计.
1 X
例2 均值,方差2的矩估计
设总体的均值为,方差为2 ,于是
参数估计问题的一般提法
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 ( 可以是
向量) . 现从该总体抽样，得样本 X1,X2,…,Xn
要依据该样本对参数 作出估计，或估计 的某个已知函数 g( ) .
这类问题称为参数估计.
点估计
参数估计
区间估计
第七章第一节 参数的点估计概念
当给定样本X1,X2,…Xn时，定义似 然函数为：
L( ) f (X1,X2,…Xn; )
似然函数：
L( ) f (X1,X2,…Xn; )
L( )看作参数 的函数，它可作为 将以多
大可能产生样本值X1,X2,…Xn的一种度量 .
极大似然估计法就是用使 L( )达到最 大值的 ˆ去估计 .
L(ˆ) max L( )
相 应 的 统 计 量 ˆk ( X1, X 2,L , X n ) ， k 1,2,L ,l 称为最大似然估计量．
根据上述定义，求未知参数1,2,L ,l 的最
大似然估计值，可归结为求似然函数 L 的最大值
点ˆ1,ˆ2,L ,ˆl． 在很多情况下，L是1,2,L ,l 的可微函数，
按照微分学中求函数最大值的方法
由此，当对未知参数 p可供作为估计值的选择有
多个时，自然应选择使结果 A 出现的概率为最大的那
一个 pˆ 作为 p的估计值，这就是最大似然估计法选择 未知参数估计值的基,X2,…Xn是取自总体X的一个样本， 样本的联合密度(连续型）或联合概率函数
(离散型)为 f (X1,X2,…Xn; ) .
n
n
xi
n xi
L( p) p i1 (1 p) i1
对数似然函数为：
n
n
ln L( p) xi ln( p) (n xi ) ln(1 p)
L的最大值点ˆ1,ˆ2,L ,ˆl 可从方程组
L 0，k 1,2,L ,l ．
k
（7.5）
解出．方程组（7.5）称为似然方程组．
由于L与ln L有相同的最大值点，1,2,L ,l
的最大似然估计值ˆ1,ˆ2,L ,ˆl 也可从方程组
ln L 0，k 1,2,L ,l ．
k
（7.6）
求得。
而且方程组（7.6）的求解往往比方程组（7.5）
1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 …… 这里我们主要介绍前面两种方法 .
矩是基于一种简单的“替换” 思想建立起来的一种估计方法 .
是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 . 理论依据: 大数定律
记总体k阶矩为 k E( X k )
估计 在区间[1.57, 1.84]内，这是区间估计.
一、点估计概念及讨论的问题
例1 已知某地区新生婴儿的体重X~ N (, 2 ),
, 2未知,
…
随机抽查100个婴儿
得100个体重数据
9, 7, 6, 6.5, 5, 5.2, … 而全部信息就由这100个数组成.
据此,我们应如何估计 和 呢?
样本k阶矩为
Ak
1 n
n i 1
X
k i
记总体k阶中心矩为 k E[ X E( X )]k
样本k阶中心矩为
Bk
1 n
n
(Xi X )k
i 1
用相应的样本矩去估计总体矩的估计方法 就称为矩估计法.
方法
设总体X的分布函数中含有k个未知参数
1, ,k
步骤一、 我们把总体X的m阶原点矩E(Xm) 记为 am , m=1,2, ,k
X
~
f
(
x)
1
e (
x
)
,
x
, 为未知参数
0,
其它
其中 >0,求 , 的矩估计.
解:由密度函数知
X 具有均值为 的指数分布
故 E(X- )= 即 E(X)=
Var(X- )= 2
Var(X)= 2
即 E(X)= Var(X)= 2
令 X
2
1 n
n i 1
(Xi
X )2
E(X ) u
E(X 2 ) Var(X ) [E(X )]2 2 2
由此列出方程组:
E E
( (
X X
)
2
A1 ) A2
即
u X
2 2
1 n
n i 1
X
2 l
求解得
uˆ
ˆ
2
X 1
n
n i1
X
2 l
X
2
1 n
n
（X i
i1
X )2
∴均值,方差2的矩估计是:
uˆ
ˆ
2
称ˆ为 的极大似然估计（MLE）.
1．离散型总体情形
设离散型总体 X 的分布律为
PX x p x；1,L ,l ， x x(1) , x(2) ,L L ．
其中1,2,L ,l 是未知参数．
今抽到 5 个球中有 1 个红球的概率是
PX
1
5
1
p 1
p4
5 p 1
p 4 ．
若 p 1 ，则PX 1 5 1 (1 1)4 256 ．
5
5 5 625
若 p 4 ，则P{X 1} 5 4 (1 4)4 4 ．
5
5 5 625
这就是说，袋中是红球少时抽取 5 个球出现 1 个
三、极大似然法
是在总体类型已知条件下使用的一种 参数估计方法 .
它首先是由德国数学家 高斯在1821年提出的 , 然而，这个方法常归功于 英国统计学家费歇 .
Gauss
费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
极大似然法的基本思想 先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 .
第七章 参数估计
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布 的类型.
总体分布的未知参数的估计──总体分 布的参数往往是未知的,需要通过样本来估 计.通过样本来估计总体的参数,称为参数估 计,它是统计推断的一种重要形式.
一般地,am (m=1,2, ,k)是总体分布中 的参数 1,2,,k的函数. 故应该把am
(m= 1,2, ,k)记之为:
am (1,2,,k) (m=1,2, ,k)
步骤二、 算出m阶样本原点矩:
Am
1 n
n
X
m i
i 1
m 1,2, , k
步骤三、令 am (1,2,,k) = Am
如果要你推测， 是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中,猎人命中的 概率一般大于这位同学命中的概率. 看来这 一枪是猎人射中的 .
这个例子所作的推断已经体现了极大似 然法的基本思想 .
下面我们再看一个例子,进一步体会极 大似然法的基本思想 .
例 7.5 设一袋子中装有许多红球和白球，且知两 种球的数目之比为 1：4，但不知哪种球多．现从袋 中有放回地抽取 5 个球，发现这 5 个球中只有 1 个 红球，问袋中是红球多还是白球多？
（7.3）
显然上式（7.3）是未知参数1,2,L ,l 的函数，称
之为似然函数．
根据最大似然原理，既然已取得样本值
x1, x2,L , xn ，就可认为当时确定总体成分的未知
参数1,2,L ,l 的取值，应使样本值 x1, x2,L , xn出
现的概率 L 为最大．
于是，可选择1,2,L ,l 的适当值ˆ1,ˆ2,L ,ˆl ，
n
使
max L p(xi;ˆ1,L ,ˆl )．
（7.4）
由（7.4）式所确i1定的ˆ1,ˆ2,L ,ˆl 叫做未知参数
1,2,L ,l 的最大似然估计值．
最大似然估计值ˆ1,ˆ2,L ,ˆl 与样本值 x1, x2,L , xn 有 关 ， 常 记 为ˆk (x1, x2,L , xn ) ， k 1,2,L ,l．
例如 (1) 为了研究人们的市场消费行为,
我们要先搞清楚人们的收入状况. 假设某城市人均年收入X∼N( , 2).
但参数和2的具体值并不知道,需要通过样 本来估计.
(2) 假定某城市在单位时间(譬如一个 月)内交通事故发生次数 X ∼ P().
参数未知,需要从样本来估计.
本章讨论:
参数估计的常用方法. 估计的优良性准则. 若干重要总体的参数估计问题.
用样本矩估计 总体矩
解得 ˆ X
1 n
n i1
(Xi
X )2
ˆ
1 n
n i1
(Xi
X )2
ˆ,ˆ 即为参数 , 的矩估计.
矩法的优点是简单易行,并不需要 事先知道总体是什么分布 .
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时， 选取那些总体矩用相应样本矩代替带 有一定的随意性 .
其它
其中 1
是未知参数,
X1,X2,…,Xn是取自X的样本,求参数 的矩估计.
解: E(X ) 1 x( 1)x dx
数学期望
是一阶
(
1)
0
1 x 1dx
1
原点矩由矩估计法,
X
0
1
2
总体矩
样本矩
2
从中解得 ˆ 2X 1, 即为 的矩估计.
1 X
例2 均值,方差2的矩估计
设总体的均值为,方差为2 ,于是
参数估计问题的一般提法
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 ( 可以是
向量) . 现从该总体抽样，得样本 X1,X2,…,Xn
要依据该样本对参数 作出估计，或估计 的某个已知函数 g( ) .
这类问题称为参数估计.
点估计
参数估计
区间估计
第七章第一节 参数的点估计概念
当给定样本X1,X2,…Xn时，定义似 然函数为：
L( ) f (X1,X2,…Xn; )
似然函数：
L( ) f (X1,X2,…Xn; )
L( )看作参数 的函数，它可作为 将以多
大可能产生样本值X1,X2,…Xn的一种度量 .
极大似然估计法就是用使 L( )达到最 大值的 ˆ去估计 .
L(ˆ) max L( )
相 应 的 统 计 量 ˆk ( X1, X 2,L , X n ) ， k 1,2,L ,l 称为最大似然估计量．
根据上述定义，求未知参数1,2,L ,l 的最
大似然估计值，可归结为求似然函数 L 的最大值
点ˆ1,ˆ2,L ,ˆl． 在很多情况下，L是1,2,L ,l 的可微函数，
按照微分学中求函数最大值的方法
由此，当对未知参数 p可供作为估计值的选择有
多个时，自然应选择使结果 A 出现的概率为最大的那
一个 pˆ 作为 p的估计值，这就是最大似然估计法选择 未知参数估计值的基,X2,…Xn是取自总体X的一个样本， 样本的联合密度(连续型）或联合概率函数
(离散型)为 f (X1,X2,…Xn; ) .
n
n
xi
n xi
L( p) p i1 (1 p) i1
对数似然函数为：
n
n
ln L( p) xi ln( p) (n xi ) ln(1 p)
L的最大值点ˆ1,ˆ2,L ,ˆl 可从方程组
L 0，k 1,2,L ,l ．
k
（7.5）
解出．方程组（7.5）称为似然方程组．
由于L与ln L有相同的最大值点，1,2,L ,l
的最大似然估计值ˆ1,ˆ2,L ,ˆl 也可从方程组
ln L 0，k 1,2,L ,l ．
k
（7.6）
求得。
而且方程组（7.6）的求解往往比方程组（7.5）
1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 …… 这里我们主要介绍前面两种方法 .
矩是基于一种简单的“替换” 思想建立起来的一种估计方法 .
是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 . 理论依据: 大数定律
记总体k阶矩为 k E( X k )
估计 在区间[1.57, 1.84]内，这是区间估计.
一、点估计概念及讨论的问题
例1 已知某地区新生婴儿的体重X~ N (, 2 ),
, 2未知,
…
随机抽查100个婴儿
得100个体重数据
9, 7, 6, 6.5, 5, 5.2, … 而全部信息就由这100个数组成.
据此,我们应如何估计 和 呢?
样本k阶矩为
Ak
1 n
n i 1
X
k i
记总体k阶中心矩为 k E[ X E( X )]k
样本k阶中心矩为
Bk
1 n
n
(Xi X )k
i 1
用相应的样本矩去估计总体矩的估计方法 就称为矩估计法.
方法
设总体X的分布函数中含有k个未知参数
1, ,k
步骤一、 我们把总体X的m阶原点矩E(Xm) 记为 am , m=1,2, ,k
X
~
f
(
x)
1
e (
x
)
,
x
, 为未知参数
0,
其它
其中 >0,求 , 的矩估计.
解:由密度函数知
X 具有均值为 的指数分布
故 E(X- )= 即 E(X)=
Var(X- )= 2
Var(X)= 2
即 E(X)= Var(X)= 2
令 X
2
1 n
n i 1
(Xi
X )2
E(X ) u
E(X 2 ) Var(X ) [E(X )]2 2 2
由此列出方程组:
E E
( (
X X
)
2
A1 ) A2
即
u X
2 2
1 n
n i 1
X
2 l
求解得
uˆ
ˆ
2
X 1
n
n i1
X
2 l
X
2
1 n
n
（X i
i1
X )2
∴均值,方差2的矩估计是:
uˆ
ˆ
2
称ˆ为 的极大似然估计（MLE）.
1．离散型总体情形
设离散型总体 X 的分布律为
PX x p x；1,L ,l ， x x(1) , x(2) ,L L ．
其中1,2,L ,l 是未知参数．