概率论与数理统计第七章---参数估计概率
合集下载
概率论与数理统计教案参数估计
概率论与数理统计教案-参数估计教案章节一：参数估计概述教学目标：1. 理解参数估计的定义及意义；2. 掌握参数估计的两种方法：最大似然估计和最小二乘估计；3. 了解参数估计的假设条件。
教学内容：1. 参数估计的定义及意义；2. 最大似然估计和最小二乘估计的方法及步骤；3. 参数估计的假设条件。
教学方法：1. 讲授法：讲解参数估计的定义、意义、方法及步骤；2. 案例分析法：分析实际案例，让学生更好地理解参数估计的方法及应用。
教学难点：1. 最大似然估计和最小二乘估计的方法及步骤；2. 参数估计的假设条件。
教学准备：1. 教学PPT；2. 相关案例资料。
教学过程：1. 引入参数估计的概念，讲解其意义；2. 讲解最大似然估计和最小二乘估计的方法及步骤；3. 分析实际案例，展示参数估计的应用；4. 讲解参数估计的假设条件；5. 课堂互动，回答学生问题。
作业布置：1. 复习parameter estimation 的定义及意义；2. 学习maximum likelihood estimation 和least squares estimation 的相关知识；3. 思考如何应用parameter estimation 解决实际问题。
教案章节二：最大似然估计教学目标：1. 理解最大似然估计的定义及意义；2. 掌握最大似然估计的计算方法；3. 了解最大似然估计的应用场景。
教学内容：1. 最大似然估计的定义及意义；2. 最大似然估计的计算方法；3. 最大似然估计的应用场景。
教学方法：1. 讲授法：讲解最大似然估计的定义、意义、计算方法；2. 案例分析法：分析实际案例，展示最大似然估计的应用。
教学难点：1. 最大似然估计的计算方法；2. 最大似然估计的应用场景。
教学准备：1. 教学PPT；2. 相关案例资料。
教学过程：1. 引入最大似然估计的概念，讲解其意义；2. 讲解最大似然估计的计算方法；3. 分析实际案例，展示最大似然估计的应用；4. 课堂互动，回答学生问题。
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
概率论与数理统计第7章参数估计PPT课件
5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
chap7参数估计.ppt
若p的可供选择的估计值有许多，仍应选择发生概率最大的 p
作为p的估计，这就是极大似然估计的思想。
极大似然估计的原理(教材p180-181)
设总体X的概率密度函数族为f(x； ) (或概率分布函数族为
P(X=x)=p(x ； ) )，。
设 (x1，x2， ，xn ) 为任一组样本观察值(一组抽象的数)，则
求的矩估计值和极大似然估计值。
说明：1. 本题中因 P(X= xi )无一般表达式，故不能先求极大
似然估计量，再将样本观察值代入求极大似然估计值。
2. 本题处理思想在解决实际问题时很有用。
极大似然估计的性质：若 为总体X中未知参数的极大似
然估计量，u=u( ) 有单值反函数 = (u)，则u( )是u( ) 的
k
k次着n火k天数 75 90 54 22
6
2
1 =
250
1) 试用矩估计法估计参数； 2) 试用极大似然估计法估计参数； 3) 试求P(X=0)的极大似然估计值。
例2(2002年数学三考研试题填空题)
设总体X的概率密度为 f (x；
)
e
， ( x ) 0，
若x 若x
， .
而 X1，X 2， ，X n 是来自总体X的简单随机样本，则未知
大似然估计值。
求L()的极大值 ：
通过
d
ln
L(
)
0，求出
。
d
说明：1. 因为L()是样本观察值的函数(此时样本观察值不变)，
故求出的 一般也是样本观察值的函数。
2. 由于 d ln L( ) 0 只是lnL()取极值的必要条件，从理论上
d
来说，还应验证lnL( ) lnL()， 对所有样本观察值都
概率论与数理统计完整课件第七章参数估计PPT课件
n
L(1,2,,k ) L(x1, x2,, xk ;1,2,,k ) f (xi ;1,2,,k ) i 1
将其取对数,然后对1,2 ,,k 求偏导数,得
ln L(1, 2 ,, k ) 0 1
ln L(1, 2 ,, k ) 0 k
该 方 程 组 的 解 ˆi ˆi (x1, x2,, xn),i 1,2,,k ,即 为 i 的 极
§1 参数的点估计
设总体 X 的分布函数 F(x;) 形式已知，其中θ 是待估计的参数，点估计问题就是利用样本 (X1, X 2,, X n ) ，构造一个统计量ˆ ˆ(X1, X2,, Xn) 来估 计θ，我们称ˆ(X1, X2,, Xn )为θ的点估计量，它是 一个随机变量。将样本观测值 (x1, x2 ,, xn ) 代入估计 量 ˆ(X1, X2,, Xn ) ， 就 得 到 它 的 一 个 具 体 数 值 ˆ(x1, x2,, xn ) ，这个数值称为θ的点估计值.
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的 可能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计 p=3/4.
第10页/共71页
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 (X1, X2,, Xn ) 的联合分布律
~~ 2n1nLeabharlann ini1n1x(i xix
x
)
2
由微积分知识易验证以上所求为μ与σ2的极大似然 估计.
第21页/共71页
• 例:设总体X具有均匀分布,其概率密度函数为
p(x;)
概率论与数理统计讲义 (27)
原点矩
由矩法,
0
X 1
2
总体矩
样本矩
2
从中解得 ˆ 2X 1 , 即为 的矩估计.
1 X
例2 设X1,X2,…Xn是取自总体X的一个样本
X
~
f
(
x)
1
e( x
)
,
x
, 为未知参数
0,
其它
其中 >0,求 , 的矩估计.
解: 由密度函数知
X 具有均值为 的指数分布
故 E(X- )= 即 E(X)=
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时， 选取那些总体矩用相应样本矩代替带 有一定的随意性 .
第 七 章第一节 矩估计
矩是基于一种简单的“替换” 思想建立起来的一种估计方法 .
是英国统计学家K.皮尔逊最早提出的 .
其基本思想是用样本矩估计总体矩 . 理论依据: 大数定律
记总体k阶矩为 k E( X k )
样本k阶矩为
Ak
1 n
n i 1
X
k i
记总体k阶中心矩为 k E[ X E( X )]k
参数估计问题的一般提法
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 ( 可以是
向量) . 现从该总体抽样，得样本 X1, X2 , … , Xn
要依据该样本对参数 作出估计，或估计 的某个已知函数 g( ) .
这类问题称为参数估计.
点估计
参数估计
区间估计
假如我们要估计某队男生的平均身高.
1
n
n i 1
X
m i
概率论与数理统计-参数估计
第七章 参数估计
例：
引言
设总体 X 是服从参数为 的指数分布，其中参数
未 知 ，
0 ．X1 ,,
X
是总体
n
X
的一个样本，
我们的任务是根据样本，来估计 的取值，从
而估计总体的分布．
这 是 一 个 参 数 估 计 问 题．
第七章 参数估计
§1 点估计 §2 估计量的评选标准 §3 区间估计
第七章 参数估计 §1 点估计
2
令
A1
A2
, (
2
1)
.
第七章 参数估计
例6(续）
解此方程组，得
§1 点估计
ˆ
A1 2 A2 A12
,
ˆ
A2
A1 A12
.
ˆ X 2 ,
即
B2
ˆ X .
B2
其中 B2
1 n
n i 1
Xi X
2 为样本的二阶中心矩．
第七章 参数估计（第二十二讲） 三、 极大似然法
§1 点估计
1
第七章 参数估计
例6(续）
EX 2 x 2 f
x dx x 2
x 1e x dx
0
§1 点估计
2 2 x ( e 2)1 x dx
2 0 2
2 2
1 2
1
2
因此有
EX
,
EX
2
1 .
⑵ 在不引起混淆的情况下，我们统称估计量
与估计值为未知参数 的估计．
第七章 参数估计
二、 矩估计法
§1 点估计
设X为连续型随机变量，其概率密度为
f ( x;1 ,, k ), X为离散型随机变量，其分布列为
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n
i 1
n
i 1
ˆ为 则 的最大似然估计值
θ n
ln x
i 1
n
i
例3
设总体X的概率密度为
0 x 1 其它
( 1 ) x , f (x) 0,
其中
α 1是未知参数
,
X1 , X2 , … , Xn 是取自 X 的样本,
求参数 ɑ 的矩估计和极大似然估计 。 1 1 α 矩估计解： x E ( X ) x ( α 1) x dx ( α 1) x α 1dx
可从中解出 1 , 2 , , k , 即是 1 1 X 1 , X 2 , , X n , ,
(3)用这个解 1 , 2 , , k 分别作出 1 , 2 , , k的估计量。 需要估计未知参数的函 数 g (1 , 2 , , k )时, 就以 g ( 1 , 2 , , k )作为 g (1 , 2 , , k )的矩估计。
矩估计法 点估计 参数估计 区间估计 最大似然估计法
1、矩估计法 矩估计法的思想:当样本容量很大时，可以用样本矩作为总 体矩的估计。当总体X的分布类型已知，但含有未知参数， 可以用矩估计法获得未知参数的估计。
, (1 , 2 , , k )为待估参数， 设X的分布函数为 F（x,） 设总体X的前k阶矩存在，并且它们均是 1 , 2 , , k 的 函数，求待估参数 i (i 1,2, , k ) 的矩估计的步骤 为： （1）建立待估参数与总体矩的关系式； （2）用矩估计法建立矩估计方程，解矩估计方程； （3）写出参数的矩估计量。
n
其中 0
求 的最大似然估计值. 解 似然函数为 L( ) xi 1 ( xi ) 1
n n
(0 xi 1)
1 i n
i 1
i 1
对数似然函数为 ln L( ) n ln ( 1) ln xi
n d ln L( ) n ln xi 0 n d i 1 ln xi
L( ) f ( xi , )
i 1
n
最大似然估计法就是用使 L ( ) 达到最大值的 ˆ 去估计 .
ˆ) max L( ) L(
称 ˆ为 的最大似然估计值 . 而相应的统计量
θ( X1 , , X n ) 称为 θ 的最大似然估计量 .
两点说明： 1.由X1,X2,···,Xn的独立同分布，似然函数 是一个乘积函数。 为了方便运算，取对数似然函数为 ln L( )
(1) 求出总体 X 的前 k 阶矩 E ( X ) l ( 1 , 2 , , k ),
l
l 1, 2 , , k .
( 2)令 l (1 , 2 , , k ) Al , l 1,2, , X n .
0,
j
j 1,2,..., r j 1,2,..., r
由这两个方程组之一可解得各个未知参数θj的最大 似然估计值和最大似然估计量
或 In L 0 j
最大似然估计的性质：
如果 ˆ是总体X的分布中未知参数θ的最大似然估计 量，则对于总体X的样本值x1,x2,···,xn的似然函数L(θ), 有 ˆ) L( ), . L( 设函数u=u(θ), 具有单值反函数θ=θ(u), ˆ) ,得 ˆ (u 由u ˆ u ( ˆ ) ，代入上式有
L() f (x1,x2,,)
d ln L( ) 0 d
可以得到 的驻点 . 2.用上述求导方法求参数的驻点有时行不通，例 如在直线上求最值，这时要用最大似然原则来求 .
例2 设X1,X2,…Xn是取自总体X的一个样本
x 1 , X ~ f ( x) 0, 0 x 1 其它
参数估计
引言 第六章介绍了总体、样本、简单随机 样本、统计量和抽样分布的概念，介绍了 统计中常用的三大分布，给出了几个重要 的抽样分布定理 . 它们是进一步学习统计 推断的基础 .
参数估计
现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来 估计总体的某些参数或者参数的某些函数. 估计新生儿的体重 估计废品率 估计湖中鱼数 在参数估计问题 中，假定总体分 估计降雨量 布形式已知，未 … 知的仅仅是一个 … 或几个参数.
最大似然估计解： 似然函数 L( ) ( 1) x ( 1) 取对数
ln L( ) n ln( 1) ln xi
i 1
i 1
n
i
n
n
x i
i 1
n
n d n ln L( ) ln xi 求驻点 d 1 i 1
n 1 i 1 i
ˆ X
• 例3
设总体X的均值μ和方差σ2都存在但未知，从总体X中抽取样 本X1,X2,···,Xn，求μ和σ2的矩估计量。
解 ：因为 E ( X ) ,
E ( X 2 ) D( X ) [ E ( X )]2 2 2 ,
由方程组
2
1， 2 2 2，
ˆ ˆ（x , x ,..., x ） 1 2 n
例如我们要估计某队男生的平均身高. （假定身高服从正态分布 N ( ,0.12 ) ） 现从该总体选取容量为5的样本，我们的任务 是要根据选出的样本（5个数）求出总体均值μ的 估计. 而全部信息就由这5个数组成 . 设这5个数是: 1.65 1.67 1.68 1.78 1.69 估计 μ 为1.68， 这是点估计. 估计μ 在区间 [1.57, 1.84] 内，这是区间估计.
α1 2x 1 α2 1 x
0 0
2x 1 ˆ 故， 的矩估计值为 1 x
例3 设总体 X的概率密度为 ( 1) x ,0 x 1 f ( x) 0, 其他 其中 是未知参数，X 1 , X 2 , X n是样本，求参数 的最大似然估计。
• 例1
设总体X~B(m,p)，其中p未知，从总体X中抽取样本X1,X2,···,Xn， 求p的矩估计量。
解： 由于E(X)=mp,由方程 μ1=mp, 1 1 n p 解得 m .用X X i 代替μ1，得到p的矩估计量为
n
i 1
1 1 n ˆ X p Xi m mn i 1
2 1
1 n 1 n 解得 1， 2 - ， 用 A1 X n X i 和 A2 n X i2 分别代 i 1 i 1 2 替μ1和μ2，得到μ和σ 的矩估计量分别为
ˆ X， 1 n 2 1 n 2 ˆ X i X ( X i X )2 n i 1 n i 1
证 : 因为 E （ X ） k，
k i
1 n k 所以 E ( Ak ) E（ X i ） k , n i 1
所以 Ak 是 k 一个无偏估计量
.
有效性
ˆ ˆ ( X , , X ) ˆ ( X , , X ) 和 设 ˆ1 2 2 1 n 1 1 n
ˆ( X , , X ) 设 1 n
是未知参数 的估计量，若
ˆ 为 的无偏估计 . 则称
E (ˆ )
例如：样本均值 x 是总体期望 E ( X )的无偏估计 , 样本方差 s 2 是总体方差 D ( X )的无偏估计。
例1 设总体 X的 k阶矩 k E ( X k )存在，（ X 1， X 2， ...， X n ) 为来自总体 X的样本。 1 n 证明 ： 样本 k阶矩 Ak X ik 是总体 k阶矩 k的无偏估计。 n i 1
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
最大似然估计法是利用已知的总体的概 率密度（或概率分布）及样本，根据概率最大 的事件在一次试验中最可能出现的原理，求总 体的概率密度（或概率分布）中所含未知参数 的点估计的方法。
离散型随机变量
设总体X是离散型随机变量。概率分布为P{X=x}=p(x;θ)， 其中θ是未知参数，假定x1,x2,···,xn是样本X1,X2,···,Xn的一 组观察值。则有 P X 1 x1 , X 2 x 2 , , X n x n P ( X 1 x1 ) P ( X 2 x 2 ) P ( X n x n ) p ( x1 , ) p ( x 2 , ) p ( x n , )
• 例2
设总体X服从指数分布，其概率密度为 1 x 0, e , f ( x; ) x 0, 0， 其中θ>0为未知参数，X1,X2,···,Xn为来自总体X的样本，求θ 的矩估计量。
x
解： 由于E(X)=θ，在方程θ=μ1中 1 A X X 代替μ1，得到θ的矩估计量为 用 n
i 1
n
p ( x i , ).
n i 1
定义样本的似然函数为：L ( )
p ( xi ; )
连续型随机变量
设总体X是连续型随机变量。已知其概率密度 f(x,θ)，θ为待估参数，则样本（X1,X2,···,Xn）的 联合概率密度为
f (x1, x2 ,…, xn;θ)
似然函数为:
n
n n ln xi 0 1 i 1
ln x
i 1
n
1 (0 xi 1)
ˆ 则的最大似然估计值 n
i
ln x
i 1
n
1 (0 xi 1)
i
总体的分布中含有多个未知参数：
• 如果总体X的分布中含有r个未知参数θ1,θ2,...,θr,则 似然函数是这些未知参数的函数L=L(θ1,θ2,...,θr). 求出L或InL关于θj的偏导数并令它们等于0，得到 方程组 L
i 1
n
i 1
ˆ为 则 的最大似然估计值
θ n
ln x
i 1
n
i
例3
设总体X的概率密度为
0 x 1 其它
( 1 ) x , f (x) 0,
其中
α 1是未知参数
,
X1 , X2 , … , Xn 是取自 X 的样本,
求参数 ɑ 的矩估计和极大似然估计 。 1 1 α 矩估计解： x E ( X ) x ( α 1) x dx ( α 1) x α 1dx
可从中解出 1 , 2 , , k , 即是 1 1 X 1 , X 2 , , X n , ,
(3)用这个解 1 , 2 , , k 分别作出 1 , 2 , , k的估计量。 需要估计未知参数的函 数 g (1 , 2 , , k )时, 就以 g ( 1 , 2 , , k )作为 g (1 , 2 , , k )的矩估计。
矩估计法 点估计 参数估计 区间估计 最大似然估计法
1、矩估计法 矩估计法的思想:当样本容量很大时，可以用样本矩作为总 体矩的估计。当总体X的分布类型已知，但含有未知参数， 可以用矩估计法获得未知参数的估计。
, (1 , 2 , , k )为待估参数， 设X的分布函数为 F（x,） 设总体X的前k阶矩存在，并且它们均是 1 , 2 , , k 的 函数，求待估参数 i (i 1,2, , k ) 的矩估计的步骤 为： （1）建立待估参数与总体矩的关系式； （2）用矩估计法建立矩估计方程，解矩估计方程； （3）写出参数的矩估计量。
n
其中 0
求 的最大似然估计值. 解 似然函数为 L( ) xi 1 ( xi ) 1
n n
(0 xi 1)
1 i n
i 1
i 1
对数似然函数为 ln L( ) n ln ( 1) ln xi
n d ln L( ) n ln xi 0 n d i 1 ln xi
L( ) f ( xi , )
i 1
n
最大似然估计法就是用使 L ( ) 达到最大值的 ˆ 去估计 .
ˆ) max L( ) L(
称 ˆ为 的最大似然估计值 . 而相应的统计量
θ( X1 , , X n ) 称为 θ 的最大似然估计量 .
两点说明： 1.由X1,X2,···,Xn的独立同分布，似然函数 是一个乘积函数。 为了方便运算，取对数似然函数为 ln L( )
(1) 求出总体 X 的前 k 阶矩 E ( X ) l ( 1 , 2 , , k ),
l
l 1, 2 , , k .
( 2)令 l (1 , 2 , , k ) Al , l 1,2, , X n .
0,
j
j 1,2,..., r j 1,2,..., r
由这两个方程组之一可解得各个未知参数θj的最大 似然估计值和最大似然估计量
或 In L 0 j
最大似然估计的性质：
如果 ˆ是总体X的分布中未知参数θ的最大似然估计 量，则对于总体X的样本值x1,x2,···,xn的似然函数L(θ), 有 ˆ) L( ), . L( 设函数u=u(θ), 具有单值反函数θ=θ(u), ˆ) ,得 ˆ (u 由u ˆ u ( ˆ ) ，代入上式有
L() f (x1,x2,,)
d ln L( ) 0 d
可以得到 的驻点 . 2.用上述求导方法求参数的驻点有时行不通，例 如在直线上求最值，这时要用最大似然原则来求 .
例2 设X1,X2,…Xn是取自总体X的一个样本
x 1 , X ~ f ( x) 0, 0 x 1 其它
参数估计
引言 第六章介绍了总体、样本、简单随机 样本、统计量和抽样分布的概念，介绍了 统计中常用的三大分布，给出了几个重要 的抽样分布定理 . 它们是进一步学习统计 推断的基础 .
参数估计
现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来 估计总体的某些参数或者参数的某些函数. 估计新生儿的体重 估计废品率 估计湖中鱼数 在参数估计问题 中，假定总体分 估计降雨量 布形式已知，未 … 知的仅仅是一个 … 或几个参数.
最大似然估计解： 似然函数 L( ) ( 1) x ( 1) 取对数
ln L( ) n ln( 1) ln xi
i 1
i 1
n
i
n
n
x i
i 1
n
n d n ln L( ) ln xi 求驻点 d 1 i 1
n 1 i 1 i
ˆ X
• 例3
设总体X的均值μ和方差σ2都存在但未知，从总体X中抽取样 本X1,X2,···,Xn，求μ和σ2的矩估计量。
解 ：因为 E ( X ) ,
E ( X 2 ) D( X ) [ E ( X )]2 2 2 ,
由方程组
2
1， 2 2 2，
ˆ ˆ（x , x ,..., x ） 1 2 n
例如我们要估计某队男生的平均身高. （假定身高服从正态分布 N ( ,0.12 ) ） 现从该总体选取容量为5的样本，我们的任务 是要根据选出的样本（5个数）求出总体均值μ的 估计. 而全部信息就由这5个数组成 . 设这5个数是: 1.65 1.67 1.68 1.78 1.69 估计 μ 为1.68， 这是点估计. 估计μ 在区间 [1.57, 1.84] 内，这是区间估计.
α1 2x 1 α2 1 x
0 0
2x 1 ˆ 故， 的矩估计值为 1 x
例3 设总体 X的概率密度为 ( 1) x ,0 x 1 f ( x) 0, 其他 其中 是未知参数，X 1 , X 2 , X n是样本，求参数 的最大似然估计。
• 例1
设总体X~B(m,p)，其中p未知，从总体X中抽取样本X1,X2,···,Xn， 求p的矩估计量。
解： 由于E(X)=mp,由方程 μ1=mp, 1 1 n p 解得 m .用X X i 代替μ1，得到p的矩估计量为
n
i 1
1 1 n ˆ X p Xi m mn i 1
2 1
1 n 1 n 解得 1， 2 - ， 用 A1 X n X i 和 A2 n X i2 分别代 i 1 i 1 2 替μ1和μ2，得到μ和σ 的矩估计量分别为
ˆ X， 1 n 2 1 n 2 ˆ X i X ( X i X )2 n i 1 n i 1
证 : 因为 E （ X ） k，
k i
1 n k 所以 E ( Ak ) E（ X i ） k , n i 1
所以 Ak 是 k 一个无偏估计量
.
有效性
ˆ ˆ ( X , , X ) ˆ ( X , , X ) 和 设 ˆ1 2 2 1 n 1 1 n
ˆ( X , , X ) 设 1 n
是未知参数 的估计量，若
ˆ 为 的无偏估计 . 则称
E (ˆ )
例如：样本均值 x 是总体期望 E ( X )的无偏估计 , 样本方差 s 2 是总体方差 D ( X )的无偏估计。
例1 设总体 X的 k阶矩 k E ( X k )存在，（ X 1， X 2， ...， X n ) 为来自总体 X的样本。 1 n 证明 ： 样本 k阶矩 Ak X ik 是总体 k阶矩 k的无偏估计。 n i 1
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
最大似然估计法是利用已知的总体的概 率密度（或概率分布）及样本，根据概率最大 的事件在一次试验中最可能出现的原理，求总 体的概率密度（或概率分布）中所含未知参数 的点估计的方法。
离散型随机变量
设总体X是离散型随机变量。概率分布为P{X=x}=p(x;θ)， 其中θ是未知参数，假定x1,x2,···,xn是样本X1,X2,···,Xn的一 组观察值。则有 P X 1 x1 , X 2 x 2 , , X n x n P ( X 1 x1 ) P ( X 2 x 2 ) P ( X n x n ) p ( x1 , ) p ( x 2 , ) p ( x n , )
• 例2
设总体X服从指数分布，其概率密度为 1 x 0, e , f ( x; ) x 0, 0， 其中θ>0为未知参数，X1,X2,···,Xn为来自总体X的样本，求θ 的矩估计量。
x
解： 由于E(X)=θ，在方程θ=μ1中 1 A X X 代替μ1，得到θ的矩估计量为 用 n
i 1
n
p ( x i , ).
n i 1
定义样本的似然函数为：L ( )
p ( xi ; )
连续型随机变量
设总体X是连续型随机变量。已知其概率密度 f(x,θ)，θ为待估参数，则样本（X1,X2,···,Xn）的 联合概率密度为
f (x1, x2 ,…, xn;θ)
似然函数为:
n
n n ln xi 0 1 i 1
ln x
i 1
n
1 (0 xi 1)
ˆ 则的最大似然估计值 n
i
ln x
i 1
n
1 (0 xi 1)
i
总体的分布中含有多个未知参数：
• 如果总体X的分布中含有r个未知参数θ1,θ2,...,θr,则 似然函数是这些未知参数的函数L=L(θ1,θ2,...,θr). 求出L或InL关于θj的偏导数并令它们等于0，得到 方程组 L