2-似然估计和无偏性
概率论与数理统计、概率论03-第46讲 估计量的评价准则,无偏性_47
例1：设总体X的一阶和二阶矩存在，
E X , DX 2.
(1)证明:样本均值X和样本方差S 2分别是
和 2的无偏估计； (2)判断:B2是否为 2的无偏估计?
是否为 2的渐近无偏估计?
7
(1)证:因X1, X2 ,, Xn与X同分布,故有:
E
X
E
1 n
n i 1
X
i
1 n
n i1
由ˆ X1 ,, X n 给出的估计的平均恰是，
从 而 无 偏 性 保 证 了 ˆ没 有 系 统 误 差 .
5
例如，工厂长期为商家提供某种商品， 假设生产过程相对稳定，产品合格率为 θ，虽然一批货的合格率可能会高于θ ， 或低于θ ，但无偏性能够保证在较长一 段时间内合格率接近θ，所以双方互不 吃亏。但作为顾客购买商品，只有二种 可能，即买到的是合格品或不合格品， 此时无偏性没有意义。
E
Xi
1 n
n
故X 是的无偏估计.
E S2 2 ——见第42讲例2
故 S 2是 2的 无 偏 估 计 .
8
(2) B2
n 1S2 n
E(B2)
n 1 n
E
S2
n
1 n
2
2
故B2不是 2的无偏估计.
故lnimBE2是(B2
) lim n 的 n渐 近
2
无n1偏
2
估计
2
.
9
例2:设总体X 服从均匀分布U (0, ),是
则称ˆ是的一个无偏估计量.
若E ˆ ,那么 E ˆ 称为估计量ˆ的偏差, 若 lim E ˆ ,则称ˆ是的渐近无偏估计量.
n
3
• 无偏性：E ˆ
§6.2 估计量的评价标准 演示文稿3
所以
ES=E S E(
2
n ( ) n n 2 n 1 2 2 ( ) 2 n 1 2 n 1 2 ( ) 2 ( ) 2 2 2
n 1
Y)
EY1/ 2
注意到 当 n 时，Cn 1
所以， S 是的渐近无偏估计量。从而当样本容量 很大时，不经修正，S 也是 很好的估计量。
n n 1 2 n
ˆ 若对任意 0, lim P( n ) 1 成立，
n
ˆ 则称 n为的相合估计量。(一致估计量)
由定义可知， 估计量
P ˆ (未知参数） n
依据贝努里大数定律： 由辛钦大数定律
频率
i
n
是概率P的相合估计量，
1 n 样本均值 X i 是 EX的相合估计量。 n i 1
要使似然函数取最大值，要求的取值越小越好，
n
0 x i i 1, 2,.....n.
ˆ max X1 , X 2 .......Xn 的密度函数为
ˆ y n( y ) n 1 1 dy n E 0 n+1 ˆ max X1 , X2 .......Xn 不是的无偏估计量。
n 1 2 n (n 1) 2 2 ( ) n n2 n(n 2) 2 2 ˆ2 E 2 E 2 (n 1) 2 2 ˆ ˆ D n(n 2) n(n 2)
2
ˆ n+1 E( x ) n+1 n E (n ) n n n 1 ˆ 2 ( n+1) 2 E( x ) 2 ( n 1) 2 y 2 n( y ) n 1 1 dy E (n ) 0 n n
2-似然估计和无偏性
1 n 1 n 2 2 2 证 前已证 ( X i X ) X i X n i 1 n i 1
E ( X i ) E ( X ) , Var( X i ) Var( X ) 2 2 E ( X ) E ( X ) , Var( X )
时, L 取最大值 1, 即
1 1 ˆ x( n ) a x(1) 2 2
显然, a 的最大似然估计值可能不存在, 也 可能不惟一.
不仅如此, 任何一个统计量
g ( X 1 , X 2 ,, X n )
若满足
1 1 x( n ) g ( x1 , x2 ,, xn ) x(1) 2 2
最大似然估计
问题：已知总体分布函 F ( x; )，密度函数 数 或分布列为f ( x; ), 其中 ( 1 , , k )是未知参数,
的参数空间，来自总体的样本为 X 1 , , X n )， ( 样本观察值( x1 , , x n ), 求的最大似然估计 .
1、若总体是离散型，样 ( X 1 , , X n )落入 本 ( x1 , , x n )的领域中之概率度量
n
因而
n 1 2 2 n 1 n 2 2 故 E (Xi X ) n 1 i 1
1 n 1 n 2 2 2 E ( X i X ) E( X i ) E( X ) n n i 1 i 1 2 2 2 2 ( ) ( ) n
1 n k 1 n E ( Ak ) E ( X i ) E ( X ik ) n i 1 n i 1
1 n k k n
特别地
(1) 样本均值 X是总体期望 E( X ) 的 无偏估计
高考数学知识点解析参数估计的方法与性质
高考数学知识点解析参数估计的方法与性质高考数学知识点解析：参数估计的方法与性质在高考数学中，参数估计是一个重要的知识点，它在统计学和概率论中有着广泛的应用。
理解和掌握参数估计的方法与性质，对于解决相关的数学问题以及在实际生活中的数据分析都具有重要意义。
一、参数估计的基本概念参数估计是指从样本数据中估计总体参数的值。
总体参数是描述总体特征的数值，例如总体均值、总体方差等。
而样本则是从总体中抽取的一部分数据。
通过对样本数据的分析和处理，我们试图推测出总体参数的大致范围或准确值。
二、参数估计的方法1、点估计点估计是用一个具体的数值来估计总体参数。
常见的点估计方法有矩估计法和最大似然估计法。
（1）矩估计法矩估计法的基本思想是利用样本矩来估计总体矩，从而得到总体参数的估计值。
例如，对于总体均值的估计，可以用样本均值来代替；对于总体方差的估计，可以用样本方差来代替。
（2）最大似然估计法最大似然估计法是基于样本出现的概率最大的原则来估计参数。
假设总体服从某种分布，通过求解使得样本出现概率最大的参数值，即为最大似然估计值。
2、区间估计区间估计则是给出一个区间，认为总体参数落在这个区间内的可能性较大。
这个区间被称为置信区间，而与之对应的概率称为置信水平。
三、参数估计的性质1、无偏性如果一个估计量的期望值等于被估计的参数，那么这个估计量就是无偏估计量。
无偏性意味着在多次重复抽样和估计的过程中，估计量的平均值会趋近于真实参数值。
2、有效性在多个无偏估计量中，方差越小的估计量越有效。
有效性反映了估计量的精度，方差小表示估计值的波动较小，更接近真实值。
3、一致性当样本容量无限增大时，如果估计量的值越来越接近被估计的参数，那么这个估计量就是一致估计量。
一致性保证了在样本量足够大时，估计量能够准确地反映总体参数。
四、参数估计在实际问题中的应用1、质量控制在生产过程中，通过对样本产品的检测和参数估计，可以推断出整批产品的质量情况，从而决定是否需要调整生产流程。
第7章参数估计
x 1 0
f P 1－p
x
xf f
1 p 0 (1 p) p (1 p)
p
2 (x x)2 f (1 p)2 p (0 p)2 (1 p)
f
p (1 p)
似然函数常简记为L或 L 1,2, ,k
未知参数的函数。
38
若有 ˆi (x1, x2,..., xn ) i 1, 2, k 使得
L x1, x2,..., xn;ˆ1, ˆ 2,
, ˆ k
max L (1 ,2 , ,k )
x1, x2,..., xn; 1, 2,
, k
则 ˆi (X1, X2,..., Xn) 为参数θi的极大似然估计量。
中选出一个使样本观察值出现的概率为最大的 ˆ 作
为θ的估计量。
称 ˆ 为θ 的极大似然估计量。
37
2.似然函数的数学表达式
设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度 (连续型）或联合分布律 (离散型)为 :
f (x; 1，2 , , k )
定义似然函数为：
n
L L x1,..., xn; 1, 2, , k f xi; 1, 2, , k i 1 x1, x2 ,..., xn 给定的样本观察值
§7.1.4抽样误差
1.误差：调查结果与实际值之间的差异 抽样调查中的误差
登记性误差(非抽样误差) 误差代表性误差随系机统误误差差（（抽非样抽误样差误）差）
2.抽样误差—由于抽样的随机性而产生的 样本指标对总体指标的代表性误差。抽样误 差可以计算并加以控制，但不可以避免。
参数估计方法与实例例题和知识点总结
参数估计方法与实例例题和知识点总结一、参数估计的概念参数估计是指根据从总体中抽取的样本估计总体分布中包含的未知参数。
参数通常是描述总体分布的特征值，比如均值、方差、比例等。
二、参数估计的方法（一）点估计点估计就是用样本统计量来估计总体参数，给出一个具体的数值。
常见的点估计方法有矩估计法和最大似然估计法。
1、矩估计法矩估计法的基本思想是用样本矩来估计总体矩。
比如，用样本均值估计总体均值，用样本方差估计总体方差。
2、最大似然估计法最大似然估计法是求使得样本出现的概率最大的参数值。
它基于这样的想法：如果在一次抽样中得到了某个样本，那么这个样本出现概率最大的参数值就是总体参数的估计值。
（二）区间估计区间估计则是给出一个区间，认为总体参数以一定的概率落在这个区间内。
区间估计通常包含置信水平和置信区间两个概念。
置信水平表示区间包含总体参数的可靠程度，常见的置信水平有90%、95%和 99%。
置信区间则是根据样本数据计算得到的一个区间范围。
三、实例例题假设我们要研究某地区成年人的身高情况。
随机抽取了 100 名成年人，他们的身高数据如下（单位：厘米）：165, 170, 172, 168, 175, 180, 160, 178, 176, 169,（一）点估计1、用样本均值估计总体均值：计算这 100 个数据的均值，得到样本均值为 172 厘米。
因此，我们估计该地区成年人的平均身高约为 172 厘米。
2、用样本方差估计总体方差：计算样本方差，得到约为 25 平方厘米。
（二）区间估计假设我们要以 95%的置信水平估计总体均值的置信区间。
首先，根据样本数据计算样本标准差，然后查找标准正态分布表或使用相应的统计软件，得到置信系数。
最终计算出置信区间为（168，176）厘米。
这意味着我们有 95%的把握认为该地区成年人的平均身高在 168 厘米到 176 厘米之间。
四、知识点总结（一）点估计的评价标准1、无偏性：估计量的期望值等于被估计的参数。
古扎拉蒂《计量经济学基础》第4章
在满足基本假设条件下，对一元线性回归模型：
Yi 0 1 X i i
随机抽取n组样本观测值（Xi, Yi）（i=1,2,…n）。
假如模型的参数估计量已经求得，为 ˆ0、 ˆ1
那么Yi服从如下的正态分布：
Yi N（ ˆ0 ˆ1 X i， 2）
于是，Y的概率函数为
P (Yi )
1
2
e-
如果存在大量独立且相同分布的随机变 量，那么，除了少数例外情形，随着这些变 量的个数无限地增加，它们的总和将趋向服 从正态分布。正是这个中心极限定理为ui的 正态性假定提供了理论基础。
2.中心极限定理的另一个说法是，即使 变量个数并不很大或这些变量并不是严格独 立的，但它们的总和仍可视为正态分布的。 3.如附录中所言，正态分布的一个性质 是，正态分布变量的任何线性函数都是正态 分布的。因此，在正态性假定下，OLS估计量 的概率分布很容易推导。前面曾讨论过，OLS 估计量是ui的线性函数。因此，若ui是正态分 布的，则OLS估计量也是正态分布的，这就使 得我们的假设检验工作十分简单。
但估计是成功的一半，假设检验是另一半。 回想在回归分析中的目标不仅仅是估计样本回 归函数（SRF），而是像第2章所强调的那样， 要用估计来对总体回归函数(PRF)进行推断。 因此，由于这些参数是随机变量，所以需 要清楚它们的概率分布，若不知其概率分布， 那就无法将它们与其真实值相联系 。
问题的引入 以前对ui的假定是其期望值为零，它们是
不相关的，并且有一个不变的方差。 以上假定对于点估计足够了。但兴趣在于 通过统计量对参数的真值（总体参数）进行推 断。即通过样本回归函数推测总体回归函数。 SRF→PRF 注意，既然它们都是估计量，所以它们的 值将随样本而变化。因此，这些估计量都是随 机变量。
系统辨识--第6章-极大似然估计
2.有色噪声情况
系统差分方程
a(z 1 ) y(k ) b(z 1 ) u(k ) c(z 1 ) (k )
a( z
1 )
1
a1 z
1
an z n
b( z
1 )
b0
b1 z 1
bn z n
c( z 1 ) 1 c1 z 1 cn z n
e(k) y(k) yˆ(k)
1、极大似然法 Ronald Aylmer Fisher (1890～1962) 英国实验遗传学家兼统计学家 把渐进一致性、渐进有效性等作为参 数估计量应具备的基本性质 在1912年提出了极大似然法
6.1 极大似然法
1、极大似然法
辨识准则
以观测值的出现概率最大为准则
思路
设一随机试验已知有若干个结果Ａ,Ｂ,Ｃ,…，如果在一次 试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生， 故应如此选择分布的参数，使发生Ａ的概率最大 。
aˆn
bˆ0
bˆn
cˆ1
T
cˆn
用基本LS辨识获取 任意取值
(2) 计算预测误差(残差)及J值
预测误差：
e(k) y(k) yˆ(k)
指标函数J值：
J
1
n N
e2 (k )
2 k n1
误差方差估计值： ˆ 2 2 J
N
2、动态系统模型参数的极大似然估计
(3)计算梯度矩阵及海赛矩阵
J nN e(k ) e(k )
2J θ 2
1
J
θ
θ θˆ 0
J 称为J的梯度矩阵
θ
2J θ 2
称为J的海赛矩阵
注意：上式中J的梯度矩阵和海赛矩阵，依不同辨识对象，需进行 详细推导，推导出矩阵中每个元素的具体表达式。
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
二元分布的参数估计
二元分布的参数估计二元分布是概率论和统计学中一个重要的离散概率分布，常用于描述伯努利试验的结果。
在二元分布中，每个试验只有两种可能的结果，通常用0和1表示，其中0表示失败，1表示成功。
二元分布有两个参数，分别是成功的概率p和失败的概率q=1-p。
在实际问题中，我们经常需要根据观测数据来估计二元分布的参数。
下面将介绍两种常用的估计方法：最大似然估计和贝叶斯估计。
1. 最大似然估计（Maximum Likelihood Estimation，MLE）最大似然估计是一种常用的参数估计方法，它通过最大化观测数据的似然函数来估计模型的参数。
对于二元分布而言，似然函数可以表示为：L(p) = p^x * (1-p)^(n-x)其中，x表示成功的次数，n表示总的试验次数。
我们的目标是找到使得似然函数最大的参数p。
为了求解最大似然估计，我们需要对似然函数取对数，并对参数p 求导数，令导数等于0，求解得到最优解。
最终可以得到最大似然估计的闭式解为：p = x/n最大似然估计具有良好的性质，当样本量足够大时，最大似然估计的估计结果具有无偏性和一致性。
2. 贝叶斯估计（Bayesian Estimation）贝叶斯估计是一种基于贝叶斯理论的参数估计方法，它通过引入先验分布和后验分布来估计模型的参数。
对于二元分布而言，我们可以选择Beta分布作为参数p的先验分布。
假设参数p的先验分布为Beta(a, b)，则参数p的后验分布可以表示为：p|X ~ Beta(a+x, b+n-x)其中，a表示先验分布的超参数，b表示先验分布的超参数，x表示成功的次数，n表示总的试验次数。
我们的目标是找到后验分布的最优解，即后验分布的期望。
后验分布的期望可以表示为：E(p|X) = (a+x)/(a+b+n)贝叶斯估计的优点是能够充分利用先验信息，当样本量较小时，贝叶斯估计可以提供比最大似然估计更稳定的估计结果。
在实际应用中，我们可以根据具体的问题选择最适合的估计方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
ln
L(1 ,2
,,k
)
0
k
ln
L(1 ,2 ,,k
)
0
— —称为对数似然方程组
ln L( )称为对数似然函数
注：由最值的必要条件知最大似然估计一定是似然 方程组的解，但未必似然方程组的所有解都是最大 似然估计.严格的讲，解经过验证才能确定是否是最 大似然估计量.
例1 设总体 X ~ N (, 2), x1, x2,…, xn 是 X 的样本值, 求 , 2 的极大似然估计.
ˆ
1 n
n
( xi
x )2
i 1
lg 的极大似然估计值为
lg lg
1 n
n
( xi
x )2
i 1
矩方法与最大似然方法的比较
注：与矩方法相比，最大似然估计法比对分布 函数族要了解更多。矩方法只需要知道前几阶 矩关于参数的函数形式，而最大似然估计法必 须知道概率或分布密度的函数形式.
解 由上例可知, 当
aˆ
1 2
x(1)
x(n)
aˆ
1 2
时, L 取最大值 1, 即
x(n)
1 2
aˆ
x(1)
1 2
显然, a 的最大似然估计值可能不存在, 也 可能不惟一.
不仅如此, 任何一个统计量
g( X1, X 2 ,, X n )
若满足
x( n )
1 2
g ( x1 ,
x2
,,
xn
)
x(1)
1 2
都可以作为 a 的估计量.
最大似然估计的不变性
设 ˆ 是 的最大似然估计值, u( )
( )是 的函数, 若u是一一映射， 则 uˆ u(ˆ ) 是 u( ) 的最大似然估计值.
如 在正态总体N (, 2)中, 2的最大
似然估计值为
2
1
n
n
( xi
x
)2
i1
2 是 2的函数,故 的最大似然估计值为
解 L(x1, x2 ,, xn ; , 2 )
n
i 1
1
e
(
xi 2 2
)2
1
e
n i 1
( xi )2 2 2
n
n
2
(2 ) 2 ( 2 ) 2
ln
L
n
i1
(
xi
2
2
)2
n ln(2
2
)
n ln(
2
2)
似然 方程 组为
ln L
1
2
n
(
)
ln
L
1
2( 2 )2
n
(xi
i1
)2
n
2(
2)
0
ˆ
1 n
n
xi
i 1
x
2
1 n
n
( xi
i 1
x)2
, 2 的最大似然估计量分别为
1 n
n
Xi X ,
i 1
1 n
n
(Xi
i1
X
)2
Sn2
2、似然函数关于有间断点，求导法不适用， 具体问题具体分析.比如L( )是否是的增函数
或减函数等等.
例2 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量.
分析：将该问题一般化.设池中鱼N条，其中r条鱼有记号 随机捉s条鱼发现有x条带有记号，要估计N.
设X为捉住的s条鱼 中带有记号的鱼数,
则P( X
x)
N r s x
r s
N s
问题
1) 待估参数的最大似然估计是否一定存在? 2) 若存在, 是否惟一?
我们可以看下例：
例3 设 X ~ U ( a – ½, a + ½), x1, x2,…, xn 是 X的一个样本, 求 a 的最大似然估计值.
P( X1 x1 , X 2 x2 ,, X n xn )
f ( x1; ) f ( xn; ) L( )
2、若总体是连续型，样本( X1,, X n )落入 ( x1,, xn )的领域中之概率度量
p( x1, x2 ,, xn ) f ( x1; ) f ( xn; ) L( )
称 L( ) 为样本的似然函数
L(ˆ) max L( ),即L( )最大值点的求法 其中 (1,,k )
常见有一下三种情形:
1、求导法
似然函数L( )为的连续函数，且关于各分量的
偏 导 数 存 在.
1
L(1 ,2 ,,k
)
0
k
L(1 ,2 ,,k )
0
— —称为似然方程组
由于ln L( )与L( )的最大值点相同，故可采用下式
利用最大似然法的思想
选择适当的 = ˆ ,使L( )取最大值, 即
L(ˆ) max L( )
称这样得到的 ˆ g( x1 , x2 , , xn )
为参数 的最大似然估计值.
称统计量 g( X1 , X 2 , , X n )
为参数 的最大似然估计量.
MLE(Maximu m Likelihood Estimator)
取 aˆ x(1) , bˆ x(n)
则对满足 a x(1) x(n) b 的一切 a < b ,
都有
1 (b a)n
( x(n)
1 x(1) )n
故 aˆ x(1) , bˆ x(n) 是 a , b 的最大似然估计值.
aˆ X(1) , bˆ X(n) 分别是 a , b 的最大似然估计量.
最大似然估计
问题：已知总体分布函数F ( x; )，密度函数 或分布列为f ( x; ), 其中 (1,,k )是未知参数, 的参数空间，来自总体的样本为( X1,, X n )， 样本观察值( x1 ,, xn ), 求的最大似然估计.
1、若总体是离散型，样本( X1,, X n )落入 ( x1 ,, xn )的领域中之概率度量
3、但对于许多估计问题，求最大似然估计或似然方程 的解，往往无法得到明显的表达式。这时若已知样本观 察值( x1,, xn ), 可用各种最优化算法求得最大似然估计 量的值.
例2 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量.
解 X 的密度函数为
f
(
x; a, b)
b
1
a
,
a xb
0, 其它
似然函数为
1
L(
x1
,
x2
,,
xn
;a,
b)
(b
a)n
,
0,
a xi b,
i 1,2,, n 其它
似然函数只有当 a < xi < b, i = 1,2,…, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大.
例3
设X
1
,
X
2
,
,
X
为
n
取
自Cauchy分
布
的
样
本
，
Cauchy分布的密度函数为
p(
x;
)
[1
1 (x
)2
]
,
为未知参数
求的最大似然估计.
一些特殊场合下似然估计的求解，如离散参数情形， 经常考虑参数取相邻值时似然函数的比值或差.
例3 要估计鱼池中有多少条鱼，先在鱼池中捉住500条 鱼，做上记号再放入池中.待充分混合后，再捉住1000条 鱼，发现其中100条鱼带记号.请估计池中有多少条鱼？