概率论与数理统计-点估计-矩法估计
合集下载
概率论与数理统计第七章-1矩估计法和极大似然估计法
μ1 h1 (θ1 , θ2 , μ j h j (θ1 , θ2 , μk hk (θ1 , θ2 ,
, θk ) , θk ) , θk )
, μk ) , μk ) , μk )
数理统计
从这 k 个方程中解出
θ1 g1 ( μ1 , μ2 , θ j g j ( μ1 , μ2 , θk gk ( μ1 , μ2 ,
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
2 1
b μ1 3( μ2 μ12 )
于是 a , b 的矩估计量为
总体矩
a A1 3( A2 A12 ) 3 n 2 X ( X X ) , i n i 1
3 n 2 b X ( X X ) n i 1 i
样本矩
数理统计
例2 设总体 X 的均值 μ和方差 σ 2 ( 0) 都存
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
概率论与数理统计第7章
x 0 , x 0 ,x 1 ,x 2 ,
,x n 为 总 体 X
的 一 个 样 本 ,则 未 知 参 数 的 矩 估 计 ˆ _ _ _ _ _ _ _ _ _ _ _ .
这个例子所作的推断已经体现了极大似然法 的基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样 本的联合密度(连续型）或联合分布律 (离散型)为
f (x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
得
pˆ1Βιβλιοθήκη nn i 1xix
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X1,
1n ,Xn)ni1Xi X
求最大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
要求：领会
2.2 估计量的有效性、相合性， 要求：领会
3.区间估计
3.1 置信区间的概念，
要求：领会
3.2 求单个正态总体均值和方差的置信区间，要求：简单应用
参数估计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估计总体 的某些参数或者参数的某些函数.
估计新生儿的体重
1 p
n
pxi (1p)1xi
i1
n
n
xi
n xi
pi1 (1p) i1
n
n
xi
n xi
L(p)pi1 (1p) i1
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
海南大学《概率论与数理统计》课件 第九章 点估计
令 X ,
则 ˆ x 1 (0 75 1 90 6 1) 1.22
250
二.极大似然估计法 特点：适用总体的分布类型已知的统计模型
极大似然估计法是求估计用的最多的方法， 它最早是由高斯在1821年提出，但一般将之归 功于费舍尔(R.A.Fisher)，因为费舍尔在1922 年再次提出了这种想法，并证明它的一些性质， 从而使得极大似然法得到了广泛的应用。
18
第二节 估计方法
矩估计法 极大似然估计法
19
一.矩估计法 定义：用样本矩来代替总体矩,从而得到总体 分布中参数的一种估计.这种估计方法称为 矩估计法.它的思想实质是用样本的经验分 布和样本矩去替换总体的分布和总体矩.也 称之为替换原则.
特点：不需要假定总体分布有明确的分布类型。
20
设总体X具有已知类型的概率函数 f(x;θ), θ=(θ1,…,θk) ∈Θ是k个未知参数.(X1,X2,…,Xn)是 来自总体X的一个样本.
2
参数估计的分类：
参 点估计 估计未知参数的值
数
估 计
估计未知参数的取值范围，
区间估计 并使此范围包含未知参数的
真值的概率为给定的值
3
这里所指的参数是指如下三类未知参数：
1.分布中所含的未知参数 .
如：两点分布B（1，p）中的概率p;
正态分布 N (, 2 )中的,． 2、分布中所含的未知参数的函数. 如：服从正态分布N (, 2 )的变量X不超过给定值a的
Xi＝１，反之记 Xi＝ ０ i 1,, n ．则
X1, X2 , , Xn 就是样本．总体分布为二点分
布 B1, ，参数空间 0,1 ，容易得到统计
模型
n
xi
i1
概率论与数理统计教材第六章习题
X σ0 n
~ N(0,1)
对于置信水平1- ，总体均值的置信区间为 对于置信水平 -α，总体均值 的置信区间为
X
σ0
n
uα < < X +
2
σ0
n
uα
2
(2)设总体 ～ N(,σ 2 ), 未知 ，求的置信区间。 设总体X～ 未知σ， 的置信区间。 设总体 的置信区间
σ 0 ，则样本函数 t = X ~ t(n 1) 用 S 代替 S n
i =1
n1
n1
F
1
α ∑ Yj 2
2 j =1
n2
(
)
2
n2
10
2 2 及 （1）设两个总体 ～ N(1,σ1 ) 及Y～ N(2 ,σ 2 ), 未知 1 2， ）设两个总体X～ ～
2 σ1 的置信区间。 求 2 的置信区间。 σ2
选取样本函数 选取样本函数
2 2 S1 σ1 F = 2 2 ~ F(n1 1, n2 1) S2 σ2
∑x
i =1
n
i =1
i
n = 0.
1 p
得 p 的极大似然估计值为 p =
n
∑x
i =1
n
1 = x
i
12
1 θ 2. 设总体 服从拉普拉斯分布：f ( x;θ ) = e ,∞< x < +∞, 设总体X 服从拉普拉斯分布： 2θ 求参数 θ 其中 > 0. 如果取得样本观测值为 x1 , x2 ,L, xn , 求参数θ
第六章 参数估计
(一)基本内容
一、参数估计的概念 1 定义：取样本的一个函数θ ( X 1 , X 2 ,L , X n ), 如果以它的观测 定义：
概率论与数理统计公式
概率论与数理统计公式概率论是一门研究随机现象规律的数学学科，是现代数学的基础之一、而数理统计则是利用概率论的工具和方法，分析和处理统计数据，从而得出推断、估计、决策等信息的科学。
在概率论与数理统计的学习过程中，掌握一些重要的公式是非常关键的。
下面是一些概率论与数理统计中常用的公式：1.概率公式：-加法公式：P(A∪B)=P(A)+P(B)-P(A∩B)-乘法公式：P(A∩B)=P(A)*P(B，A)-条件概率公式：P(A，B)=P(A∩B)/P(B)2.期望与方差公式：-期望：E(X)=∑(x*P(X=x))- 方差：Var(X) = E((X-μ)^2) = ∑((x-μ)^2 * P(X=x))3.常用概率分布及其特征：-二项分布：P(X=k)=C(n,k)*p^k*(1-p)^(n-k)-泊松分布：P(X=k)=(λ^k*e^(-λ))/k!-正态分布：f(x)=(1/(σ*√(2π)))*e^(-((x-μ)^2)/(2*σ^2))4.样本与总体统计量公式：-样本均值：x̄=(∑x)/n-样本方差：s^2=(∑(x-x̄)^2)/(n-1)-样本标准差：s=√(s^2)5.参数估计公式：-点估计：-总体均值估计：μ的点估计为x̄-总体方差估计：σ^2的点估计为s^2-区间估计：-总体均值的置信区间：x̄±Z*(σ/√n)-总体比例的置信区间：p±Z*√((p*(1-p))/n)6.假设检验公式：-均值检验：-单样本均值检验：t=(x̄-μ0)/(s/√n)-双样本均值检验：t=(x̄1-x̄2)/√((s1^2/n1)+(s2^2/n2))-比例检验：-单样本比例检验：z=(p-p0)/√((p0*(1-p0))/n)-双样本比例检验：z=(p1-p2)/√((p*(1-p))*((1/n1)+(1/n2)))以上是概率论与数理统计中一些常用的公式，这些公式为解决问题提供了有力的工具和方法。
《概率论与数理统计》学习笔记十一
σ 2 = S2 =
2 1 n Xi − X ) ( ∑ n i =1
n −1 2 ⎛ n −1 2 ⎞ n −1 S ⎟= E (S2 ) = 由于 E σ 2 = E S 2 = E ⎜ σ ， n n ⎝ n ⎠
n 3 ⎡ X 2 − nX 2 ⎤ ∑ i ⎥ n⎢ ⎣ i =1 ⎦
3 ( X − X )2 i n∑ i =1
n
在总体 X 为离散型随机变量情形， 求未知参数 θ 的矩估计量的方法和连续型 情形完全相同。 极大似然估计法 直观想法：概率最大的事件最可能出现。 设总体 X 为连续型随机变量，具有密度函数 f ( x;θ ) ，其中 θ 是待估未知参 数，又设 ( x1 ,L , xn ) 是样本 ( X 1 ,L , X n ) 的一个观测值，则样本 ( X 1 ,L , X n ) 落在观
n
（１）
ˆr ， 把上式中的 α r 都换成相应的样本矩 M r = 1 ∑ X ir ，便得到参数 θ r 的矩估计量 θ n i =1
概率论与数理统计—学习笔记十一
即
θˆr = hr ( M 1 ,L , M k ) , r = 1, 2,L , k .
（２）
这种求估计量的方法称为矩估计法（简称矩法） ，由矩估计法得出的估计量称为 矩估计量。 例１ 设总体 X 在 [ a, b ] 上服从均匀分布，a,b 未知， X 1 ,L , X n 是总体 X 的 一个样本，试求 a,b 矩估计量。 解 X 的概率密度为 1 , a≤ x≤b ⎧ ⎪ f ( x; a, b ) = ⎨ b − a ⎪ 其它 ⎩ 0,
上节介绍了总体参数的常用点估计方法，对同一参数用不同的估计方法可能 得到不同的估计量，哪个估计量更好些呢？下面给出几种评选估计量好坏的标 准。 无偏估计 估计量是样本的函数，是随机变量，对不同的样本观测值，它有不同的估计 值，我们希望估计量的取值在未知参数真值附近摆动，即希望估计量的数学期望 等于未知参数的真值，这就是无偏性的概念。 定义 设 θˆ ( X 1 ,L , X n ) 是未知参数 θ 的估计量，若
概率论与数理统计答案(华南理工)
开讨论
例 对容量为n的样本，求下列密度函数中参数 a 的
2 2 (a x), (0 x a) f ( x) a 其它 0, a 2 a 解 由于 E [ X ] x 2 ( a x )dx 0 a 3 a 所以由矩法估计，得 X 3 3 n 解得 a 3 X X i n i 1 3 n 所以，参数 a 的矩估计量为 a X i n i 1
方差
1 50 ˆ X Xi 50 i 1 50 1 2 2 2 ˆ 2 S50 Xi ( X ) 50 i 1
此时，ˆ ,
ˆ
2
为两个统计量
根据大数定理，样本的矩和总体的矩应当非常接近 假若样本有观测值x1，x2，……x50,代入统计量中，有
用样本的统计量来估计分布的数字特征，进而得到参
数估计的办法也叫数字特征法，是矩法的特例。
思考一下，是否有其他求解的办法？ 考虑泊松分布的二阶中心矩 得到矩法估计量
Var[ X ]
1 n ( X i X )2 n i 1
可见：同一个参数的矩估计量可以不同。 使用哪个更好一些？ 矩法估计总能用低阶矩就不用高阶矩 之后会系统地介绍估计量优劣的评价，届时再展
解：设装袋的重量为随机变量X，即总体为X~N(μ, σ2)。
E[ X ] 2 2 2 Var [ X ] E [ X ] ( E [ X ])
此时，要估计参数，就转化为估计随机变量的矩 观测50次，即取X1，X2，……X50个样本，样本容量50 计算样本 的期望和
若总体的密度函数中有多个参数1，2，…，n，则将 ln L 第（3）步改为 0, (i 1, 2, , n) i 解方程组即可。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x
dx
2
2
0
故令
1
n
n
i2
i 1
2ˆ2
n
于是解得 的矩估计量为
ˆ
1 2n
i2
i 1
估计量的评价 标准
点估计有多种方法，同一个未知参数用不同的方法可得 到不同的估计量，那一个估计量好呢？必须有个评价标准。 评价标准有多种，用不同方法评价，得到的结论也不一样。
因此，说一个估计量的好坏，必须说明是用那一个评价标准 评价的。否则，是没有意义的。
点估计的求法: (两种) 矩估计法和极大似然估计法.
一、 矩估计法 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
理论依据: 大数定律
由辛钦大数定理知，
可以用
X
1 n
n i 1
Xi去估计EX,
如.求一个战士的射击命中率?
估计量,这个估计量称为矩估计量.
例2.设 : （， 2），求， 2的矩法估计量。
解：p( ,, 2 )
1
e
(
x )2 2 2
2
E x
1
(x )2
e 2 2 dx
2
xR
E 2 x2
1
(x )2
e 2 2 dx 2 2
2
列方程组：
2
1 n
n i1
2 1
n
i
n i 1
点估计问题就是要构造一个适当的统计量
ˆ(1,2 ,L ,n ),用它的观察值ˆ(x1, x2 ,L , xn ) 来估计未知参数 .
ˆ(1,2,L ,n )称为 的估计量. 通称估计,
ˆ(x1, x2,L , xn )称为 的估计值.
简记为ˆ.
二、估计量的求法
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 求估 计量的问题是关键问题.
x2P(x)dx
0
x2 6x 3( x) dx 6 2 20
DX=EX2 (EX)2 6 2 20 ( 2)2 2 20
所以
D(ˆ)=D(2X)=4D(X)=4
2
20n
2
5n
例5 设总体 的分布密度为
p(x; )
1
x
e
( x , 0)
2
(1,2,L n) 为总体 的样本,求参数 的矩估
1.相合性：设总体X的概率函数为f(x, ), 为未知参数，
ˆn n (X1, X2,....Xn )为的一个估计量，n为样本容量，
若对任意 0,
lim
n
P(
ˆn
) 1
成立，
则称ˆn为的相合估计量。(一致估计量)
由定义可知， 估计量 ˆn P (未知参数）
依据伯努利大数定律： 频率 i 是概率P的相合估计量，
事实上是我们已经知道X服从两点分布,
任务是估计参数p,
我们根据伯努里大数定理
显然可以用
n
n
1 n
n i 1
Xi去估计参数p.
用样本方差S2估计总体的方差DX,
例1:对某型20辆汽车纪录5L汽油所行驶的里程数, 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9
n
由辛钦大数定律
样本均值
1 n
n
Xi
i 1
是
EX的相合估计量。
第六 章
点估计
6.1矩法估计
一、点估计问题的提法 二、矩法估计的求法 三、估计量的评价 标准
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数或者参数的某些函数.
估计新生儿的平均体重
估计废品率 估计湖中鱼数
估计平均降雨量
… …
参数估计问题的一般提法
我们会计算出
1n
x
n
xi 28.695
i1
S2n
1 n
n
(xi x)2
i1
0.9185
来作为总体的期望、方差的点估计：
ˆ =28.695 ˆ 2 0.9815
这种方法就是替换原则：用样本矩去替换总体相应的矩 说的更本质一些，依据的原理是大数定律：
样本矩 np相应的总体矩
矩估计法的具体步骤:
计量.
解：由于 p(x; )只含有一个未知参数 ，一般
只需求出E 便能得到 的矩估计量，但是
E
xp(x; )dx
x
1
x
e dx 0
2
即 E 不含有 ,故不能由此得到 的矩估 计量.为此, 求
E( 2)
x2 p(x; )dx
x e dx 2 1
|x|
2
1
x
2
e
1 n
ab 3
n
i1
b2
i
1 n
n
i2
i1
aˆ
3( 2 2 )
解方程组得：
aˆ bˆ
3S 3S
即为a, b的矩法估计量。
若（4.5 5.0 4.7 4.0 4.2）为一组样本观测值，
算得 x 4.48 s 0.3962,则可得 a, b的矩法估计值
分别为 aˆ 4.48 0.3962 3 3.7938
i2
ˆ =
解方程组：得
ˆ 2
1 n
n i1
(i
)2
即为和 2的矩法估计量。
例3 总体在[a,b]上均匀分布，a, b为未知参数，
（1,2 K ,n）为样本，求a, b的矩法估计量？
解：由前面的知识得 E = a+b , E 2 a2 ab b2
2
3
列方程组得
a+b 2
a2
设有一个统计总体的分布函数F(x, )，
其中 为未知参数.的范围是已知(称为参数空间）
现从该总体中抽取样本
1 , 2 , ...n
要依据该样本对参数 作出估计，或估计 的某个已知函数 g( ).
这类问题称为参数估计.(一般分点估计， 区间估计)
一、点估计问题的提法
设总体的分布函数形式已知, 但它的一个或 多个参数为未知, 借助于总体的一个样本来估计 总体未知参数称为点估计问题.
bˆ 4.48 0.3962 3 5.1662
例4：设总体X的概率密度如下：求的矩法估计量ˆ ？
并求 D(ˆ) ?
6x 3(
P(x)
解： EX=
0
xP(x)dx Βιβλιοθήκη x6x-0x)
3 (
,
0
x)
x
其它
dx
2
列方程 2 X
解方程得 ˆ 2X 即为的矩法估计量。
又 EX2 = -
(1).求出E j (1,2,L ,k ) j 1, 2,L k
(2).令 j
j
1 n
n
ij ;
i 1
j
1, 2,L
,k
这是一个包含 k 个未知参数1,2,L ,k 的方程组.
(3).解出其中1,2,L ,k , 用ˆ1,ˆ2,L ,ˆk表示.
(4).用方程组的解ˆ1,ˆ2,L ,ˆk分别作为1,2,L ,k的