概率与统计学课件-第七章-参数估计6-5

合集下载

概率论与数理统计第7章.ppt

即 S 2是 2 的无偏估计,故通常取S 2作 2的估计量.
例3 设总体 X 服从参数为的指数分布, 概率密度
x 1 e , f ( x; ) 0,
x 0, 其他.
其中参数 0, 又设 X 1 , X 2 ,, X n 是来自总体 X 的样本, 试证 X 和 nZ n[min( X 1 , X 2 ,, X n )] 都是的无偏估计.
行到其中有15只失效时结束试验, 测得失效时间(小时)为115, 119, 131, 138, 142, 147, 148, 155,
158, 159, 163, 166, 167, 170, 172.
试求电池的平均寿命的最大似然估计值 .
解
n 50, m 15,
s( t15 ) 115 119 170 172 (50 15) 172
总体 X 的 k 阶矩 k E ( X k )的相合估计量, 进而若待估参数 g( 1 , 2 ,, n ), 其中g 为连续 ˆ g( 函数, 则的矩估计量 ˆ1 , ˆ 2 , , ˆ n ) g( A1 , A2 ,
, An ) 是的相合估计量.
第三节
估计量的评选标准
一、问题的提出
二、无偏性三、有效性四、相合性五、小结
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不同的估计方法求出的估计量可能不相同. 而且, 很明显, 原则上任何统计量都可以作为未知参数的估计量. 问题 (1)对于同一个参数究竟采用哪一个估计量好? (2)评价估计量的标准是什么? 下面介绍几个常用标准.
如果不能得到完全样本, 就考虑截尾寿命试验.
3. 两种常见的截尾寿命试验

概率论与数理统计第7章参数估计PPT课件

5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而，这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数，并用样本矩替代总体矩而得到的参数估计方法。（由大数定理可知样本矩依概率收敛于总体矩，且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，

概率论与数理统计完整课件第七章参数估计PPT课件

n
L(1,2,,k ) L(x1, x2,, xk ;1,2,,k ) f (xi ;1,2,,k ) i 1
将其取对数,然后对1,2 ,,k 求偏导数,得
ln L(1, 2 ,, k ) 0 1
ln L(1, 2 ,, k ) 0 k
该方程组的解 ˆi ˆi (x1, x2,, xn),i 1,2,,k ,即为 i 的极
§1 参数的点估计
设总体 X 的分布函数 F(x;) 形式已知，其中θ 是待估计的参数，点估计问题就是利用样本 (X1, X 2,, X n ) ，构造一个统计量ˆ ˆ(X1, X2,, Xn) 来估计θ，我们称ˆ(X1, X2,, Xn )为θ的点估计量，它是一个随机变量。将样本观测值 (x1, x2 ,, xn ) 代入估计量 ˆ(X1, X2,, Xn ) ，就得到它的一个具体数值 ˆ(x1, x2,, xn ) ，这个数值称为θ的点估计值.
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的可能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计 p=3/4.
第10页/共71页
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 (X1, X2,, Xn ) 的联合分布律
~~ 2n1nLeabharlann ini1n1x(i xix
x
)
2
由微积分知识易验证以上所求为μ与σ2的极大似然估计.
第21页/共71页
• 例:设总体X具有均匀分布,其概率密度函数为
p(x;)

概率论与数理统计课件最新版-第7章-参数估计

(1 n
n i 1
Xi )2
1 n
n i 1
(Xi
X )2
结论：不论总体服从什么分布，总体均值与方差的矩估计量的表达式是相同的
概率统计
(2). Q X ~ N ( , 2 )
X 1 (1502 1453 1367 1650) 1493
4
1
n
n i 1
(Xi
X )2
1 [(1502 1493)2 4
定义直接寻求能使 L( ) 达到最大值的解作为
极大似然估计量。 ▲ 极大似然估计法适用于多个未知参数的情形。
概率统计
例3. 设 X ~ N (, 2 ), , 2 为未知参数，
x1 , x2 L xn 是 X 的一个样本值.
求: , 2 的极大似然估计量.
解: Q X 的密度函数为：f ( x ; , 2 )
是相应于样本 X1, X 2 , X n 的一组样本值。
n
作似然函数：L f ( x k ,1,2 ,L l ) 或 k 1
概率统计
n
或 L P( x k ,1,2 ,L l ) k 1
使得似然函数 L 达到极大值的 ˆ1,ˆ2,L ˆl
称为参数 1,2 ,L l 的极大似然估计值，记为： ˆi ( x1, x2 ,L xn ) (它与样本值有关)，记统计量：
(1453 1493)2
(1367 1493)2 (1650 1493)2 ]
10551
某种灯泡寿命的均值与方差的矩估计值分布为:
ˆ 1493, ˆ 2 10551
概率统计
例 2. 设 X1, X2, … Xn 是取自总体 X 的一个样本，
其概率密度为：

概率统计7章ppt课件

i1
n
n
xi
n xi
p i1 (1 p) i1
n
n
ln L( p) ln( p) xi ln(1 p)(n xi )
i1
i1
n
n
ln L( p) ln( p) xi ln(1 p)(n xi )
i1
i1
d ln L( p) dp
记为
—— 样本的似然函数
满足条件: 为θ的最大似然估计值；为θ的最大似然估计量；
具体算法：
令
例1 设x1,x2,…,xn是取自总体 X~b(1, p) 的一个
样本值，求参数p的最大似然估计值。
解 P{X x} px (1 p)1x , x 0,1
n
似然函数为: L( p) pxi (1 p)1xi
Fisher
最大似然法的基本思想：
假定一个盒子中有白、黑球共3个，但不知各有几个，如果有放回的抽取3次球，发现第1，3次是黑球，第2次是白球，试估计黑球所占的比例？
准备内容：当总体X是离散型，分布律改写为：
以泊松分布为例，
⑴ X 为离散型
分布律为
为X 的样本，
，其中θ未知。为X 的样本值，
解 1 E(X ) (a b) / 2
2

E(X
2)

D( X
)

E2(X
)

(b a)2 12

(a
b)2 4
令

A1 A2

1 2

a (b a)2 12
b 2A1 (a b)2
4

概率论与数理统计-第七章--参数估计.ppt

例1. 设总体X的数学期望和方差分别是μ, σ2 ，求μ , σ2的矩估计量。
总体期望、方差的矩估计量分别是样本均值和样本二阶中心矩。
例2: 已知某产品的不合格率为p, 有简单随机样本X1 ,X2 ,…, Xn 求p的矩估计量。
解：E(X)=p.
pˆ

1 n
n i 1
Xi

X
例3：设电话总机在某段时间内接到呼唤的次数
n
L(x1, x2,..., xn; ) f (xi; ) i 1
为样本的似然函数，简记为L(θ)。
对于固定的样本观测值x1,x2,…,xn。如果有
例1. 设总体X~N(μ,σ2)，其中μ,σ2是未知参数。求μ,σ2的极大似然估计。
f (x; , 2 )
1
2
exp[
极大似然估计
矩估计
总体k阶原点矩
k EX k
样本k阶原点矩
Ak

1 n
n i 1
X
k i
K.皮尔逊
n
X
k i
大数定律： lim P(| i1 E( X k ) | ) 1
n
n
矩估计基本思想: 用样本矩估计总体矩 .
设总体的分布函数中含有k个未知参数 1,,k
缺点是，当总体类型已知时，没有充分利用分布提供的信息 .
极大似然估计
例：设一箱中装有若干个白色和黑色的球，已知两种球的数目之比为3:1或1:3，现有放回地任取3个球，有两个白球，问：白球所占的比例p是多少？
如果只知道0<p<1,并且实测记录是X=k (0 ≤ k≤ n),又应如何估计p呢?
X
~

概率论与数理统计PPT课件第七章最大似然估计

最大似然估计
• 最大似然估计的概述 • 最大似然估计的数学基础 • 最大似然估计的实现 • 最大似然估计的应用 • 最大似然估计的扩展
01
最大似然估计的概述
定义与性质
定义
最大似然估计是一种参数估计方法，通过最大化样本数据的似然函数来估计参数。
性质
最大似然估计是一种非线性、非参数的统计方法，具有一致性、无偏性和有效性等优良性质。
无偏性
在某些条件下，最大似然估计的参数估计值是无偏的，即其期望值等于真实值。
最大似然估计的优缺点
• 有效性：在某些条件下，最大似然估计具有最小方差性质，即其方差达到最小。
最大似然估计的优缺点
非线性
01
最大似然估计是非线性估计方法，对参数的估计可能存在局部
最优解而非全局最优解。
对初值敏感
02
最大似然估计对初值的选择敏感，不同的初值可能导致不同的
04
最大似然估计的应用
在回归分析中的应用
线性回归
最大似然估计常用于线性回归模型的参数估计，通过最大化似然函数来估计回归系数。
非线性回归
对于非线性回归模型，最大似然估计同样适用，通过将非线性模型转换为似然函数的形式进行参数估计。
多元回归
在多元回归分析中，最大似然估计能够处理多个自变量对因变量的影响，并给出最佳参数估计。
最大熵原理与最大似然估计在某些方面具有相似性，例如都追求最大化某种度量，但在应用场景和约束条件上有所不同。
THANKS
感谢观看
连续型随机变量的概率密度函数
然函数
基于样本数据和假设的概率模型，计算样本数据在该模型下的可能性。
似然函数的性质
非负性、归一化、随着样本数据的增加而增加。

第7章参数估计—概率课件PPT

X的密度为：
f
x
x 1
0
0 x 1 其他
lnL
n 2
ln
令
dlnL
d
n 2
1
2
1
1
n
ln xi
ni 1
ln xi
i 1
0
即：
n
n
ln xi
i 1
的极大似然估计量为：ˆ
n
n2
2
lnX
i
10
i1
例4：设总体X的概率密度为：f x 1 ex
x
,
0
其它
其中 0, , 是未知常量, X1, , X n 为X的样本，
故 X1 min X1, X 2 ,
, Xn,
又lnL nln
1
n
Xi
i 1
ˆ
令 dlnL d
n
1
2
n i 1
X i X 1
0
ˆ X X1
12
例5：设总体X 服从0, 上的均匀分布， 0未知，
试由样本 x1, x2, , xn求出的极大似然估计和矩估计。
解：1 极大似然估计
5
例2：设总体X的密度为：
f
x
x 1
0
0 x 1 0为未知参数，
其他
X1,
X
，
2
,
X n 为取自X的样本，求的矩估计。
解：E X xf x dx 1 x dx
0
1
令E X X
X 1
2
ˆ X
1 X
6
二．极大似然估计法
极大似然估计的原理介绍
X1, X 2, , X n 是取自X的一个样本，试求, 2的矩估计。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

�μ已知时σ2的双侧假设检验检验假设H0:σ2=σ02 , H1:σ2≠σ02
1 T= 2 σ0
n
2 2 ( X − µ ) ~ χ ( n) ∑ i
i =1
2 ⎧ ⎪ P (T ≥ χα 2 (n) ) = α 2 ⎨ 2 ⎪ ⎩ P (T ≤ χ1−α 2 (n) ) = α 2 2 2 当T > χα 2 (n)或T < χ1−α 2 (n), 拒绝H 0 ,
n = 7, X = 4.36, S 2 = 0.0351, α = 0.05
2 2 查表χα ( n − 1 ) = 14 . 4492 , χ /2 1−α / 2 ( n − 1) = 1.2373, 代入得
( n − 1) S 2 ( n − 1) S 2 = 0.0146, 2 = 0.1702 2 χα 2 (n − 1) χ1−α 2 (n − 1) ∴σ2的双侧置信区间为 (0.0146, 0.1702).
2
∵T=16.789>14.45, ∴拒绝H0。即不能认为新工艺炼出的铁水含碳量的方差仍为 0.1122。
�μ已知时σ2的双侧置信区间
⎛ Xi − µ ⎞ 2 T = ∑⎜ ~ χ ( n) ⎟ σ ⎠ i =1 ⎝ 2 n ⎛ 2 ⎞ X − µ ⎛ ⎞ 2 i P⎜ χ1−α 2 ( n) < ∑ ⎜ < χα 2 ( n ) ⎟ = 1 − α ⎟ ⎜ ⎟ σ ⎝ ⎠ i = 1 ⎝ ⎠
�μ未知时σ2的双侧置信区间
(n − 1) S 2 2 T= ~ χ (n − 1) 2 σ ⎛ 2 ⎞ (n − 1) S 2 2 P⎜ < χα 2 (n − 1) ⎟ ⎜ χ1−α 2 (n − 1) < σ 2 ⎟ = 1− α ⎝ ⎠
2 ⎞ ⎛ (n − 1) S 2 ( n − 1 ) S 2 ⎜ ⎟ = 1−α P 2 <σ < 2 ⎜ χα 2 ( n − 1) ⎟ χ ( n − 1 ) 1 − α 2 ⎝ ⎠
⎛ (n − 1) S 2 ⎞ ⎜ ⎜ χ 2 ( n − 1) ,+∞ ⎟ ⎟ ⎝ α ⎠
�μ未知时σ2的右侧假设检验检验假设H0:σ2≤σ02 , H1:σ2>σ02
当T > χ (n − 1), 拒绝H 0 ,
2 α
否则,接受H0.
�μ未知时σ2的单侧上限置信区间
⎛ (n − 1) S 2 ⎞ ⎜ ⎜ 0, χ 2 (n − 时nσ2的单侧下限置信区间 ⎛ ⎞ 2 ⎜ ∑ ( X i − µ) ⎟
⎜ ⎜ ⎜ ⎝
i =1
2 χα ( n)
�μ已知时σ2的右侧假设检验检验假设H0:σ2≤σ02 , H1:σ2>σ02
当T > χ (n), 拒绝H 0 ,
2 α
,+∞ ⎟ ⎟ ⎟ ⎠
否则,接受H0.
�σ12、σ22已知时μ1-μ2的左侧假设检验检验假设H0:μ≥μ0, H1:μ<μ0
当U < −uα , 拒绝H 0 ,
否则,接受H0.
n ⎛ n 2 2 ⎞ ⎜ ∑ ( X i − µ) ∑ ( X i − µ) ⎟ i =1 ⎜ i =1 ⎟ , 2 2 ⎜ χα ⎟ ( n ) χ 2 1−α 2 ( n) ⎜ ⎟ 5 ⎝ ⎠ 2 n = 5, ∑ ( X i − µ ) = 0.0315, α = 0.10
i =1
2 2 查表χα ( n ) = 11 . 0703 , χ /2 1−α / 2 ( n) = 1.21.1455, 代入得
即得σ2的双侧置信区间
2 ⎞ ⎛ (n − 1) S 2 (n − 1) S ⎟ ⎜ , 2 2 ⎜ χ (n − 1) χ ⎟ ( n − 1 ) 1−α 2 ⎝ α2 ⎠
�μ未知时σ2的双侧假设检验检验假设H0:σ2=σ02 , H1:σ2≠σ02
(n − 1) S 2 2 T= ~ χ ( n − 1) 2 σ0
⎛ n ⎜ ∑ ( X i − µ )2 P⎜ i =1 2 <σ 2 < ⎜ χ α 2 ( n) ⎜ ⎝ ⎞ (Xi − µ) ⎟ ∑ i =1 ⎟ = 1− α χ12−α 2 (n) ⎟ ⎟ ⎠
2
n
2
n
即得σ2的双侧置信区间
n ⎛ n 2 2 ⎞ ⎜ ∑ ( X i − µ) ∑ ( X i − µ) ⎟ i =1 ⎜ i =1 ⎟ , 2 2 ⎜ χα ⎟ ( n ) χ 2 1−α 2 ( n) ⎜ ⎟ ⎝ ⎠
(2)H0:σ2=0.1122 , H1:σ2≠0.1122
(n − 1) S 2 T= ~ χ (n − 1) 2 σ ( n − 1) S 2 T= = 16.7889 2 σ0
2 2 α = 0.05, χα ( n − 1 ) = 14 . 4492 , χ /2 1−α / 2 ( n − 1) = 1.2373
2 ⎧ P ( T > χ α 2 ( n − 1) ) = α 2 ⎪ ⎨ 2 P ( T < χ ⎪ 1−α 2 ( n − 1) ) = α 2 ⎩ 2 2 当T > χα ( n − 1 ) 或 T < χ 2 1−α 2 ( n − 1), 拒绝H 0 ,
否则,接受H0.
�μ未知时σ2的单侧下限置信区间
�μ已知时σ2 n的单侧上限置信区间 ⎛ 2 ⎞ ⎜ ∑ ( X i − µ) ⎟
⎜ 0, ⎜ ⎜ ⎝
i =1
χ12−α ( n)
�μ已未知时σ2的左侧假设检验检验假设H0:σ2≥σ02 , H1:σ2<σ02
当T < χ
2 1−α
⎟ ⎟ ⎟ ⎠
(n), 拒绝H 0 ,
否则,接受H0.
例6.设维尼纶纤度在正常生产条件下服从正态分布 N(1.405,0.0482)，某日抽出5根纤维，测得其纤度为：1.32 1.36 1.55 1.44 1.40 (1) 求这一天生产的维尼纶纤度方差的双侧置信区间；(2)这一天生产的维尼纶的纤度的方差是否正常？（α =0.10）解：(1) μ已知时σ2的双侧置信区间为
�σ12、σ22已知时μ1-μ2的双侧假设检验检验假设H0: μ1=μ2, H1: μ1≠ μ2
U= X −Y σ σ + m n
2 1 2 2
~ N (0,1)
P (U > uα 2 ) = α
当U > uα 2时, 拒绝H 0 ,
否则,接受H0.
�σ12、σ22已知时μ1-μ2的单侧下限置信区间
�σ12、σ22已知时μ1-μ2的双侧置信区间
X − Y − ( µ1 − µ 2 ) σ σ + m n
2 1 2 2
~ N (0,1)
即得μ1-μ2的双侧置信区间 2 2 2 2 ⎞ ⎛ σ σ σ σ 1 2 1 2 ⎟ ⎜ X −Y − u + , X − Y + u + α 2 α 2 ⎜ ⎟ m n m n ⎝ ⎠
2 2 ⎛ ⎞ σ σ 1 2 ⎜ X −Y −u ⎟ + , +∞ α ⎜ ⎟ m n ⎝ ⎠
�σ12、σ22已知时μ1-μ2的右侧假设检验检验假设H0: μ1≤μ2, H1: μ1 >μ2
当U > uα , 拒绝H 0 ,
否则,接受H0.
�σ12、σ22已知时μ1-μ2的单侧上限置信区间
2 2 ⎞ ⎛ ⎜ − ∞, X − Y + u σ 1 + σ 2 ⎟ α ⎜ ⎟ m n ⎝ ⎠
n
2 ( X − µ ) ∑ i
n
2 ( X − µ ) ∑ i
i =1
χ (n) χ ( n) ∴σ2的双侧置信区间为 (0.0028, 0.0275).
2 α 2
= 0.0028,
i =1
2 1−α 2
= 0.0275
(2)H0:σ2=0.0482 , H1:σ2≠0.0482 1 n T = 2 ∑ ( X i − µ ) 2 ~ χ 2 ( n) σ i =1 1 n 2 T = 2 ∑ ( X i − µ ) = 13.67 σ 0 i =1
2 2 α = 0.10, χα ( n ) = 11 . 0703 , χ /2 1−α / 2 ( n) = 1.1455
∵T=13.67>11.07, ∴拒绝H0。即这一天生产的维尼纶的纤度的方差不正常。
7.6
�双正态总体均值的区间估计与假设检验
�求μ1-μ2的双侧置信区间与双侧检验 H0: μ1=μ2, H1: μ1≠ μ2 �求μ1-μ2的单侧下限置信区间与右侧检验 H0: μ1≤μ2, H1: μ1 >μ2 �求μ1-μ2的单侧上限置信区间与左侧检验 H0: μ1≥μ2, H1: μ1< μ2
�μ未知时σ2的左侧假设检验检验假设H0:σ2≥σ02 , H1:σ2<σ02
当T < χ
2 1−α
(n − 1), 拒绝H 0 ,
否则,接受H0.
例5.某炼铁厂铁水的含碳量 X，在正常情况下服从正态分布N(μ,0.1122)。现对操作工艺进行某些改变，从中抽取了 7炉铁水的试样，测得含碳量数据如下： 4.421，4.052，4.357，4.394，4.326，4.287，4.683 (1)求新工艺炼出的铁水含碳量方差的双侧置信区间;(2)是否可以认为新工艺炼出的铁水含碳量的方差仍为0.1122？（α =0.05 ）解：(1) μ未知时σ2的双侧置信区间为 2 ⎞ ⎛ (n − 1) S 2 ( n − 1 ) S ⎜ ⎟ , 2 2 ⎜ χ (n − 1) χ ⎟ ( n − 1 ) α 2 1 − α 2 ⎝ ⎠
X − µ0 20 (3.399 − 3.25) T= = ≈ 2.563 0.2622 S/ n