概率论与数理统计-电子教案 7.1+7.2
合集下载
概率论与数理统计第七章-1矩估计法和极大似然估计法
μ1 h1 (θ1 , θ2 , μ j h j (θ1 , θ2 , μk hk (θ1 , θ2 ,
, θk ) , θk ) , θk )
, μk ) , μk ) , μk )
数理统计
从这 k 个方程中解出
θ1 g1 ( μ1 , μ2 , θ j g j ( μ1 , μ2 , θk gk ( μ1 , μ2 ,
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
2 1
b μ1 3( μ2 μ12 )
于是 a , b 的矩估计量为
总体矩
a A1 3( A2 A12 ) 3 n 2 X ( X X ) , i n i 1
3 n 2 b X ( X X ) n i 1 i
样本矩
数理统计
例2 设总体 X 的均值 μ和方差 σ 2 ( 0) 都存
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
概率论与数理统计第7章参数估计PPT课件
5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
概率论与数理统计电子教案：MC7_1参数的点估计
参数估计
20.8.27
第七章 参数估计
电子科技大学
参数估计
20.8.27
数理统计问题：如何选取样本来对总体的种种统计 特征作出判断。
参数估计问题：知道随机变量（总体）的分布类型， 但确切的形式不知道，根据样本来估计总体的参数，这 类问题称为参数估计（paramentric estimation）。
指数分布的参数估计 矩估计与似然估计不等的例子 均匀分布的极大似然估计
电子科技大学
参数估计
小结
1. 矩法估计量与极大似然估计量不一定相同； 2. 用矩法估计参数比较简单,但有信息量损失； 3.极大似然估计法精度较高,但运算较复杂； 4.不是所有M.L.E都需要建立似然方程求解.
电子科技大学
பைடு நூலகம்
参数估计
注1 总体X的分布函数中可有多个不同未知参数. 注2 统计量是不含未知参数的样本函数.
电子科技大学
参数估计
20.8.27
点估计（point estimation) ：如果构造一个统计量
(X1, X2, , Xn ) 来作为参数的估计量，则称为
参数的点估计。
点估计的方法：矩估计法、极大似然估计法。
20.8.27
(θ
1)n
n
xθi
,
L( x1,...,xn;θ )
i 1
0,
0 xi 1; 其它
2. 取对数： 当 0<xi<1, (i=1,2, …,n) 时
n
ln L n ln( 1) ln xi
i 1
3. 建立似然方程
d ln L n n
d
1
ln
i 1
xi
0,
电子科技大学
20.8.27
第七章 参数估计
电子科技大学
参数估计
20.8.27
数理统计问题：如何选取样本来对总体的种种统计 特征作出判断。
参数估计问题：知道随机变量（总体）的分布类型， 但确切的形式不知道，根据样本来估计总体的参数，这 类问题称为参数估计（paramentric estimation）。
指数分布的参数估计 矩估计与似然估计不等的例子 均匀分布的极大似然估计
电子科技大学
参数估计
小结
1. 矩法估计量与极大似然估计量不一定相同； 2. 用矩法估计参数比较简单,但有信息量损失； 3.极大似然估计法精度较高,但运算较复杂； 4.不是所有M.L.E都需要建立似然方程求解.
电子科技大学
பைடு நூலகம்
参数估计
注1 总体X的分布函数中可有多个不同未知参数. 注2 统计量是不含未知参数的样本函数.
电子科技大学
参数估计
20.8.27
点估计（point estimation) ：如果构造一个统计量
(X1, X2, , Xn ) 来作为参数的估计量，则称为
参数的点估计。
点估计的方法：矩估计法、极大似然估计法。
20.8.27
(θ
1)n
n
xθi
,
L( x1,...,xn;θ )
i 1
0,
0 xi 1; 其它
2. 取对数： 当 0<xi<1, (i=1,2, …,n) 时
n
ln L n ln( 1) ln xi
i 1
3. 建立似然方程
d ln L n n
d
1
ln
i 1
xi
0,
电子科技大学
概率论与数理统计课后习题答案 第七章
习题 7.2 1. 证明样本均值 是总体均值
证:
的相合估计
由定理
知 是 的相合估计
2. 证明样本的 k 阶矩
是总体 阶矩
证:
的相合估计量
3. 设总体 (1)
(2)
是
的相合估计
为其样品 试证下述三个估计量
(3)
都是 的无偏估计,并求出每一估计量的方差,问哪个方差最小? 证:
都是 的无偏估计
故 的方差最小.
大?(附
)
解: (1) 的置信度为 的置信区间为
(2) 的置信度为 故区间长度为
的置信区间为
解得
四、某大学从来自 A,B 两市的新生中分别随机抽取 5 名与 6 名新生,测其身高(单位:厘米)后,算的
.假设两市新生身高分别服从正态分布:
,
其中 未知 试求
的置信度为 0.95 的置信区间.(附:
解:
.从该车床加工的零件中随机抽取
4 个,测得长度分别为:12.6,13.4,12.8,13.2.
试求: (1)样本方差 ;(2)总体方差 的置信度为 95%的置信区间.
(附:
解: (1)
(2) 置信度 的置信区间为
三、设总体
抽取样本
为样本均值
(1) 已知
求 的置信度为 的置信区间
(2) 已知
问 要使 的置信度为 的置信区间长度不超过 ,样本容量 n 至少应取多
施磷肥的
620 570 650 600 630 580 570 600 600 580
设不施磷肥亩产和施磷肥亩产均服从正态分布,其方差相同.试对施磷肥平均亩产与不施磷肥平均
亩产之差作区间估计(
).
解:
查表知
概率论与数理统计 7.1 数理统计中的基本概念
这就是矩估计法的理论根据.
独立同分布
样本 X1, X2, …, Xn 可以看成是独立同分布( i.i.d ) 的数r.v理.,统计 其共同分布即为总体分布。
设总体X具有分布函数F(x), X1, X2, …, Xn为取自该总体 的容量为n的样本，则样本联合分布函数为
n
F (x , ..., x ) F (x )
1
n
i
i 1
请注意 : 设X1, X2 , Xn是来自总体X的一个样本, x1, x2 ,
xn是一个样本的观察值,则g( x1, x2 , xn )也是统 计量g(X1, X2 , Xn )的观察值.
几个常见统计量
样本平均值
X
1 n
n i 1
Xi
样本方差
S 2
1 n1
n i 1
(Xi
X )2
它反映了总体 方差的信息
数理统计
总体的三层含义：
• 研究对象的全体； • 数据； • 分布 —随机变量X。
统计中，总体这个概念 的要旨是：总体 就是一个概率分布.
数理统计
例5.1.1 考察某厂的产品质量，以0记合格品，以1记 不合格品，则
总体 = {该厂生产的全部合格品与不合格品} = {由0或1组成的一堆数}
若以 p 表示这堆数中1的比例（不合格品率），则该 总体可由一个二点分布表示：
简单随机样本
数理统计
• 要使得推断可靠，对样本就有要求，使样本能很好地 代表总体。通常有如下两个要求：
• 随机性: 总体中每一个个体都有同等机会被选入样 本 -- Xi 与总体X 有相同的分布。
独立性: 样本中每一样本的取值不影响其它样本的取值 -- X1, X2, …, Xn 相互独立。
独立同分布
样本 X1, X2, …, Xn 可以看成是独立同分布( i.i.d ) 的数r.v理.,统计 其共同分布即为总体分布。
设总体X具有分布函数F(x), X1, X2, …, Xn为取自该总体 的容量为n的样本，则样本联合分布函数为
n
F (x , ..., x ) F (x )
1
n
i
i 1
请注意 : 设X1, X2 , Xn是来自总体X的一个样本, x1, x2 ,
xn是一个样本的观察值,则g( x1, x2 , xn )也是统 计量g(X1, X2 , Xn )的观察值.
几个常见统计量
样本平均值
X
1 n
n i 1
Xi
样本方差
S 2
1 n1
n i 1
(Xi
X )2
它反映了总体 方差的信息
数理统计
总体的三层含义：
• 研究对象的全体； • 数据； • 分布 —随机变量X。
统计中，总体这个概念 的要旨是：总体 就是一个概率分布.
数理统计
例5.1.1 考察某厂的产品质量，以0记合格品，以1记 不合格品，则
总体 = {该厂生产的全部合格品与不合格品} = {由0或1组成的一堆数}
若以 p 表示这堆数中1的比例（不合格品率），则该 总体可由一个二点分布表示：
简单随机样本
数理统计
• 要使得推断可靠，对样本就有要求，使样本能很好地 代表总体。通常有如下两个要求：
• 随机性: 总体中每一个个体都有同等机会被选入样 本 -- Xi 与总体X 有相同的分布。
独立性: 样本中每一样本的取值不影响其它样本的取值 -- X1, X2, …, Xn 相互独立。
概率论和数理统计(第三学期)第7章数理统计的基本概念
n i1
i
1 n
n
Ei
i1
D
D 1 n
n i 1
i
1 n2
n
Di
i 1
2
n
2
S~ 1 n
n i 1
i
2
1 n
n i 1
i2 2i
2
1 n
n
i2
i 1
2
n
i
i 1
n
2
1 n
n
i2
i 1
2
2
2
1 n
n
i2
i 1
2
E S~2
E
1 n
n
i2
i 1
23
.209
2
2 0.95
20
10
.851
当自由度n 45时，可用下面近似公式去求2 n:
x2 n
1 2
u
2
2n 1
例3
求
2 0.05
60 ．
解
2 0.05
60
1 2
u0.05
2
2 60 1
1 1.645
2
119 78.798
2
3、t分布的上侧分位点
对于给定的α(0<α<1)，使
2
e
xi 2 2
2
(2
) e 2
n 2
1
2 2
n i1
xi 2
在数理统计中，总体的分布往往是未知的，需 要通过样本找到一个分布来近似代替总体分布。
§7.3 分布的估计
频率分布 例 某炼钢厂生产的钢由于各种因素的影响，各炉
钢的含硅量可以看作是一个随机变量，现记录了 120炉钢的含硅量百分数，求出这个样本的频数分 布与频率分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
样本方差
s2 (1- 5) 2 2 (3 - 5)2 6 (5 - 5)2 8 (7 - 5)2 8 (9 - 5) 2 1 25 -1
=4.33
（1）查 t 分布表知 =0.05时，临界t值 / 2 (n 1)
2.063 9，因此，
抽样平均误差 (x) Sn1 4.33 0.416
一、点估计
（二）矩估计法的评价
优点： 一、 计算简便直观，一般不考虑抽样误差和可靠程
度 二、适用于对估计准确与可靠程度要求不高的情况
局限性： 一、它要求总体矩存在 二、不能充分利用估计时已掌握的有关总体分布的
信息
（三）应用例题
[例7-1] 某厂对所生产的电子元件抽取5%进行抽样调查， 计算出样本的平均耐用时间为4 340小时，样本合格率 为98%。根据矩估计法原理，估计该厂所生产的电子 元件的平均耐用时间和合格率。
Z x ~ N (0,1) / n
根据区间估计的定义，在给定的显著性水平 下，总体均值 在
1- 的置信度下的置信区间为：
（
x Z /2 n
，x Z / 2
n
），即x x
x
x
其中， (x)
误差 n
即抽样平均误差 ，Z / 2
其中，Sn1 (x) 即为抽样平均误差
n
t / 2
S n1 n
x
即为抽样允许误差
上式也可表示为： x x
x
x
例题应用
[例7-4] 从某市高中生中按不重复抽样方法随机抽取25 名调查每周收看电视的时间，分组资料见下表：
每周看电视时间(小时) 2 以下 2—4 4—6 6—8 8—10 合计
已知： X ~，N( )，0.452=30.2，x =25， n
1- =0.95
解题过程
（1）抽样平均误差
(x) 0.45 0.09
n 25
查标准正态分布表可知在 =0.05时，Z / 2 =1.96，所以，
抽（样2允）许总误体差均值的x 置 Z信 /区2 间n 为 1：.96 0.09 0.1764
学生人数(人) 2 6 8 8 1 25
要求：（1）计算抽样平均误差和抽样允ห้องสมุดไป่ตู้误差
（2）估计该市全体高中生每周平均看电视时间的置 信区间（给定的显著性水平为0.05）
解题过程（一）
已知： n =25， =0.05
样本均值
x 1 2 3 6 5 8 7 8 9 1 5(小时) 25
（
x Z /2
n
，x Z / 2
n
）(=x , x )
x
x
=（
，
30.38）30.2 0.1764 30.2 0.1764
）= （30.02，
即我们可以以95%的概率保证该厂零件平均长度在
30.02厘米到30.38厘米之间
2.总体方差未知时总体均值的区间估计
一、点估计
（一）概念
2.矩估计
矩估计法是用样本的矩去估计总体的矩，从而获得总 体有关参数的估计量的方法。矩是指以期望值为基础 定义的数字特征，如数学期望、方差、协方差等
由于区间估计所表示的是一个可能的范围，而不是一 个绝对可靠的范围。就是说，推断全及指标在这个范 围内只有一定的把握程度。用数学的语言讲，就是有 一定的概率。
即：抽样估计要求的把握度越高，则抽样允许误差越 大，精确度越低；反之则相反
**思考：在抽样调查中，如何同时提高抽样估计的精 确度和把握度？
区间估计的应用
（一）总体均值的区间估计
1.总体方差已知时
当 X ~ N( ，2 )时，来自该总体的简单随机样本x1 , x2 , , xn
的样本均值服从数学期望为 、方差 2 为的正态分布，将样本均值统计 量 x 标准化，得到 Z 统计量
（二）抽样估计的置信度与精确度 **
2.抽样估计的精确度：用置信区间的大小即抽样极
限/允许误差来表示
3.抽样估计的置信度与精确度的矛盾关系
在样本容量和其他条件一定的情况下，
若希望抽样估计有较高的可靠度，则必须扩大置信区 间，即必须降低估计的精确度
若希望抽样估计有较高的精确度，即置信区间范围缩 小，则必须降低估计的把握度
解：点估计法是用样本指标直接作为总体指标的代表 值，所以，全部电子元件的平均耐用时间即为4 340小 时；总体合格率为98%
7.2 区间估计
（一）区间估计的概念
根据样本统计量以一定的可靠程度去估计总体参数 值所在的范围或区间，是抽样估计的主要方法
（二）抽样估计的置信度与精确度
1.置信度：表示区间估计的可靠程度或把握程度，
也即所估计的区间包含总体参数真实值的可能性大小，
一般以1- 表示。其中 表示显著性水平，即某一小
概率事件发生的临界水平 置信度通常采用三个标准：
（1）显著性水平=0.05，即1- =0.95
（2）显著性水平=0.01，即1- =0.99 （3）显著性水平=0.001，即1- =0.999
第七章 参数估计
7.1 点估计 7.2 区间估计
一、点估计
（一）概念
1.点估计
设总体随机变量的分布函数已知，但它的一个或多 个参数未知，若从总体中抽取一组样本观察值，以该 组数据来估计总体参数，就称为参数的点估计
例如，在全部产品中，抽取100件进行仔细检 查，得到平均重量x=1002克，合格率p=98%， 我们直接推断全部产品的平均重量X=1002克， 合格率P=98%。
n
x
即抽样允许
1.总体方差已知时总体均值的区间估计
例题应用
[例7-3] 某厂生产的零件长度服从正态分布，从该 厂生产的零件中随机抽取25件，测得它们的平均长 度为30.2厘米。已知总体标准差 =0.45厘米 要求：（1）计算抽样平均误差和抽样允许误差
（2）估计零件平均长度的可能范围（ =0.05）
**总体方差 2 未知，可以以样本方差S 2 代替，但新的统
计量不服从标准正态分布，而是服从自由度为n －1 t
的 分布
**给定置信度1－ ，可查t 分布表确定临界值t / 2 (n 1)
从而总体均值的置信区间为：
（x t / 2
S n1 n
， x t / 2
S n1 n
）