概率统计第七章
概率论与数理统计第7章
x 0 , x 0 ,x 1 ,x 2 ,
,x n 为 总 体 X
的 一 个 样 本 ,则 未 知 参 数 的 矩 估 计 ˆ _ _ _ _ _ _ _ _ _ _ _ .
这个例子所作的推断已经体现了极大似然法 的基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样 本的联合密度(连续型）或联合分布律 (离散型)为
f (x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
得
pˆ1Βιβλιοθήκη nn i 1xix
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X1,
1n ,Xn)ni1Xi X
求最大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
要求：领会
2.2 估计量的有效性、相合性， 要求：领会
3.区间估计
3.1 置信区间的概念，
要求：领会
3.2 求单个正态总体均值和方差的置信区间，要求：简单应用
参数估计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估计总体 的某些参数或者参数的某些函数.
估计新生儿的体重
1 p
n
pxi (1p)1xi
i1
n
n
xi
n xi
pi1 (1p) i1
n
n
xi
n xi
L(p)pi1 (1p) i1
《概率论与数理统计》第七章_假设检验
第七章 假设检验学习目标知识目标：理解假设检验的基本概念小概率原理；掌握假设检验的方法和步骤。
能力目标：能够作正态总体均值、比例的假设检验和两个正态总体的均值、比例之差的假设检验。
参数估计和假设检验是统计推断的两种形式，它们都是利用样本对总体进行某种推断，然而推断的角度不同。
参数估计是通过样本统计量来推断总体未知参数的取值范围，以及作出结论的可靠程度，总体参数在估计前是未知的。
而在假设检验中，则是预先对总体参数的取值提出一个假设，然后利用样本数据检验这个假设是否成立，如果成立，我们就接受这个假设，如果不成立就拒绝原假设。
当然由于样本的随机性，这种推断只能具有一定的可靠性。
本章介绍假设检验的基本概念，以及假设检验的一般步骤，然后重点介绍常用的参数检验方法。
由于篇幅的限制，非参数假设检验在这里就不作介绍了。
第一节 假设检验的一般问题关键词：参数假设；检验统计量；接受域与拒绝域；假设检验的两类错误一、假设检验的基本概念（一）原假设和备择假设为了对假设检验的基本概念有一个直观的认识，不妨先看下面的例子。
例7.1 某厂生产一种日光灯管，其寿命X 服从正态分布)200 ,(2μN ，从过去的生产经验看，灯管的平均寿命为1550=μ小时，。
现在采用新工艺后，在所生产的新灯管中抽取25只，测其平均寿命为1650小时。
问采用新工艺后，灯管的寿命是否有显著提高？这是一个均值的检验问题。
灯管的寿命有没有显著变化呢？这有两种可能：一种是没有什么变化。
即新工艺对均值没有影响，采用新工艺后，X 仍然服从)200 ,1550(2N 。
另一种情况可能是，新工艺的确使均值发生了显著性变化。
这样，1650=X 和15500=μ之间的差异就只能认为是采用新工艺的关系。
究竟是哪种情况与实际情况相符合，这需要作检验。
假如给定显著性水平05.0=α。
在上面的例子中，我们可以把涉及到的两种情况用统计假设的形式表示出来。
第一个统计假设1550=μ表示采用新工艺后灯管的平均寿命没有显著性提高。
概率论与数理统计 第七章 参数估计
设X1,…Xn是取自 N (, 2 )的样本，
求参数 2 的置信度为 1的置信区间.
确定分位数 12 / 2 (n 1), 2 / 2 (n 1) 使
二、有效性
设 ˆ1 ˆ1(X1,, X n )和 ˆ2 ˆ2( X1,, Xn)
都是参数 的无偏估计量，若有
D(ˆ1) D(ˆ2 ) 则称 ˆ1 较 ˆ2 有效 .
如果对固定的n, D(ˆ1) min(D(ˆ)) 则称ˆ1是ˆ的有效估计。
例1：设X1,X2, X3是来自某总体X的样本，且 E(X)=μ,讨论μ的以下估计量的无偏性和一致性。
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 .
极大似然估计
例： 设一箱中装有若干个白色和黑色的球， 已知两种球的数目之比为3:1或1:3，现有放回 地任取3个球，有两个白球，问：白球所占的 比例p是多少？
如果只知道0<p<1,并且实 测记录是X=k (0 ≤ k≤ n),又 应如何估计p呢?
(4) 结论
区间(ˆ1,ˆ2 )就是的一个 置信度为1的置信区间.
方差未知，求期望的区间估计
例2：随机地从一批服从正态分布N(μ, σ2)的零件 16个，分别测得其长度为： 2.14 2.10 2.13 2.15 2.13 2.12 2.13 2.10 2.15 2.12 2.14 2.10 2.13 2.11 2.14 2.11 估计该批零件的平均长度μ，并求μ的置信区间 (α=0.05)
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
概率论与数理统计PPT课件第七章最大似然估计
• 最大似然估计的概述 • 最大似然估计的数学基础 • 最大似然估计的实现 • 最大似然估计的应用 • 最大似然估计的扩展
01
最大似然估计的概述
定义与性质
定义
最大似然估计是一种参数估计方法， 通过最大化样本数据的似然函数来估 计参数。
性质
最大似然估计是一种非线性、非参数 的统计方法，具有一致性、无偏性和 有效性等优良性质。
无偏性
在某些条件下，最大似然估计的参数估计值是无偏的，即其期望值等于真实值。
最大似然估计的优缺点
• 有效性：在某些条件下，最大似然估计具有最小方差性质， 即其方差达到最小。
最大似然估计的优缺点
非线性
01
最大似然估计是非线性估计方法，对参数的估计可能存在局部
最优解而非全局最优解。
对初值敏感
02
最大似然估计对初值的选择敏感，不同的初值可能导致不同的
04
最大似然估计的应用
在回归分析中的应用
线性回归
最大似然估计常用于线性回归模型的参数估计，通过最大化似然函 数来估计回归系数。
非线性回归
对于非线性回归模型，最大似然估计同样适用，通过将非线性模型 转换为似然函数的形式进行参数估计。
多元回归
在多元回归分析中，最大似然估计能够处理多个自变量对因变量的影 响，并给出最佳参数估计。
最大熵原理与最大似然估计在某些方面具有相似性，例如都追求最大化某种度量， 但在应用场景和约束条件上有所不同。
THANKS
感谢观看
连续型随机变量的概率密度函数
然函数
基于样本数据和假设的概率模型， 计算样本数据在该模型下的可能 性。
似然函数的性质
非负性、归一化、随着样本数据的 增加而增加。
《概率论与数理统计》第七章
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
浙江大学概率论与数理统计第七章
点估计
一、点估计问题的提法
二、估计量的求法 三、小结
一、点估计问题的提法
设总体 X 的分布函数形式已知, 但它的一个 或多个参数为未知, 借助于总体 X 的一个样本来 估计总体未知参数的值的问题称为点估计问题. 例1
在某炸药制造厂, 一天中发生着火现象的
次数 X 是一个随机变量 , 假设它服从以 0 为参 数的泊松分布, 参数 为未知, 设有以下的样本值 , 试估计参数 .
n
(二) 取对数
n i 1
ln L( ) ln p( xi ; ) 或 ln L( ) ln f ( xi ; );
i 1
n
d ln L( ) d ln L( ) 对数似 (三) 对 求导 , 并令 0,然方程 d d ˆ. 解方程即得未知参数 的最大似然估计值
a b 2 A1 , 即 2 b a 12( A2 A1 ) .
解方程组得到a, b的矩估计量分别为
3 n 2 ( X X ) , ˆ A1 3( A2 A1 ) X a i n i 1
2
n 3 2 2 ˆ X ( X X ) . b A1 3( A2 A1 ) i n i 1
i 1 n
L( ) L( x1 , x2 ,, xn ; ) f ( xi ; ),
n
L( )称为样本的似然函数 . ˆ ) max L( x1 , x2 , , xn ; ). 若 L( x1 , x2 , , xn ;
i 1
ˆ ( x1 , x2 ,, xn ) 参数 的最大似然估计值 , ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
概率论与数理统计课件 第七章 数字特征
1
dx
( t )
1 2
e
2
dt
t
1 2
t
e
2
dt
1 2
t
2
e
2
dt
3、ξ～N(μ，σ2 )，求Eξ，Eξ2。
E 解：
2
x f ( x ) dx
2
x
2
1 2
(x )
2
e
2
2
dx
2
xe
x
dx
2
0
2
3、ξ～N(μ，σ2 )，求Eξ，Eξ2。 解：
E
~ f (x) 1 2
(x )
2
e
2
2
x f ( x ) dx
t
2
x
1 2
(x )
2
e
2
2
dx
2
令t
x
, dt
E E ( 1 9 ) 9 * 1 . 24 12
三、一维随机变量函数的数学期望 已知r.v.X，且Y = g(X )，求Y的数学期望。
设离散 r.v. X 的概率分布为
P( X xi ) pi , i 1,2,
若无穷级数 g ( xi ) pi 绝对收敛，则
甲乙，乙甲，乙乙，由等可能性知
P(甲胜）=3/4 P(乙胜）=1/4 X表示甲的最终所得，Y表示乙的最终所得。 X
《概率论与数理统计》第7章作业题
第七章
(2)
1 x x 0
1
1
dx
2
1
0
1 由此得 1 ， 在上式中以 X 1
x dx ， 1
代替1 ，
得到 的矩估计量和矩估计值分别为：
X x ˆ ˆ . 1 X ， 1 x
解 由题设可得 1－2 的一个置信水平为1－ 的置信区间为
第七章
1 1 ( X Y ) t 2 ( n1 n2 2) S w n1 n2
由题设1－ = 0.95， /2 = 0.025， n1 = 4， n2 = 5， n1+ n2－2 = 7，查表和计算得
x1 0.14125,
3s12 0.00002475,
x2 0.1392,
2 2 3 s 4 s 2 2 1 2 4s2 0.0000208, s 2 ( 0 . 00255 ) w 7 t 2 (n1 n2 2) t 0.025 (7) 2.3646, x1 x2 0.00205,
1 0.95，n A n B 10 F (n A - 1, n B - 1) F0.025(9,9) 4.03,
2
1 F (n A - 1, n B - 1) F0.975(9,9) 14.03 2
第七章
2 2 / 故方差比 A B
得 1－2 的一个置信水平为0.95的置信区间为
1 1 ( x1 x2 ) t 2 ( n1 n2 2) s w n1 n2 1 1 0 . 00205 2 . 3646 0 . 00255 4 5 (0.002 0.004) (0.002,0.006).
概率论与数理统计第七章练习题与答案详解
概率论与数理统计 第七章 参数估计练习题与答案（答案在最后）1．设总体X 的二阶矩存在，n X X X ,,,21 是来自总体X 的一个样本，则2EX 的矩估计是（ ）．(A) X (B) ()∑=-n i i X X n 121 (C) ∑=n i i X n 121 (D) 2S2．矩估计必然是（ ）．(A) 总体矩的函数 (B) 样本矩的函数 (C) 无偏估计 (D) 最大似然估计3．某钢珠直径X 服从()1,μN ，从刚生产出的一批钢珠中随机抽取9个，求得样本均值06.31=X ，样本标准差98.0=S ，则μ的最大似然估计是 ．4．设θˆ是未知参数θ的一个估计量，若θθ≠ˆE ，则θˆ是θ的（ ） (A) 最大似然估计 (B) 矩估计 (C) 有效估计 (D) 有偏估计5．设21,X X 是()1,μN 的一个样本，下面四个关于μ估计量中，只有（ ）才是μ的无偏估计．(A) 213432X X + (B) 214241X X + (C)215352X X + (D) 214143X X - 6．设总体X 服从参数为λ的Poisson 分布，n X X X ,,,21 是来自总体X 的一个样本，则下列说法中错误的是（ ）．(A) X 是EX 的无偏估计量 (B) X 是DX 的无偏估计量 (C) X 是EX 的矩估计量 (D) 2X 是2λ的无偏估计量 7．设321,,X X X 是()1,μN 的一个样本，下面四个关于μ无偏估计量中，根据有效性这个标准来衡量，最好的是（ ）．(A) 321313131X X X ++ (B) 213132X X + (C)321412141X X X ++ (D) 216561X X + 8．设n X X X ,,,21 是来自总体()2,σμN 的一个样本，其中μ未知，而σ已知，则⎪⎪⎭⎫⎝⎛+-n U X n U X σσ025.0025.0，作为μ的置信区间，其置信水平是（ ）．(A) 0.9 (B) 0.95 (C) 0.975 (D) 0.05 9．设n X X X ,,,21 是来自总体()2,σμN 的一个样本，其中μ未知，而σ已知，μ的置信水平为α-1的置信区间⎪⎪⎭⎫ ⎝⎛+-n U X n U X σσαα22 ，的长度是α的减函数，对吗？10．总体X 的密度函数为()⎪⎩⎪⎨⎧<<=-其它101x x x f θθ，其中θ是未知参数，n X X X ,,,21 是来自总体X 的一个样本，求参数θ的矩估计量和最大似然估计量．11．总体X 的密度函数为()⎪⎩⎪⎨⎧>=-其它002222x ex x f x θθ， 其中θ是未知参数，n X X X ,,,21 是来自总体X 的一个样本，求参数θ的矩估计量和最大似然估计量．12．设总体X 服从几何分布：()()11--==x p p x X P ，() ,2,1=x ，n X X X ,,,21 是来自总体X 的一个样本，求参数p 的最大似然估计． 13．设n X X X ,,,21 是来自总体()2,0σN 的一个样本，求参数2σ的最大似然估计．14．设n X X X ,,,21 是来自总体()2,7t a n σμ+N 的一个样本，其中22πμπ<<-，求参数2,σμ的最大似然估计．15．设n X X X ,,,21 是来自总体()2,~σμN X 的一个样本，对给定t ，求()t X P ≤的最大似然估计．16．一个罐子里装有黑球和白球，有放回地抽取一个容量为n 的样本，发现其中有k 个白球，求罐中黑球数和白球数之比R 的最大似然估计． 17．总体X 的分布律是：()()()θθθ312,0,21-=====-=X P X P X P ，n X X X ,,,21 是来自总体X 的一个样本，求参数θ的矩估计和最大似然估计． 18．设总体X 服从二项分布()p N B ,，N 为正整数，10<<p ，n X X X ,,,21 是来自总体X 的大样本，求参数p N ,的矩估计量．19．设μ=EX ，n X X X ,,,21 是来自总体X 的一个样本，证明：()∑=-=n i i X n T 121μ是总体方差的无偏估计．20．总体X 服从()θθ2,上均匀分布，n X X X ,,,21 是来自总体X 的一个样本，证明X 32ˆ=θ是参数θ的无偏估计．21．设总体X 服从二项分布()p m B ,，n X X X ,,,21 是来自总体X 的一个样本，证明∑==ni i X n m p 11ˆ是参数θ的无偏估计． 22．设n X X X ,,,21 是来自总体X 的一个样本，且X 服从参数为λ的Poisson 分布，对任意()1,0∈α，证明()21S X αα-+是λ的无偏估计，其中2,S X 分别是样本均值和样本方差．23．设02>=σDX ，n X X X ,,,21 是来自总体X 的一个样本，问2X 是否是()2EX 的无偏估计．24．设321,,X X X 是来自总体()2,σμN 的一个样本，试验证：32112110351ˆX X X ++=μ，32121254131ˆX X X ++=μ，都是参数μ的无偏估计，并指出哪个更有效．25．从总体()1,1μN 抽取一个容量为1n 的样本：1,,,21n X X X ，从总体()4,2μN 抽取一个容量为2n 的样本：2,,,21n Y Y Y ，求21μμα-=的最大似然估计αˆ．假定总的样本容量21n n n +=不变时，求21,n n 使αˆ的方差最小． 26．为了测量一台机床的椭圆度,从全部产品中随机抽取100件进行测量，求得样本均值为mm X 081.0=，样本标准差为mm S 025.0=，求平均椭圆度μ的置信水平为0.95的置信区间．27．自动机床加工的同类零件中，随机抽取9件，测得长度如下：21.1，21.3，21.4，21.5，21.3，21.7，21.4，21.3，21.6，已知零件长度X 服从()2,σμN ，置信水平为0.95，(1) 若15.0=σ，求μ置信区间； (2) 若σ未知，求μ置信区间； (3) 若4.21=μ，求σ置信区间； (4) 若μ未知，求σ置信区间． 28．设总体X 服从()23,μN ，如果希望μ的置信水平为0.9的置信区间长度不超过2，则需要抽取的样本容量至少是多少？29．某厂利用两条自动化流水线灌装面粉，分别从两条流水线上抽取12和17的两个独立样本，其样本均值和样本方差分别为：6.10=X ，4.221=S ，5.9=Y ，7.422=S ，假设两条生产线上灌装面粉的重量都服从正态分布，其均值分别为21,μμ，方差相等，求21μμ-的置信水平为0.9的置信区间． 30．设两位化验员独立对某种聚合物含氯量用相同方法各作10次测定，其测定值的样本方差分别为：5419.021=S ，6065.022=S ，设2221,σσ分别为两位化验员所测定值总体的方差，设两位化验员的测定值都服从正态分布，求方差比2221σσ的置信水平为0.9的置信区间．31．从一批产品中抽取100个产品，发现其中有9个次品，求这批产品的次品率p 的置信水平为0.9的置信区间．答案详解1．C 2．B 3．31.064．D 5．C 6．D 7．A 8．B 9．对10．(1) 矩估计因为()⎰∞+∞-=dx x xf EX 11+==⎰θθθθdx x ，所以21⎪⎭⎫⎝⎛-=EX EX θ，而X EX =∧，由此得参数θ的矩估计量为21ˆ⎪⎪⎭⎫ ⎝⎛-=X X θ (2) 最大似然估计似然函数为：()()∏==ni i x f L 1θ()()121-=θθnnx x x ，两边取对数， ()θL ln ()()nx x x n21ln 1ln 2-+=θθ，令()θθd L d ln ()0ln 21221=+=n x x x n θθ， 得参数θ的最大似然估计为：212ln ˆ⎪⎭⎫⎝⎛=∑=ni i x n θ11．(1) 矩估计因为()⎰∞+∞-=dx x xf EX ⎰∞+-=022222dx exx θθ⎰∞+∞--=dx e xx 2222221θθ⎰∞+∞--=dx exx 2222222θθπθπθπ22=， 所以EX πθ2=，而X EX =∧，由此得参数θ的矩估计量为X πθ2ˆ=。
概率统计讲课稿第七章第三节(上)
第七章统计量及其分布第三节几个常用统计量的分布在数理统计学中，统计量是对样本进行分析研究的整理和加工方法，目的是要由加工结果试图对样本所能反咉的总体的分布或数字特征进行推断。
这首先需要知道这种统计量工具本身的性质和功能。
因此求统计量的分布是数理统计的基本问题之一。
一般地说，要确定一个任意总体的任意一个统计量的精确分布是非常复杂和困难的。
有些也是不常用、不需要的。
但对于一些特殊情形，如对正态总体的一些特殊的统计量，确定其分布这样的问题就有简单的方法。
由于正态总体是最常见的总体，所以在这里只研究正态总体的常用统计量的分布。
一、 正态总体样本的线性函数的分布统计量是样本的函数，常用最简单的函数当然是线性函数。
设总体),(~2σμN X ，nX X X ,,,21⋅⋅⋅是来自于X 的一个样本;(n X X X ,,,21⋅⋅⋅相互独立且与X 有相同分布,),(~2σμN X i,2,σμ==iiDX EX )则样本的线性函数b X a X a X a Y n n ++⋅⋅⋅++=2211服从正态分布，且它的数学期望和方差分别是b a EY ni i +=∑=1μ, ∑==ni ia DY 122σ，由此可写出它的概率密度和分布函数，进而可算出需要求的概率问题。
这里的na a a ,,,21⋅⋅⋅是不全为零的常数,b 为常数。
上述结论，在概率论中的多维随机变量部分里得到证实(用归纳法或特征函数法证明).特别地，当 na i1=，n i ,,2,1⋅⋅⋅=,0=b 时,线性函数Y 正好是样本的均值X ， 即∑==n i iX nX 11服从正态分布，且μ=X E ,(μμμ=⋅===∑∑==n nn EX n X E ni ni i11111)nX D 2σ= ,(222122121111σσσnn n nDX nX D ni n i i=⋅===∑∑==)即),(~2nN X σμ.由此可见，X 的均值与总体X 的均值相等,而方差等于总体方差的n 分之一.这就是说, n 越大,X 越向总体均值μ集中.还经常用到如下一些结果：)1,0(~N nX σμ-,)1,0(~N X iσμ- , )1,0(~)(11N X nn i i∑=-σμ , ∑=-=-ni ij j X n X X X 11)1,0(~1)11(2σn n N X n X n ji i j ---=∑≠ .二、2χ分布上面研究了样本的一次函数的分布，下面将考虑样本的二次函数的分布。