三章参数估计ParametricEstimation
三章参数估计ParametricEstimation
会有多项分布,
p( x1,..., xm | p1,..., pm )
n!
m
m
p
xi i
xi ! i1
i 1
m
m
l ( p1,..., pm ) log( n!) log xi! xi log pi
i 1
i 1
m
pi 1
i 1
m
m
m
l( p1,...,pm,) log(n!) logxi! xi logpi ( pi 1)
1.点估计的基本概念(Point Estimator)
点估计: 就是由样本x1,x2,…xn确定一个统计量
gx1,x2,,xn
用它估计总体的未知参数，称为总体参数的估 计量。当具体的样本抽出后，可求得出样本统 计量的值。用它作为总体参数的估计值，称作 总体参数的点估计值。
2.两种基本的点估计方法
• （1）总体的方差越大，需要的样本量越大。 • （2）样本量n和置信区间长度的平方成反比。 • （3）置信度越高，样本量越大。
样本量的确定
需要考虑问题：
➢ (1)要求什么样的精度？即我们想构造多宽的区间？ ➢ (2)对于构造的置信区间来说，想要多大的置信度？即我
k
阶中心矩。
矩法估计： V ^ k Ak, U ^ k Bk
这 是k包 个含 未 知 1， 参 ， k 数 的 联 立 方
A1 11 ，2 ， ，k
A2
21 ，2 ， ，k
Ak k 1 ，2 ， ，k
从中解出方,记 程为 组 ˆ1， 的 ，ˆ解 k,即
ˆˆ21
ˆ1 ˆ2
X1 ，X2 X1 ，X2
置信区间的含义
样本分布 /2
第三章参数估计
第三章 参数估计参数估计是推断统计研究的内容之一。
所谓参数估计就是根据样本统计量的数值对总体参数进行估计的过程。
在参数估计中，要涉及概率分布、样本统计值、总体参数以及抽样分布等有关概念，这些概念及理论构成了推断统计的基础。
第一节 参数估计的原理一、点估计与区间估计的概念在进行参数估计时，通常有两种方法：一种是点估计，一种是区间估计。
所谓点估计就是用样本统计量的某一具体数值直接推断未知的总体参数。
例如，在进行有关小学生身高的研究中，随机抽取1000名小学生并计算出他们的平均身高为1.45m 。
如果直接用这个1.45m 代表所有小学生的平均身高，那么这种估计方法就是点估计。
所谓区间估计，就是在推断总体参数时，还要根据统计量的抽样分布的特征，估计出总体参数的一个区间，而不是一个数值，并同时给出总体参数落在这一区间的可能性的大小——概率的保证。
在上例中，如果是按区间估计的方法推断小学生的平均身高，则会给出以下的表达：根据样本数据，估计小学生的平均身高在1.4～1.5m 之间，可靠程度为95%，这种估计就属于一个区间估计。
对总体参数进行点估计有一个不足之处，即这种估计方法不能提供参数的估计误差的大小。
对于一个总体来说，它的总体参数是一个常数值，而它的样本统计量却是一个随机变量。
当用一个随机变量去估计一个常数值时，误差是不可避免的，只用一个样本数值去估计总体参数是要冒很大风险的，因为这种误差风险的存在，并且风险的大小还未知，所以，点估计主要为许多定性研究提供一定的参考数据，或是对总体参数要求不精确时使用，而在需要精确总体参数的数据进行决策时则很少使用。
二、点估计—最小二乘法原理对总体参数进行点估计常用的方法有三种：矩估计法、最小二乘法和最大似然估计法。
这里主要介绍最小二乘法原理。
最小二乘法是参数估计常用的方法之一。
其基本思想是保证由新估参数得到的理论值与观测值间离差的平方和值为最小。
要想使离差平方和Q 为最小，可通过求Q 对待估参数的偏导数，并令其等于0，以求得参数估计值。
第3章参数估计理论讲解
第3章 参数估计理论参数估计的基本方法：点估计，区间估计点估计：以样本的某一函数值作为总体中未知参数的估计值。
区间估计：把总体中的参数确定在某一区间内。
第1节 点估计点估计就是以样本的某一函数值作为总体中未知参数的估计值。
设θ是总体X 的待估参数，用样本12,,,n X X X 构造一个合适的统计量12(,,,)n T X X X 来估计参数θ，通常记为ˆθ，即12ˆ=(,,,)n T X X X θ，称为参数θ的估计量。
对样本的一组观测值12(,,,)n x x x ，统计量T 的值12ˆ=(,,,)n T x x x θ称为参数θ的估计值。
点估计的问题就是要找一个作为待估参数θ的估计量12(,,,)n T X X X 的问题。
点估计的方法：数字特征法（矩估计法）、极大似然估计法、Bayes 估计法、最小二乘法等等。
第2节 矩估计法矩估计法由英国统计学家K.Person 在20世纪初提出，基本思想就是用样本矩去估计相应的总体矩。
理论依据是大数定律。
例1 设总体X 服从参数为θ的指数分布，即11,0(,)0,0x e x f x x θθθ-⎧>⎪=⎨⎪≤⎩12,,,n X X X 为取自总体X 的样本，求参数θ的矩估计量。
例2 设总体2~(,)X N μσ，12,,,n X X X 为取自总体X 的样本，求参数2,μσ的矩估计量。
例3 设总体2~(0,)X N σ，12,,,n X X X 为取自总体X 的样本，求参数2σ的矩估计量。
例4 设总体~(,)X U a b ，12,,,n X X X 为取自总体X 的样本，求参数,a b 的矩估计量。
ˆˆ=a X b X =+ 例5 设总体~()X P λ，12,,,n X X X 为取自总体X 的样本，求参数λ的矩估计量。
第3节 极大似然估计法极大似然估计法最初由德国数学家C.F.Gauss 于1821年提出，英国统计学家R.A.Fisher 于1922年再次提出极大似然的思想，并探讨了它的性质。
统计学第3章(参数估计)
四、常用的置信度
在构造置信区间时，我们可以用所希望的值 作为置信水平。比较常用的置信水平及临界值如 下表： 置信水平
1
显著性水平
Z
2
90% 95% 99%
0.10 0.05 0.01
1.645 1.96 2.58
但要特别注意：查“标准正态分布表” 时，由于 Z Z 1
2 2
通常不直接查
六、理解置信区间必须注意的问题
◆若在所有区间中，有95%的区间包含总 体参数的真值，有5%的区间不包含，则这个区 间就称为置信水平为95%的置信区间。
这样表述置信区间的理由是：总体参数真 值是固定的、未知的，而用样本构造的区间随 样本不同而不同，因此置信区间是一个随机区 间，它不仅因样本的不同而不同，且不是所有 的区间都包含总体参数的真值。
若D( x ) D(M e )，则说明均值比中位数更有效 若D( x ) D(M e )，则说明中位数比均值更有效
三、一致性
一致性——又称为相合性，它说明当样本 容量n趋近于无穷大∞时，样本估计量依概率收 敛于总体参数的真实值θ。即随着样本容量的 增大，点估计量的值越来越接近被估计总体参 数的真值。 换言之，一个大样本给出的估计量要比一 个小样本给出的估计量更接近总体参数的真实 值。
3.2
点估计的评价标准
从上面的介绍可以看出，对于同一个总体 参数，采用不同的估计方法，可能会得到不同 的估计量。
那么，究竟用样本的哪种估计量作为总体 参数的估计最好？什么样的估计量才算是一个 好的估计量？这就需要有一定的评价标准。 而且对同一估计量使用不同的评价标准可 能得到不同的结论，因此评价某个估计量的好 坏一定要说明是在哪一个标准之下。常用的评 价标准有三个：无偏性、有效性、一致性。
第三章 概率密度函数的估计
当 0 ≤ x ≤ θ 时 ， p (x | θ ) = 的最大似然估计是
解： 定义似然函数 l (θ ) =
k
1
θ
， 否则为0。证明θ
max x k 。
∏ p (x
k =1
N
k
|θ )
1 dH = 0， 即 − N ⋅ = 0 H (θ ) = ln l (θ ) = − N ln θ ，令 dθ θ 方程的解 θ ＝ ∝ ，但实际问题中，θ ≠∝ 。 1 已知有N个随机样本， 且 0 ≤ x ≤ θ 时 ， p (x | θ ) =
参数估计中的基本概念 统计量 参数空间 点估计、估计量和估计值 区间估计 参数估计判断标准 无偏性 有效性 一致性
3.2最大似然估计
（1）前提假设
参数θ（待估计）是确定（非随机）而未知的量 样本集分成c类，为A1，A2，…，Ac，Aj的样本是 从概率密度为 p x | ω j 的总体中独立抽取出来的。
i =1 i =1 i =1 i =1
N
(
)
N
N
例3.2：设x服从正态分N(μ,σ2)，其中参数μ、 σ2未知，求它们的最大似然估计量。
N
解： 设样本集 A = {x1 , x2 ,..., xN }， 定义似然函数 l (θ ) = ∏ p(xi | θ )
i =1 2 ⎧ ⎡ ( xi − μ ) ⎤ ⎫ ⎪ ⎪ 1 exp⎢− H (θ ) = ln l (θ ) = ∑ ln p (xi | θ ) = ∑ ln ⎨ ⎥⎬ 2 2σ ⎪ i =1 i =1 ⎣ ⎦⎪ ⎭ ⎩ 2π σ 2 N ⎧ ⎫ ( ) x − 1 1 μ 2 i = ∑ ⎨− ln 2π − ln σ − ⎬ 2 2 2σ i =1 ⎩ 2 ⎭ N N 2
3参数估计
解释：
3.2.2总体均值的区间估计(2未知)
假定条件
(1) 总体方差(２)未知 (2)总体必须服从正态分布
使用 t 分布统计量
总体均值在1-a置信水平下的置信区间为
P( X ta / 2( df )
S S X ta / 2( df ) ) 1a n 1 n 1
z
15
1
从总体中，抽样n=9，样本均值大于等 于115的概率。那么，分布的标准差应该 是多少？
因此应该用样 本分布的标准 差，即标准误
3.2 总体平均数的区间估计
总体方差已知，使用正态分布统计量 总体方差未知，使用 t 分布统计量
3.2.1总体均值的区间估计(2已知)
假定条件
(1)总体服从正态分布,且总体方差(２)已知 (2)如果不是正态分布，可以由正态分布来近似 (n 30)
1 1 N1 N 2
3.3.3 练习题
某省在高考后分析男女生在物理学习上的差异。 随机抽取各10名男女考生，其均值分别为59.7、 45.7，标准差分别为10.7、16.9。请计算男女考 生物理成绩差异的99%的置信区间。 如果抽取的男女生分别为100名，其它统计参数 不变，其置信区间为多少？ 比较两个置信区间，你有什么发现？ 是否可根据置信区间判断男女成绩有无差异？
混和标准差
请自己写出来
两独立总体均值差异1- 2在1-a置信水平 下的置信区间：
( X 1 X 2 ) ( 1 2 ) N 1 N 2 ta 2 ( N1 N 2 2)} 1 a Sp N1 N 2
P{ta 2 ( N1 N 2 2)
《统计学》第3章 参数估计
【例3.5】假定在一个箱子里放着黑、白两 种球共4只，且知道这两种球的数目之比为 1∶3，但不知道究竟哪一种颜色的球多。
设黑球所占的比例为P，由上述假定推知P仅 可能取1/4和3/4这两个值，现在采用有放 回抽样的方法，从箱子中随机地抽取三个 球，观察到球的颜色为黑、白、黑，你会 对箱子中的黑球数作出什么推断呢？即你 认为P的值是1/4，还是3/4？
或 为似然方程组。
ln L(1 , 2 ,, n ) 0 j
解得。上面方程组称
[注意] 上面的讨论中，我们没有提到似函 数 L( ) 取极大值的充分条件，对于具体的 函数可作验证。
【例3.6】设总体X服从参数为 的泊松分 布，求参数 的极大似然估计量。
解 设 X1，X2，X3，……，Xn 是来自 X 的样 本，
【例5.2】设X1，X2，……，Xn是取自总 体X的样本，已知X的概率密度为：
X 1 , 0 X 1 f ( X , ) 其他 0,
( 1)
试用矩估计法估计总体参数 。 解: 由于 E ( X ) xf ( X , )dx 1 样本均值为 X ，令E（X）= X ，得: X ,
又 ∵
1 1 n n ，即 ( 2 1 ) ( x( n) x(1) )
L(1,2 ) L( x(1) , x(n) )
∴ 1 , 2 的极大似然估计量分别为 x(1) , x(n) 。
三、估计量的优良标准
在对总体参数做出估计时并非所有的估计量 都是优良的，从而产生了评价估计量是否 优良的标准。对于点估计量来说，一个好 的估计量有如下三个标准：
(x
i 1 n
n
i
) 0 )
第三章多元线性回归模型的参数估计
第三章多元线性回归模型的参数估计多元线性回归模型的参数估计是指通过给定的数据样本，使用其中一种方法来计算出回归模型的参数值。
在多元线性回归模型中，我们有多个自变量与一个因变量之间的关系，因此需要估计出每个自变量的系数。
参数估计是回归模型的核心内容之一，它能够通过对样本数据的分析和处理，得到模型中的参数值，从而建立起模型与实际数据之间的映射关系。
常用的多元线性回归模型的参数估计方法有最小二乘法和最大似然估计法。
最小二乘法是一种最常用的参数估计方法。
它的基本思想是通过最小化因变量的观测值与模型预测值之间的平方误差，来确定模型参数的最佳估计值。
最小二乘法的优点是数学上简单且易于计算，但对于异常值的敏感性较强。
最大似然估计法是另一种常用的参数估计方法。
它的基本思想是找到最能使观测数据发生的概率最大的模型参数，从而得到最优的参数估计值。
最大似然估计法具有较好的统计性质，但它的计算复杂度较高，需要对似然函数进行极大化求解。
在实际应用中，我们需要根据实际情况选择合适的参数估计方法。
通常情况下，最小二乘法是首选的方法，因为它具有简单和直观的优点，适用于大多数情况。
但当样本数据存在异常值或者数据分布不符合正态分布假设时，最大似然估计法可能是更好的选择。
无论是最小二乘法还是最大似然估计法，其核心问题都是通过最优化方法找到使得模型和观测数据之间的误差最小的参数值。
这一过程需要使用数学工具和计算方法进行求解，可以使用迭代算法，如牛顿法或梯度下降法，来逐步逼近最优解。
参数估计的结果可以告诉我们每个自变量对因变量的贡献程度。
因此，一个良好的参数估计能够帮助我们更好地理解数据，预测因变量，以及识别自变量之间是否存在相互影响。
总而言之，多元线性回归模型的参数估计是通过最小化模型与观测数据之间的误差，找到最佳的模型参数值的过程。
合理选择参数估计方法，并进行有效的数学计算，能够为我们提供有关数据和模型之间的重要信息，并为进一步的分析和应用提供基础。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(Maximum Likelihood estimator)
• 多项分布的极大似然估计 • 极大似然估计的渐进分布 • 极大似然估计的置信区间解法
2 点估计的常用方法
1） 矩估计法
设X 是一随机变量， X1,X2,......Xn是它的一个样本。
若 E X k 存在，则称之为 X 的 k 阶原点矩。记作 V k
若E
XEX
k 存在，则称之为
X
的
k
阶中心矩。记作 U
k
称
Ak
1 n
n i 1
X
k i
为样本的
k
阶原点矩。
称
Bk
1 n
n i1
kXiLeabharlann X 为样本的 k阶中心矩。
矩法估计： V ^ k Ak, U ^ k Bk
P { U 0 .2 5 U 1 0 .7 } 5 1
影响到区间精度的量
1. 数据的分布离散程度
Measured by
2. 样本容量
X = / n
3. 置信水平 (1 - )
Affects Z
X - ZX toX + ZX
© 1984-1994 T/Maker Co.
参 数的 为泊 松 分 未布 知， ， 现2抽 5本 0查
新 出 版 不 同,得 的到 的以 图下 书 ,试样 估本 计
参 数 （ 用 矩 估 计 法 ） 。
错字 k 数 0 为 12 3456
错字 k 的 数 书 n k 7 为 本 5 90 5数 4 22 621 25
解： 1EX ,
ˆ 0.4247
极大似然估计的理论结果
n(I)(ˆml e) n N(0,1) I()Elog p(x(,))2E2log p2(x(,))
极大似然估计的分布有渐进的正态分布
3.置信区间估计的基本概念
(Confidential Interval)
这 个 函 数 为 枢 轴 量 定， 两选 个 常c和 数d， 在
给 定 的 置 信 水 ，平有P{cG(,ˆ) d}1 利 用 以 上 不 等 式ˆL解出ˆU
单一总体参数的区间估计
一.总体均值的区间估计
总体服从正态分布,σ2已知时,当
X 1, ,X ni.i.d.~N (,2)时，X~N(,2/n)
n!
m
m
p
xi i
xi ! i1
i 1
m
m
l ( p1,..., pm ) log( n!) log xi! xi log pi
i 1
i 1
m
pi 1
i 1
m
m
m
l( p1,...,pm,) log(n!) logxi! xi logpi ( pi 1)
i1
i1
i1
l( p1,...,pm,)
pi
xi pi
0 pi
xi
,i 1,...,m
m
i1
pi
m
1
i1
xi
1 n
pˆi
xi n
例7:Hardy-Weinberg平衡定律
假定基因的频率在自然界是固定的,基因类型三 类:AA,Aa,aa,它们出现的可能性为 (1)2,2(1),2 其中 是父代为A的可能性, 1 是父代为a的可能性
3
log(n!) logxi!(2x1 x2)log(1) x2 log2(x2 2x3)log i1
l() 2 X 1 X 2 2 X 3 X 2 0 2 X 3 X 2
1
2 ( X 1 X 2 X 3 )
2 点估计的常用方法
1） 矩估计法
设X 是一随机变量， X1,X2,......Xn是它的一个样本。
若 E X k 存在，则称之为 X 的 k 阶原点矩。记作 V k
若E
XEX
k 存在，则称之为
X
的
k
阶中心矩。记作 U
k
称
Ak
1 n
n i 1
X
k i
为样本的
[XZ 2
n,XZ2
] n
注意:有很多满足置信度的置信区间
P { U 0 .5 U 1 0 .5 } x1 _
-2.58x -1.65x
X +1.65x +2.58x
-1P .9{ 6U 0 x.7 5 U 1 0 .2 + 1} 5 .9 61 x
k
阶原点矩。
称
Bk
1 n
n i1
k
Xi X 为样本的 k
阶中心矩。
矩法估计： V ^ k Ak, U ^ k Bk
这 是k包 个含 未 知 1， 参 ， k 数 的 联 立 方
A1 11 ，2 ，，k
A2
21 ，2 ，，k
b ˆA 1 3(A2A 1 2)X
3n ni1(Xi
X)2
A2
A12
1 n
n i1
Xi2
X21( n n i1
Xi2
nX2)
1 n
n i1
(Xi
X)2
2 点估计的常用方法
2）．极大似然估计法
设总体X的概率分布为Px;或概率密度为 px;
本章大纲
• 点估计的基本概念 • 两种基本的点估计方法
• 矩估计 • 极大似然估计
• 多项分布的极大似然估计 • 极大似然估计的渐进分布
• 置信区间估计的基本概念 • 枢轴量的概念 • 小样本置信区间求法
• 极大似然估计的置信区间解法
• 有效估计和C-R下界 • 充分统计量
• 因子分解定理 • Rao-Blackwell定理
• 枢轴量的概念 • 小样本置信区间求法 • 拔靴法置信区间求法
3. 置信区间估计
置信区间估计的概念
p(x,)
x1,x样2,本,xn
置信度1-α
ˆ1(x1,x2,,xn) ˆ2(x1,x2,,xn)
使得
P { ˆ 1 ( x 1 ,x 2 , ,x n ) ˆ 2 ( x 1 ,x 2 , ,x n ) } 1
（1） n≥30时，只需将σ2由S2代替即可.
( 2 ) n<30时，由 t X ~t(n1)
Sn
所以
P{t t/2}1
即
P{t/2Xt/2}1
Sn
单个总体参数的区间估计举例
[例9]某大学从该校学生中随机抽取30人， 调查到他们平均每人每天完成作业时间 为120分钟，样本标准差为30分钟，试 以95％的置信水平估计该大学全体学生 平均每天完成作业时间。
令 X,
A1
1 n n i1
Xi
X
则ˆ x 1(0 7 5 1 9 0 6 1 )1 .22
250
所 以 估ˆ计 1值 .2。 2
例2 设总 X~U 体 [a,b]a ,,b未,X 知 1, ,Xn是一,个 求：a, b的矩估计量。
解：1
2
EXab, 2
1.点估计的基本概念(Point Estimator)
点估计: 就是由样本x1,x2,…xn确定一个统计量
gx1,x2,,xn
用它估计总体的未知参数，称为总体参数的估 计量。当具体的样本抽出后，可求得出样本统 计量的值。用它作为总体参数的估计值，称作 总体参数的点估计值。
2.两种基本的点估计方法
置信区间的含义
样本分布 /2
区间 （X ZX ，X + ZX ）
1 -
_
x
/2
_
x =
X
该随机区间以(1 - ) % 包含,以
% 不包含.
构造置信区间的一般方法 (pilot function)
枢 • 1轴 . 量 定 义 ： 的从一 个 点 估 计 出 发 造， 构 G(,ˆ),它 的 分 布 不 依 赖 于 计待 参估 数 ， 称
单个总体参数的区间估计
[例8]
已知某零件的直径服从正态分布，从该批产 品中随机抽取10件，测得平均直径为 202.5mm，已知总体标准差σ=2.5mm，试建 立该种零件平均直径的置信区间，给定置信 度为0.95。
解：已知 X~N(,2)
X =202.5, n=10, 1－α=0.95
[XZ 2
n,XZ2
] n
单个总体参数的区间估计
20 .5 2 1 .9 62 1 .5,0 20 .5 2 1 .9 62 1 .5 0
即
计算结果为： [200.95,204.05]
单个总体参数的区间估计
σ2未知时
XZ
2
n,XZ2
n
中的σ用
S近似
解：1-α=0.95 tα/2=2.04
X 120S30 30 在95％的置信度下，μ的置信区间为
Xt/2
Sn,Xt/2
S n
单个总体参数的区间估计
二.总体方差的区间估计
由于 (n1)s2 ~2(n1) 2
p 1(n 12)S2
AA Aa aa 合计 342 500 187 1029
需要给出父代 的MLE.
解: 对数似然函数为
3
3
l() log(n!) logxi! xi logpi ()
i1