概率论与数理统计教程(茆诗松)第6章
概率论与数理统计(茆诗松)第二版课后第六章习题参考答案
ai
Xi
⎟⎟⎠⎞
=
n Cov⎜⎛ 1
i=1
⎝n
X
i
,
ai
X
i
⎟⎞ ⎠
=
n i=1
ai n
Cov( X
i
,
X
i
)
=
σ2 n
n
ai
i=1
=σ2 n
，
因 Var(X ) = 1 Var(X ) = σ 2 = Cov(X , T ) ，
n
n
故 X 与 T 的相关系数为 Corr(X , T ) = Cov(X , T ) =
1 6
X1
+
1 6
X
2
+
2 3
X3．
证：因
E ( µˆ1 )
=
1 2
E(X1)
+
1 3
E(X
2)
+
1 6
E(X3)
=
1 2
µ
+
1 3
µ
+
1 6
µ
=
µ
，
E ( µˆ 2
)
=
1 3
E(
X1)
+
1 3
E(
X
2
)
+
1 3
E(
X3)
=
1 3
µ
+
1 3
µ
+
1 3
µ
=
µ
，
E (µˆ 3 )
=
1 6
E(X1)
+
1 6
pY
( y)
=
λn Γ(n)
茆诗松《概率论与数理统计教程》笔记和课后习题(含考研真题)详解(参数估计)【圣才出品】
第6章 参数估计6.1 复习笔记一、点估计的概念与无偏性 1．点估计及无偏性（1）定义：设x 1，…，x n 是来自总体的一个样本，用于估计未知参数θ的统计量θ∧＝θ∧（x 1，…，x n ）称为θ的估计量，或称为θ的点估计，简称估计．（2）定义：设θ∧＝θ∧（x 1，…，x n ）是θ的一个估计，θ的参数空间为Θ，若对任意的θ∈Θ，有E θ（θ∧）＝θ，则称θ∧是θ的无偏估计，否则称为有偏估计．注意：①当样本量趋于无穷时，有E （s n 2）→σ2，称s n 2为σ2的渐近无偏估计，这表明当样本量较大时，s n 2可近似看作σ2的无偏估计．②若对s n 2作如下修正：则s 2是总体方差的无偏估计．这个量常被采用．③无偏性不具有不变性．即若θ∧是θ的无偏估计，一般而言，其函数g （θ∧）不是g （θ）的无偏估计，除非g （θ）是θ的线性函数．④并不是所有的参数都存在无偏估计，当参数存在无偏估计时，我们称该参数是可估的，否则称它是不可估的．22211()11nn i i ns s x x n n ===---∑2．有效性定义：设θ∧1，θ∧2是θ的两个无偏估计，如果对任意的θ∈Θ有Var （θ∧1）≤Var （θ∧2），且至少有一个θ∈Θ使得上述不等号严格成立，则称θ∧1比θ∧2有效．二、矩估计及相合性 1．替换原理和矩法估计 替换原理指：（1）用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩． （2）用样本矩的函数去替换相应的总体矩的函数．2．概率函数已知时未知参数的矩估计设总体具有已知的概率函数p （x ；θ1，…，θk ），（θ1，…，θk ）∈Θ是未知参数或参数向量，x 1，…，x n 是样本．假定总体的k 阶原点矩u k 存在，则对所有的j （0＜j ＜k ）u j 都存在，若假设θ1，…，θk 能够表示成u 1，…，u k 的函数θj ＝θj （u 1，…，u k ），则可给出θj 的矩估计：θ∧j ＝θj （a 1，…，a k ），j ＝1，…，k ，其中a 1，…，a k 是前k 阶样本原点矩进一步，如果我们要估计θ1，…，θk 的函数η＝g （θ1，…，θ∧k ），则可直接得到η的矩估计η∧＝g （θ∧1，…，θ∧k ）．注：当k ＝1时，我们通常可以由样本均值出发对未知参数进行估计；如果k ＝2，我们可以由一阶、二阶原点矩（或二阶中心矩）出发估计未知参数．11n jj ii a x n ==∑3．相合性定义：设θ∈Θ为未知参数，θ∧n ＝θ∧n （x 1，…，x n ）是θ的一个估计量，n 是样本容量，若对任何一个ε＞0，有则称θ∧n 为参数θ的相合估计． 判断相合性的两个有用定理：（1）设θ∧n ＝θ∧n （x 1，…，x n ）是θ的一个估计量，若则θ∧n 是θ的相合估计．（2）若θ∧n1，…，θ∧nk 分别是θ1，…，θk 的相合估计η＝g （θ1，…，θk ），是θ1，…，θk 的连续函数，则η∧＝g （θ∧n1，…，θ∧nk ）是η的相合估计．三、最大似然估计与EM 算法 1．最大似然估计定义：设总体的概率函数为P （x ；θ），θ∈Θ，其中θ是一个未知参数或几个未知参数组成的参数向量，Θ是参数空间，x 1，…，x n 是来自该总体的样本，将样本的联合概率函数看成θ的函数，用L （θ；x 1，…，x n ）表示，简记为L （θ），L （θ）＝L （θ；x 1，…，x n ）＝p （x 1；θ）p （x 2；θ）…p （x n ；θ）ˆlim ()0n n P θθε→∞-≥=ˆlim ()nn E θθ→∞=ˆlim ()0nn Var θ→∞=L （θ）称为样本的似然函数．如果某统计量θ∧＝θ∧（x 1，…，x n ）满足则称θ∧是θ的最大似然估计，简记为MLE ．注意：在做题时，习惯于由lnL （θ）出发寻找θ的最大似然估计，再求导，计算极值．但在有些场合用求导就没用，此时就需要从取值范围中的最大值和最小值来入手．2．EM 算法当分布中有多余参数或数据为截尾或缺失时，其MLE 的求取是比较困难的，这时候就可以采用EM 算法，其出发点是把求MLE 的算法分为两步：（1）求期望，以便把多余的部分去掉； （2）求极大值．3．渐近正态性最大似然估计有一个良好的性质：它通常具有渐近正态性．（1）定义：参数目的相合估计θ∧n 称为渐近正态，若存在趋于0的非负常数序列σn （θ），使得依分布收敛于标准正态分布．这时也称θ∧n 服从渐近正态分布N （θ，σn 2（θ）），记为θ∧n ～AN （θ，σn 2（θ）），σn 2（θ）称为θ∧n 的渐近方差．（2）定理：设总体x 有密度函数p （x ；θ），θ∈Θ，Θ为非退化区间，假定 ①对任意的x ，偏导数∂lnp/∂θ，对所有θ∈Θ都存在； ②∀θ∈Θ有|∂p/∂θ|＜F 1（x ），|∂2p/∂θ2|＜F 2（x ），|∂3lnp/∂θ3|＜F 3（x ）()()ˆmax L L θθθ∈Θ=()ˆn n θθσθ-其中函数F 1（x ），F 2（x ），F 3（x ）满足③∀θ∈Θ，若x 1，x 2，…，x n 是来自该总体的样本，则存在未知参数θ的最大似然估计θ∧n ＝θ∧n （x 1，x 2，…，x n ），且θ∧n 具有相合性和渐近正态性，该定理表明最大似然估计通常是渐近正态的，且其渐近方差σn 2（θ）＝（nI （θ））－1有一个统一的形式，其中，I （θ）称为费希尔信息量．四、最小方差无偏估计 1．均方误差（1）使用条件：小样本，有偏估计．（2）均方误差为：MSE （θ∧）＝E （θ∧－θ）2，常用来评价点估计． 将均方误差进行如下分解：MSE （θ∧）＝E[（θ∧－E θ∧）＋（E θ∧－θ）]2＝E （θ∧－E θ∧）2＋（E θ∧－θ）2＋2E[（θ∧－E θ∧）1()d F x x ∞-∞<∞⎰2()d F x x ∞-∞<∞⎰3sup ()(;)d F x p x x ∞-∞∈Θ<∞⎰θθ()()2ln 0;d p p x x ∞-∞∂⎛⎫<I =<∞ ⎪∂⎝⎭⎰θθθ1ˆ~(,)()nAN nI θθθ（E θ∧－θ）]＝Var （θ∧）＋（E θ∧－θ）2由分解式可以看出均方误差是由点估计的方差与偏差|E θ∧－θ|的平方两部分组成．如果θ∧是θ的无偏估计，则MSE （θ∧）＝Var （θ∧）．（3）一致最小均方误差设有样本x 1，…，x n ，对待估参数θ有一个估计类，如果对该估计类中另外任意一个θ的估计θ~，在参数空间Θ上都有MSE （θ∧）≤MSE （θ~），称θ∧（x 1，…，x n ）是该估计类中θ的一致最小均方误差估计．2．一致最小方差无偏估计定义：设θ∧是θ的一个无偏估计，如果对另外任意一个θ的无偏估计θ~．在参数率间Θ上都有Var （θ∧）≤Var （θ~），则称θ∧是θ的一致最小方差无偏估计，简记为UMVUE ．关于UMVUE ，有如下一个判断准则：设X ＝（x 1，…，x n ）是来自某总体的一个样本，θ∧＝θ∧（X ）是θ的一个无偏估计，Var （θ∧）＜∞，则θ∧是θ的UMVUE 的充要条件是：对任意一个满足E （φ（X ））＝0和Var （φ（X ））＜∞的φ（X ）都有Cov θ（θ∧，φ）＝0，∀θ∈Θ．这个定理表明UMVUE 的重要特征是：θ的最小方差无偏估计必与任一零的无偏估计不相关，反之亦然．3．充分性原则定理：总体概率函数是p （x ；θ），x 1，…，x n 是其样本，T ＝T （x 1，…，x n ）是θ的充分统计量，则对θ的任一无偏估计θ∧＝θ∧（x 1，…，x n ）；令ˆ()E T θθ=。
茆诗松概率论教案
茆诗松概率论教案第一章概率论的基本概念1.1 随机试验与样本空间介绍随机试验的概念及其特点讲解样本空间、事件及它们的分类举例说明如何判断两个事件的关系（包含、互斥、独立等）1.2 概率的定义与性质介绍概率的定义（古典概率、几何概率、条件概率）讲解概率的基本性质（互补性、可加性、乘法公式）举例说明如何计算简单事件的概率1.3 条件概率与独立性讲解条件概率的定义及其计算方法介绍独立事件的定义及其性质讲解如何判断两个事件是否独立1.4 贝叶斯定理讲解贝叶斯定理的定义及其意义讲解如何应用贝叶斯定理计算后验概率第二章随机变量及其分布2.1 随机变量的概念介绍随机变量的定义及其分类（离散型、连续型）讲解随机变量的数学期望、方差、标准差等基本统计量2.2 离散型随机变量的概率分布讲解离散型随机变量的概率质量函数（PMF）讲解常见离散型随机变量的分布（均匀分布、二项分布、泊松分布等）2.3 连续型随机变量的概率分布讲解连续型随机变量的概率密度函数（PDF）讲解常见连续型随机变量的分布（均匀分布、正态分布、指数分布等）2.4 大数定律与中心极限定理讲解大数定律的意义及其应用讲解中心极限定理的内容及其意义第三章随机变量的数字特征3.1 随机变量的数学期望讲解随机变量数学期望的定义及其计算方法讲解随机变量数学期望的性质及其应用3.2 随机变量的方差与标准差讲解随机变量方差的定义及其计算方法讲解随机变量标准差的定义及其计算方法3.3 随机变量的协方差与相关系数讲解随机变量协方差的定义及其计算方法讲解随机变量相关系数的定义及其计算方法3.4 随机变量的矩讲解随机变量矩的定义及其计算方法讲解随机变量矩的应用及其意义第四章随机向量及其分布4.1 随机向量的概念介绍随机向量的定义及其分类（离散型、连续型）讲解随机向量的数学期望、方差、标准差等基本统计量4.2 离散型随机向量的概率分布讲解离散型随机向量的概率质量函数（PMF）讲解常见离散型随机向量的分布（均匀分布、二项分布等）4.3 连续型随机向量的概率分布讲解连续型随机向量的概率密度函数（PDF）讲解常见连续型随机向量的分布（均匀分布、正态分布等）4.4 大数定律与中心极限定理在随机向量中的应用讲解大数定律与中心极限定理在随机向量中的应用方法第五章随机变量的函数及其分布5.1 随机变量函数的定义及其分类介绍随机变量函数的定义及其分类（确定性函数、随机性函数）5.2 离散型随机变量的函数的分布讲解离散型随机变量的函数的分布的定义及其计算方法讲解常见离散型随机变量的函数的分布的性质及其应用5.3 连续型随机变量的函数的分布讲解连续型随机变量的函数的分布的定义及其计算方法讲解常见连续型随机变量的函数的分布的性质及其应用5.4 随机向量的函数的分布讲解随机向量的函数的分布的定义及其计算方法讲解随机向量的函数的分布的应用及其意义第六章随机过程及其基本性质6.1 随机过程的概念介绍随机过程的定义及其特点讲解随机过程的分类（离散时间、连续时间）6.2 随机过程的随机变量的相关性质讲解随机过程中随机变量的相关性质（独立性、马尔可夫性等）6.3 随机过程的分布函数及其性质讲解随机过程的分布函数的定义及其性质讲解如何计算随机过程的分布函数6.4 随机过程的数字特征讲解随机过程的数字特征（数学期望、方差、协方差等）讲解如何计算随机过程的数字特征第七章马尔可夫链7.1 马尔可夫链的概念介绍马尔可夫链的定义及其特点讲解马尔可夫链的分类（有限状态、无限状态）7.2 马尔可夫链的转移概率讲解马尔可夫链的转移概率的定义及其计算方法讲解如何判断马尔可夫链的稳态分布7.3 马尔可夫链的性质及其应用讲解马尔可夫链的性质（无后效性、唯一性等）讲解马尔可夫链在实际应用中的例子（例如，股票价格预测、人口变化等）7.4 马尔可夫决策过程讲解马尔可夫决策过程的定义及其特点讲解如何应用马尔可夫决策过程解决实际问题第八章随机过程的数学期望和方差8.1 随机过程的数学期望讲解随机过程的数学期望的定义及其计算方法讲解随机过程的数学期望的性质及其应用8.2 随机过程的方差和协方差讲解随机过程的方差的定义及其计算方法讲解随机过程的协方差的定义及其计算方法8.3 随机过程的矩讲解随机过程的矩的定义及其计算方法讲解随机过程的矩的应用及其意义8.4 随机过程的线性变换讲解随机过程的线性变换的定义及其计算方法讲解如何利用线性变换分析随机过程的性质第九章随机过程的应用9.1 随机过程在统计学中的应用讲解随机过程在统计学中的应用方法（例如，时间序列分析、生存分析等）9.2 随机过程在物理学中的应用讲解随机过程在物理学中的应用方法（例如，噪声、布朗运动等）9.3 随机过程在经济学中的应用讲解随机过程在经济学中的应用方法（例如，随机模型、经济预测等）9.4 随机过程在其他领域中的应用讲解随机过程在其他领域中的应用方法（例如，生物学、工程学等）第十章随机过程的进一步研究10.1 随机过程的极限讲解随机过程的极限的定义及其性质讲解如何判断随机过程的极限存在性10.2 随机过程的稳态分布讲解随机过程的稳态分布的定义及其计算方法讲解如何判断随机过程的稳态分布的存在性10.3 随机过程的谱分析讲解随机过程的谱分析的定义及其方法讲解如何利用谱分析研究随机过程的性质10.4 随机过程的其他研究方法讲解随机过程的其他研究方法（例如，主成分分析、信息论等）重点和难点解析重点环节1：随机试验与样本空间需要重点关注样本空间的定义及其包含的所有可能结果。
茆诗松《概率论与数理统计教程》第3版笔记和课后习题含考研真题详解(参数估计)【圣才出品】
茆诗松《概率论与数理统计教程》第3版笔记和课后习题含考研真题详解第6章参数估计6.1复习笔记一、矩估计及相合性判断相合性的两个定理：（1）设ꞈθn ＝ꞈθn （x 1，…，x n ）是θ的一个估计量，若ˆlim ()nn E θθ→∞=，ˆlim Var()0n n θ→∞=，则ꞈθn 是θ的相合估计。
（2）若ꞈθn1，…，ꞈθnk 分别是θ1，…，θk 的相合估计，η＝g（θ1，…，θk ），是θ1，…，θk 的连续函数，则ꞈη＝g（ꞈθn1，…，ꞈθnk ）是η的相合估计。
二、最大似然估计（1）求样本似然函数；（2）求对数似然函数；（3）求导；（4）找到ꞈθ＝ꞈθ（x 1，…，x n ）满足()()ˆmax L L θθθ∈Θ=。
三、最小方差无偏估计1．均方误差（1）MSE（ꞈθ）＝E（ꞈθ－θ）2，如果ꞈθ是θ的无偏估计，则MSE（ꞈθ）＝Var（ꞈθ）。
（2）一致最小均方误差如果对该估计类中另外任意一个θ的估计~θ，在参数空间Θ上都有MSE （ꞈθ）≤MSE （~θ），称ꞈθ（x 1，…，x n ）是该估计类中θ的一致最小均方误差估计。
2．一致最小方差无偏估计UMVUE 判断准则：设X＝（x 1，…，x n ）是来自某总体的一个样本，ꞈθ＝ꞈθ（X）是θ的一个无偏估计，Var （ꞈθ）＜∞，则ꞈθ是θ的UMVUE 的充要条件是：对任意一个满足E（φ（X））＝0和Var（φ（X））＜∞的φ（X）都有Cov θ（ꞈθ，φ）＝0，∀θ∈Θ。
3．充分性原则定理：总体概率函数是p（x；θ），x 1，…，x n 是其样本，T＝T（x 1，…，x n ）是θ的充分统计量，则对θ的任一无偏估计ꞈθ＝ꞈθ（x 1，…，x n ）；令~θ＝E（ꞈθ|T），则ꞈθ也是θ的无偏估计，且Var（ꞈθ）≤Var（ꞈθ）。
4．Cramer-Rao 不等式（1）费希尔信息量I（θ）2()=ln (;)I E p x θθθ∂⎡⎤⎢⎥∂⎣⎦（2）定理（Cramer-Rao 不等式）设总体分布P（X；θ）满足费希尔信息里I（θ），x 1，x 2…，x n 是来自该总体的样本，T ＝T（x 1，x 2…，x n ）是g（θ）的任一个无偏估计，g′（θ）∂g（θ）/∂θ存在，且对Θ中一切θ，对1i 11()...(,,)(;)d d nn ni g T x x p x x x θθ∞∞-∞-∞==∏⎰⎰ 的微商可在积分号下进行，即1111111()...(,...,)((;))d d ...(,,)ln(;)(;)d d nn i ni nnn i i ni i g T x x p x x x T x x p x p x x x θθθθθθ∞∞-∞-∞=∞∞-∞-∞==∂'=∂∂⎡⎤=⎢⎥∂⎣⎦∏⎰⎰∏∏⎰⎰ 对离散总体，则将上述积分改为求和符号后，等式仍然成立。
华东师范大学-茆诗松-概率论与数理统计教程
24 December 2018
第一章 随机事件与概率
第4页
§1.1 随机事件及其运算
1.1.1 随机现象：自然界中的有两类现象 1. 确定性现象
• 每天早晨太阳从东方升起; • 水在标准大气压下加温到100oC沸腾;
2. 随机现象
• 掷一枚硬币，正面朝上？反面朝上？ • 一天内进入某超市的顾客数; • 某种型号电视机的寿命;
第一章 随机事件与概率
第12页
1.1.6 事件的运算
• • • • 并： A B 交： A B = AB 差： A B 对立： A A 与 B 至少有一发生 A 与 B 同时发生 A发生但 B不发生 A 不发生
24 December 2018
第一章 随机事件与概率
第13页
事件运算的图示
24 December 2018
第一章 随机事件与概率
第31页
注 意
• 抛一枚硬币三次 抛三枚硬币一次
• Ω1={(正正正), (反正正), (正反正), (正正反),
(正反反), (反正反), (反反正), (反反反)}
此样本空间中的样本点等可能. • Ω2={(三正), (二正一反), (二反一正), (三反)} 此样本空间中的样本点不等可能.
24 December 2018
第一章 随机事件与概率
第19页
课堂练习
1. 若A 是 B 的子事件，则 AB = ( B )， AB = ( A )
2. 设 A 与B 同时出现时 C 也出现，则( ③ ) ① AB 是 C 的子事件； ② C 是 AB 的子事件； ③ AB 是 C 的子事件； ④ C 是 AB 的子事件.
24 December 2018
概率统计课程复习要点(茆诗松)
茆诗松概率统计课程复习要点第一章随机事件与概率：1、事件的表示、关系与运算性质，P11题3，8，9。
2、概率的定义及其确定方法，尤其是排列组合在古典方法中的应用以及几何方法，即要熟练掌握古典方法和几何方法求事件发生的概率问题，P30，题6，7，8，11，18，21。
3、概率的运算性质（可加性、单调性、加法公式）及其应用，P39题1，4，6，17，18。
4、重点掌握条件概率计算，乘法公式，全概率公式（重点）以及贝叶斯公式，P51题1，2，5，8，9，12，13，16，18。
5、事件的独立性，掌握独立性定义，伯努利概型定义，P59题1，3，4，6，9，15。
第二章随机变量及其分布：1、掌握随机变量的分布函数定义及其性质，离散型随机变量及其分布列，连续型随机变量的概率密度函数。
已知分布列或概率密度函数会求分布函数，或者已知分布函数求分布列或概率密度函数（重点）。
P75题4，8，12，13，15，16。
2、掌握数学期望的定义及其性质，会计算离散型和连续型随机变量的数学期望，会利用数学期望的性质计算复杂随机变量的数学期望。
P84题1，2，11，12，13，14，17。
3、掌握方差的定义及其性质，会计算离散型和连续型随机变量的方差或标准差（简便计算公式），会利用方差的性质计算复杂随机变量的方差（重点），掌握切比雪夫不等式，会应用这个不等式来估计某事件发生的概率大小（重点）。
P91题3，4，6，8，14。
4、熟练三个常用离散分布（0-1分布、二项分布、Poisson分布）及其数学期望和方差。
P104题5，8，16。
注意它们的记号表示。
5、熟练三个常用连续型分布（正态分布、均匀分布、指数分布）及其数学期望和方差，尤其是正态分布的概率密度函数的对称性，正态分布的标准化。
P120题1，2，3，4，9，10，12，20；注意它们的记号表示。
6、随机变量函数分布（重点），掌握离散型连续型随机变量函数的分布的计算，尤其熟练连续型的情形（分布函数定义法，定理法）。
茆诗松《概率论与数理统计教程》课后习题
茆诗松《概率论与数理统计教程》课后习题本书是详解研究生入学考试指定考研参考书目为茆诗松《概率论与数理统计教程》的配套题库，每章包括以下四部分：第一部分为考研真题及详解。
本部分按教材章节从历年考研真题中挑选具有代表性的部分，并对其进行了详细的解答。
所选考研真题既注重对基础知识的掌握，让学员具有扎实的专业基础；又对一些重难点部分（包括教材中未涉及到的知识点）进行详细阐释，以使学员不遗漏任何一个重要知识点。
第二部分为课后习题及详解。
本部分对茆诗松编写的《概率论与数理统计教程》（第2版）教材每一章的课后习题进行了详细的分析和解答，并对个别知识点进行了扩展。
课后习题答案经过多次修改，质量上乘，特别适合应试作答和临考冲刺。
第三部分为章节题库及详解。
本部分严格按照茆诗松编写的《概率论与数理统计教程》（第2版）教材内容进行编写，每一章都精心挑选经典常见考题，并予以详细解答。
熟练掌握本书考题的解答，有助于学员理解和掌握有关概念、原理，并提高解题能力。
第四部分为模拟试题及详解。
参照茆诗松编写的《概率论与数理统计教程》（第2版）教材，根据历年考研真题的命题规律及热门考点精心编写了两套考前模拟试题，并提供详尽的解答。
通过模拟试题的练习，学员既可以用来检测学习该考试科目的效果，又可以用来评估对自己的应试能力。
本书提供电子书及打印版，方便对照复习。
目录第一部分考研真题第1章随机事件与概率第2章随机变量与分布第3章多维随机变量及其分布第4章大数定律与中心极限定理第5章统计量及其分布第6章参数估计第7章假设检验第8章方差分析与回归分析第二部分课后习题第1章随机事件与概率第2章随机变量及其分布第3章多维随机变量及其分布第4章大数定律与中心极限定理第5章统计量及其分布第6章参数估计第7章假设检验第8章方差分析与回归分析第三部分章节题库第1章随机事件与概率第2章随机变量与分布第3章多维随机变量及其分布第4章大数定律与中心极限定理第5章统计量及其分布第6章参数估计第7章假设检验第8章方差分析与回归分析第四部分模拟试题茆诗松《概率论与数理统计教程》（第2版）配套模拟试题及详解（一）茆诗松《概率论与数理统计教程》（第2版）配套模拟试题及详解（二）。
茆诗松概率论教案
茆诗松概率论教案第一章概率论的基本概念1.1 随机现象与样本空间定义随机现象、样本空间、事件列举实例，解释随机现象和样本空间的概念1.2 概率的定义与性质引入概率的概念，讲解概率的计算方法探讨概率的基本性质，如归一性、互补性等1.3 条件概率与独立性引入条件概率的概念，讲解条件概率的计算方法探讨事件的独立性，讲解独立事件的概率计算规则第二章随机变量及其分布2.1 随机变量的概念定义随机变量、随机变量的取值、随机变量的分布举例说明随机变量的概念及其应用2.2 离散型随机变量的概率分布讲解离散型随机变量的概率分布，如二项分布、泊松分布等探讨离散型随机变量的数学期望和方差的概念及计算方法2.3 连续型随机变量的概率密度讲解连续型随机变量的概率密度，如正态分布、均匀分布等探讨连续型随机变量的数学期望和方差的计算方法第三章随机向量及其分布3.1 随机向量的概念定义随机向量、随机向量的取值、随机向量的分布举例说明随机向量的概念及其应用3.2 离散型随机向量的分布讲解离散型随机向量的分布，如二元随机向量、多元随机向量等探讨离散型随机向量的数学期望和方差的概念及计算方法3.3 连续型随机向量的分布讲解连续型随机向量的分布，如二维正态分布、均匀分布等探讨连续型随机向量的数学期望和方差的计算方法第四章数学期望与方差4.1 数学期望的概念与计算定义数学期望，讲解数学期望的计算方法探讨数学期望的性质，如线性性、单调性等4.2 方差的概念与计算定义方差，讲解方差的计算方法探讨方差的性质，如非负性、线性性等4.3 协方差与相关系数讲解协方差的概念及计算方法探讨相关系数的定义及计算方法，讲解相关系数的性质与应用第五章大数定律与中心极限定理5.1 大数定律讲解大数定律的概念及意义，如弱大数定律、强大数定律等探讨大数定律的应用及在实际问题中的重要性5.2 中心极限定理讲解中心极限定理的概念及意义探讨中心极限定理的应用，如样本均值的分布、样本方差的分布等5.3 随机变量的标准化讲解随机变量标准化的概念及方法探讨标准化随机变量在概率论中的应用，如正态分布的标准化等第六章随机过程及其基本性质6.1 随机过程的概念定义随机过程，讲解随机过程的表示方法举例说明随机过程的应用，如随机游走、随机振动等6.2 随机过程的分布函数讲解随机过程的分布函数的概念及计算方法探讨随机过程的分布函数的性质，如单调性、规范性等6.3 随机过程的协方差函数讲解随机过程的协方差函数的概念及计算方法探讨随机过程的协方差函数的性质，如对称性、规范性等第七章马尔可夫链7.1 马尔可夫链的概念定义马尔可夫链，讲解马尔可夫链的表示方法举例说明马尔可夫链的应用，如天气变化、人口迁移等7.2 马尔可夫链的转移概率讲解马尔可夫链的转移概率的概念及计算方法探讨马尔可夫链的转移概率的性质，如无后效性、规范性等7.3 马尔可夫链的稳态分布讲解马尔可夫链的稳态分布的概念及计算方法探讨马尔可夫链的稳态分布的性质，如唯一性、非增性等第八章随机分析8.1 随机微分的概念定义随机微分，讲解随机微分的表示方法举例说明随机微分的应用，如金融市场的波动等8.2 随机微分方程讲解随机微分方程的概念及求解方法探讨随机微分方程的性质，如唯一性、存在性等8.3 随机积分讲解随机积分的概念及计算方法探讨随机积分的性质，如线性性、规范性等第九章随机最优化9.1 随机最优化问题定义随机最优化问题，讲解随机最优化问题的表示方法举例说明随机最优化问题的应用，如金融风险管理等9.2 随机最优化方法讲解随机最优化方法的概念及求解方法探讨随机最优化方法的性质，如收敛性、有效性等9.3 随机最优化问题的数值解法讲解随机最优化问题的数值解法概念及计算方法探讨随机最优化问题的数值解法的性质，如准确性、稳定性等第十章蒙特卡洛方法及其应用10.1 蒙特卡洛方法的概念定义蒙特卡洛方法，讲解蒙特卡洛方法的原理及步骤举例说明蒙特卡洛方法的应用，如随机模拟、参数估计等10.2 蒙特卡洛方法的收敛性讲解蒙特卡洛方法的收敛性概念及判断方法探讨蒙特卡洛方法的收敛性的性质，如收敛速度、条件等10.3 蒙特卡洛方法的应用讲解蒙特卡洛方法在实际问题中的应用，如金融市场模拟、风险管理等探讨蒙特卡洛方法的优缺点及其在实际应用中的限制重点和难点解析一、概率的定义与性质：理解概率的概念，掌握概率的计算方法，特别是概率的基本性质，如归一性、互补性等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
利用二阶导函数矩阵的非正定性可以说明上述 估计使得似然函数取极大值。
14 July 2013
华东师范大学
第六章 参数估计
第16页
虽然求导函数是求极大似然估计最常用的方 法，但并不是在所有场合求导都是有效的。
例6.1.8 设 x1, x2 , …, xn 是来自均匀总体 U(0, )的样本，试求 的极大似然估计。
2
2n1 n2
2
0
所以 ˆ 是极大值点。
14 July 2013
华东师范大学
第六章 参数估计
第13页
例6.1.7 对正态总体N(, 2)，θ=(, 2)是二维 参数，设有样本 x1, x2 , …, xn，则似然函数及 其对数分别为
( xi ) 2 1 L( , 2 ) exp 2 2 2 i 1 1 n (2 2 ) n / 2 exp 2 ( xi ) 2 2 i 1
14 July 2013
华东师范大学
第六章 参数估计
第19页
定义6.2.1 设 ∈Θ为未知参数，ˆn ˆn ( x1,, xn ) 是 的一个估计量，n 是样本容量，若对任 何一个ε>0，有
ˆ limn P(| n | ) 0
则称 ˆn为 参数的相合估计。
14 July 2013
2
ˆ 1 1/ s
华东师范大学
第六章 参数估计
第8页
例6.1.3 x1, x2, …, xn 是来自(a,b)上的均匀分布 U(a,b)的样本，a与b均是未知参数，这里k=2， 由于
ab EX , 2 (b a ) 2 Var( X ) , 12
不难推出
ˆ j j (a1,, ak ),
其中
1 n j a j xi n i 1
j 1,,k ,
14 July 2013
华东师范大学
第六章 参数估计
第7页
例6.1.2 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为
ˆ 1/ x
另外，由于Var(X)=1/ ，其反函数为 1/ Var( X ) 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的， 这是矩法估计的一个缺点，此时通常应该尽量采 用低阶矩给出未知参数的估计。
其一 是如何给出估计，即估计的方法问题；
其二 是如何对不同的估计进行评价，即估
计的好坏判断标准。
14 July 2013
华东师范大学
第六章 参数估计
第4页
§6.1 点估计的几种方法
6.1.1 替换原理和矩法估计
一、矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数，譬如： ˆ • 用样本均值估计总体均值E(X)，即 E ( X ) x ； 2 ˆ • 用样本方差估计总体方差Var(X)，即 Var( X ) sn • 用样本的 p 分位数估计总体的 p 分位数， • 用样本中位数估计总体中位数。
经计算有
x 28.695,
2 sn 0.9185,
m0.5 28.6
由此给出总体均值、方差和中位数的估计分别 为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体 分布，其理论基础是格里纹科定理。
14 July 2013
华东师范大学
第六章 参数估计
则称 ˆ 是 的极(最)大似然估计，简记为MLE （Maximum Likelihood Estimate）。 人们通常更习惯于由对数似然函数lnL( )出发寻 找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最 常用的方法，对lnL( )求导更加简单些。
14 July 2013
华东师范大学
第六章 参数估计
第11页
例6.1.6 设一个试验有三种可能结果，其发生概率 2 2 分别为 p1 , p2 2 (1 ), p3 (1 )
现做了n次试验，观测到三种结果发生的次数分 别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为
第六章 参数估计
第24页
例6.2.4 对任一总体而言，样本均值是总体均值的无 偏估计。当总体k阶矩存在时，样本k阶原点矩ak是 总体k阶原点矩 k的无偏估计。但对中心矩则不一 n 1 2 2 ，样本方差s*2不是总 样，譬如，由于 E (s * ) n 体方差 2的无偏估计，对此，有如下两点说明： (1) 当样本量趋于无穷时，有E(s*2) 2， 我们称 s*2 为 2的渐近无偏估计。
n
则
ˆ ˆ limn E ( n ) 是 的相合估计，, limn Var ( n ) 0
定理6.2.2 若 ,, 分别是1, …, k 的相合估 ˆ ˆ n1 nk 计， =g(1 , …, k) 是1, …, k 的连续函数，则 ˆ ˆ ˆ n g ( n1 , , nk ) 是 的相合估计。
14 July 2013
华东师范大学
第六章 参数估计
第17页
解 似然函数
L( ) 1
n
I
i 1
n
{0 xi }
1
n
I{ x
( n ) }
要使L( )达到最大，首先一点是示性函数取值 n n 应该为1，其次是1/ 尽可能大。由于1/ 是 的单调减函数，所以 的取值应尽可能小，但 示性函数为1决定了 不能小于x(n)，由此给出 的极大似然估计：ˆ x( n ) 。
14 July 2013
华东师范大学
第六章 参数估计
第5页
例6.1.1 对某型号的20辆汽车记录其每加仑汽油 的行驶里程(km)，观测数据如下：
29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9
14 July 2013
华东师范大学
第六章 参数估计
第18页
§6.2 点估计的评价标准
6.2.1 相合性
我们知道，点估计是一个统计量，因此它是一个随 机变量，在样本量一定的条件下，我们不可能要求 它完全等同于参数的真实取值。但如果我们有足够 的观测值，根据格里纹科定理，随着样本量的不断 增大，经验分布函数逼近真实分布函数，因此完全 可以要求估计量随着样本量的不断增大而逼近参数 真值，这就是相合性，严格定义如下。
a EX 3Var( X ), b EX 3Var( X ),
由此即可得到a, b的矩估计：
ˆ a x 3 s,
14 July 2013
ˆ b x 3s
华东师范大学
第六章 参数估计
第9页
6.1.2 极(最)大似然估计
定义6.1.1 设总体的概率函数为P(x; )，是参 数 可能取值的参数空间，x1, x2 , …, xn 是样本， 将样本的联合概率函数看成 的函数，用L( ; x1, x2, …, xn) 表示，简记为L( )，
第六章 参数估计
第1页
第六章 参数估计
§6.1 §6.2 §6.3 §6.4 §6.5 点估计的几种方法 点估计的评价标准 最小方差无偏估计 贝叶斯估计 区间估计
14 July 2013
华东师范大学
第六章 参数估计
第2页
• 一般常用 表示参数，参数 所有可能取值
组成的集合称为参数空间，常用表示。参 数估计问题就是根据样本对上述各种未知参
(2) 若对s
*2
ns *2 1 n 2 作如下修正：s ( xi x )2 n 1 n 1 i 1
，
则 s2 是总体方差的无偏估计。
14 July 2013
华东师范大学
第六章 参数估计
第25页
6.2.3 有效性
14 July 2013
华东师范大学
第六章 参数估计
第23页
6.2.2 无偏性
定义6.2.2 设 ˆ ˆ( x1 ,, xn ) 是 的一个估计，
的参数空间为Θ，若对任意的∈Θ，有 ˆ E ( )
则称 ˆ 是 的无偏估计，否则称为有偏估计。
14 July 2013
华东师范大学
L( ) L( ; x1 ,, xn ) p( x1; ) p( x2 ; ) p( xn ; )
称为样本的似然函数。
14 July 2013
华东师范大学
第六章 参数估计
第10页
如果某统计量 ˆ ˆ( x1 ,, xn ) 满足 ˆ L( ) max L( )
数作出估计。
• 参数估计的形式有两种：点估计与区间估计。
14 July 2013
华东师范大学
第六章 参数估计
第3页
• 设 x1, x2,…, xn 是来自总体 X 的一个样本，
ˆ ˆ 我们用一个统计量 ( x1 ,, xn ) 的取值作 为 的估计值， ˆ 称为 的点估计（量），简 称估计。在这里如何构造统计量 ˆ 并没有明 确的规定，只要它满足一定的合理性即可。 这就涉及到两个问题：
L ( ) ( ) [2 (1 )] [(1 ) ]
2 n1 n2 2 n3
2
n2
2 n1 n 2
(1 )
2 n3 n2
其对数似然函数为
ln L( ) (2n1 n2 ) ln (2n3 n2 ) ln(1 ) n2 ln 2
(6.1.9) (6.1.10)
14 July 2013