数理统计与随机过程讲义
《数理统计与随机过程讲义》
段法兵
复杂性科学研究所
第二章 抽样理论 §2.1 基本术语
从一个集合中取出一部分元素，来研究这些元素的特征作为一个指标，从而推断整个集合的性质，
整个集合称为母体（总体），每个元素称为个体。
对于母体的推断往往不止一次地进行，每次观测值向量是个随机向量X=（n x x x ,,,21 ），称为容量n 的子样观测值。
不同抽样观测中，随机向量X 所有取值的全体称为样本空间。
为反映母体样本特性，抽样时：
1）子样每个分量n x x x ,,,21 也与母体有相同分布)(x F ； 2）子样每个分量n x x x ,,,21 相互独立，其联合分布为∏=n
i i x F 1)(。
满足上述要求的子样称为简单子样。
统计量：对于子样观测值针对不同的问题构造出某种子样的函数，称为统计量。比如子样矩：
∑==n
i i x n X 11 子样均值
∑=-=n
i i n
X x n S 1
22)(1 子样方差
∑=--=n i i n
X x n S
1
2*2)(11子样方差（类型二） ∑==n i k
i k x n A 11 子样k 阶原点矩
∑=-=n
i i k k X x n B 1
)(1 子样k 阶中心矩
这里我们设母体真值：均值为μ，方差2σ，k 阶原点矩k m ，k 阶中心矩k μ。
§2.2 抽样的分布
为了从抽样形成的统计量推断母体的分布特征，抽样的分布是个解决的基本问题。
2.2.1 正态母体子样的线性函数分布
正态母体子样列向量X=（n x x x ,,,21 ）T 相互独立都符合正态分布),(2σμN ，定理：设矩阵
n p ij a A ?=)(
那么
AX Y Y Y Y p =??????
????????= 2
1
那么i Y 都是正态分布，且
均值为： p i a EY n
k ik i ,,2,1,1 ==∑=μ
方差为： p i a
DY n
k ik
i ,,2,1,1
2
2
==∑=σ
互协方差：∑==--=n
k jk ik
j j i i j i a a
EY Y EY Y E Y Y 1
2
)})({(),cov(σ
推论：当A 为正交阵时，且均值μ=0，那么i Y 是相互独立的正态分布),0(2σN ，且互协方差：I Y Y j i 2),cov(σ=为对角阵。
思考：均值和方差不同的正态分布呢，这里),(2
i i N σμ
2.2.2 2χ分布
卡尔，皮尔逊（Pearson, K.，1857-1936），英国生物学家和统计学家，现代统
计科学的创立者。从儿童时代起，就有着广阔的兴趣爱好。他善于独立思考，不轻易相信权威，尤其重视数据和事实。其主要成就和贡献是在统计学方面。 19世纪90年代以前，统计理论和方法的发展很不完善，统计资料的搜集、整理和分析受到很多限制。皮尔逊在生物学家高尔登(Galton,1822-1911)和韦尔顿(Weldon,1860-1906)的影响下，从90年代初开始进军生物统计学。在概率论研究的基础上，导入了许多新的概念，把生物统计方法提炼成为一般处理统计资
料的通用方法，发展了统计方法论，从而将概率论与统计学两者溶为一炉。被后人誉为“现代统计科学的创立者”。皮尔逊认为，不管理论分布拟合如何好，它与实际分布之间总存在着或多或少的差异。这些差异是由于观察次数不充分、随机误差太大而引起的呢？还是由于所选配的理论分布本身就与实际分布有实质性差异？需要用一种方法来检验。1900年，皮尔逊提出了一个著名的统计量，称之为卡方（χ2）统计量，用来检验实际分布数列与理论分布数列是否在合理范围内相符合，即用以测定观察值与期望值之间的差异显著性。“卡方（χ2）检验法”提出后得到了广泛的应用，在现代统计理论中占有重要地位
定义：n x x x ,21,相互独立的标准正态分布)1,0(~N ，那么统计量∑==n
i i x 12
2
χ服从自由度为n 的2χ分布，其概率密度分布函数
??
???
>Γ=--other x e x n x f x n n
,00
,)
2/(21)(1
解释：对于任意个i x ，其平方2x y =的分布我们已经求出，就是Gamma 分布
)2,2/1(==Γβα
221
21)(y
e y y
f --=π
，y>0
也是自由度为n=1的2χ分布。
引理（Gamma 分布的可加性）：任两个相互独立的Gamma 分布的随机变量之和的分布依然是Gamma 分布。
证明方法1：自己看
设1x ，2x 相互独立，且满足Gamma 分布
β
αααβx
e x x
f --Γ=12,12,12,12,1)
(1)(
i x ~),(βαi Γ，试证明z=1x +2x ~),(21βαα+Γ。 这个需要利用随机变量和的概率密度卷积公式：
zt
x dt t t e z dx x z x e dx
x z f x f z f z z z z
=-ΓΓ=-ΓΓ=-=???--+--+--+-,)1()()()()()()()()(10
1121/101
121/0
212121212121ααααβααααβααβααβ
由于概率密度的归一化，我们得到
,))1()()(()(1101121/100
212121dz dt t t e z dz
z f z ???--+--+∞
∞
-ΓΓ==ααααβααααβ
)
()
()()1(/)/()()()1()()()1(121211
1/0
1211
1/01211
12
12
121212
12
121212
121
ααβααβ
βββ
ααβ
ααβ
αα
ααααβααααααααβαααα+ΓΓΓ-=
ΓΓ-=
ΓΓ-=
?++--∞
-+++--∞
-++-?
?
?
??dt
t t dz e z dt
t t dz
e z dt
t t
z z
)
(1
)
()()1(21211
1
212
121ααβααβαα+Γ=
ΓΓ-?
++-?
dt t t
将其代入刚才的式子，得到
β
ααααααβααααβααβ/12110
1
121/1212
1212121)
(1,
)1()()()(z z e z zt
x dt t t e z z f --++--+--++Γ=
=-ΓΓ=?
这就是),(21βαα+Γ分布。
证明方法2： Gamma 分布
β
αααβx
e x x
f --Γ=1)
(1)(
那么Gamma 分布的特征函数为
dx e x e
e E w x
jwx
jwx
β
αα
αβ?--∞
Γ==?10
)
(1][)( dx e
x jw x β
β
αααβ---∞
?
Γ=11
)()
(1
dx e
x jw jw jw x
β
β
αα
ααβββ---∞
-?
Γ??
?
???--=110
)()(11
)1(
=αβ--)1(jw
那么对于任意1x ，2x 相互独立，且满足Gamma 分布
β
αααβx
e x x
f --Γ=12,12,12,12,1)
(1)(
各自具有特征函数1)1()(1αβ?--=jw w 和2)1()(2αβ?--=jw w ，由于二者相互独立，那么z=1x +2x 的特征函数为
)(2
1
)1()(ααβ?+--=jw w z
那么z=1x +2x ~),(21βαα+Γ。
因此，既然任意个i x ，其平方2x y =的分布都符合)2,2/1(==Γβα的
Gamma 分布，那么∑==n
i i x 1
22
χ的分布就是)2,2(n
Γ的分布，这个就是定义自由度
为n 的2χ分布，见其概率密度定义
??
???
>Γ=--other x e x n x f x n n
,00
,)
2/(21)(2221
自由度为n 的2χ分布均值和方差呢？利用特征函数，和Gamma 分布推导类似，
这里)2,2
(n
Γ，即2/n =α，2=β，代入即可
2
2
12
2
120
2
12
2
112
2
1)(2
2
122
)
21()()(1)2()2(21)()(1])[()
2(21
)
2
(21)(2
1n n
n n
n
x jw n x n n jwx
jw x jw t jw n n
x jw d jw x jw e
n dx
e x
n e
-∞
-----∞
-=-=-ΓΓ=---Γ=
Γ=?
?ω?
有了特征函数，我们可以得出 性质1：n j EX ==-)0(')(1?
)2()0('')(22+==-n n j EX ?， n EX X E X 2)(][]var[22=-=
有了特征函数，我们也可以证明2χ分布的加和性： 性质2：1x ~)(12
n χ，2
11
)
21()(n jw w -
-=?，2x ~)(22
n χ，2
221)
21()(n jw w -
-=?，由
于二者相互独立，那么1x +2x 的特征函数
2
212
1)
21()()()(n n jw w w w +-
-==???，然后做Fourier 逆变换，得出1x +2x 符合
)(212n n +χ分布。
2.2.3 t 分布（学生分布）
1899年，英国统计学家戈塞特（William Seely Gosset ，1876－1937）在都柏林找到了一个令笔者垂涎的职业，到一家酿酒公司担任酿造化学技师，从事统计和实验分析工作，可以边喝啤酒边搞科研。但戈塞特首先碰到的困难，是供应实验用的麦子数量有限，无法采用当时通行的大样本观察和推断理论，而且每批进厂原料的质量都有所波动，对温度的变化也很敏感。万般无奈，戈塞特着手从小样本开始分析实验数据。小样本数据存在两个问题：一是误差怎样解决，二是如何从中尽可能得到较为可靠的结果。酒是个好东西，戈塞特的酒也没白喝。他经过反复研究实验，确立了小样本理论。由于在公司不可公开自己姓名，1908年戈塞特以学生（student ）为笔名，在《生物计量学》杂志上发表了“平均数的概率误差”。由于这篇文章确立了“学生t 检验”的基础，因而许多统计学家把1908年看作统计推断理论发展史上的里程碑。将戈塞特称为小样本理论的创立者和实验分析的先驱。
定义：)1,0(~N X ，)(~2n Y χ，那么变量n Y X t //=符合t 分布，其概率密度函数为
212)1()2/()
21
(
)(+-+Γ+Γ=
n n t n n n t f π 解释：引入辅助变量
?????==y
w n
y x t // 则反函数 ???==w y n w t x /
那么Jacobi 矩阵行列式为 1
21
/|),(|nw t
n w w t J ==n w /， 那么我们得到
2
/)/1(2
2
1
2
122
2
/2
2)
2/(22)
2/(2121/)
()(|),(|),(|),(|),(n t
w n
n w n n n w t e n n w
e w
n e n
w y f x f w t J y x f w t J w t f +-----
Γ=
Γ===ππ
设变量代换
2/)/1(2n t w +=α
那么t 的分布
212021
2
1
220
22
12
12
)1()2/()
21
()2
1
(
)/1()2/(1
)
/1(2)/1(2
)
2/(221),()(2
1+--∞-+-∞
---∞
+Γ+Γ=+Γ+Γ=++Γ=
=?
?
?-n n n n n n n t n n n n d e n t n n n t d e n t n n dw w t f t f n πα
α
πα
α
πα
α
这里1)
12
1(1
21
=+-Γ--∞
?
dx e x
n x
n 就是)1,(1
-Γn 的分布。
定理：当∞→n 时，t 分布趋向于正态分布。
证明：分两个部分证明
2
2
122
122
2
2)1(lim )1(lim t t n n t n
n n n e
n t n
t -
-+∞→+-∞
→=???
?????+=+
再看系数
π
π21
)
2/()21
(
lim =
Γ+Γ∞→n n n n 就得证了。
这里先引入三角函数的无穷乘积公式：
若函数)(x f 有n 个零点n i x i ,,2,1, =，那么)(x f =∏=-n
i i x x 1)(，那么对于任意一
点0x ，有)(0x f =∏=-n
i i x x 1
0)(，那么我们可以得到
)(x f =∏=---
n
i i x x x x x f 1
0)1()( 特别是0x =0，且0)0(≠f ，那么
)(x f =∏=-
n
i i
x x f 1)1()0( Euler 认为)(x f =x x /sin 这个超越函数也符合，matlab 中定义的sinc 函数 y = sin(pi*x)/(pi*x) if x ≠ 0
= 1 if x == 0 这个函数具有零点πn ±。
那么有
∏=???? ?
?-=n i n x x x 122211sin π 当2/π=x 时，有
∏=???
? ??-=n
i n 1222412
2sin
ππππ
?
∏∞
=+-=122)
12)(12(21n n n n n π
∏
∞
=+-=1
22)12)(12(2
n n n n n π
∞→n lim π2
)12(!)!2(!)!12(2
=+??????-n n n ∞
→n lim
ππn n n n 1
)
(1!)!12(!)!2(21→
+=- 记得前面的公式!)()1(n n n n =Γ=+Γ，πn
n n 2!
)!12()21(-=
+Γ 再次转到我们的要求证明
π
π21
)
2/()21
(
lim =
Γ+Γ∞→n n n n 设k n 2=，上述转换为
π
π
π
ππ
π21!
)!2(!
)!12(lim 21
)!
1(2!
)!12(lim 21)(2)(lim 2
1→-=
--=Γ+Γ∞→∞→∞→k k k k k k k k k k k
k n 同理可证12+=k n 的情况。因此当∞→n 时，t 分布趋向于正态分布，实际当n>30时，两种分布相差无几。
性质：期望和方差是多少？这个和F 分布一起讲。
欧拉 (Euler)，瑞士数学家及自然科学家。1707年4月15日出生於瑞士的巴塞尔，1783年9月18日於俄国彼得堡去逝。欧拉出生於牧师家庭，自幼受父亲的教育。13岁时入读巴塞尔大学，15岁大学毕业，16岁获硕士学位。欧拉是18世纪数学界最杰出的人物之一，他不但为数学界作出贡献，更把数学推至几乎整个物理的领域。他是数学史上最多产的数学家之一，平均每年写出八百多页的论文，还写了大量的力学、分析学、几何学、变分法等的课本。欧拉对数学的研究如此广泛，因此在许多数学的分支中也可经常见到以他的名字命名的重要常数、公式和定理。1725年约翰·伯努利的儿子丹尼尔·伯努利赴俄国，并向沙皇喀德林一世推荐了欧拉，这样，在1727年5月17日欧拉来到了彼得堡．1733年，年仅26岁的欧拉担任了彼得堡科学院数学教授．1735年，欧拉解决了一个天文学的难题（计算慧星轨道），这个问题经几个著名数学家几个月的努力才得到解决，而欧拉却用自己发明的方法，三天便完成了．然而过度的工作使他得了眼病，并且不幸右眼失明了，这时他才28岁．1741年欧
拉应普鲁士彼德烈大帝的邀请，到柏林担任科学院物理数学所所长，直到1766年，后来在沙皇喀德林二世的诚恳敦聘下重回彼得堡，不料没有多久，左眼视力衰退，最后完全失明．不幸的事情接踵而来，1771年彼得堡的大火灾殃及欧拉住宅，带病而失明的64岁的欧拉被围困在大火中，虽然他被别人从火海中救了出来，但他的书房和大量研究成果全部化为灰烬了．沉重的打击，仍然没有使欧拉倒下，他发誓要把损失夺回来．在他完全失明之前，还能朦胧地看见东西，他抓紧这最后的时刻，在一块大黑板上疾书他发现的公式，然后口述其内容，由他的学生特别是大儿子A·欧拉（数学家和物理学家）笔录．欧拉完全失明以后，仍然以惊人的毅力与黑暗搏斗，凭着记忆和心算进行研究，直到逝世，竟达17年之久．欧拉的记忆力和心算能力是罕见的，他能够复述年青时代笔记的内容，心算并不限于简单的运算，高等数学一样可以用心算去完成．有一个例子足以说明他的本领，欧拉的两个学生把一个复杂的收敛级数的17项加起来，算到第50位数字，两人相差一个单位，欧拉为了确定究竟谁对，用心算进行全部运算，最后把错误找了出来．欧拉在失明的17年中；还解决了使牛顿头痛的月离问题和很多复杂的分析问题．欧拉的风格高，拉格朗日是稍后于欧拉的大数学家，从19岁起和欧拉通信，讨论等周问题的一般解法，这引起变分法的诞生．等周问题是欧拉多年来苦心考虑的问题，拉格朗日的解法，博得欧拉的热烈赞扬，1759年10月2日欧拉在回信中盛称拉格朗日的成就，并谦虚地压下自己在这方面较不成熟的作品暂不发表，使年青的拉格朗日的工作得以发表和流传，并赢得巨大的声誉．他晚年的时候，欧洲所有的数学家都把他当作老师，著名数学家拉普拉斯（Laplace）曾说过："欧拉是我们的导师．" 欧拉充沛的精力保持到最后一刻，1783年9月18日下午，欧拉为了庆祝他计算气球上升定律的成功，请朋友们吃饭，那时天王星刚发现不久，欧拉写出了计算天王星轨道的要领，喝完茶后，欧拉终于"停止了生命和计算"．
2.2.4 F分布
发明者：罗纳德·艾尔默·费希尔爵士，FRS（Sir Ronald Aylmer Fisher，1890年2月17日－1962年7月29日，为一名英国统计学家、演化生物学家与遗传学家。他是现代统计学与现代演化论的奠基者之一。安德斯·哈尔德称他是“一位几乎独自建立现代统计科学的天才”[1]，理查·道金斯则认为他是“达尔文最伟大的继承者”[2]。
费希尔出生于英国伦敦的东芬利奇（East Finchley），是七位子女中的老么[3]。1909年，费希尔获得奖学金，使其能前往剑桥大学冈维尔与凯斯学院就读，并主修农业[3]。第一次世界大战爆发。费希尔和许多英国青年一样，也希望能够加入军队、投入沙场。不过因为他严重的视力问题，即使一试再试，依然无法通过健康检查。由于从军不成，接下来6年他便在伦敦市担任统计员，1919，费希尔才选择进入一所名为罗森斯得实验站（Rothamsted Experimental Station）的农业试验所。费希尔开始构想新的统计方法，如实验设计法（design of experiments）。除了新的统计方法，费希尔也将先前的变异数分析研究进行补强与修饰，因而发明出最大似然估计，并发展出充分性（sufficiency）、辅助统计、费希尔线性判别（Fisher's linear discriminator）与费希尔资讯(也译为费希尔信息)（Fisher information）等统计概念。
三大分布都是起源于高斯的线性模型的拟合问题，F 分布是Fisher 对于残差以及拟合方差之比推出了F 分布，有了这个分布，可以计算线性模型拟合的优度，衡量拟合的好好。
定义：相互独立的两个随机变量Y X ,分别符合自由度为m 和n 的2χ分布，那么变量n
Y m
X F //=
符合),(n m F 分布，其概率密度函数为 0,1)()()()()(2
12
2
22
>?
?? ?
?+???
??ΓΓΓ=
+-
-+x x n m x n m n m x f n
m m n
m n
m
解释：Y X ,相互独立，因此其联合分布为
12
12
2
2
)
2/()2/(2
1
),(--+-
+ΓΓ=
n m y x n m y
x
e
n m y x f
做变换
n
y m x v y
x u //=
+= 那么Jacobi 矩阵为
()u v m n y
y x m n m n y x ym n y x J n
m
22
2111|),(|+=+=-= 那么联合分布
21222212
22)1())(()
()()()
2
(21),(|
|1
),(n m n m m
n m n m n m n m n
m u
n
m v v u e n m y x f J v u f +--+-+-++ΓΓΓ?+Γ=
= 这就是)(2n m +χ与F 分布两种概率密度函数的乘积，Y X ,相互独立，
y x u +=就是符合)(2n m +χ，那么自然的n
y m
x v //=符合F 分布。
推论1：相互独立的两个随机变量Y X ,分别符合自由度为m 和n 的2χ分布，那么变量m
X n Y F //1=符合),(m n F 分布。
推论2：)1,0(~N X ，)(~2n Y χ，那么变量n Y X t //=符合t 分布，那么
)//(22n Y X t =符合),1(n F 分布。因为，2X 符合)1(2χ分布，且2X 和)(~2n Y χ相互独立，按照定义得出上述结论。
推论2告诉我们，t 分布的方差就是F 分布的均值。
*性质：均值和方差如何求？定积分公式
)
()
/()/()1(0
1q ab a p q a p dx bx x a p
q
a p Γ-ΓΓ=+?
∞
- 当n m b a n m q m p /,1,2/)(,12/==+=+=得到
)
()
()1()1()
1(212220
2/n m m
n
m n m m m dx x x n m ++∞
Γ-Γ+Γ=
+?
+
利用这个等式，可求出F 分布的均值为
2,
2
>-=n n n
EX
n m b a n m q m p /,1,2/)(,22/==+=+=，可得F 分布的方差
4,
)
4()2()2(222>---+=n n n m n m n DX
§2.3 正态母体的子样均值和子样方差的分布
许多统计问题，需要知道子样均值和子样方差的分布，上面三大分布和这些有着紧密的联系。
引理：若向量T n t t t t ),,,(112111 =为标准正交向量111=t t T
，必定存在一个正交
矩阵A A ，使得),,,(112111n T
t t t t =为其第一行向量。
可以用Schmitt 正交化方法证明。
比如找到了一个这样的矩阵
?
??
?
?????????
????????
??????
?-*---*-*-*-**-***-
*=)1(1)
1(1)
1(1)
1(1)
1(10
023********
01211211111n n n n n n n n n n n n
n n n A
定理：从正态母体),(2σu N 抽取的子样n x x x ,,,21 相互独立，其子样均值
∑==n i i x n X 1
1，子样方差∑=--=n i i n X x n S 12
*2)(11，那么)1(~122*2--n S n n χσ，且与X 相互独立。
证明：现将n x x x ,,,21 标准化，σ
u
x z i i -=
符合)1,0(N ，则),,,(21n z z z Z =均值
σ
u X z n Z n i i -=
=∑=11 那么
=-2
*2
1
n
S n σ2
1122)()()(1
∑∑==??
?
???---=-n
i i n i i u X u x X x σσ =∑∑==-=-n
i i n
i i Z n z Z z 1
222
1
)(
把前面构造的正交矩阵n n ij a A ?=)(用作变换
AZ Y =
其中∑==n
k i ik i z a Y 1
为),,,(21n z z z Z =的线性组合，所以每个i Y 也是正态分布，其均
值为
01
1==??????=∑∑==n
k i ik n k i ik i Ez a z a E EY
其互协方差为
ij
n
k n
l jk
ik n
k n
l kl
jl ik n k n
l l k jl ik n
l l jl n k k ik j i a a a a z z a a z a z a Y Y δδ====?
?
?
??=∑∑∑∑∑∑∑∑========11
111111)
,cov(,cov ),cov(
所以任意i Y 两两之间相互独立，自己都说标准正态分布符合)1,0(N ，这也是正交矩阵变换的性质。
特别地，我们计算Z n z n z a Y k n
k k n
k k ===∑∑==11
111，再计算所有的i Y 平方和 ∑∑======n
i i T
T
T
T
n
i i
z Z Z AZ A Z Y Y Y
1
21
2
我们已知
=-2*2
1
n
S
n σ∑∑∑====-=-n
i i n
i i n
i i Y Y Y Z n z 2
22
1
1
2
1
2
2，那么
2*2
1
n S n σ-就是n-1个标
准正态分布)1,0(N 变量的平方和，就符合n-1个自由度的)1(2-n χ分布，且任意
i Y 两两之间相互独立，
2
*2
1
n S n σ-与σ
u
X n
Z n Y -==1（u Y n
X +=
1σ
）之间也
是相互独立的。且随着样本容量的变化2*2
1
n S n σ-的分布)1(2-n χ也是变化的。
定理：
n
S u X n
/2
*-符合)1(-n t 的分布。
解释：上面证明中σ
u
X n Z n Y -==1符合)1,0(N ，
2
*2
1
n S n σ
-的分布)1(2-n χ，
那么依据t 分布的定义，得出
)1(~1
1/2
*2
----=
n t n S n n u
X t n σ
σ
定理：设121,,,n x x x 子样来自母体),(211σu N ，221,,,n y y y 子样来自母体
),(2
2
2σu N ，各自的子样均值∑==1111n i i x n X ，∑==2
1
21n i i y n Y ，子样方差
∑=-=-n
i i X x S n 1
2
*21
2
11)(1
σ符合)1(12
-n χ，
∑=-=-n
i i Y y S n 1
2*22
22
2)(1
σ符合)1(22-n χ，那
么二者属于不同母体，那么依据F 分布的定义，我们得到
)1,1(~)
1/(1
)1/(1
212*22
22
21*2121
1------n n F n S n n S n σ
σ
定理：设121,,,n x x x 子样来自母体),(211σu N ，221,,,n y y y 子样来自母体
),(2
2
2σu N ，各自的子样均值∑==1111n i i x n X ),(~1211n u N σ，∑==2121n i i y n Y ),(~2
2
2
2n u N σ,
那么),
(~2
22
1
2
121n n u u N Y X σσ+
--，那么一个新的变量
)1,0(~)
()(2
22
1
21
21N n n u Y u X U σ
σ
+
---=
*
22
22
2*2121
11
1
S n S n V σ
σ
-+
-=
符合)1(12-n χ+ )1(22-n χ，即)1(212-+n n χ，加和性质 且上述两个变量相互独立。那么依据定义
)1(~)
1/(2121-+-+n n t n n V U
由于正态分布的普遍性，上述三种分布在抽样检验时经常遇到。
思考1：上α分位表意义，正态分布， t 分布，是对称分布，2χ分布和F 分布不是，特别证明)
,(1
),(1m n F n m F αα=
-。这些在置信区间，假设检验中用到。
思考2：matlab 实验，利用内嵌的正态分布变量函数randn ，产生自由度为10 的
2
χ分布随机数，并将其频率直方图和真实的概率密度分布进行比较。
解释：2χ分布就是正态分布变量的平方和，matlab代码为
>> x=randn(10,10000);
>> y=sum(x.^2);
>> [fp,xp]=ecdf(y);% fp is a vector of values of the empirical cdf evaluated at xp. >> ecdfhist(fp,xp,50)
>> hold on
>> t=linspace(0,max(y),100);
>> z=chi2pdf(t,10);
>> plot(t,z,'r','linewidth',3)
作业：继续利用matlab验证F分布，t分布，以及思考如何衡量拟合的精确度。
课外阅读：
一曲统计学的赞歌
在1985年, 研究莎士比亚的学者泰勒(G.Taylor), 从保存在保德联(Bodelian)图书馆里的收藏品中, 发现保存了两百多年的一张纸片, 其上记有九节新诗，此诗只有429个字, 没有记载诗的作者。于是提出疑问, 这首诗是莎士比亚的吗? 统计学家瑟思梯德(R.Thisted)和埃福伦(B.Efron), 对于莎士比亚, 以及同时代的几位著名诗人的作品进行了研究, 用纯粹的统计学方法, 对他们在诗中用词规律作了比较分析, 发现那首无名诗与莎士比亚的作品非常一致, 这表明它的作者很可能是莎士比亚。获美国总统奖（2002年）的统计学家C.R.劳(Rao)，称这一结果为“一曲统计学的赞歌”。
两位统计学家考查了莎士比亚在其著作中用词总数量为：884647个，其中包括重复使用的；所有不相同的用词总数量为：31534个。可见，每个词平均被使用了28次（≈884647/31534）。但是，每个词被使用的次数并不相等。两位
统计学家把被使用了1次，2次，3次，…的用词个数逐一记录下来，这就是他们获得的数据。对其他的诗人也可获得同样数据，对上述的429个字的诗也记录同样数据。他们使用了费歇（Fisher，A.R.）1943年提出的判别法则, 将此诗与诸位诗人的作品进行比较后, 得出了前述结果。
不难理解，他们的数据记录了作者的风格特征，与诗作内容联系不大。因此，可用来解答判断作者是谁的问题。不无遗憾地说，此方法不能简单地用于中文著作的同类判别问题，因为中文与西文有本质性的组词差异。
虽然也有不少学者用数据的统计分析方法，讨论《红楼梦》的前80回与后40回是否属于同一作者的问题，但是他们获取数据的指标多与内容密切相关。其中使用某些虚词数量作为指标，看起来好像与内容无关，仔细想来并非如此。如此说来，他们所判断的结果，只是关于《红楼梦》前80回与后40回在这些指标上有无差别，而不是作者是否有别的问题。如何寻找更能表象中文作者风格的指标，还是有待探讨的问题。
世界名著《静静的顿河》的作者究竟是谁？
这在苏联文学界尚有争议。一般都认为此书的作者是1965年的诺贝尔文学奖获得者肖洛霍夫(1905—1984)，但在20年代末，当小说第一、二部问世时，却有人提出它是肖洛霍夫抄袭的一部书，那本书也叫《静静的顿河》。1930年，肖洛霍夫曾在一封信中承认他知道那本书，不过那是一本关于1917年顿河流域的旅行札记，并非是一部长篇小说。
1974年，流亡国外的索尔仁尼琴在巴黎出版了题为《<顿河>急流》、副标题为《一部长篇小说之谜》的文章，再次提出《静静的顿河》是肖洛霍夫剽窃的作品。其根据是：第一；作为一个学历浅、经历不广的20来岁的青年，当时是决不可能写出那样有广度和深度的鸿篇巨著的；第二、全书的思想内容和艺术技巧很不平衡，体现出不是一人的创作风格，其中“真正有艺术价值”的部分则是从一个名叫克留柯夫那里抄袭来的，而那些空洞的政治宣传才是肖洛霍夫自己与的。但更多的苏联作家和评论界人士则认为，上面两条根据是不足为凭的，文学史上年轻的作者写出有一定深度和广度作品的例子是不计其数的，至于那个克留柯夫早在]920年就病死了，而小说的内容却一直包括到1922年的事件，所以这种指责是不能成立的。战争名著《静静的顿河》可以说从它诞生起便没有平静过，围绕它的作者所引起的争议，就像它获得诺贝尔文学奖一样，撼动文坛，有人指控肖洛霍夫是个骗子，《静静的顿河》不是肖洛霍夫写的，真正的作者是费奥尔克鲁乌科夫，而肖洛霍夫只不过将已去世作家未出版的手稿重新改写了前两卷的5%，后两卷的30%，就改头换面的以他的名义发表，那么它的作者到底是谁？
挪威奥斯陆大学的前苏联文学教授盖尔克其萨用电子计算机对该文学作品进行了分析研究，其别具一格的论文曾发表在世界知名的权威杂志《计算机与人文科学》上，轰动一时，那么，他是怎样把数理统计引入这本名著的研究的呢？
克其萨教授与他的挪威、瑞典同事，使用乌普沙拉大学的一台IBM370/155电子计算机，对《静静的顿河》的文章风格与其他一些特点与克鲁科夫的供认作
品进行了统计分析：抽取样品，编制程序，测定句子长度，计算词类的分布于组合情况，力求得出一个客观的结论。他们主要研究了三个重要参数，为了对比，把肖洛霍夫的无可争议的作品作为第一组，《静静的顿河》作为第二组，克鲁乌科夫的作品作为第三组。
第一个参数是一部作品中不同的词汇量与总词汇量的百分比统计，结果表明：第一组为65.5%，第二组为64.6%，两者非常接近，而第三组却只有58.9%，明显低于前两个数据，这说明，克鲁乌科夫在他的作品中，更喜欢经常重复使用同样的词汇。
第二个参数是词汇分布频率，学者们选取了20个俄文中常见的词汇，来研究比较他们占作品中的全部词汇的百分比，分别是：第一组22.8% 第二组23.3% 第三组26.2%，第一组与第二组比较接近。
最后一个参数是作品中出现过一次的词汇所占的百分比，对此肖洛霍夫的作品为80.9%，《静静的顿河》为81.9%,克鲁乌科夫的作品则只有76.9%。
研究表明，所有参数都存在一致的趋势，即克鲁乌科夫的作品与《静静的顿河》之间，存在着显著的统计差异，由此可见，这部杰作的真正作者很难说是克鲁乌科夫，相比之下，肖洛霍夫更像是《静静的顿河》的原作者了。
数理统计使文坛上这宗多年悬而未决的案件进一步明了，笔墨官司打到这个地步，看来对肖洛霍夫是有利的，至于将来究竟如何结案，还要看文坛专家的结论。
盖洛普民意调查与美国总统选举
以其准确性和权威性在世界各地享有极高的声誉。在这50年的时间里，盖洛普民意调查研究所对12次美国总统选举的调查显示，盖洛普民意调查的准确率非常高。
纽约时报：致当代大学生的忠告
格里高利·曼昆作为哈佛大学著名经济学传授经济学导论的一位教授，每年秋天，我都有一项令我非常愉悦的任务：欢迎大约700名大一新生。今年，我将第一次送自己的孩子上大学，由此想到了一些问题：他们应该学些什么？理解现代经济，并为之做好准备需要打好哪些根基？
我向所有年龄段的学生提出以下建议：
……
二学点统计学
高中的数学课程设置在欧几里得几何和三角函数等传统主题上花费了太多的时间。对于普通人来说，这些都是非常有用的脑力训练，但它们在日常生活中几乎没有什么适用性。学生们最好多学一些概率和统计方面的知识。
数据，许许多多的数据，是如今这个计算机时代给予每个人的一项事物。然而，拥有数据跟从数据中学到东西，是跨度很大的两码事。学生们需要了解数字密集运算的潜力，以及它的局限性。我认为，至少在高中教材的更新内容之前，所有的大学生都应该上一门或更多的统计学课程。
……
统计思维是创新型思维《中国统计》2009年08期
统计思维是较形象思维和逻辑思维更为复杂的一种思维方式，是人们自觉运用数字对客观事物的数量特征和发展规律进行描述、分析、判断和推理的思维方式。统计思维属于创造性思维，这种创造性思维有三个本质特点：1.抽象的数量性。2.结果的容错性。3.过程的逆向性。，统计思维从思维特点、思维理念和思维方式都与传统思维方式有着本质的差异，具有创造性思维的主要特点，属于创造性思维。
随机过程习题及复习资料
一、1.1设二维随机变量(,)的联合概率密度函数为： 试求:在时,求。 解： 当时，＝ ＝ 1.2 设离散型随机变量X服从几何分布： 试求的特征函数，并以此求其期望与方差。解：
所以： 2.1 袋中红球，每隔单位时间从袋中有一个白球，两个任取一球后放回，对每 对应随机变量一个确定的t ?????=时取得白球如果对时取得红球 如果对t e t t t X t 3)( .维分布函数族试求这个随机过程的一 2.2 设随机过程 ，其中 是常数，与是 相互独立的随机变量，服从区间上的均匀分布，服从瑞利分布，其概 率密度为 试证明为宽平稳过程。 解：（1） 与无关
（2） ， 所以 （3） 只与时间间隔有关，所以 为宽平稳过程。 2.3是随机变量，且，其中设随机过程U t U t X 2cos )(=求：，.5)(5)(==U D U E .321）方差函数）协方差函数；（）均值函数；（（ 2.4是其中，设有两个随机过程U Ut t Y Ut t X ,)()(32==.5)(=U D 随机变量，且 数。试求它们的互协方差函 2.5， 试求随机过程是两个随机变量设B At t X B A 3)(,,+=的均值),(+∞-∞=∈T t 相互独若函数和自相关函数B A ,.),()(),2,0(~),4,1(~,21t t R t m U B N A X X 及则且立 为多少？
3.1一队学生顺次等候体检。设每人体检所需的时间服从均值为2分 钟的指数分布并且与其他人所需时间相互独立，则1小时内平均有多少学生接受过体检？在这1小时内最多有40名学生接受过体检的概率是多少（设学生非常多，医生不会空闲） 解：令()N t 表示(0,)t 时间内的体检人数，则()N t 为参数为30的 poisson 过程。以小时为单位。 则((1))30E N =。 40 300 (30)((1)40)!k k P N e k -=≤=∑。 3.2在某公共汽车起点站有两路公共汽车。乘客乘坐1,2路公共汽车的强度分别为1λ，2λ，当1路公共汽车有1N 人乘坐后出发；2路公共汽车在有2N 人乘坐后出发。设在0时刻两路公共汽车同时开始等候乘客到来，求（1）1路公共汽车比2路公共汽车早出发的概率表达式；（2）当1N =2N ，1λ=2λ时，计算上述概率。 解： 法一：（1）乘坐1、2路汽车所到来的人数分别为参数为1λ、2λ的poisson 过程，令它们为1()N t 、2()N t 。1 N T 表示1()N t =1N 的发生时 刻，2 N T 表示2()N t =2N 的发生时刻。 1 11 1111111()exp()(1)! N N N T f t t t N λλ-= -- 2 22 1222222()exp()(1)! N N N T f t t t N λλ-= -- 1 2 121 2 1 2 2 1 112,12|1221 1122212(,)(|)()exp() exp() (1)! (1)! N N N N N N N N N T T T T T f t t f t t f t t t t t N N λλλλ--== ----
应用随机过程教学大纲
遵义师范学院课程教学大纲 应用随机过程教学大纲 （试行） 课程编号：280020 适用专业：统计学 学时数：48 学分数：____________ 2.5_______ 执笔人：黄建文审核人：_____________________ 系别：数学教研室：统计学教研室
编印日期：二?一五年七月 课程名称：应用随机过程 课程编码： 学分：2.5 总学时：48 课堂教学学时：32 实践学时：16 适用专业：统计学先修课程：高等数学、线性代数、概率论、测度论或者实变函数（自学） 一、课程的性质与目标： （一）该课程的性质 《应用随机过程》课程是普通高等学校统计学专业必修课程。它是在学生掌握了数学分析、线性代数和概率论等一定的数学专业理论知识的基础上开设的，要求学生掌握随机过程的基本理论和及其研究方法。 （二）该课程的教学目标 （1）从生活中的需要出发，结合研究随机现象客观规律性的特点，并根据随机过程的内容和知识结构，着重从随机过程的基本理论和基本方法出发，就实际应用中的典型随机过程做应用研究，并在理论、观点和方法上予以总结、提高及应用。 （2）对各个章节的教学，随机过程侧重于基本思想和基本方法的探讨，介绍随机过程的基本概念，建立以分布函数等研究相关问题概率的实际应用思路，寻求解决统计和随机过程问题的方法。着重基本思想及方法的培养和应用。 （3）结合学生实际，利用生活中的实例进行分析，培养学生的辩证唯物主义观点。 二、教学进程安排
三、教学内容与要求 第一章预备知识 【教学目标】 通过本章的学习，复习并扩展概率论课程的内容，为学习随机过程打下良好的基础，提供必备的数学工具。 【教学内容和要求】 随机过程以概率论为其主要的基础知识，为此，本章主要对概率空间；随机 变量与分布函数；随机变量的数字特征、矩母函数与特征函数；独立性和条件期望；随机变量序列的收敛性与极限定理等常用到的概率论基本知识作简要的回顾和扩展。其中概率空间，矩母函数和特征函数的定义及性质、条件期望、收敛性、极限定理等既是本章的重点，又是本章的难点。 【课外阅读资料】 《应用随机过程》，林元烈编，清华大学出版社。 【作业】 0, x W0 1. 已知连续型随机变量X的分布函数为F（x） = *Aarcsinx, 0 1 [()()][()()]()E X t X s D X t X s t s λ-=-=- 由于(0)0X =故 ()[()][()(0)]X m t E X t E X t X t λ==-= 2()[()][()(0)]X t D X t D X t X t σλ==-= 2 2 22(,)[()()]{()[()()()]}[()(0)][()()][()][()(0)][()()][()]{[()]}()()(1) X R s t E X s X t E X s X t X s X s E X s X X t X s E X s E X s X E X t X s D X s E X s s t s s s st s s t λλλλλλλλ==-+=--+=--++=-++=+=+ (,)(,)()()X X X X B s t R s t m s m t s λ=-= ()()[]exp{(1)}iuX t iu X g u E e t e λ==- 2 定理3.2 设{(),0}X t t ≥是具有参数λ的泊松分布， {,1}n T n ≥是对应的时间间隔序列，则随机变量n T 是独立同 分布的均值为1λ的指数分布 Proof:注意到1{}T t >发生当且仅当泊松过程在区间[0,]t 内没有事件发生，因而1{}{()0}t P T t P X t e λ->=== 即111(){}1{}1t T F t P T t P T t e λ-=≤=->=- 所以1T 是服从均值为1λ的指数分布.利用泊松过程的独立、 平稳增量性质，有 21{|}{()()0}{()(0)0}t P T t T s P X t s X s P X t X e λ->==+-==-== 即222(){}1{}1t T F t P T t P T t e λ-=≤=->=- 对任意的1n ≥和121,,,...,0n t s s s -≥有 21111{|,...,}{()(0)0}t n n P T t T s T s P X t X e λ--->===-== 即(){}1n t T n F t P T t e λ-=≤=- 所以对任一n T 其分布是均值为1 λ的指数分布. 所以1,0 (){}0,0n t T n e t F t P T t t λ-?-≥=≤=? 第十讲 几种常用的随机过程 10.1 马尔可夫过程 10.1.1马尔可夫序列 马尔可夫序列是指时间参数离散，状态连续的马尔可夫过程。 一个随机变量序列x n （n=1,2,…）,若对于任意的n 有 )|(),...,,|(112 1 x x F x x x x F n n X n n n X ---= （10.1） 或 )|(),...,,|(112 1 x x f x x x x f n n X n n n X ---= （10.2） 则称x n 为马尔可夫序列。x n 的联合概率密度为 ) ()|( ) |()|(),...,,(1 1 2 2 11 2 1 x f x x f x x f x x f x x x f X X n n X n n X n X ??---= （10.3） 马尔可夫序列有如下性质： （1） 一个马尔可夫序列的子序列仍为马尔 可夫序列。 （2） ) |(),...,,|(1 21x x f x x x x f n n X k n n n n X -+++= （10.4） （3） )|(),...,|(111x X x x X n n n n E E --= （10.5） （4） 在一个马尔可夫序列中，若已知现在， 则未来与过去相互独立。即 ) |() |()|,(1 x x f x x f x x x f r s X n n X r s n X -= ，n>r>s （10.6） （5） 若条件概率密度)|(1 x x f n n X -与n 无关， 则称马尔可夫序列是齐次的。 （6） 若一个马尔可夫序列是齐次的，且所 有的随机变量X n 具有同样的概率密度，则称该马尔可夫序列为平稳的。 （7） 马尔可夫序列的转移概率满足切普曼 —柯尔莫哥洛夫方程，即 ) |()| ()|(x x f x x f x x f s r X r n X s n X ? ∞ ∞ -= ， n>r>s (10.7) 10.1.2马尔可夫链 马尔可夫链是指时间参数，状态方程皆 应用随机过程试题及答案 一．概念简答题（每题5 分，共40 分） 1. 写出卡尔曼滤波的算法公式 2. 写出ARMA（p,q）模型的定义 3. 简述Poisson 过程的随机分流定理 4. 简述Markov 链与Markov 性质的概念 5. 简述Markov 状态分解定理 6．简述HMM 要解决的三个主要问题得分B 卷（共9 页）第2 页7. 什么是随机过程，随机序列？8．什么是时齐的独立增量过程？二．综合题（每题10 分，共60 分） 1 ．一维对称流动随机过程n Y , 0 1 0, , n n k k Y Y X ? ? ? ? 1 ( 1) ( 1) , 2 k k k X p x p x ? ? ? ? ? 具有的概率分布为且1 2 , , ... X X 是相互独立的。试求1 Y 与2 Y 的概率分布及其联合概率分布。 2. 已知随机变量Y 的密度函数为其他而且，在给定Y=y 条件下，随机变量X 的条件密度函数为? ? 其他试求随机变量X 和Y 的联合分布密度函数( , ) f x y . 得分B 卷（共9 页）第3 页 3. 设二维随机变量( , ) X Y 的概率密度为( ,其他试求p{x<3y} 4．设随机过程( ) c o s 2 , ( , ) , X t X t t ? ? ? ? ? ? X 是标准正态分布的随机变量。试求数学期望( ) t E X ，方差( ) t D X ，相关函数1 2 ( , ) X R t t ，协方差1 2 ( , ) X C t t 。B 卷（共9 页）第4 页5 ．设马尔科夫链的状态空间为I={0,1}, 一步转移概率矩阵为 上海交通大学致远学院2014年秋季学期 《随机过程》课程教学说明 一.课程基本信息 1．开课学院（系）：致远学院 2．课程名称：《随机过程》(Stochastic Processes) 3．学时/学分：64学时/4学分 4．先修课程：概率论 5．上课时间：周二、四，3-4节课 6．上课地点：中院207 7．任课教师：韩东（donghan@https://www.360docs.net/doc/b313108040.html,） 8．办公室及电话：数学楼1206，54743148-1206 9．助教：张登（zhangdeng@https://www.360docs.net/doc/b313108040.html,） 10.Office hour：周四下午3-5点，数学楼1206 二.课程主要内容（中英文） 随机过程是定量研究随机现象（事件）统计规律的一门数学分支学科。学习《随机过程》的主要目的是：了解、认识随机现象的统计性质；知道如何构造随机模型并且能计算和分析随机事件随时间发生变化的的概率及其相关性质。《随机过程》主要包括：Poisson过程、Markov过程、鞅过程、Bronian 运动、随机分析基础(Ito积分与随机微分方程)、平稳过程等。 Stochastic Processes are ways of quantifying the dynamic relations of sequences of random events. It is a branch of mathematics. The main content of this course includes: General theory of stochastic processes; Poisson process and renewal theorems; Martingales; Discrete-time Markov Chains; Continuous-time Markov Chains; Brownian motion; Introduction to stochastic analysis; Stationary processes and ARMA models. 第一章概率论精要 主要内容：概率公理化，全概率公式和Bayes 公式，随机变量及其数字特征、条件期望、极限定理。重点与难点：条件期望和极限定理。 第二章随机过程的基本概念 主要内容：随机过程的定义、随机过程的存在性、随机过程的数字特征。 重点与难点：随机过程的存在性。 第三章Poisson 过程 主要内容：Poisson过程的定义及性质，首达时间与其间隔的分布，Poisson过程的极限定理。 重点与难点：首达时间间隔与Poisson过程的关系。 第四章Markov过程 第一章 随机过程的基本概念 一、随机过程的定义 例1：医院登记新生儿性别，0表示男，1表示女，X n 表示第n 次登记的数字，得到一个序列X 1 ， X 2 ， ···，记为{X n ，n=1,2, ···}，则X n 是随机变量，而{X n ，n=1,2, ···}是随机过程。 例2：在地震预报中，若每半年统计一次发生在某区域的地震的最大震级。令X n 表示第n 次统计所得的值，则X n 是随机变量。为了预测该区域未来地震的强度，我们就要研究随机过程{X n ，n=1,2, ···}的统计规律性。 例3：一个醉汉在路上行走，以概率p 前进一步，以概率1-p 后退一步（假设步长相同）。以X(t)记他t 时刻在路上的位置，则{X(t), t ≥0}就是（直线上的）随机游动。 例4：乘客到火车站买票，当所有售票窗口都在忙碌时，来到的乘客就要排队等候。乘客的到来和每个乘客所需的服务时间都是随机的，所以如果用X(t)表示t 时刻的队长，用Y(t)表示t 时刻到来的顾客所需等待的时间，则{X(t), t ∈T}和{Y(t), t ∈T}都是随机过程。 定义：设给定参数集合T ，若对每个t ∈T, X(t)是概率空间),,(P ?Ω上的随机变量，则称{X(t), t ∈T}为随机过程，其中T 为指标集或参数集。 E X t →Ω:)(ω，E 称为状态空间，即X(t)的所有可能状态构成的集合。 例1：E 为{0,1} 例2：E 为[0, 10] 例3：E 为},2,2,1,1,0{Λ-- 例4：E 都为), 0[∞+ 注：（1）根据状态空间E 的不同，过程可分为连续状态和离散状态，例1，例3为离散状态，其他为连续状态。 （2）参数集T 通常代表时间，当T 取R, R +, [a,b]时，称{X(t), t ∈T}为连续参数的随机过程；当T 取Z, Z +时，称{X(t), t ∈T}为离散参数的随机过程。 （3）例1为离散状态离散参数的随机过程，例2为连续状态离散参数的随机过程，例3为离散状态连续参数的随机过程，例4为连续状态连续参数的随机过程。 二、有限维分布与Kolmogorov 定理 随机过程的一维分布：})({),(x t X P x t F ≤= 随 机 过 程 的 二 维 分 布 ： T t t x t X x t X P x x F t t ∈≤≤=21221121,,},)(,)({),(21 M 4.1(等待时间的和)设诚恳按照参数λ的Poisson 过程来到公交站，公交车于时刻t 发出，那么在],0[t 时间段内到达的乘客等待时间总和的期望应该如何计算那？ 对于某一个乘客而言，假设其到达时间为k t ，那么他等待时间就是 k t t -所以乘客总的等待时间为∑=-=) (0)()(t N k k t t t S 使用条件期望来处理平均等待))(|)(())((n t N t E E t S E == 对于某已成了而言，其到达时刻k t 随机],0[t 内均匀分布的随机变量。但在车站上，乘客是先后到达次序排队，所以在n t N =)(的条件下， n t t t ,...,,21形成了独立均匀分布的顺序统计量。不过就他们的和n t t ++...1而言，可以那他们看着顺序统计量，也可以把他们看着不排顺序的n 各独立的],0[t 内均匀分布的随机变量，所以 2))((2)2)(())((2 2)())(|)((2 0t t N E t t t N E t E E nt nt nt t E nt n t N t E E n k k λ= ===- =-==∑=从而有 4.2(数值记录)设},{N n X n ∈是一独立同分布的非负期望随机变量序列。定义风险率)(t λ如下) (1) ()(t F t f t -= λ 这里)()(t F t f 和分别是k X 的概率密度分布和分布函数。定义随机过程 )(t N 如下}),,..,max(:{#)(01t X X X X n t N n n n ≤>=- 这里A #表示集合A 中的元素个数。如果把)(t N 中的时间t 看做时间，那么)(t N 是一个非齐次Poisson 过程。事实上，由于k X 彼此独立，所以)(t N 具有独立增量性。很明显0)0(=N ，于是只需要检查一个时间微元内)(t N 的状态。 第四章 假设检验 假设检验是一种重要应用价值的统计推断形式，是数理统计的分支。从发展历史上有重要的节点为 1 ：Pearson 的拟合优度的2χ检验 1900 2：Fisher 的显著性检验 1920 3：Neyman-Pearson 一致最优检验 1928 4：Wald 的判决理论 1950 5：Bayes 方法 （二战之后发展的学派） §4.1 基本术语 关于随机变量的分布、数字特征等，每一种论断都称为统计假设，分为参数假设和非参数假设，例如),(~2σu N X ，假设1,1:==σu H 就称为参数假设；给定一组样本值，假设:H ~X 正态分布，对于分布进行论断，为非参数假设。 无论上面那种假设，都是给出一个对立的假设，比如),(~2σu N X ，那么假设1,1:0==σu H 的对立假设就是1,1:1≠≠σu H ，我们就把0H 称为基本假设，或者原假设，而1H 就称为对立（备选）假设。 为了分别那个假设是对的，需要判断假设真伪，就是对假设做出“否”还是“是”的程序就是检验，这个检验常用否定域形式给出，按照一定规则把样本值集合分成两个部分V V ?，当样本值落入子集V 认为0H 不真，那么V 是0H 的否定域，V 为0H 的接受域。 那么这样就产生了两种错误： 第一类错误α ：本来0H 是真，但是却否定了，弃真； 第二类错误β ：本来0H 不真，但是却接受为真，叫取伪。 选定一种检验方法，我们希望上述两种错误概率都小。但是给定样本容量，使得两种错误任意小是不可能的，我们主要研究两大类检验方法： 1：样本容量给定，控制第一类错误，使得错误概率有一个上界α，叫做检验的显著性水平，根据这种原则建立的检验就是α水平显著性检验； 2：样本容量给定，控制第一类错误α水平固定，还使得第二类错误最小，就是接受不真实假设的概率最小，否定不真实假设的概率就称为检验功效1-β，使得功效最大，，根据这种原则建立的检验就是α水平最大功效检验,或者最佳检验。 §4.2参数假设检验 设X 符合分布),(θx F ，未知参数θΘ∈参数空间，空间分成两部分0Θ和 Θ-0Θ，二者交集为空。 主要对于正态分布参数的统计假设的显著性检验方法。 1）针对不同问题，提出基本假设与备选假设 0H ：θ0Θ∈ 1H ：θ0Θ-Θ∈ 如果参数空间仅仅是由0θθ=和1θθ=两个点组成的，那么我们称简单假设，否则是复合假设。 2）给定检验的显著性水平α，其大小依据不同问题不同，比如火箭、飞机等可靠性问题，α要越小越好，对于一般生产问题，太小了则意味着生产时间和成本的增加； 3）建立对于基本假设的统计量和否定域； 4）取样，计算统计量值，落入否定域则判读0H 为假，否则为真。 例子：某种药片制剂中国家规定成分A 的含量X 必须为10%，现在抽取5个片剂试样，测得A 的含量为 10.9% 9.45% 10.38% 9.61% 9.92% 假设)%,10(~20σ=u N X ，按照显著性水平α=0.05进行检验是否与规定10%相符？ 解：建立基本假设0H ：0u u =，这里显著性水平α=0.05，样本容量为5，样本值如上。 如何确定统计量呢？样本均值X 可以求出，但是这里方差未知，用无偏估 计量* 2n S 来代替2σ，那么统计量 = t )1(~/* 20--n t n S u X n 应用随机过程学习汇总 ————————————————————————————————作者：————————————————————————————————日期： 应用随机过程学习总结 一、预备知识：概率论 随机过程属于概率论的动态部分，即随机变量随时间不断发展变化的过程，它以概率论作为主要的基础知识。 1、概率空间方面，主要掌握sigma代数和可测空间，在随机过程中由总体样本空间所构成的集合族。符号解释： sup表示上确界， inf表示下确界。 本帖隐藏的内容 2、数字特征、矩母函数与特征函数：随机变量完全由其概率分布来描述。其中由于概率分布较难确定，因此通常计算随机变量的数字特征来估算分布总体，而矩母函数和特征函数便用于随机变量的N阶矩计算，同时唯一的决定概率分布。 3、独立性和条件期望：独立随机变量和的分布通常由卷积来表示，对于同为分布函数的两个函数，卷积可以交换顺序，同时满足结合律和分配率。条件期望中，最重要的是理解并记忆E(X) = E[E(X|Y)] = intergral(E(X|Y=y))dFY(y)。 二、随机过程基本概念和类型 随机过程是概率空间上的一族随机变量。因为研究随机过程主要是研究其统计规律性，由Kolmogorov定理可知，随机过程的有限维分布族是随机过程概率特征的完整描述。同样，随机过程的有限维分布也通过某些数值特征来描述。 1、平稳过程，通常研究宽平稳过程：如果X(t1)和X(t2)的自协方差函数 r(t1,t2)=r(0,t-s)均成立，即随机过程X(t)的协方差函数r(t,s)只与时间差 t-s有关，r(t) = r(-t)记为宽平稳随机过程。 因为一条随机序列仅仅是随机过程的一次观察，那么遍历性问题便是希望将随即过程的均值和自协方差从这一条样本路径中估计出来，因此宽平稳序列只需满足其均值遍历性原理和协方差遍历性原理即可。 2、独立增量过程：若X[Tn]– X[T(n-1)]对任意n均相互独立，则称X(t)是独立增量过程。若独立增量过程的特征函数具有可乘性，则其必为平稳增量过程。 兼有独立增量和平稳增量的过程称为平稳独立增量过程，其均值函数一定是时间t的线性函数。 H a r b i n I n s t i t u t e o f T e c h n o l o g y 课程设计（论文） 课程名称：应用随机过程 设计题目：综述 院系：电子与信息工程学院 班级： 09硕通信一班 设计者： 学号： 指导教师：田波平 设计时间： 2009-11至2009-12 哈尔滨工业大学 哈尔滨工业大学课程设计任务书 特征函数在随机过程研究中的作用与意义 1.特征函数的定义 在介绍特征函数在随机过程研究中的作用和意义之前，首先介绍一下特征函数的定义。 特征函数是一个统计平均值，它是由随机变量X 组成的新的随机变量j X e ω的数学期望，记为： ()()j X E e ωωΦ= （1） 当X 为连续随机变量时，则X 的特征函数可表示成 ()()i X i x Ee f x e dx ωωω∞ -∞ Φ== ? （2） 其中()f x 为X 的概率密度函数。 对于随机过程的特征函数的定义与随机变量的特征函数的定义一致。 对任意时刻t ,随机过程的一维特征函数为： () (,)[](,)i X t i x X t E e f x t e dx ωωω∞ -∞ Φ== ? （3） 2.特征函数的性质 以下本文不加证明的给出特征函数的几个性质： (1) |()|(0)1ωΦ≤Φ=； (2) 共轭对称性()()ωωΦ-=Φ； (3) 特征函数()ωΦ在区间(,)-∞∞上一致连续； (4) 设随机变量Y aX b =+，其中,a b 是常数，则()()ib Y X e a ω ωωΦ=Φ； 其中(),()X Y ωωΦΦ分别表示随机变量,X Y 的特征函数。上式对于随机过程同样适用。 (5) 设随机变量,X Y 相互独立，又Z X Y =+，则()()()Z X Y ωωωΦ=ΦΦ； 此式表示两个相互独立随机变量之和的特征函数等于各自特征函数的乘积。 3.特征函数在随机过程研究中的作用与意义 由于特征函数在随机过程中和随机变量中的定义是一致的，仅是将X 变为X (t ),将概率密度函数也做相应的变化即可。故本文为方便起见，将随机过程和随机变量的特征函数的作用与意义做统一的讨论。 利用特征函数求随机过程的概率密度 第二章 随机过程分析 1.1 学习指导 1.1.1 要点 随机过程分析的要点主要包括随机过程的概念、分布函数、概率密度函数、数字特征、通信系统中常见的几种重要随机过程的统计特性。 1. 随机过程的概念 随机过程是一类随时间作随机变化的过程，它不能用确切的时间函数描述。可从两种不同角度理解：对应不同随机试验结果的时间过程的集合，随机过程是随机变量概念的延伸。 2. 随机过程的分布函数和概率密度函数 如果ξ(t )是一个随机过程，则其在时刻t 1取值ξ(t 1)是一个随机变量。ξ(t 1)小于或等于某一数值x 1的概率为P [ ξ(t 1) ≤ x 1 ]，随机过程ξ(t )的一维分布函数为 F 1(x 1, t 1) = P [ξ(t 1) ≤ x 1] (2-1) 如果F 1(x 1, t 1)的偏导数存在，则ξ(t )的一维概率密度函数为 1111111 (,) (, ) (2 - 2)?=?F x t f x t x 对于任意时刻t 1和t 2，把ξ(t 1) ≤ x 1和ξ(t 2) ≤ x 2同时成立的概率 {}212121122(, ; , )(), () (2 - 3)F x x t t P t x t x ξξ=≤≤ 称为随机过程ξ (t )的二维分布函数。如果 2212122121212 (,;,) (,;,) (2 - 4)F x x t t f x x t t x x ?=??? 存在，则称f 2(x 1, x 2; t 1, t 2)为随机过程ξ (t )的二维概率密度函数。 对于任意时刻t 1，t 2，…，t n ，把 {}n 12n 12n 1122n n ()(),(),,() (2 - 5) =≤≤≤L L L F x x x t t t P t x t x t x ξξξ，，，；，，，称为随机过程ξ (t )的n 维分布函数。如果 n n 12n 12n n 12n 12n 12n (x )() (2 - 6)?=???L L L L L F x x t t t f x x x t t t x x x ，，，；，，，，，，；，，， 存在，则称f n (x 1, x 2, …, x n ; t 1, t 2, …, t n )为随机过程ξ (t )的n 维概率密度函数。 3. 随机过程的数字特征 随机过程的数字特征主要包括均值、方差、自相关函数、协方差函数和互相关函数。 随机过程ξ (t )在任意给定时刻t 的取值ξ (t )是一个随机变量，其均值为 []1()(, )d (2 - 7)E t xf x t x ξ∞ -∞ =? 应用随机过程学习总结 一、预备知识：概率论 随机过程属于概率论的动态部分，即随机变量随时间不断发展变化的过程，它以概率论作为主要的基础知识。 1、概率空间方面，主要掌握sigma代数和可测空间，在随机过程中由总体样本空间所构成的集合族。符号解释： sup表示上确界， inf表示下确界。 本帖隐藏的内容 2、数字特征、矩母函数与特征函数：随机变量完全由其概率分布来描述。其中由于概率分布较难确定，因此通常计算随机变量的数字特征来估算分布总体，而矩母函数和特征函数便用于随机变量的N阶矩计算，同时唯一的决定概率分布。 3、独立性和条件期望：独立随机变量和的分布通常由卷积来表示，对于同为分布函数的两个函数，卷积可以交换顺序，同时满足结合律和分配率。条件期望中，最重要的是理解并记忆E(X) = E[E(X|Y)] = intergral(E(X|Y=y))dFY(y)。 二、随机过程基本概念和类型 随机过程是概率空间上的一族随机变量。因为研究随机过程主要是研究其统计规律性，由Kolmogorov定理可知，随机过程的有限维分布族是随机过程概率特征的完整描述。同样，随机过程的有限维分布也通过某些数值特征来描述。 1、平稳过程，通常研究宽平稳过程：如果X(t1)和X(t2)的自协方差函数 r(t1,t2)=r(0,t-s)均成立，即随机过程X(t)的协方差函数r(t,s)只与时间差 t-s有关，r(t) = r(-t)记为宽平稳随机过程。 因为一条随机序列仅仅是随机过程的一次观察，那么遍历性问题便是希望将随即过程的均值和自协方差从这一条样本路径中估计出来，因此宽平稳序列只需满足其均值遍历性原理和协方差遍历性原理即可。 2、独立增量过程：若X[Tn]– X[T(n-1)]对任意n均相互独立，则称X(t)是独立增量过程。若独立增量过程的特征函数具有可乘性，则其必为平稳增量过程。 兼有独立增量和平稳增量的过程称为平稳独立增量过程，其均值函数一定是时间t的线性函数。 《数理统计与随机过程讲义》 段法兵 复杂性科学研究所 第一章 概率论回顾 下面是数理统计部分需要的掌握的，许多推导的基础知识。 §1.1 几种分布的由来 指数分布：服务台电话呼叫时间，公交车到达一个车站时间，这些时间分布的符合指数分布。设)(t q 为区间t 上没有事件发生的概率，x 为第一次事件发生等待的时间，那么)()(t x P t q >=，假设不同时间区间1t ，2t 相互不重叠且独立，那么 )()()(2121t t x P t x P t x P +>=>> ?)()()(2121t t q t q t q += ?t e t q λ-=)(为非平凡（非零）有界解，这里λ为状态转移概率 那么我们有分布函数 t e t q t x P t x P t F λ--=-=>-=≤=1)(1)(1)()( 因此得到指数分布 ???≥==-other t e dt t dF t f t 0 0)()(λλ 两个指数分布之和的分布？ y x z += 在x-y 的空间内，满足z y x ≤+的区域如上，那么z 的累计分布 Y {}? ?-=≤+=y z xy z dx y x f dy z y x P z F 0 ),()( 那么 ?-== z y x z dx x z f x f dz z dF z f 0)()() ()( 例如x 与y 为相互独立的指数分布，x x e x f λλ-=)(和y y e y f λλ-=)(分别为其概率分布函数，那么x z =+y 的分布为 z z x z x y x z e z dx e e y f x f z f λλλλλ---===?20)(*)()( z z x z x e z dx e e λλλλλ----==?20)(2， 0>z Gamma 分布：N 个指数分布的随机变量之和的分布为Gamma 分布。 例如x 与y 为相互独立的指数分布，x x e x f λλ-=)(和y y e y f λλ-=)(分别为其概率分布函数，那么x z =+y 的分布为 z z x z x y x z e z dx e e y f x f z f λλλλλ---===?20)(*)()( 如此卷积下去，N 个相互独立的指数分布相加的概率分布为Gamma 分布，其概率密度函数 ?? ???≥Γ=--other x e x x f x 00)()(/1β α αβα 这里参数0,>βα。Gamma 函数 ?∞ --=Γ01)(dx e x x αα。 性质1：利用分部积分法得到递推公式 )()1(αααΓ=+Γ， 当α为整数n 时，利用分部积分法得到 !)()1(n n n n =Γ=+Γ， 而非整数2/1=α，利用变量代换2/2y x =，得到 π=Γ)2/1(， 所以有 《随机过程》课程教学大纲 适用专业：数学与应用数学 执笔人：肖丽华 审定人：王宏勇 系负责人：张从军 南京财经大学应用数学系 《随机过程》课程教学大纲 课程代码：300069 英文名：Stochastic Processes 课程类别：专业选修课 适用专业：数学与应用数学 前置课：数学分析、线性代数、概率论、数理统计 后置课： 学分：2学分 课时：54课时 主讲教师：孙春燕等 选定教材：刘次华,随机过程（第二版）[M]，武汉：华中科技大学出版社，2001. 课程概述： 随机过程是数学与应用数学专业继数学分析、线性代数、概率论、数理统计后的一门专业课程。随机过程是研究客观世界中随机演变过程的规律性，是以概率论为基础且是概率论的深入与发展的一门学科。它在控制、经济、金融和管理等方面应用极为广泛。 教学目的： 通过随机过程理论知识的学习，达到培养学生解决实际问题，特别是解决具体随机规律现象的问题能力，学生学习这门课程应该达到三个目标。（1）建立随机过程的思维方法。（2）掌握随机问题的统计特性及数学模型。（3）通过经济、金融及管理等专业相关例题的讨论，初步掌握应用随机过程理论来分析问题和解决问题的能力。 教学方法： 本课程采用“引出问题，建立模型，理论分析，课堂讨论，实际应用，总结提高”的教学方式，使学生在掌握随机过程基本理论、思想和方法的基础上，力求活跃思考，理论结合实际地进行学习、 分析、归纳、提炼和解决问题，提高他们的数学素质和数学修养，提升他们开展科技活动和社会实践的能力以及开展科研工作的能力。 各章教学要求及教学要点 第一章预备知识 学时分配：6学时 教学要求： 补充和加强概率论知识。理解母函数的概念，掌握母函数的方法；掌握特征函数的定义及性质，了解特征函数与分布函数一一对应的关系。 教学内容： 第一节概率空间 一、随机试验。 二、样本空间。 三、事件及概率空间的定义。 第二节随机变量及其分布 一、分布函数。 二、联合分布函数及其性质。 第三节随机变量的数字特征 一、随机变量的数学期望及其性质。 二、随机变量的方差及其性质。 第四节特征函数、母函数和拉氏变换 一、特征函数的定义及其性质。 二、母函数的定义及其性质。 第五节n维正态分布 《随机过程》课程大纲 一、课程简介 随机过程是定量研究随机现象（事件）动态变化的统计规律的一门数学分支学科。学习《随机过程》的主要目的是：了解和认识随机现象（事件）随时间变化的统计性质；知道如何构造随机过程和随机微分方程，并能应用随机分析的方法计算和分析随机过程的统计性质。《随机过程》主要包括随机过程基础，Poisson 过程，Markov 过程，Brownian 运动，鞅，平稳过程，随机微分方程。 二、教学内容 第一章***随机过程基础 主要内容：随机过程的定义及性质，随机过程的分类，随机过程的构造。 重点与难点：随机过程的构造 第二章***Poisson 过程 主要内容：Poisson过程的定义，时间间隔的分布，复合Poisson 过程，更新过程。 重点与难点：时间间隔的分布，更新极限定理。 第三章***Markov过程 主要内容：离散时间的Markov 链（常返与非常返，遍历性，转移概率极限，平稳分布，可逆Markov 链，强Markov链）；连续时间Markov链（转移速率矩阵，向前与向后微分方程，转移概率极限与平稳分布），一般状态的Markov过程，Markov随机场。 重点与难点：转移概率极限与平稳分布。 第四章***Brownian 运动 主要内容：Brownian运动的定义，随机游动与Brownian运动，Brownian运动的性质，Brownian 运动的函数（几种变型）。， 重点与难点：Brownian运动的性质 第五章***鞅 主要内容：离散鞅（上、下鞅），鞅收敛定理，鞅中心极限定理；连续时间鞅 重点与难点：鞅收敛定理。 第六章***平稳过程 主要内容：平稳过程的定义，相关函数的谱表示，平稳过程的遍历性。 重点与难点：平稳过程的遍历性。 第七章***随机微分方程 主要内容：均方微积分，均方意义下的随机微分方程；Ito积分与Ito公式，随机微分方程，鞅表示定理，Girsanov Teory定理与,Feynman-Kac 公式 重点与难点：Ito积分与Ito公式。 三、教学进度安排 第一章***随机过程基础，需1周时间(两节课) 第二章***Poisson 过程，需2周时间 第三章***Markov过程，需4周时间 第一章 随机过程的基本概念 一、随机过程的定义 例1：医院登记新生儿性别，0表示男，1表示女，X n 表示第n 次登记的数字，得到一个序列X 1 ， X 2 ， ···，记为{X n ，n=1,2, ···}，则X n 是随机变量，而{X n ，n=1,2, ···}是随机过程。 例2：在地震预报中，若每半年统计一次发生在某区域的地震的最大震级。令X n 表示第n 次统计所得的值，则X n 是随机变量。为了预测该区域未来地震的强度，我们就要研究随机过程{X n ，n=1,2, ···}的统计规律性。 例3：一个醉汉在路上行走，以概率p 前进一步，以概率1-p 后退一步（假设步长相同）。以X(t)记他t 时刻在路上的位置，则{X(t), t ≥0}就是（直线上的）随机游动。 例4：乘客到火车站买票，当所有售票窗口都在忙碌时，来到的乘客就要排队等候。乘客的到来和每个乘客所需的服务时间都是随机的，所以如果用X(t)表示t 时刻的队长，用Y(t)表示t 时刻到来的顾客所需等待的时间，则{X(t), t ∈T}和{Y(t), t ∈T}都是随机过程。 定义：设给定参数集合T ，若对每个t ∈T, X(t)是概率空间),,(P ?Ω上的随机变量，则称{X(t), t ∈T}为随机过程，其中T 为指标集或参数集。 E X t →Ω:)(ω，E 称为状态空间，即X(t)的所有可能状态构成的集合。 例1：E 为{0,1} 例2：E 为[0, 10] 例3：E 为},2,2,1,1,0{Λ-- 例4：E 都为),0[∞+ 注：（1）根据状态空间E 的不同，过程可分为连续状态和离散状态，例1，例3为离散状态，其他为连续状态。 （2）参数集T 通常代表时间，当T 取R, R +, [a,b]时，称{X(t), t ∈T}为连续参数的随机过程；当T 取Z, Z +时，称{X(t), t ∈T}为离散参数的随机过程。 （3）例1为离散状态离散参数的随机过程，例2为连续状态离散参数的随机过程，例3为离散状态连续参数的随机过程，例4为连续状态连续参数的随机过程。 二、有限维分布与Kolmogorov 定理 随机过程的一维分布：})({),(x t X P x t F ≤= 随机过程的二维分布：T t t x t X x t X P x x F t t ∈≤≤=21221121,,},)(,)({),(21 随机过程的n 维分布：应用随机过程复习资料
几种常用的随机过程
应用随机过程试题及答案
随机过程MA335.doc-致远学院-上海交通大学
(完整版)应用随机过程期末复习资料
随机过程及其应用-清华大学
数理统计与随机过程讲义
应用随机过程学习汇总
应用随机过程-综述
第2章 随机过程习题及答案上课讲义
(完整)应用随机过程学习总结(2),推荐文档
《数理统计与随机过程讲义》
《应用随机过程》课程教学大纲 - 南京财经大学教务处
《随机过程》课程大纲
应用随机过程期末复习资料