北大随机过程课件：第 3 章 第 2 讲 马尔可夫过程
马尔可夫过程
?1马尔可夫过程概论
6 1.1马尔可夫过程处于某个状态的概率
6 1.2马尔可夫过程的状态转移概率
6 1.3参数连续状态离散马尔可夫过程的状态转移的切普曼-柯尔莫哥洛夫方程
切普曼-柯尔莫哥洛夫方程
齐次切普曼-柯尔莫哥洛夫方程
转移概率分布函数、转移概率密度函数
6 1.4马尔可夫过程状态瞬时转移的跳跃率函数和跳跃条件分布函数
瞬时转移概率分布函数
6 1.5确定马尔可夫过程Q矩阵
跳跃强度、转移概率Q矩阵
?2参数连续状态离散马尔可夫过程的前进方程和后退方程
柯尔莫哥洛夫-费勒前进方程（利用Q矩阵可以导出、转移概率的微分方程）福克-普朗克方程（状态概率的微分方程）
柯尔莫哥洛夫-费勒后退方程（利用Q矩阵可以导出、转移概率的微分方程）?3典型例题
排队问题、机器维修问题、随机游动问题的分析方法
?4马尔可夫过程的渐进特性
稳态分布存在的条件和性质
稳态分布求解
?5马尔可夫过程的研究
1概论
1.1 定义及性质
1.2 状态转移概率
1.3 齐次马尔可夫过程的状态转移概率
1.5跳跃强度、转移概率Q矩阵
2 前进方程和后退方程
2.1 切普曼-柯尔莫哥洛夫方程
2.2柯尔莫哥洛夫-费勒前进方程
2.2福克-普朗克方程
2.3柯尔莫哥洛夫-费勒后退方程
3典型的马尔可夫过程举例
例1
例2
例3
例4，随机游动
4马尔可夫过程的渐进特性
4.1 引理1
4.2 定理2
4.3 定理
5马尔可夫过程的研究
6关于负指数分布的补充说明：
1概论
1.1定义：马尔可夫过程
()t ξ：
参数域为T ，连续参数域。以下分析中假定[0,)T =∞； 状态空间为I ，离散状态。以下分析中取{0,1,2,}I ="；
对于T t t t t m m ∈<<<<+121"，若在12m t t t T <<<∈"这些时刻观察到随机过程的值是12,,m i i i "，则 1m m t t T +>∈时刻的条件概率满足:
{}{}1111()/(),,()()/(),
m m m m m m P t j t i t i P t j t i j I
ξξξξξ++======∈"
则称这类随机过程为具有马尔可夫性质的随机过程或马尔可夫过程。
1.2 定义：齐次马尔可夫过程
对于马尔可夫过程()t ξ，如果转移概率{}21()/()P t j t i ξξ==只是时间差12t t ?=τ的函数,这类马尔可夫过程称为齐次马尔可夫过程。
1.３ 性质
马尔可夫过程具有过程的无后效性；
参数连续状态离散的马尔可夫过程的条件转移概率为：
{}{}212112()/()0()/(),,P t j t t t P t j t i t t i j I ξξξξ′′=≤≤===≤∈
马尔可夫过程的有限维联合分布律可以用转移概率来表示
{}
{}{}{}32132211123(),(),()()/()()/()(),,,P t k t j t i P t k t j P t j t i P t i t t t i j k I
ξξξξξξξξ=========≤≤∈
马尔可夫过程的有限维条件分布律可以用转移概率来表示
1.4 跳跃强度
状态转移概率
{}21()/()P t j t i ξξ==
状态转移概率满足：
{}0)(/)(12≥==i t j t P ξξ
{}1)(/)(12
===∑∈I
j i t j t
P ξξ
齐次马尔可夫过程的状态转移概率：
)(τj i P
满足：
0)(≥τj i P ，1)(=∑∈I
j j i P τ
跳跃强度
()(0)0()0()ij ij ij ij ij P t P q t t q t t δΔ=+?Δ+Δ=+?Δ+Δ
()(0)
lim
ij ij ij t o
P t P q t
Δ→Δ?=Δ
其中1(0)0ij ij i j
P i j δ=?==?
≠?
称ij q 为参数连续状态离散齐次马尔可夫过程的跳跃强度
当j i ≠时，t
t P q ij o
t j i ΔΔ=→Δ)
(lim
当j i =时，t
t P q ij o
t ij Δ?Δ=→Δ1
)(lim
跳跃强度的性质：
0ij
j
q
=∑
转移率矩阵（跳跃强度矩阵）：
称Q={q ij }为过程的转移率矩阵；
1.5 马尔可夫过程研究的问题
马尔可夫过程的描述：
转移率矩阵：
i j Q q ??=??
状态转移概率矩阵：
()()i j P ττ??=??P
从特定状态转移到任意状态的转移概率矩阵：
记作()i τp ，为()()i j P ττ??=??P 的第i 行的行矢量 从任意状态转移到特定状态的转移概率矩阵：
记作()j τs ，为()()i j P ττ??=??P 的第j 行的列矢量 t 时刻系统状态的概率分布律矩阵：
[][]01()()(),(),(),i k t w t w t w t w t ==w ""
从实际物理问题，确定马尔可夫过程描述，相应的Q 矩阵 根据Q 矩阵，确定某一时刻在各个状态上的概率分布； 根据Q 矩阵，确定经过一段时间的状态转移概率； 渐进分析：确定当∞→t 时，在各个状态上的概率分布；
典型问题：机器维修问题
设某机器的正常工作时间是一负指数分布的随机变量，平均正常工作时间为1/λ，它损坏后的修复时间也是一个负指数分布的随机变量，它的平均修复时间为 1/μ。 如机器在t=0时是正常工作的，问在t=10时机器正常工作的概率如何？
2 前进方程和后退方程
2.1福克-普朗克方程
设t 时刻系统状态概率记为：()t w ，初始概率为(0)w 若已知初始概率和转移率矩阵Q ：如何求()t w ？ 根据全概率公式，有
w ()w ()()
w ()()w ()()
w ()[1()]w ()[()]w ()w ()[()]
w ()w ()j k k j k
j j j k k j k j
j j j k k j k j
j k k j k
j k k j
k
t t t P t t P t t P t t q t o t t q t o t t t q t o t d t t q dt
≠≠+Δ=?Δ=?Δ+?Δ=+?Δ+Δ+??Δ+Δ=+??Δ+Δ=?∑∑∑∑∑
写成矩阵形式有
()()d
t t dt
=w w Q 初始条件：(0)w
由此，可以根据初始概率和转移率矩阵得到()t w 。 若已知初始概率和转移概率矩阵P ：如何求()t w ？ 根据全概率公式：
()(0)()t P t =w w
求解机器维修问题
2.2 切普曼-柯尔莫哥洛夫方程
{}
{}{})
,,()(/)()(/)()(/)(321231213I j i t t t k t j t P i t k t P i t j t P I
k ∈<<==?=====∑∈ξξξξξξ
齐次马尔可夫过程的切普曼-柯尔莫哥洛夫方程：
I
j i t P t P t P I
k j k k i j i ∈>>?=+∑∈,,0,0,
)()()(τττ
2.2柯尔莫哥洛夫-费勒前进方程
根据转移率矩阵Q 求经过时间t 以后的转移概率。 从切普曼-柯尔莫哥洛夫方程，可以得到
()()()
()()()()
()[1()]()[()]
()()[()]
i j ik k j k
i j j j ik k j k j
i j j j ik k j k j
i j ik k j k
P t t P t P t P t P t P t P t P t q t o t P t q t o t P t P t q t o t ≠≠+Δ=?Δ=?Δ+?Δ=+?Δ+Δ+??Δ+Δ=+??Δ+Δ∑∑∑∑
由此得到关于状态转移概率的一个方程： 柯尔莫哥洛夫-费勒前进方程：
∑=k
j k ik j i q t P dt
t dP )()(
初始条件：1()
(0)0()i j i j P i j =?=?≠?
考虑矩阵柯尔莫哥洛夫-费勒前进方程中的第i 行，将矩阵)(t P 的第i 行记作)(t i p
Q p p )()(t t dt
d
i i = 初始条件是
(0)i p 是第i 个元素为1、其他元素为零的列矢量。
由此可以根据Ｑ矩阵，确定经过时间ｔ从状态ｉ到其它状态转移的概率。 柯尔莫哥洛夫-费勒前进方程的矩阵形式：
Q P P )()(t t dt
d
= 初始条件：I P =)0(
上述方程表示了根据Ｑ矩阵，确定经过时间ｔ状态转移概率矩阵。
2.3柯尔莫哥洛夫-费勒后退方程
根据转移率矩阵Q 求经过时间t 以后的转移概率。
)
()]([)()
()]([)()](1[)
()()()()()()(t P t o t q t P t P t o t q t P t o t q t P t P t P t P t P t P t t P j k k
k i j i j k j
k k i j i i i i
k j k ik j i i i k
j k ik j i ?Δ+Δ?+=?Δ+Δ?+?Δ+Δ?+=?Δ+?Δ=?Δ=+Δ∑∑∑∑≠≠
由此得到关于状态转移概率的一个方程： 柯尔莫哥洛夫-费勒后退方程：
∑=k
j k ik j i t P q dt
t dP )()(
初始条件是
1()
(0)0()
ij i j P i j =?=?
≠? 考虑矩阵柯尔莫哥洛夫-费勒后退方程中的第j 列，将矩阵)(t P 的第j 列记作)(t j s
)()(t t dt
d
j j s Q s = 初始条件是
(0)j s ：是第j 个元素为1、其他元素为零的列矢量。
由此可以根据Ｑ矩阵，确定从各状态出发，经过时间ｔ到j 状态的转移概率。 柯尔莫哥洛夫-费勒后退方程的矩阵形式：
)()(t t dt
d
P Q P = 初始条件是
I P =)0(
上述方程表示了根据Ｑ矩阵，确定经过时间ｔ状态转移概率矩阵。 前进方程，先选择初始态去分析，
后退方程，先选择结束态去分析。
前进方程和后退方程都是解决根据Q 矩阵，确定转移概率矩阵的问题。
例４
3举例
例1
设有一个时间连续、状态离散的马尔可夫过程{}0),(≥t t ξ，它的状态空间是I:{1,2, ,m}。当m j i j i ,,2,1,,"=≠时1=j i q ；当m j i ,,2,1"==时m q j i ?=1。求)(t P j i 。 解：
写出马尔科夫过程的Q 矩阵或者绘出系统的状态转换图。
给出m=4的一个例子：写出这个马尔科夫过程的Q 矩阵，或者绘出系统的状态转换图。
()i i d
t Q dt
=p p ()∑≠+?=j
k ik ij ij t P t P t P dt d
)()(41)( 对应统一的形式为
∑≠+?=j
k ik ij ij t P t P m t P dt d
)()()1()( 给出)(t P j i 的联立微分方程组
()(1)()()ij ij ik k j
d
P t m P t P t dt ≠=??+∑ 考虑到规一化条件，
()1
1()()
ik k
ij ik k j
P t P t P t ≠=?=∑∑
进一步得到微分方程是，
()(1)()1()()1
ij ij ij ij d
P t m P t P t dt
mP t ??=??+???=?+ 解微分方程（待定系数法）得到
m Ae t P mt j i /1)(+=?
考虑系统的初始条件，
j
i if
P j i if P j i j i ==≠=,1)0(,0)0(
相应微分方程的解是，
m
me
t P m me m t P mt
j i mt i i /1/1)(/1/)1()(+?=+?=??
求出Q 矩阵
建立状态转移概率的微分方程、状态转移概率的归一化条件；
例2机器维修问题
设某机器的正常工作时间是一负指数分布的随机变量，平均正常工作时间为1/λ，它损坏后的修复时间也是一个负指数分布的随机变量，它的平均修复时间为 1/μ。 如机器在t=0时是正常工作的，问在t=10时机器正常工作的概率如何？ 解1：
(1) 设)(t ξ代表在t 时刻机器的状态，有两个状态：工作中、维修中
则状态空间记为I ：{ 0,1}。
机器从正常工作到故障的时间间隔是负指数分布的； 机器从维修到恢复工作的时间间隔是副指数分布的； 负指数分布是无记忆的、无后效性的。
)(t ξ是一个参数连续状态离散的马尔可夫过程。
（2）求解Q 矩阵：
根据持续工作时间和故障修复时间的负指数分布特性，更新计数过程服从泊松分布，t Δ时间内系统状态转移概率如下： 0,0()1P t t λΔ=??Δ
0,1()P t t λΔ=?Δ 1,0()P t t μΔ=Δ 1,1()1P t t μΔ=??Δ
因此，系统的Q 矩阵为：
λλμμ???
=?
????
Q Q λλμ
μ???=?
????
(3) 利用福克－普朗克方程求解
Q λλμμ???=?
????
[][][]010101()()()()()()d
w t w t w t w t Q w t w t dt λλμ
μ???
==?????
001101()()()()()()d
w t w t w t dt
d
w t w t w t dt
λμλμ=?+=?
初始条件：01(0)1,(0)0w w ==
解得：
()0()1()()t
t
w t e w t e
λμλμμ
λ
λμλμ
λλλμλμ
?+?+=
+
++=?++
解2: 利用系统的后退方程求解 （终结状态是正常工作的0状态），
??????????????????=????????=????
????)()()()()()(100010001000t P t P t P t P Q t P t P dt d μμλλ )()()()()()(100010100000t P t P t P dt
d
t P t P t P dt
d
μμλλ?=+?=
初始条件：0010(0)1,(0)0P P == 由微分方程组可以得到，
[][]0
)()()()()()(100010001000=?++?=+t P t P t P t P t P dt
d
t P dt d μμλλλμλμ
即C t P t P =+)()(1000λμ， 考虑到初始条件有，
C P P ==?+?=+μλμλμ01)0()0(1000
即[])(1)(,)()(00101000t P t P t P t P ?==
+μλμλμ
代入微分方程组，解)(00t P 的微分方程
[]μμλμλ++?=?+?=)()()(1)()(00000000t P t P t P t P dt d
μμλ=++)()()(0000t P t P dt
d
得到微分方程的解，
)/()()(00μλμμλ++=+?t Ae t P
由初始条件得到μ
λλ+=
A
()00()10()()t
t
P t e P t e λμλμμ
λ
λμλμ
μμλμλμ
?+?+=
+
++=
?++
根据全概率公式：
若：01(0)1,
(0)0w t w t ====
()(0)()t P t =w w
000010100(10)(10)(0)(10)(0)
(10)
w t P t w t P t w t P t ====+====
10()(10)w t e λμμλλμ
λμ
?+==
+
++
解3：
t=0到t=10期间，机器可以一直正常工作的概率，
t=0到t=10期间，机器可以损坏一次又修复正常工作的概率， t=0到t=10期间，机器可以损坏n 次又修复正常工作的概率，
可以按全概率公式，计算机器在t=0时正常工作，到t=10时机器正常工作的概率。
例3排队问题（M/M/1/3）
设有一个服务台， t=0时刻服务人员空闲着。到达服务台的顾客数是服从泊松分布的随机变量，即顾客流是泊松过程。单位时间到达服务台的平均人数为λ。服务台只有一个服务员，对顾客的服务时间是负指数分布的随机变量，平均服务时间是1/μ。服务台空闲时间到达的顾客立刻得到服务，如果顾客到达时服务员正在为另一顾客服务，则他必须排队等候；如果顾客到达时发现已经有两人在等候，则他就离开而不再回来。 (1) 分析该过程的马尔可夫特性 (2) 求该过程的Q 矩阵
(3) 求t 时刻系统内有n 个顾客的概率
解：设)(t ξ代表在t 时刻系统内的顾客人数，则状态空间为I ：{0,1,2,3}。 （1）)(t ξ是一个参数连续状态离散的马尔可夫过程。 （2）求解Q 矩阵：
根据系统顾客到达规律和服务时间的分布
t Δ时间内系统增加一个顾客的概率是：
,1()(),0,1,2i i P t t o t i λ+Δ=?Δ+Δ=
则：,1,10
()
,0,1,2lim i i i i t P t q i t λ++Δ?>Δ=
==Δ
t Δ时间内，因服务完毕离开而减少一个顾客的概率是：
,1()(),1,2,3i i P t t o t i μ?Δ=?Δ+Δ=
则：,1,10
()
,1,2,3lim i i i i t P t q i t μ??Δ?>Δ=
==Δ 而：系统同时增加或减小两个和两个以上的顾客的概率是趋于0 的,
,()(),0,1,2,(1)3123,0(1)i j P t o t i i j i j i Δ=Δ=+<≤=≤
则： ,0,0,1,2,(1)3123,0(1)i j q i i j i j i ==+<≤=≤
根据0ij
j
q
=∑，得
,,,,0,1,2,3i i i j j I j i
q q i ∈≠=?
=∑
则：
,,
0(),1,2,3i i i q i i λλμμ?=??
=?+=???=?
因此，系统地Q 矩阵为：
??????
????
???
??+?+??=μμ
λμλμ
λ
μλμλ
λ0
0)
(00)
(00
Q （3） t 时刻系统内有n 个顾客的概率分布
根据福克-普朗克方程：
()()d
t t dt
=w w Q 初始条件：(0)w
由此，可以根据初始概率和转移率矩阵得到()t w 。 即：
00110122123323()()()()()()()()()()()()()()()()d
w t w t w t dt d
w t w t w t w t dt
d
w t w t w t w t dt d
w t w t w t dt
λμλλμμλλμμλμ=?+=?++=?++=?
系统的初始条件是，
0(0)1
(0)0,1,2,3
i w w i ===
对联合微分方程组求解。
例4 连续参数随机游动问题
设在[1,5]的线段上有一个质点作随机游动，此质点只能停留在1，2，3，4，5，诸点上。质点任何时刻都可能发生移动，其移动的规则是：
（1）若在时刻t 质点位于2，3，4中的一点，则在（t+Δt ）中以概率λΔt + O(Δt)向右移动一格，以概率μΔt + O(Δt)向左移动一格；
（2）若在时刻t 质点位于1，则在（t+Δt ）中以概率λΔt + O(Δt)向右移动一格； （3）若在时刻t 质点位于5，则以后远停留在5； （4）在（t+Δt ）发生其他移动的概率是O(Δt)。 求)(t p j i 满足的微分方程。 解：
写出马尔科夫过程的Q 矩阵或者绘出系统的状态转换图。系统由1，2，3，4，5等5个状态。相应的Q 矩阵是，
???????
?
???????
?+?+?+??=00
0)
(000)
(0
00)
(000λμλμλμλμλμλμλ
λQ 根据柯尔莫哥洛夫-费勒前进方程，可以列出)(t p j i 满足的微分方程：
()(),,i j ik k j k
dP t P t q i j I dt
=∈∑
初始条件：?
??≠===)(0)(1)0(j i j i P j
i j i δ
根据柯尔莫哥洛夫-费勒后退方程，可以列出)(t p j i 满足的微分方程：
()(),,i j ik k j k
dP t q P t i j I dt
=∈∑
初始条件：?
??≠===)(0)
(1)0(j i j i P j i j i δ
求出Q 矩阵
建立状态转移概率的微分方程、状态转移概率的归一化条件。
4马尔可夫过程的渐进特性
设)(t p i 表示t 时刻马尔可夫过程处于状态i 的概率。
4.1 引理1
当∞→t 时，)(t p i 趋于一个与初始分布)0(i p 无关的极限，其充要条件是相应的转移概率)(t p j i 对于任何一个i 趋于同一极限。
4.2 定理2
对于任何时间连续、状态离散且有限的马尔可夫过程，若存在一个t 0使得对任何i,r 有
0)(0>t p r i ，那么j j i t p t p im l =∞
→)(存在且与i 无关。
4.3 定理
对于任何时间连续、时间离散的马尔可夫过程，若存在一个t 0，使得对于任何i ，I r ∈有0>r i p ，则
j j i t p t p im l =∞
→)(，j j t p t p im l =∞
→)(
机器维修问题
可以解得转移概率如下：
()00()10()()t
t
P t e P t e λμλμμ
λ
λμλμ
μμλμλμ
?+?+=
+
++=
?++
()01()11
()()t
t
P t e P t e λμλμλ
λ
λμλμ
λμλμλμ
?+?+=
?
++=+++
因此转移概率存在极限分布：
01lim ()lim ()i t i t P t P t μ
λμ
λ
λμ
→∞
→∞=
+=+
ｔ时刻的状态分布存在极限：
()0()1()()t
t
w t e w t e
λμλμμ
λ
λμλμ
λλλμλμ
?+?+=
+
++=?++
01lim ()lim ()t t w t w t μ
λμ
λ
λμ
→∞
→∞=
+=+ 0011lim ()lim ()
lim ()lim ()
i t t i t t w t p t w t p t →∞→∞
→∞
→∞
==
5马尔可夫过程的研究
建立马尔可夫过程的模型
马尔可夫过程的状态、状态空间、相应的概率，
马尔可夫过程的状态转移概率、齐次马尔科夫过程的状态转移概率
齐次马尔科夫过程的状态转移概率矩阵 从任意状态转移到特定状态的概率 从特定状态转移到任意状态的概率 状态转移跳跃率
确定马尔可夫过程Q 矩阵 确定马尔可夫过程的基本方程
马尔可夫过程状态概率的微分方程 切普曼-柯尔莫哥洛夫方程
从状态i 出发到达任意状态的转移概率前进微分方程 从任意状态出发到达状态j 的转移概率后退微分方程 求解基本方程
解微分方程组 用拉氏变换 利用母函数求解
建立均值函数微分方程求解 建立稳态概率微分方程求解
6关于负指数分布的补充说明
例1、顾客接受服务的时间服从负指数分布，其服务时间是t 的概率密度函数是，
at s Ce t f ?=)(
由归一化条件，
1)(0
=∫∞
dt t f
s
得到
at s ae t f ?=)(
由平均服务时间，μ
1
)(0
=
?∫
∞
dt t f t s 得到
()t s f t e μμ?=。
例2、顾客接受服务的时间服从负指数分布，其服务时间是t 的概率密度函数是，
t s e t f μμ?=)(
工作寿命大于u 的概率是，
u u
t u s
e dt e dt t f
μμμ?∞
?∞
==∫∫)(
工作寿命大于t 的条件下，继续工作寿命大于u 的概率是：
()u
t u t t
t
u
t t
t s
u
t s
e e e dt e
dt
e
dt
t f
dt
t f
μμμμμμμ??+?∞
?∞
+?∞
∞
+===
∫∫∫∫)()(
结论：
顾客接受服务的时间服从负指数分布，其继续工作的寿命与他过去接受服务的时间无关。
负指数分布是无记忆的、无后效性的。
例3 关于负指数分布的离去率。
首先计算负指数分布的服务过程，在T 时刻的离去概率。顾客在(0,T)区间得到服务，在(T,T+Δt)区间离开的概率可以写作，
()()T t
T t
T t t T T s T
T
f t dt e dt e e e t μμμμμμ+Δ+Δ?+Δ???=
=?+=?Δ∫
∫
。
这个概率是两个联合事件的概率，即在(0,T)区间没有离去（得到服务），而在(T,T+Δt)区间离开的联合概率。这两个事件是相互独立的，顾客在(0,T)区间得到服务，在(T,T+Δt)区间离开的概率等于在(0,T)区间没有离去（得到服务）的概率与在(T,T+Δt)区间离开的概率之积。
在(0,T)区间没有离去的概率是，
()t
T s
T
T
f t dt e
dt e μμμ∞
∞
??==∫∫
在(T,T+Δt) 区间离开的概率是，
T T e t e t μμμμ???Δ=Δ。
7关于独立增量过程的马尔科夫性质的证明
设{}0),(≥t t N 是一个独立增量过程，它必定是一个马尔科夫过程。 证明：
对于独立增量过程{}1210),(+<<<< [][][] n n n n n n m m n n n n n n m m n n x x t N t N P x t N x t N x t N x x t N t N P x t N x t N x t N x t N P ?=?====?=?=====++++++11,1111,1111)()()(,,,)(,)(/)()()(,,,)(,)(/)("""" 对于独立增量过程{}1210),(+<<<< [] [][] n n n n n n n n n n n n n n x x t N t N P x t N x x t N t N P x t N x t N P ?=?==?=?===++++++111111)()()(/)()()(/)( 因此独立增量过程是一个马尔科夫过程，即 [][] n n n n n n m m n n x t N x t N P x t N x t N x t N x t N P =======++++)(/)()(,,,)(,)(/)(11,1111"" 第十三章 马尔可夫链 马尔可夫过程是一类特殊的随 机过程, 马尔可夫链是离散状态的马尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的. 应用十分广泛,其应用领域涉及 计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等. 第一节 马尔可夫链的定义 一．定义 定义 1 设随机过程} ),({T t t X ∈的状态空间S 是有限集或可列集,对任意正整数n ,对于T 内任意1+n 个参数121+< 如果条件概率 })(,,)(,)(|)({221111n n n n j t X j t X j t X j t X P =???===++})(|)({11n n n n j t X j t X P ===++,(13.1) 恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性. 马氏性的直观含义可以解释如下: 将n t 看作为现在时刻,那末,121,,,-???n t t t 就是过去时刻,而1+n t 则是将来时刻.于是,(13.1)式是说,当已知系统现时情况的条件下,系统将来的发展变化与系统的过去无关.我们称之为无后效性. 许多实际问题都具有这种无后 效性. 例如 生物基因遗传从这一代 到下一代的转移中仅依赖于这一代而与以往各代无关. 再如,每当评估一个复杂的计 算机系统的性能时,就要充分利用系统在各个时刻的状态演变所具有 的通常概率特性:即系统下一个将到达的状态,仅依赖于目前所处的状态,而与以往处过的状态无关. 此外,诸如某公司的经营状况 等等也常常具有或近似具有无后效性. 二． 马尔可夫链的分类 状态空间S 是离散的(有限集或可列集),参数集T 可为离散或连续的两类. 三．离散参数马尔可夫链 （1）转移概率 定义2 在离散参数马尔可夫链 },,,,,),({210??????=n t t t t t t X 中, 条件概率 )(})(|)({1m ij m m t p i t X j t X P ===+ 称为)(t X 在时刻(参数)m t 由状态i 一 步转移到状态j 的一步转移概率, 简称转移概率. 随机过程习题解答（一） 第一讲作业： 1、设随机向量的两个分量相互独立，且均服从标准正态分布。 （a）分别写出随机变量和的分布密度 （b）试问：与是否独立？说明理由。 解：（a） （b）由于： 因此是服从正态分布的二维随机向量，其协方差矩阵为： 因此与独立。 2、设和为独立的随机变量，期望和方差分别为和。 （a）试求和的相关系数； （b）与能否不相关？能否有严格线性函数关系？若能，试分别写出条件。 解：（a）利用的独立性，由计算有： （b）当的时候，和线性相关，即 3、设是一个实的均值为零，二阶矩存在的随机过程，其相关函数为 ，且是一个周期为T的函数，即，试求方差 函数。 解：由定义，有： 4、考察两个谐波随机信号和，其中： 式中和为正的常数；是内均匀分布的随机变量，是标准正态分布的随机变量。 （a）求的均值、方差和相关函数； （b）若与独立，求与Y的互相关函数。 解：（a） （b） 第二讲作业： P33/2．解： 其中为整数，为脉宽 从而有一维分布密度： P33/3．解：由周期性及三角关系，有： 反函数，因此有一维分布： P35/4. 解：(1) 其中 由题意可知，的联合概率密度为： 利用变换：，及雅克比行列式： 我们有的联合分布密度为： 因此有： 且V和相互独立独立。 （2）典型样本函数是一条正弦曲线。 （3）给定一时刻，由于独立、服从正态分布，因此也服从正态分布，且 所以。 （4）由于： 所以因此 当时， 当时， 由（1）中的结论，有： P36/7．证明： (1) (2) 由协方差函数的定义，有： P37/10. 解：（1） 当i =j 时；否则 令 ，则有 第三讲作业： P111/7．解： （1）是齐次马氏链。经过次交换后，甲袋中白球数仅仅与次交换后的状态有关，和之前的状态和交换次数无关。 （2）由题意，我们有一步转移矩阵： P111/8．解：（1）由马氏链的马氏性，我们有： （2）由齐次马氏链的性质，有： （2） 随机过程——马尔可夫过程的应用 年级：2013级 专业：通信工程3班 姓名：李毓哲 学号：31 摘要：随机信号分析与处理是研究随机信号的特点及其处理方法的专业基础， 是目标检测、估计、滤波灯信号处理理论的基础，在通信、雷达、自动检测、随机振动、图像处理、气象预报、生物医学、地震信号处理等领域有着广泛的应用，随着信息技术的发展，随机信号分析与处理的理论讲日益广泛与深入。 随机过程是与时间相关的随机变量，在确定的时刻它是随机变量。随机过程的具体取值称作其样本函数，所有样本函数构成的集合称作随机过程的样本函数空间，所有样本函数空间及其统计特性即构成了随机过程。通信工程中存在大量的随机现象和随机问题。如：信源是随机过程；信道不仅对随机过程进行了变换，而且会叠加随机噪声等。 马尔可夫过程是一类非常重要的随机过程。随着现代科学技术的发展，很多在应用中出现的马氏过程模型的研究受到越来越多的重视。在现实世界中，有很多过程都是马尔可夫过程，马尔可夫过程在研究质点的随机运动、自动控制、通信技术、生物工程等领域中有着广泛的应用。我们可以通过对马尔可夫过程的研究来分析马尔可夫信源的特性。 关键词：随机过程，马尔可夫过程，通信工程，应用 目录 一、摘要 二、随机过程 、随机过程的基本概念及定义 、随机过程的数学描述 、基于MATLAB的随机过程分析方法三、马尔可夫过程 马尔可夫过程的概念 马尔可夫过程的数学描述 四、马尔可夫过程的应用 马尔可夫模型在通信系统中的应用 马尔可夫模型在语音处理的应用 马尔可夫模型的其他应用 五、结论 参考文献 二、随机过程 、随机过程的基本概念及定义 自然界变换的过程通常可以分为两大类——确定过程和随机过程。如果每次试验所得到的观测过程都相同，且都是时间t的一个确定函数，具有确定的变换规律，那么这样的过程就是确定过程。反之，如果每次试验所得到观测过程都不相同，是时间t的不同函数，没有为确定的变换规律，这样的过程称为随机过程。 、随机过程的数学描述 设随机试验E的样本空间Ω，T是一个数集（T∈(-∞,∞)），如果对于每一个t ∈T，都有一个定义在样本空间Ω上的随机变量 X(w,t)，w∈Ω，则称依赖于t的一族随机变量{X(w,t)，t∈T}为随机过程或随机函数，简记为{X(t)，t∈T }或X(t)，其中t称为参数，T称为参数集。当T={0,1,2,…}，T={1,2,…}，T={…,-2,-1,0,1,2,…}时，{X(w,t)t∈T}称为随机序列或时间序列。 、基于MATLAB的典型随机过程的仿真 信号处理仿真分析中都需要模拟产生各种随机序列，通常都是先产生白噪声序列，然后经过变换得到相关的随机序列，MATLAB有许多产生各种分布白噪声的函数。 第二章 随机过程分析 1.1 学习指导 1.1.1 要点 随机过程分析的要点主要包括随机过程的概念、分布函数、概率密度函数、数字特征、通信系统中常见的几种重要随机过程的统计特性。 1. 随机过程的概念 随机过程是一类随时间作随机变化的过程，它不能用确切的时间函数描述。可从两种不同角度理解：对应不同随机试验结果的时间过程的集合，随机过程是随机变量概念的延伸。 2. 随机过程的分布函数和概率密度函数 如果ξ(t )是一个随机过程，则其在时刻t 1取值ξ(t 1)是一个随机变量。ξ(t 1)小于或等于某一数值x 1的概率为P [ ξ(t 1) ≤ x 1 ]，随机过程ξ(t )的一维分布函数为 F 1(x 1, t 1) = P [ξ(t 1) ≤ x 1] (2-1) 如果F 1(x 1, t 1)的偏导数存在，则ξ(t )的一维概率密度函数为 1111111 (,) (, ) (2 - 2)?=?F x t f x t x 对于任意时刻t 1和t 2，把ξ(t 1) ≤ x 1和ξ(t 2) ≤ x 2同时成立的概率 {}212121122(, ; , )(), () (2 - 3)F x x t t P t x t x ξξ=≤≤ 称为随机过程ξ (t )的二维分布函数。如果 2212122121212 (,;,) (,;,) (2 - 4)F x x t t f x x t t x x ?=??? 存在，则称f 2(x 1, x 2; t 1, t 2)为随机过程ξ (t )的二维概率密度函数。 对于任意时刻t 1，t 2，…，t n ，把 {}n 12n 12n 1122n n ()(),(), ,() (2 - 5) =≤≤≤F x x x t t t P t x t x t x ξξξ，，，；，，，称为随机过程ξ (t )的n 维分布函数。如果 n n 12n 12n n 12n 12n 12n (x ) () (2 - 6)?=???F x x t t t f x x x t t t x x x ，，，；，，，，，，；，，， 存在，则称f n (x 1, x 2, …, x n ; t 1, t 2, …, t n )为随机过程ξ (t )的n 维概率密度函数。 3. 随机过程的数字特征 随机过程的数字特征主要包括均值、方差、自相关函数、协方差函数和互相关函数。 随机过程ξ (t )在任意给定时刻t 的取值ξ (t )是一个随机变量，其均值为 []1()(, )d (2 - 7)E t xf x t x ξ∞ -∞ =? 马尔可夫过程 ?1马尔可夫过程概论 6 1.1马尔可夫过程处于某个状态的概率 6 1.2马尔可夫过程的状态转移概率 6 1.3参数连续状态离散马尔可夫过程的状态转移的切普曼-柯尔莫哥洛夫方程 切普曼-柯尔莫哥洛夫方程 齐次切普曼-柯尔莫哥洛夫方程 转移概率分布函数、转移概率密度函数 6 1.4马尔可夫过程状态瞬时转移的跳跃率函数和跳跃条件分布函数 瞬时转移概率分布函数 6 1.5确定马尔可夫过程Q矩阵 跳跃强度、转移概率Q矩阵 ?2参数连续状态离散马尔可夫过程的前进方程和后退方程 柯尔莫哥洛夫-费勒前进方程（利用Q矩阵可以导出、转移概率的微分方程）福克-普朗克方程（状态概率的微分方程） 柯尔莫哥洛夫-费勒后退方程（利用Q矩阵可以导出、转移概率的微分方程）?3典型例题 排队问题、机器维修问题、随机游动问题的分析方法 ?4马尔可夫过程的渐进特性 稳态分布存在的条件和性质 稳态分布求解 ?5马尔可夫过程的研究 1概论 1.1 定义及性质 1.2 状态转移概率 1.3 齐次马尔可夫过程的状态转移概率 1.5跳跃强度、转移概率Q矩阵 2 前进方程和后退方程 2.1 切普曼-柯尔莫哥洛夫方程 2.2柯尔莫哥洛夫-费勒前进方程 2.2福克-普朗克方程 2.3柯尔莫哥洛夫-费勒后退方程 3典型的马尔可夫过程举例 例1 例2 例3 例4，随机游动 4马尔可夫过程的渐进特性 4.1 引理1 4.2 定理2 4.3 定理 5马尔可夫过程的研究 6关于负指数分布的补充说明： 1概论 1.1定义：马尔可夫过程 ()t ξ： 参数域为T ，连续参数域。以下分析中假定[0,)T =∞； 状态空间为I ，离散状态。以下分析中取{0,1,2,}I ="； 对于T t t t t m m ∈<<<<+121"，若在12m t t t T <<<∈"这些时刻观察到随机过程的值是12,,m i i i "，则 1m m t t T +>∈时刻的条件概率满足: {}{}1111()/(),,()()/(), m m m m m m P t j t i t i P t j t i j I ξξξξξ++======∈" 则称这类随机过程为具有马尔可夫性质的随机过程或马尔可夫过程。 1.2 定义：齐次马尔可夫过程 对于马尔可夫过程()t ξ，如果转移概率{}21()/()P t j t i ξξ==只是时间差12t t ?=τ的函数,这类马尔可夫过程称为齐次马尔可夫过程。 1.３ 性质 马尔可夫过程具有过程的无后效性； 参数连续状态离散的马尔可夫过程的条件转移概率为： {}{}212112()/()0()/(),,P t j t t t P t j t i t t i j I ξξξξ′′=≤≤===≤∈ 马尔可夫过程的有限维联合分布律可以用转移概率来表示 {} {}{}{}32132211123(),(),()()/()()/()(),,,P t k t j t i P t k t j P t j t i P t i t t t i j k I ξξξξξξξξ=========≤≤∈ 马尔可夫过程的有限维条件分布律可以用转移概率来表示 随机变量巩固练习―――重点：“函数的函数”相关运算 定理 1 设X 为连续型一维随机变量，其概率密度函数为()X f x ,则对于Y ＝g(X)的概率密度函数，有下列结果： （1）若g(x)是严格单调可微函数，则Y=g(X)的概率密度函数为 (())'(),()0, X Y f h y h y y I f y y I ?∈?=???? 其中h(y)是y=g(x)的反函数. (2)若g(x)不是严格单调可微函数，则将g(x)在其定义与上分成若干个单调分支，在每个单调分支上应用(1)的结果得Y=g(X)的概率密度函数为 1122(())'()(())'(),()0, X X Y f h y h y f h y h y y I f y y I ?++∈?=???? 其中I 是在每个单调分支上按照（1）确定的y 的取值公共部分。 练习1 设~[,],tan 22X U Y X ππ-=，试求Y 的概率密度函数()Y f y . 练习2 设 随机变量X 在(0,1)区间内服从均匀分布，试求 （1）X Y e =的概率密度函数 （2）2ln Y X =-的概率密度函数 随机过程巩固练习 1 设随机过程(),(0,),X t Vt b t b =+∈∞为常数，V 为服从正态分布N(0,1)的随机变量。求：X(t)的一维概率密度函数、均值和相关函数。 2 设随机变量Y 具有概率密度函数f(y),令 (),0,0Yt X t e t Y -=>> 求随机过程X(t)的一维概率密度函数、均值和相关函数。 3 设有随机过程()cos()sin()X t A wt B Wt = +，其中w 为常数，A ，B 是相互独立的且服从正态分布2(0,)N σ的随机变量。求随机过程的均值和相关函数。 4 已知随机过程X(t)的均值函数()X m t 和协方差函数12(,),()X B t t t ?为普通函数，令()()()Y t X t t ?=+，求随机过程Y(t)的均值和协方差函数。 5 设随机过程()cos()X t A wt =+Θ，其中,A w 为常数，随机变量Θ服从(,)ππ-上 的均匀分布。令2()()Y t X t = ，求(,)Y R t t s + 6 设X(t)为实随机变量，x 为任意实数，令 1,()()0,()X t x Y t X t x ≤?=?>? 证明随机过程 Y(t)的均值函数和相关函数分别是X(t)的一维和二维分布函数。 2.1 设)(t ξ是一马尔可夫过程，又设k n n n t t t t t ++<<<<<<ΛΛ121。试证明： )/(),,/(1/1,,/11++++++=n n t t k n n n t t t x x f x x x f n n k n n n ΛΛ 即一个马尔可夫过程的反向也具有马尔可夫性。 证明：首先，由条件概率的定义式得 ) ,,(),,,(),,/(1,,1,,,1,,/111k n n t t k n n n t t t k n n n t t t x x f x x x f x x x f k n n k n n n k n n n ++++++++++++= ΛΛΛΛΛΛ 根据马尔可夫性将上式中的分子和分母展开，并化简得 ) () ()/()()/()/() ()/()/()/(),,/(11/112/1/1/12/1/1,,/11112111211+++++-+++++-+++++++++-+++++-++++== n t n t n n t t n t n n t t k n k n t t n t n n t t n n t t k n k n t t k n n n t t t x f x f x x f x f x x f x x f x f x x f x x f x x f x x x f n n n n n n n k n k n n n n n n k n k n k n n n ΛΛΛΛ 于是， )/() (),(),,/(1/11,1,,/1111++++++++++== n n t t n t n n t t k n n n t t t x x f x f x x f x x x f n n n n n k n n n ΛΛ 2.2 试证明对于任何一个马尔可夫过程，如“现在”的)(t ξ值为已知，则该过程的“过去”和“将来”是相互统计独立的，即如果有321t t t <<，其中2t 代表“现在”，1t 代表“过去”，3t 代表“将来”，若22)(x t =ξ为已知值。试证明： )/()/()/,(23/21/231/,2321231x x f x x f x x x f t t t t t t t = 证明：首先，由条件概率的定义式得 ) () ,,()/,(2321,,231/,2321231x f x x x f x x x f t t t t t t t = 然后，根据马尔可夫性将上式中的分子展开，并化简得 ) (),() /()() ()/()/()/,(221,23/2112/23/231/,22123211223231x f x x f x x f x f x f x x f x x f x x x f t t t t t t t t t t t t t t == 随机过程习题解答（一）第一讲作业： 1、设随机向量的两个分量相互独立，且均服从标准正态分布。 （a ）分别写出随机变量和的分布密度 （b ）试问：与是否独立？说明理由。 解：（a） （b）由于： 因此是服从正态分布的二维随机向量，其协方差矩阵为： 因此与独立。 2、设和为独立的随机变量，期望和方差分别为和。 （a ）试求和的相关系数； （b ）与能否不相关？能否有严格线性函数关系？若能，试分别写出条件。解：（a ）利用的独立性，由计算有： （b ）当的时候，和线性相关，即 3、 设是一个实的均值为零，二阶矩存在的随机过程，其相关函数 为 ，且是一个周期为T 的函数，即， 试求方差函数 。 解：由定义，有： 4、考察两个谐波随机信号和，其中： 式中和为正的常数；是内均匀分布的随机变量，是标准正态分布的随机变量。 （a ）求的均值、方差和相关函数； （b ）若与独立，求与Y的互相关函数。 解：（a ） （b ） 第二讲作业： P33/2．解： 其中为整数， 为脉宽 从而有一维分布密度： P33/3．解：由周期性及三角关系，有： 反函数 ，因此有一维分布： P35/4. 解： (1) 其中 由题意可知， 的联合概率密度为： 利用变换： ，及雅克比行列式： 我们有 的联合分布密度为： 因此有： 且 V 和 相互独立独立。 （2）典型样本函数是一条正弦曲线。 （3）给定一时刻，由于 独立、服从正态分布，因此 也服从正态分布，且 所以 。 （4） 由于： 所以 因此 当时， 当 时， 由（1）中的结论，有： P36/7．证明： (1) (2) 由协方差函数的定义，有： P37/10. 解：（1） 当i =j 时 ；否则 令 ，则有 （2） 第 2 章 随机过程 2.1 引言 ?确定性信号是时间的确定函数，随机信号是时间的不确定函数。 ?通信中干扰是随机信号，通信中的有用信号也是随机信号。 ?描述随机信号的数学工具是随机过程，基本的思想是把概率论中的随机变量的概念推广到 时间函数。 2.2 随机过程的统计特性 一.随机过程的数学定义： ?设随机试验E 的可能结果为)(t g ，试验的样本空间S 为{x 1(t), x 2(t)， …, x n (t),…}， x i (t) 是第i 次试验的样本函数或实现，每次试验得到一个样本函数，所有可能出现的结果的总体就构成一随机过程，记作)(t g 。 随机过程举例： 二.随机过程基本特征 其一，它是一个时间函数； 其二，在固定的某一观察时刻1t ，)(1t g 是随机变量。 随机过程具有随机变量和时间函数的特点。 ● 随机过程)(t g 在任一时刻都是随机变量； ● 随机过程)(t g 是大量样本函数的集合。 三.随机过程的统计描述 设)(t g 表示随机过程，在任意给定的时刻T t ∈1， )(1t g 是一个一维随机变量。 1.一维分布函数：随机变量)(t g 小于或等于某一数值x 的概率，即 })({);(1x t g P t x P ≤= 2.2.1 2.一维概率密度函数:一维概率分布函数对x 的导数. x t x P t x p ??= ) ;(),(11 2.2.2 3.对于任意两个时间1t 和2t ,随机过程的对应的抽样值)(1t g )(2t g 为两个随机变量.他们的联合分布定义为)(t g 的二维分布 })(;)({),;,(221121212x t g x t g P t t x x P ≤≤= 2.2.3 4.二维分布密度定义为 2 12121221212) ,;,(),;,(x x t t x x P t t x x p ???= 2.2.4 四.随机过程的一维数字特征 设随机过程)(t g 的一维概率密度函数为),(1t x p . 1.数学期望(Expectation) dx t x xp t g E t g );()]([)(1?∞ ∞ -==μ 2.2.5 2.方差(Variance) 随机过程习题解答（二） P228/1. 证明：由于，有 t s <{}{}{} {}{} n t N P k n s t N P k s N P n t N P n t N k s N P n t N k s N P =?=??== = ==== ==)(})({)()()(,)()()( 其中 {}) ()!())((! )(})({)(s t k n s k e k n s t e k s k n s t N P k s N P ???????= ?=??=λλλλ {}t n e n t n t N P λλ?==! )()( 所以 {}k n k k n k n k k t n s t k n s k k s k s k n k n k n t s t t s e n t e k n s t e k s n t N k s N P ???????? ? =??=???= ==1)!(!! )(!)()! ())((!)()(/)() (λλλλλλ 证毕。 P229/3. 解：（1）因为{是一Poission 过程，由母函数的定义，有： }0),(≥t t N ()( ) ()(( )() ) ()(})({})({})({})({})({})({})({})({})({})({})({)()()(0 0000000 )(s s s j t N P s l t N P s l k t N P s l t N P s l k t N P s l t N P s l k t N P s l t N P s l k t N P l t N P s k t t N P s t N t N j j l l l k l k l l l l k l k l k k l l k l k k k l k k t t N ?∞ =∞=∞ =?∞ =∞ =∞=?∞ ==?∞ ==∞ =?+Ψ?Ψ=?=??==??=??== ??=???== ??=???==? ?=??==?=?+=Ψ∑∑∑∑∑∑∑∑∑∑∑) （2）由上面（1）的结果，可得： 第二讲 无线多径信道特性 §2－1瑞利（Rayleigh ）和莱斯（Ricean ）衰落 图2.1 L 个路径的典型无线多径衰落信道 发送信号 ()t f j c e t s t x π2)(Re )(= )(t s 是基带信号，c f 为载波频率。 通过多径信道，接收信号为： ))(()()(1t t x t t y l L l l τα-=∑= ?? ? ??-=∑L l t f j l t f j l c l c e t t s e t πτπτα2)(2))(()(Re )(t l α为复数信道损耗；)(t l τ为实数的信道时间延迟；均为随机过程。 等效的基带接收信号 ∑-=L l l t f j l t t s e t t r l c ))(()()()(2τατπ );()(t h s ττ*= （2－1） );(t h τ为多径信道在t 时刻等效的基带脉冲响应。 );(t h τ∑-=L l l t f j l t e t l c ))(()()(2ττδατπ ∑-=L l l l t t t ))(()(τδβ )(t l β是一个复值随机过程。 显然接收信号模化为一种复值高斯随机过程，均值，方差为： ))((t r E av r =，))()((212 t r t r E r *=σ 其分布密度（p.d.f ）为 22)()(2 21 )(r r r av r av r r e r p σπσ---*= 接收信号的包络和相位： )()(t r t =ξ，))(arg()(t r t =θ 其联合分布密度为 22222)sin cos (222),(r Q I r a a A r e e p σθθξσξπσξθξ++-= 其中： )Re(r I av a =，)Im(r Q av a = r av A = 可以求得： ?=π θθξξ20),()(d p p 22 22202)(r A r r e A I σξσξσξ+-= (2－2) )(0x I 零阶第一类修正贝塞尔函数， ?=πθθ20 cos 021)(d e x I x （2）式的幅度分布为莱斯分布（Ricean ），222r A K σ=称为“莱斯因子”。当r av A = ＝0 时，（2）式的幅度分布 变为： 第二章 一、填空题 1、随机过程若按状态空间与参数集分类可分为＿＿、＿＿、＿＿、＿＿四类. 2、＿＿是随机过程{X(t)，t∈T}在时刻t的平均值，＿＿是随机过程在时刻t对均值m x(t)的偏离程度，而＿＿和＿＿则反映随机过程{X(t)，t∈T}在时刻s和t 时的线性相关度. 3、若随机变量x服从（01）分布，即p k=p{x=k}=,k=0,1则其特征函数g(t)=＿＿. 4、若随机变量X服从参数为的指数分布，则其特征函数g(t)=＿＿. 5、若随机变量X服从退化分布，即p(X=c)=1，其中c为常数，则其特征函数g(t)=＿＿. 二、计算题 1、已知Γ分布，X～Γ(α，β)， 若 其中α，β>0，试求Γ分布的特征函数. 2、设随机变量X服从泊松分布,即p k=p(X=k)=,k=0,1,…,n,求其特征函数. 3、设随机过程X(t)=Y+Zt，t>0,其中Y，Z是相互独立的N（0，1）随机变量，求{ X(t)，t>0}的一，二维概率密度族. 4、设随机过程：0),sin()cos( )(>+=t t Z t Y t X θθ，其中Y 、Z 是相互独立的随机变量，且EY=EZ=0，DY=DZ=δ2，求{X(t)，t>0}的均值函数、协方差函数和方差函数. 5、设随机变量Y 具有概率密度f(y)，令 )0,0(,)(>>=-Y t t X e Yt ， 求随机过程X(t)的一维概率密度及EX(t)，R x (t 1,t 2). 6、设随机过程Z t =，t 0，其中X 1,X 2,…,X n 是相互独立的，且服从 N(0, )的随机变量，ω1, ω2,…, ωn 是常数，求{Z t ，t }的均值函数m(t)和相关函 数R(s,t). 第二章 平稳过程 P103 2. 设随机过程()sin X t Ut =，其中U 是在[]02π，上均匀分布的随机变量。试证 （1）若t T ∈，而{}12T =，，，则(){}12X t t =，，， 是平稳过程； （2）若t T ∈，而[)0T =+∞，，则(){} 0X t t ≥，不是平稳过程。 证明： 由题意，U 的分布密度为：()1 0220u f u π π?< 设)(t ξ是一马尔可夫过程，又设k n n n t t t t t ++<<<<<< 121。试证明： )/(),,/(1/1,,/11++++++=n n t t k n n n t t t x x f x x x f n n k n n n 即一个马尔可夫过程的反向也具有马尔可夫性。 证明：首先，由条件概率的定义式得 ) ,,(),,,(),,/(1,,1,,,1,,/111k n n t t k n n n t t t k n n n t t t x x f x x x f x x x f k n n k n n n k n n n ++++++++++++= 根据马尔可夫性将上式中的分子和分母展开，并化简得 ) () ()/()()/()/() ()/()/()/(),,/(11/112/1/1/12/1/1,,/11112111211+++++-+++++-+++++++++-+++++-++++== n t n t n n t t n t n n t t k n k n t t n t n n t t n n t t k n k n t t k n n n t t t x f x f x x f x f x x f x x f x f x x f x x f x x f x x x f n n n n n n n k n k n n n n n n k n k n k n n n 于是， )/() (),(),,/(1/11,1,,/1111++++++++++== n n t t n t n n t t k n n n t t t x x f x f x x f x x x f n n n n n k n n n 试证明对于任何一个马尔可夫过程，如“现在”的)(t ξ值为已知，则该过程的“过去”和“将来”是相互统计独立的，即如果有321t t t <<，其中2t 代表“现在”，1t 代表“过去”，3t 代表“将来”，若22)(x t =ξ为已知值。试证明： )/()/()/,(23/21/231/,2321231x x f x x f x x x f t t t t t t t = 证明：首先，由条件概率的定义式得 ) () ,,()/,(2321,,231/,2321231x f x x x f x x x f t t t t t t t = 然后，根据马尔可夫性将上式中的分子展开，并化简得 ) (),() /()() ()/()/()/,(221,23/2112/23/231/,22123211223231x f x x f x x f x f x f x x f x x f x x x f t t t t t t t t t t t t t t == 2随机过程的基本概念 §2.1 基本概念 随机过程是指一族随机变量 . 对随机过程的统计分析称为随机过程论 , 它是随机数学中的一个重要分支,产生于本世纪的初期 . 其研究对象是随机现象 ,而它特别研究的是随“ 时间” 变化的“ 动态” 的随机现象 . 一随机过程的定义 1 定义设 E 为随机试验, S 为其样本空间,如果 (1对于每个参数 t ∈ T , X(e,t为建立在 S 上的随机变量, (2对每一个 e ∈ S , X(e,t为 t 的函数,那么称随机变量族 {X(e,t, t∈ T, e∈ S}为一个随机过程,简记为 {X(e,t, t∈ T}或 X(t。 ((((({} {} [](为随机序列。时,通常称 , 取可列集合当可以为无穷。 通常有三种形式: 参数一般表示时间或空间, 或有时也简写为一个轨道。 随机过程的一个实现或过程的样本函数,或称随机的一般函数,通常称为为对于 :上的二元单值函数。 为即若用映射来表示注意: t X T T T b a b a T T T T t X t X t e X T t e X S e S T t e X R S T t e X t 21321, , , , 3, 2, 1, 0, 1, 2, 3, , 3, 2, 1, 0T , . 4, . 3, , 2, :, . 1=---==??×?′?′L L L 为一个随机过程。则令 掷一均匀硬币, 例 , ( (cos (}, {1 t e X t X R t T e t H e t t X T H S =??íì====p2 随机过程举例 例 2:用 X(t表示电话交换台在 (0, t 时间内接到的呼唤的次数 , 则 (1对于固定的时刻 t, X(t为随机变量 , 其样本空间为{0, 1, 2, …..}, 且对于不同的 t, 是不同的随机变量 . (2对于固定的样本点 n, X(t=n是一个 t 的函数 . (即:在多长时间内来 n 个人 ? 所以 {X(t,t>0}为一个随机过程 . 相位正弦波。为随机过程,称为随机则令例 (107509-概率统计随机过程课件-第十三章马尔可夫链第一节第二节(上)
随机过程习题答案A
随机过程——马尔可夫过程的应用
第2章 随机过程习题及答案
北大随机过程课件：第 3 章 第 2 讲 马尔可夫过程
最新随机过程练习(第二章)
随机过程习题第2章
随机过程习题答案
第二章 随机过程汇总
随机过程第15讲 习题课2
第二讲 无线多径信道特性
《随机过程》第二章题目与答案
随机过程作业题及参考答案(第二章)
随机过程习题第2章
第二章随机过程基本概念.