建模马尔科夫链

若马尔科夫链 { (n)，n 0}的状态空间是可列集，则 称 { (n)，n 0} 为可列状态的马尔科夫链.
离散时间的马尔可夫链
一步转移概率矩阵
9/31
设 { (n)，n 0} 是齐次马尔可夫链，其一步转 矩阵的每一行都 移概率为 pij (n) ，记
记 ( 0，1， )， i P{ (0) i}，i S ) 称 为齐次 (


离散时间的马尔可夫链
11/31
设 { (n),n 0，，， }是马尔科夫链，其状态空间为 1 2 S {0，，， } 1 2 记马尔科夫链的 m步转移概率为
( pijm) (n) P{ (n m) j | (n) i}
称 p (n)为马尔科夫链在时刻 n 时处于状态 i， 经过时间 m 后转移到状态 j 的概率.
( m) ij
1， i j； p (n) ij 0， i j.
(0) ij
离散时间的马尔可夫链
12/31
( ( ( pijm ) (n) pikm ) (n) pkj ) (n m) (3.2.1) kS
设 { (n),n 0，，， } 是马尔科夫链，其状态空 1 2 间为 S {0，，， } ，则对任意的 m，， ，有 1 2 n
P{ (tk＋1 ) ik 1 | (tk ) ik } （3.1.2） P{ (k 1) ik 1 | (k ) ik， (k 1) ik 1， ， (0) i0 } P{ (k 1) ik 1 | (k ) ik } （3.1.1）
设 { (n)，n 0} 是马尔可夫链 ，对任意的 k 1 ，计 算 (0)， (1)， ， (k 1)， (k ) 的联合分布律
乘法公式
6/31
P (k ) ik | (k 1) ik 1
离散时间的马尔可夫链
马尔可夫链的一步转移概率
0 i n
13/31
j
k
n m
P{ (n m ) j， (n m) k | (n) i}
kS
( pijm ) (n) P{ (n m ) j | (n) i}
nm
P{ (n m) k | (n) i} P{ (n m ) j | (n m) k， (n) i}
P PP P P P ( m ) P( m1) P P m ( m ) ( m) ( ) P P P
(2) 2
(3)
P
(2)
P P
3
离散时间的马尔可夫链
15/31
(天气预测简单模型)假设明天是否下雨仅与今 天的天气(是否下雨)有关，而与过去的天气无关. 假设今天下雨、明天有雨的概率为 ，今天无 雨而明天有雨的概率为 ；又假设把有雨称为 0 状态天气，把无雨称为 1 状态天气.记 (n)表示 第 天的天气状态.则{ (n)，n 0} 是状态有限的 马尔科夫链. 求其一步转移概率矩阵； 若 0.7， 0.4，且今天有雨，求第四天 有雨的概率.
P{ (n m) k | (n) i} P{ (n m ) j | (n m) k}
( ( pikm ) (n) pkj ) (n m) kS
kS
kS
离散时间的马尔可夫链
14/31
若 { (n),n 0，，， } 是齐次马尔科夫链，则切 1 2 普曼－柯尔莫哥洛夫方程可写成如下形式：
p02 p0 j p12 p1 j p22 p2 j P ( pij )ijS pi 2 pij 则称矩阵 P 为齐次马尔科夫链的一步转移概率矩阵. p01 p11 p21 pi1
p00 p10 20 p p i 0
0.7 0.3 0.61 0.39 P P 0.52 0.48 0.4 0.6 0.5749 0.4251 (4) (2) (2) P P P 0.5668 0.4332 所以若今天无雨，第四天下雨的概率为 0.5749
离散时间的马尔可夫链
马尔可夫链的研究内容
5/31
计算马尔可夫链 { (n)，n 0} 的有限维分布. 对马尔可夫链 { (n)，n 0} 的状态空间 S 按照某 种规则进行分类. 研究马尔可夫链 { (n)，n 0} 的极限性质.
离散时间的马尔可夫链
P (0) i0， (1) i1， ， (k 1) ik 1， (k ) ik 马氏性 P (0) i0 i0，(1) ii1，(0) i0k 1) P (k ik | (k 1) ik 1 P (0) P (1) 1 | ， ( ik 1 ) 即马尔可夫链 (0)()i0， (1) i1， ， (k 1) ik 1 P (k ) ik | { n ，n 0} 的有限维分布完全由初始 分布 P{ i i} 和一步转移概率P in P (0) (0)0， (1) i1， ， (k 1){ (k 11) i | (n) j} 确定. (k ) ik | (k 1) ik 1 P P (0) i0， (1) i1， ， (k 2) ik 2
2/31
设随机过程 { (n),n 0，，， }是一马尔可夫链，则对 1 2 任意的 k 1 ， 0 t0 t1 tk tk 1及
i0，，， ，，k 1 S i1 i2 ik i
有 P{ (tk 1 ) ik 1 | (tk ) ik， (tk－1 ) ik 1， ， (t0 ) i0 }
( ( ( ( ( pijmpij)m ) pikm ) (n))pkj ) (n m) (3.2.1) (n ) pkj (3.2.2) kS
记齐次马尔科夫链的 m 步转移概率矩阵为：
P
( m)
(p
( m) ijS ij
)
则齐次马尔科夫链的切普曼－柯尔莫哥洛夫方程 可用如下矩阵形式表示：
P{ (k 1) ik 1 | (k ) ik } （3.1.1） 则称 { (n),n 0，，， } 1 2 为离散时间、离散状态的
马尔可夫过程，或简称为马尔可夫链.
(t )
…………
0 1 2 3 4
k k 1
t
离散时间的马尔可夫链
马尔可夫链的等价定义
离散时间的马尔可夫链
1/31
设随机过程 { (n),n 0，，， }的状态空间为： 1 2 S {0，，，， } 1 2 3 若对任意的 k 1 ，及 i0，，， ，，k 1 S有 i1 i2 ik i P{ (k 1) ik 1 | (k ) ik， (k 1) ik 1， ， (0) i0 }
（3.1.2） （3.1.1）
离散时间的马尔可夫链
条件概率回顾
设 A，B，C 是随机事件
3/31
条件概率的乘法公式
P( BC | A) P( B | A) P(C | AB)
条件独立性
若有 P( BC | A) P( B | A) P(C | A)
则称事件 B与 C 关于 A条件独立. 已知系统当前状态的条件下(即 (k ) i )， 系统将来的状态与其过去的历史状态无关(独立).
设 { (n)，n 0} 是马尔可夫链，记
pij (n) P{ (n 1) j | (n) i}
7/31
称 pij (n)为马尔可夫链 { (n)，n 0}在时刻 n 时的一
步转移概率.
当 i，n 固定时，一步转移概率 pij (n) 实质上就是 在 (n) i 的条件下，随机变量 (n 1) 的条件分 布律，所以条件分布律满足： pij (n) 0，i，j S，n 0；
离散时间的马尔可夫链
马尔可夫链的一些简单例子
4/31
假设甲乙两人以抛硬币的方式进行赌博，每次抛 同一枚硬币；若出现正面，则甲付给乙一元钱， 若出现反面，则乙付给甲一元钱.记 (n) 为第 n 局 之后甲赢的总数.则 { (n)，n 0} 是马尔可夫链.
（简单传染病模型）设 n 个人中有部分人感染了 某种传染病，假设： 当一个病人接触了一个健康 者时，健康者被感染的概率为 p； 所有的接触都 是两人之间的接触； 任意两个人的接触都是等可 能的； 在一个单位时间内只有一次接触发生.记 (n)为时刻 n 时患病的人数，则 { (n)，n 0}是 马尔科夫链.
pij (n) 1，i S，n 0.
jS
离散时间的马尔可夫链
齐次马尔可夫链
8/31
设 { (n)，n 0} 是马尔可夫链，若其一步转移 概率 pij (n) 与时间 n 无关，即 pij (n) P{ (n 1) j | (n) i} P{ (1) j | (0) i} pij 则称 { (n)，n 0} 为齐次马尔可夫链，称 pij 为从状态 i 转移到状态 j 的一步转移概率. 若马尔科夫链 { (n)，n 0}的状态空间是有限集，则 称 { (n)，n 0} 为有限状态的马尔科夫链；
离散时间的马尔可夫链
P{ (n 1) 0 | (n) 0} P{ (n 1) 0 | (n) 1} 一步状态概率矩阵为： 如今天下雨， ? ? 1 P 明天有雨的概率
16/31பைடு நூலகம்
因为
1
2
0.7 0.3 P 0.4 0.6
P (k ) ik | (k 1) ik 1 P (0) i0 P (1) i1 | (0) i0 P (k 1) ik 1 | (0) i0， ， (k 2) ik 2
称 (3.2.1)式为切普曼－柯尔莫哥洛夫方程
从状态 i 出发经过 m 步到达状态 j ，可分成两步走： 先从状态 i 出发经过 m 步到达状态 k ； 然后再先从状态 k 出发经过 步到达状态 j ； 由马氏性知，后一阶段的状态转移与前一阶段 的状态转移独立，故两个阶段的转移概率相乘
离散时间的马尔可夫链
是一条件分布律
马尔科夫链的初始分布. 齐次马尔科夫链的有限维分布族完全由其一步转移
概率矩阵 P 和初始分布 确定.
离散时间的马尔可夫链
10/31
假设甲乙两人以抛硬币的方式进行赌博，每次抛 同一枚硬币；若出现正面，则甲付给乙一元钱， 若出现反面，则乙付给甲一元钱.记 (n) 为第 n 局 之后甲赢的总数.则 { (n)，n 0} 是齐次马尔可 夫链. 试求马尔科夫链 { (n)，n 0}的转移概率矩阵.
假设硬币出现正面的概率是 p， p 1) ，则出 (0 转移概率矩阵为： p 现反面的概率是 q 1 . p，若 j i 1； q o p P i q p P{ (n 1) j | (n) } q， 若 j o i 1； 0， 其他情形.