第5章 Markov链

������, ������ ∈ ������; ∀������ ∈ ������ 为随机矩阵 ，若 ������������������ ≥ 0(������, ������ ∈ ������) ，且对
定义 5.1.4 称矩阵 ������ = ������������������ ∀ ������ ∈ ������，有
0 0 0 0
11
5.1 基本概念
例 5.1.8 （Wright-Fisher 遗传模型）基因控制着生物的特征，它们是成 对出现的．控制同一特征的不同基因称为等位基因，记这对等位基因为 ������和������ ， 分别称为显性的与隐性的．在一个总体中基因������和������ 出现的频率称为基因频率， 分别记为������和1 − ������． 设总体中的个体数为2������，每个个体的基因按基因������的基因频率的大小，在下 一代中转移成为基因 ������．即如果在第 ������ 代母体中基因������出现了 ������ 次，基因 ������ 出现了
6
5.1 基本概念
例 5.1.3 在任意给定的一天，加里的心情或者是快乐的(cheerful，C)，或 者是一般的(so-so，S)，或者是忧郁的(glum，G). 如果今天他是快乐的，则明天 他分别以概率 0.5，0.4，0.1 是 C，S，G．如果今天他感觉一般，则明天他分别 以概率 0.3，0.4，0.3 为 C，S，G．如果今天他是忧郁的，则明天他分别以概率 0.2，0.3，0.5 为 C，S，G． 以 ������������ 记加里在第 ������ 天的心情， 则 ������������ , ������ ≥ 0 是一个三个状态的马尔可夫链 (状态 0=C，状态 1=S，状态 2=G)，具有转移概率矩阵 0.5 ������ = 0.3 0.2 0.4 0.4 0.3 0.1 0.3 0.5
3
5.1 基本概念
定义 5.1.1 随机过程{������������ , ������ = 0, 1, 2, ⋯ }称为 Markov 链，若它的状态空间 可列，并且对任意的������ ≥ 0，及任意状态������ , ������, ������0 , ������1 , ⋯ , ������������−1 ，有 ������ ������������ +1 = ������ ������������ = ������ , ������������−1 = ������������−1 , ⋯ , ������1 = ������1 , ⋯ , ������0 = ������0 = ������ ������������ +1 = ������ ������������ = ������ 定义 5.1.2 移概率. 定义 5.1.3 若对 ∀ ������, ������ ∈ ������, ������������������ ������ ≡ ������������������ ， 即 ������������������ 与 ������ 无关， 则称 ������������ , ������ ≥ 0 为 时齐马尔可夫链；否则，就称为非时齐的． ∀ ������, ������ ∈ ������ ，称 ������ ������������ +1 = ������|������������ = ������ ≜ ������������������ ������ 为 ������ 时刻的一步转
随机过程 ������ ������ , ������ ∈ ������ ， 若对任意������1 < ������2 < ⋯ < ������������ , ������������ , 1 ≤ ������ ≤ ������， 及 ������ ⊂ ℝ ， 总有 ������ ������ ������ ∈ ������|������ ������1 = ������1 , ������ ������2 = ������2 , ⋯ , ������ ������������ = ������������ = ������ ������ ������ ∈ ������|������ ������������ = ������������ 则称此过程为马尔可夫过程(Markov process)，简称马氏过程． 称 ������ ������, ������ ; ������, ������ = ������ ������ ������ ∈ ������|������ ������ = ������ ������ < ������ 为转移概率函数. ������ ������ 的取值全体构成的集合记为 ������，称为状态空间. 离散时间参数 ������ = 0, 1,2, ⋯ = ℕ0 ，状态空间 ������ = 0, 1,2, ⋯ 可列的马尔可 夫过程，通常称为马尔可夫链(Markov chain)，简称马氏链．
������ ������ ������2������ ������������ (1 ������ 2������−������
������ ∈������ ������������������
������ × ������
= 1.
5
5.1 基本概念
例 5.1.1（天气预报）假设明天下雨的机会只依赖于前一天的天气条件，即 今天是否下雨，而不依赖过去的天气条件．再假设如果今天下雨，那么明天下雨 的概率为 ������ ；如果今天没有下雨，那么明天下雨的概率为 ������ ． 如果下雨， 我们假定过程在状态 0； 如果不下雨， 我们假定过程在状态 1． 那 么，上面的内容是一个两个状态的马尔可夫链，其转移概率矩阵给定为 ������ = ������ ������ 1 − ������ 1 − ������
7
5.1 基本概念
例 5.1.4（赌徒的破产或称带吸收壁的随机游动）系统的状态是0~������，反映 赌博者在赌博期间拥有的金钱数额，当他输光或拥有钱数为������时，赌博停止，否 则他将持续赌博．每次以概率������赢得 1，以概率������ = 1 − ������输掉 1．这个系统的转 移矩阵为： 1 ������ ������ = ⋮ 0 0 ������������ ,������ +1 = ������, 0 0 0 0 ������ 0 ⋮ ⋮ ⋮ 0 0 0 0 0 0 ⋯ 0 0 0 ⋯ 0 0 0 ⋮ ⋮ ⋮ ⋯ ������ 0 ������ ⋯ 0 0 1
例 5.1.2（一个通信系统）考察一个传送数字 0 和 1 的通信系统．每个数字 的传送必须经过几个阶段，在每个阶段有一个概率������使进入的数字在离开时不改 变．以 ������������ 记第 ������ 个阶段进入的数字，则 ������������ , ������ = 0,1,2, ⋯ 是一个两个状态的马 尔可夫链，具有转移概率矩阵 ������ ������ = 1 − ������ 1 − ������ ������
例 5.1.6（自由随机游动）设一个球在全直线上做无限制的随机游动，它的 状态为0, ±1, ±2, ⋯．它仍是一个 Markov 链，转移矩阵为： ⋯ ⋯ ⋯ ⋯ ������������ ,������ +1 = ������, ⋮ ⋮ ⋮ ⋮ ⋮ ������ 0 ������ 0 ⋯ 0 0 ������ 0 ������ ⋯ 0 ⋮ ⋮ ⋮ ⋮ ⋮ 0 0 0 0 ⋯ ������ 0 0 0 0 ⋯ 0 ⋮ ⋮ ⋮ ⋮ ⋮ ������������ ,������−1 = 1 − ������, ⋮ ⋮ 0 0 0 0 ⋮ ⋮ 0 ������ ������ 0 ⋮ ⋮ ⋮ 0 0 ⋮ 0 ������ ⋮ ⋯ ⋯ ⋯ ⋯
4
5.1 基本概念
本课程只讨论时齐 Markov 链，并且简称为 Markov 链． 记 ������ = ������������������ ，称 ������ 为 ������������ , ������ ≥ 0 ������00 ������10 ������ = ������������������ = ⋮ ������������0 ⋮ 易见，������������������ (������ , ������ ∈ ������)有性质： 1 2
������ ∈������
的一步转移概率矩阵： ������01 ������02 ⋯ ������11 ������12 ⋯ ⋮ ⋮ ⋮ ������������1 ������������3 ⋯ ⋮ ⋮ ⋮
(5.1.1)
������������������ ≥ 0, ������������������ = 1,
应用随机过程（Applied Stochastic Processes）
第5章 Markov链
1
第5章 Markov链
5.1 基本概念 5.2 状态的分类及性质 5.3 极限定理及平稳分布 5.4 Markov链的应用 5.5 连续时间Markov链
2
5.1 基本概念
5.1.1 Markov 链的定义及一些例子
������ =
������ = 0, ±1, ±2, ⋯பைடு நூலகம்
10
5.1 基本概念
例 5.1.7 （图上的简单随机游动）设有一蚂蚁在如图 5-1 所示的架子上爬 行，当两个节点相邻时，蚂蚁将爬向它邻近的一点，并且爬向任何一个邻近节点 的概率是相同的． 则此 Markov 链的转移矩阵为： 0 1 2 1 ������ = 4 0 1 2 0 1 4 0 1 0 2 1 0 2 1 0 4 1 0 1 0 2 0 0 0 0 1 4 0 0 1 0 0 0 0 1 2 0 图 5－1 例 5.1.5 图示
������+������ ×(������+������)
������������ ,������−1 = 1 − ������,