马尔科夫链模型简介

Q子方阵的特征值小于1； R(k-r)xr中必含有非零元素。
定理： 对于吸收链P的标准形式，I—Q可逆，
记元素全部为1的列向量为 则： 的第i个分量是从第i个非吸收状态出发，被 某个吸收状态吸收的平均转移次数。
近亲繁殖
1 0 I 1 / 4 P 0 R 1 / 16 0 0 1 0 0 0 0Q1 0 1 / 16 1 / 4 1 / 8 1 / 4 1 / 4 1/ 4 0 0 1 / 4 1 / 2 0 0 1/ 2 0 0 0 0 0 0 0 0 1/ 4 0
第n+1年的状态Xn+1只取决于第n年的状态Xn和转移概 率Pij，而与以前的状态Xn-1,Xn-2,…无关。第n+1年的状态概率 可以由全概率公式给出：
这样一个状态随着时间的进展随机变化的链式过程就是 马尔科夫链。 马尔科夫链是随机过程的一种。
（一）随机过程
系统的特征可以用一组随时间变化的变量来加以描述。 如果系统在任何时点上的特性或状态是随机性的，则系 统的变化过程就对应一组随机变量构成的过程来描述，这个系 统随机变化的过程的描述，就是随机过程。
2. 平稳分布
定义：设 n 为有限s个状态的均匀马尔可夫链,若初 始概率 Pj P(E j ), j 1,2,, s 满足全概率公式：
Pj Pi Pij , j 1,2,, s
s
则称 n 为平稳的, Pj ( j 1,2,, s) 称为 n 的一个平稳分布 Pj ( k ) 表示第k次转移到状态 E j 的绝对概率； 可以证明: Pj Pj (1) Pj (2) 结论: 当马尔可夫链是平稳时,初始概率等于绝对概率； 平稳均匀马尔可夫链在任一时刻处于状态 E j 的概 率 Pj (n) 都相等,说明平稳。
（五）马尔可夫链
定义：设随机过程 (t )只能取可列个值 r1 , r2 ,rn ,, 把 (t ) rn 称为在时刻 t 系统处于状态 En (n 1,2,) 若在已知时刻 t ，系统处于E n 状态的条件下,在时刻 ( t ) 系统所处的状态情况与t时刻以前所处状态 无关,则称 (t ) 为时间连续,状态离散的马尔可夫 过程。而状态的转移只能在 t t n (n 1,2,) 发生的马 尔可夫过程称为马尔可夫链。 从定义中可知,马尔可夫链是状态离散,时间连 续的马尔可夫过程。
（四）马尔可夫预测法
• 定义：对马尔可夫过程的演变趋势和状态加以 分析，用于预测事物未来状态的研究，称为马 尔可夫预测法。 • 特点：
1. 随机性：确切的未来状态是不可预测； 2. 局限性：只适合于马尔可夫过程； 3. 简便性：无需大量的统计资料。
• 适用领域：企业规模、市场占有率、选择服务 点、设备更新等的预测。
称 PT (0) ( p1 , p2 ,) 概率向量。
为马尔可夫链
为马尔可夫链的初始
（七）马尔可夫图
（七）马尔可夫图
马尔可夫矩阵一般式
均匀马尔可夫链
若 P( k ) P ij ij
k 1,2,
则称该马尔可夫链为均匀马尔可夫链。 用下式表示：
P P(E j / Ei ) P A / A ij
0 0 1/ 2
0 0 1 0 1/ 4 1/ 8 1/ 4 1/ 4 0 0 1 / 4 1 / 2 0 0 0 0 0 0 0 1/ 4 0
定义： 转移概率Pii=1的状态称为吸收状态。
如果马氏链至少包含一个吸收状态，并且 从每一个非吸收态出发，能以正常的概率经过 有限次转移到达某个吸收状态，那么这个马氏 链称为吸收链。 此时转移矩阵P表示为：
由 Pij 构成的矩阵称为系统状态转移矩阵。
其中：P(n) Pn ;
定义：
称 p j (n) P{X n j}, ( j I ) 尔可夫链的绝对概率； 称 PT (n) { p1 (n), p2 (n),}, n 0 的绝对概率向量。 为n时刻马
为n时刻
定理
设{Xn,n∈T}为马尔可夫链，则对任意j∈I和 n≥1，绝对概率pj(n)具有下列性质：
( n) 1. p j (n) pi pij iI
2. p j (n) pi
iI
( n 1)
pij
3. PT (n) PT (0)P(n) 4. PT (n) PT (n 1)P
定义：
称 p j (0) P{X 0 j}, ( j I ) 的初始概率；简记为 p j
p22 P( X n1 2(后代为dr ) X n （父为dr） 2 ) 1/ 2 p 1/ 2 q 1/ 2
转移概率矩阵
p P p/2 0 q 1/ 2 p 0 q / 2 q
随机繁殖
马氏链模型 a(n 1) a(n) P, n 0,1,
和劣势隐形基因r 两种。
• 生物的外部表征由内部相应的基因决定。
• 基因分优势显性基因d
• 每种外部表征由两个基因决定，每个基因可以是 d, r 中的任一个。形成3种基因类型：dd ~ 优种D, dr ~ 混种H, rr ~ 劣种R。 • 基因类型为优种和混种, 外部表征呈优势；基因类 型为劣种, 外部表征呈劣势。 •生物繁殖时后代随机地（等概率地）继承父、母的 各一个基因，形成它的两个基因。父母的基因类型 决定后代基因类型的概率
随机过程可以描述为：
xt, t T
，则该过程为
，则该过程为
其中 xt 为在同一状态空间中取值的随机变量， 为参数集。 T
若T 为可数参数集，如 离散参数的随机过程。 若 T 为不可数参数集，如 连续参数的随机过程。
（二）状态与状态转移
• 状态：当系统由一组确定的变量值来描述的时候，就 说系统处于一个状态。 • 状态转移：当系统的变量从一个特定值变化到另一个 特定值时，就表示系统由一个状态转移到另一个状态。
1. 马尔可夫链遍历性
设 n 为均匀马氏链（与第n次转移无 关）,对一切状态i及j（或称 Ei , E j ）, 存在不 依赖于i的常数,使得
lim n
Pij (n) j
则称均匀马氏链有遍历性 遍历意义: 遍历性说明不论系统自那一个 状态出发,当转移次数n充分大时,转移到 E j 状态的概率近似于某个常数 j 。
i 1
例3
问：应在何处设置修船站最合适？
解答：
• 建立转移矩阵
• 根据马尔可夫链平稳性，前次各租、还船点占 有船只的概率等于本次的占有率。
S甲
S乙
：甲处的占有率； ：乙处的占有率；
：丙处的占有率。
S丙
• 根据上述的矩阵，可列出以下方程式。
ห้องสมุดไป่ตู้
• 结论：应该在甲处建修船站。
12.3
基因遗传（P422）
第六小组成员： 秦堉朗 石国平
什么是马尔科夫链？
例子： 用随机变量Xn表示第n年某个人的健康状况， Xn=1表示 健康， Xn=2表示疾病，n=0,1….用ai(n)表示第n年处于状态i的 概率，i=1,2，即ai(n)=P(Xn=i).用Pij表示今年处于状态i，明年 处于状态j的概率，i,j=1,2，即Pij=P(Xn+1=j|Xn=i). ai(n)称为状 态概率，Pij称为状态转移概率。
（三）马尔可夫过程
• 有一类事物在某种因素作用下，它们的状态概 率在转移过程中，第n次结果的概率规律仅取 决于第(n-1)次试验的结果，第(n-1)次试验结 果仅取决于第(n-2)次结果等，而与更早的结 果无关。 • 定义：设随机过程ξ (t),如果在已知时间t系 统处于状态x的条件下,在时刻T(T>t)系统所处 状态和时刻t以前所处的状态无关,则称ξ (t) 为马尔可夫过程。 • 从定义可知马尔可夫过程只与t时刻有关,与t 时刻以前无关。 这种性质叫做：无后效性
随机繁殖
假设
讨论基因类型的演变情况
• 设群体中雄性、雌性的比例相等，基因类型的分布 相同（记作D:H:R）
• 每一雄性个体以D:H:R的概率与一雌性个体交配，其后 代随机地继承它们的各一个基因 • 设初始一代基因类型比例D:H:R =a:2b:c （a+2b+c=1), 记p=a+b, q=b+c, 则群体中优势基因和劣势基因比例 d:r=p:q (p+q=1)。
p a(0) (a,2b, c) P p/2 2 2 a(1) a(0) P ( p ,2 pq, q ) 0
解释“豆科植物的茎，绿色:黄色=3:1” 基因类型为D和H, 显性表征——绿色，
(D+H):R=3:1
基因类型为R, 隐形表征——黄色。
近亲 繁殖
在一对父母的大量后代中, 雄雌随机配对繁殖， 讨论一系列后代的基因类型的演变过程。 状态定义为配对的基因类型组合
马氏链模型
Xn=1,2,3,4,5,6~配对基因组合为 DD,RR,DH,DR,HH,HR 0 1 状态转移概率 0 1 p11 P ( X n 1 ' DD ' 1 / 4 0 X n ' DD ' ) 1 P 0 p31 P ( X n 1 ' DD ' 0 1 / 16 1 / 16 X n ' DH ' ) 1/ 4 0 1 / 2 1 / 2 1 / 4
(k ) j

( k 1) i

预测模型
• 前提：必须是均匀马尔可夫链。
：初始状态； ( k 1) ：经（K+1）次转移后的状态； S P ：转移概率。
S
(0)
例1
求：预测以后第3个月顾客的购买情况。
解答：
第一步：建立转移矩阵
第二步 应用马尔可夫预测模型
第三步 结论解析