马尔科夫链与马尔科夫过程
关于马尔科夫链与马尔科夫过程
人生中第一次接触到马尔科夫链不是在随机过程的课上，是在大三时候通信大类开设的两门专业课上，一个是大名鼎鼎的通信原理，另一个是模式识别这门课。
1 关于马尔科夫脸的概念
在机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。
马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：АндрейАндреевичМарков）得名，不愧是切比雪夫同志的弟子。
其为状态空间中经过从一个状态到另一个状态的转换的随机过程。
这个过程强调的性质，不光是独立性，还有记忆性。
该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。
这种特定类型的“无记忆性”称作马尔可夫性质。
马尔科夫链作为实际过程的统计模型具有许多应用。
但是绝对意义上的这个时候的状态与之前的一切毫无关系的案例十分少见，只能人为的创造满足这样性质的条件，不光是在机器学习的实际应用上，在随机过程中的更新过程或者是其他的某些过程都是这种解题思路，使用一定的数学上的处理进行一定的转化，从而使得后来得到的序列可以适应马尔科夫链的相关性质。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。
状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。
随机漫步就是马尔可夫链的例子。
随机过程中反映这样的一个变化往往使用一个矩阵进行表示。
随机漫步（其实就是随机过程）中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。
2 一个经典的实例
概括马尔科夫链的话，那就是某一时刻状态转移的概率只依赖于它的前一个状态。
这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等。
这个马尔科夫链是表示股市模型的，共有三种状态：牛市（Bull market）, 熊市（Bear market）和横盘（Stagnant market）。
每一个状态都以一定的概率转化到下一个状态。
比如，牛市以0.025的概率转化到横盘的状态。
这个状态概率转化图可以以矩阵的形式表示。
如果我们定义矩阵阵P某一位置P(i, j)的值为P(j|i)，即从状态i变为状态j的概率。
另外定义牛市、熊市、横盘的状态分别为0、1、2，这样我们得到了马尔科夫链模型的状态转移矩阵为：
不过对于初学者而言，经常容易写着写着就忘了各个状态的代号是什么了。
套用的相关的概率论模型中的理解如下图所示：
3 关于马尔科夫决策过程
3.1关于马尔科夫性
3.2关于马尔科夫决策过程MDP
意思是：在t时刻所在的状态是s，采取a动作后在t+1时刻到达s^的概率。
3.3公式说MDP
这个问题的求解很容易让人们想到经典的高考数学必考的数列问题
当然了，因为这个过程牵扯到了条件概率的问题，这一部分就说明这个过程中，与之前的相关部分是没有关系的，仅仅与此刻的时间有关。
这里感觉经过一定程度的拆解与简化与代换之后，并没有实质上简化很多的计算，无论是数量级还是作为开发者而言最为关心的计算量。
其实这个时候相当的设定就已经十分接近比较经典的贝叶斯分类器了，经过进一步的化简之后，可以进一步将模型变为更加像贝叶斯分类器的形式了
由于状态值函数是以期望定义的，根据期望的计算规则，状态值函数应该是：
根据需要，动作概率感觉也可以变成类似权值的东西
不过这里的理解根据实际情况的不同可能会有天差地别，根据我的经验，相关的理由有两点。
一个是上文仿佛强调模型的重新构筑十分像是贝叶斯分类器，实际上如果使用上述的模型进行分类的时候，也确实需要满足贝叶斯分类器在进行分类的需要满足的先决条件——满足克摩洛哥莫夫定理，也就是说待分类的数据实际上在大多数条件之下是正态分布的，如果这个条件不满足，可能在代际设定的很大的前提之下看不出误差，但是需要强调的是，这个时候模型并不能发挥其本来的作用甚至是相关的性质也不能完整的体现出来。
比如云南大学早几年有人使用贝叶斯分类器进行了垃圾邮件的分类操作，似乎还取得了不错的效果。
但是实际上人工与邮件的接触的相关模型中，实际上垃圾邮件接收到的模型并不是完全符合正态分布的，而应该符合的是泊松分布，因为人类在一定时间内能够阅读的邮件是拥有一定数目的，而且邮箱的容量也并不是无穷大的。
所以，这个时候模型应该套用数学建模中十分常见的排队模型，当然了数据的分布也就是经典的泊松分布。
然后，在训练的过程中，因为使用了很多权值或者是类似权值的东西，这就导致很可能粗看之下相当多的时候会造成越训练反倒结果越糟糕的情况，实际上大都由于最开始的训练的时候参数选择的不好或者是权值设定的不佳，实际上由于相关的机制问题这些权值进行翻天覆地的变化的概率是很大的，并不会出现一条路走到黑的情况，而且也可以根据实际上的需要引入相关的第三方算法，从而解决后期神经网络中会出现的梯度下降问题或者是局部极小值问题。
4 强化学习的目的
强化学习的目的就是找到最优的策略，使累计回报函数最大，同时，如果累计回报函数最大时，采用的策略也是最优的。
这里可以类比经典的Lagrange方程中的相关设定完成相关的理解，一方面希望目标函数很大，另一方面又要满足限定条件的相关规范。
所以强化学习的优化有两种方法：(1)基于策略的优化；(2)基于累计回报函数的优化。
另外，强化学习算法根据策略是否是随机的，分为确定性策略强化学习和随机性策略强化学习。
根据转移概率是否已知可以分为基于模型的强化学习算法和无模型的强化学习算法。
另外，强化学习算法中的回报函数R十分关键，根据回报函数是否已知，可以分为强化学习和逆向强化学习。
第六章 马尔可夫链
.
8
第六章 Markov链
第一节 基本概念
1. 转移概率
２. Chapman-kolmogorov方程
3. ቤተ መጻሕፍቲ ባይዱarkov链的分布
4.齐次Markov链
５.Markov 链举例
.
9
第一节 基本概念
1. 转移概率
定义 设 {Xn,n0}是马尔可夫链,称条件概率
p i ( j k ) ( n ) @ P ( X n k jX n i ) ,i ,j S ,n 0 ,k 1
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布 3）绝对分布
Q
q(n) j
P(Xn
j)
U P( (X0i),Xnj)
i
U P( (X0i,Xnj)
i
P(X0i,Xnj) i
P (X 0 i)P (X njX 0 i) i
q i(0 )p i(jn )(0 . ) n 0 ,i,j S i
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
2）有限维分布
P ( X 0 i ) P ( X t 1 i 1 X 0 i ) P ( X t 2 i 2 X 0 i ,X t 1 i 1 ) i L P ( X t n i n X 0 i ,X t 1 i 1 , L ,X t n 1 i n 1 )
i
.
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布 2）有限维分布 又因为马尔可夫链的k步转移概率由一步转移概率所 完全确定. 所以马尔可夫链的有限维分布由其初始分布和 一步转移概率所完全确定.
.
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
Markov Chain(马尔科夫链)
状态转换矩阵：
1 0 0 1 − ������ 0 ������ 0 1 − ������ 0 0 0 1 − ������ 0 0 0
0 0 ������ 0 0
0 0 0 ������ 1
0
赌徒问题（续）
• ������ =
0 ������ 1 − ������ 0 0 1 − ������ 0 0 0 0 0 ������ 0 0 0 0 1 − ������ 0 0 ������ 0 1 阵������的元素������������������ 等于从状态������������ 出发到达稳定时经过������������ 的次数的期望值。 推论：马尔可夫过程中，从非稳定状态������������ 出发，到达稳定状态时的步数期望值 等于矩阵������的������行元素的和。
赌徒问题
• 一个赌徒，假设拿两元钱，一次赌一美元，赢的概率是������，输的概率是1 − ������，当赢够4元，或者全部输光就不赌了。 • 状态转换图：
1 − ������ 1 1 − ������ 1 ������ 2 ������ 3 ������ 1 − ������ 1 4 ������ =
������
������������
.此矩阵
������������������ = 1, ������ = 1,2, … , ������.
������=1
重新标记这些状态的序号，把对角线是1的元素调整到右下角，也就是变成 ������������×������ ������������× ������−������ ������������×������ → ������ ������−������ × ������ ������(������−������)×(������−������) 矩阵������ = ������ − ������������×������
马尔科夫链
为了进行天气预报，人们通常关心的是在 过去和当前的气候状态已知条件下来预测将 来的天气状态。若以表t今天，s表明天 （s>t），A表过去所处的气候状态，则由积 累的气象资料来获得条件概率分布列
P{x(s)=j|x(t)=i,A}
是十分需要的。因为它表示了在过去状态为 A、当前（今天）状态为i已知的条件下，将 来（明天）状态为的可能性（其中i与j均可取 0，1，2，3中的任一种）。
7
3 泊松过程（泊松流）及其模拟
3.1 泊松流的概念 泊松流(即泊松过程)常用来描述一个随机质点流 的状态变化过程。 随机质点流指源源不断地随机地到达某目标的一 串质点，如：到商场的顾客流、到达工厂的定单 流，网络上到达某节点的数据流等。 单位时间内到达目标的泊松流质点数目服从泊松 分布：
λk − λ P( x = k ) = e (λ > 0, k = 0,1,2...) k!
的第i0 行取出各元素 Pi00 Pi01 … Pi0m 即可。
28
有了x(1)的条件分布列，就可以直接按照上一节对 离散型随机变量的一般模拟法来求取x(1)的样本值i1。 其具体做法为首先取伪随机数u1，然后选取数i1，使满 足不等式
∑ Pi 0 j < u 1 ≤ ∑ Pi 0 j
P{x(1)=j|x(0)= i0}=Pi0j (j=0,1,2,…)
27
是已知的，这只须从矩阵
P P P P
0 0
P P P P
0 1
… … … …
P P
0 m
:
i0 0
:
i0 1
:
1 m
P=
:
in 0
马尔科夫随机场
s
s
1
2
m
exp
(
ys um
2
2 m
)2
其中参数um和
分别是第m区域的均值和方差，可以
m
根据其在概率论中的公式计算
根据上面得到的p(x)和p(Y|X)的计算公式就可
求得最优分割结果 X。
MRF图像分割的关键点
基团的选取 势函数 Vc (x) 的定义 先验概率p(X)的确定（图像预分割） 选取合适的条件分布 条件分布中参数的估计 分割算法的选取
或图像经小波变换后的小波系数集合
Λ为标号随机变量 xs的集合
L表示将图像分割为不同区域的数目
邻域系统
设 ={ (s) | s S}是定义在S上的通用邻域系统的集合，
其满足如下特性：
(1) (s) S (2)s (s) (3)s, r S, s (r) r (s) 则位置r (s)称作s的邻点， (s)称作s的邻点集
上式称为马尔科夫随机场的局部特性
邻域系统的MRF的含义：在任意格点s的其余格点位置上
随机变量xs取值已知的条件下，随机场在格点s处的取值概率
只与格点s的 相邻点有关。
在图像中，P(•)表示标号场的先验概率， P(•|•)表示邻域系统标号的局部作用关系
在数字图像中，一个像元的灰度值仅与
其邻域系统内各象元的灰度值有关，因 而可以利用马尔科夫随机场来模拟数字
图像。当邻域系统 足够大时，任何定
义在S上的图像数据均可看成马尔科夫随 机场的一个实现
MRF与Gibbs分布的等价关系
由于标号场先验概率和标号场的邻域局 部关系在实际应用中很难确定，20世纪 80年代Hammersley-Clifford给出了Gibbs 分布与MRF的关系，从而用Gibbs分布求 解MRF中的概率分布
随机过程-7马尔科夫链的概念和转移概率1
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
4.1 马尔可夫链与转移概率
• 定义 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链{Xn，nT }在时刻n的一步 转移概率，简称转移概率，其中i,jI。
• 定义 若对任意的i,jI，马尔可夫链 {Xn,nT }的转移概率pij(n)与n无关，则 称马尔可夫链是齐次的，并记pij(n)为pij。
n和ij??in步转移概率具有性质123pnppn14pnpn????iklnkjliknijppp???????ikikjkkkiknijnnpppp111211??41马尔可夫链与转移概率证证1????????????????????????????????????????????????????????????iklnkjlikikliklnkjikmlmlmnmikmlmmlmmnmlmmmnmmmnmnijppppixkxpkxjxpixpkxixpkxixpjxkxixpixpjxixpixjxpp?????????????????????????????????????????????????????????????iklnkjlikikliklnkjikmlmlmnmikmlmmlmmnmlmmmnmmmnmnijppmplmpixkxpkxjxpixpkxixpkxixpjxkxixpixpjxixpixjxpp?????????????????????????????????????????????????????????????iklnkjlikikliklnkjikmlmlmmnmikmlmmlmmnmlmmmnmmmnmnijppppixkxpkxixjxpixpkxixpkxixpjxkxixpixpjxixpixjxpp?????????????ikmnmlmmixpjxkxixp41马尔可夫链与转移概率2在1中令l1kk1得由此可递推出公式3矩阵乘法4由3推出说明
一 马尔科夫链简介
例题
设样本空间有15个等可能的样本点，事
件A含有5个样本点，事件B含有6个样本点，
交事件AB含有2个样本点(如图所示)，求
P A B , P B A .
解：依题意有：
5 6 2 P( A) , P( B) , P( AB) 15 15 15
则在事件B发生的条件下事件A发生的 条件概率为 P A B P AB 2 /15 1 .
常状态的机器，在一小时后发生故障的概
率为0.05；处于故障状态的机器，在1小时
后排除故障的概率为0.6.用Xn表示机器在
开始工作后n小时的工作状态.判断 X n 是
一个马尔可夫链吗？
解：任意时刻机器只能处于正常状态
和故障状态，记这两种状态分别为1
和2，则 X 1 或 X 0 2 . 0
2小时后处于故障状态的概率：
P(X2 = 2) = P(X 2 = 2 X1 = 1) + P(X 2 = 2 X1 = 2) = 0.95 0.05 + 0.05 0.4 = 0.0675
2小时后状态的分布列为
X2 P(X2) 1 0.9325 2 0.0675
将X1的分布列表示为 P1(1)
例如某产品的销售有好中差3种状态随时间的推移产品销售情况在3状态中变化那么决策问题仅用前面的决策知识就无法解决因此我们引进马尔可夫链这个概率模型
新课导入
“某种产品销路好的概率为0.7，销路不 好概率为0.3”，但是在实际生活生产中，我
们研究对象状态分布列往往随时间而变化.
例如，某产品的销售有好，中，差3种状态， 随时间的推移产品销售情况在3状态中变化， 那么决策问题仅用前面的决策知识就无法解 决，因此我们引进马尔可夫链这个概率模型.
马尔科夫链模型简介
马尔科夫链模型简介马尔科夫链模型是一种描述随机过程的数学模型，它使用状态转移概率矩阵来表示状态之间的转移。
该模型有着广泛的应用，在自然语言处理、金融学、生态学、物理学和化学等多个领域中有着重要的地位。
状态与状态转移马尔科夫链模型中的状态可以是任何状态，例如一个人的身体状态、一个系统的状况、一个物品的状态等。
设状态集合为$S=\\{s_1,s_2,...,s_n\\}$，则任何一个时刻系统都处于其中的一个状态。
接着，我们定义状态之间的转移概率矩阵$P=(p_{ij})_{n\\times n}$，其中p ij表示在状态s i下，系统转移到s j的概率。
因此，对于所有的$i,j\\in\\{1,2,...,n\\}$，有$0\\leq p_{ij}\\leq1$且$\\sum_{j=1}^{n}p_{ij}=1$。
由此可以看出，状态转移矩阵P具有无后效性：状态s i到s i+k的转移只和当前状态s i有关，和之前的所有状态都无关。
马尔科夫性质马尔科夫链模型有一个很重要的性质，即马尔科夫性质。
它指的是，一个某时刻的状态和当前状态之前的所有状态无关，只和当前状态有关。
更正式地，对于所有$i\\in\\{1,2,...,n\\}$，$j\\in\\{1,2,...,n\\}$和k>0，有：$$ \\begin{aligned} P(X_{t+k}=s_j|X_t=s_i,X_{t-1}=s_{i-1},...,X_0=s_0)&=P(X_{t+k}=s_j|X_t=s_i)\\\\ &=p_{ij}^k \\end{aligned} $$其中X t表示在时刻t系统所处的状态。
这个性质使得我们可以用状态转移概率矩阵来描述系统随时间的演化。
平稳分布在马尔科夫链中，平稳分布是一个与时间无关的状态分布。
它满足以下条件：若$\\pi$是一个向量，其中第i个元素表示系统处于状态s i的稳态概率，则有$\\pi P=\\pi$。
第11讲 随机过程及其应用(第三版) 刘次华第4章马尔科夫链(3)
其中 D = {1} 是非常返集
C1 = {2 ,3,4},C2 = {5,6,7}
2 3 4
1 5 7 6
是常返闭集，非周期
lim （1）求每一个不可约闭集的极限分布（2）求 n →∞ p12
( n)
解（1）：这是一个可约马氏链。根据状态空间的分解 定理，状态空间分解为： I = {1} + {2,3, 4} + {5, 6, 7}
5
6
1
二、平稳分布
定义4.11
例1 ：设马尔科夫链的转移概率矩阵为
⎡ 0.7 0.1 0.2⎤ P = ⎢ 0.1 0.8 0.1⎥ ⎢ ⎥ ⎢ ⎦ ⎣0.05 0.05 0.9⎥
设齐次马氏链转移概率矩阵为P,
且
若π = (π 1 , π 2 , )满足方程：
π =πP
∑π
j
j
=1
则称 π = (π 1 , π 2 , ) 为该马氏链的 平稳分布 定理4.16 不可约非周期的马氏链，其极限分布存 在（或状态是正常返）的充要条件是存在平稳分 布，且此平稳分布就是极限分布。即 1 πj =
15
故从上式可解得：
16
2 lim p12 ( n ) = n →∞ 9
注: 对于一般可约马氏链， lim pij (
n →∞
n)
的情形如下:
例4 马氏链的概率转移图所示，分析转移概率极限:
I = D + C1 + C2 = {1, 5} + {2,3} + {4,, 6}
先进行状态空间分解： I = D + C1 + C2 +
,
(设j ∈ C
m
, Cm为不可约非周期常返闭集 )
马尔科夫链定义
马尔科夫链定义
马尔科夫链是指在一个状态空间中，下一个状态仅仅依赖于当前状态，而与过去状态无关的一种随机过程。
此处的状态可以是任何具有确定性和随机性的现象，如生物进化、天气变化、股票市场等等。
马尔科夫链模型的基本思想是：将一个系统的演变过程表示为一个状态序列，然后计算从一个状态到另一个状态的概率，以此来分析这个系统的演变过程。
具体地说，就是通过把系列的状态分层，然后分析状态之间的转移概率，来研究这个系统的演变规律。
马尔科夫链具有很多重要的性质，其中最重要的是稳定性。
在稳态下，随机性已经消失，从而真正反映了系统的本质和演变规律。
在某些情况下，马尔科夫链的稳态可以用于预测系统的演变趋势，为决策提供科学的依据。
除此之外，马尔科夫链还被广泛应用于图像处理、自然语言处理、生物信息学、金融工程等领域。
例如，在自然语言处理中，马尔科夫链被用于建立语言模型，通过计算单词之间的概率分布，来分析语句的合理性和可能性；在股票市场中，马尔科夫链可以用来预测股票价格的变化趋势，为投资者提供决策参考。
总之，马尔科夫链是一种描述随机演变过程的重要数学模型，已经被广泛应用于各个领域。
通过深入理解马尔科夫链的性质和应用，可以为我们从更深层次上认识和了解这个世界提供帮助。
马尔科夫链
4.隐含状态转移概率矩阵A。 描述了HMM模型中各个状态之间的转移概率。 其中Aij=P(Sj|Si),1≤i,,j≤N. 表示在t时刻、状态为Si的条件下，在t+1时刻状态是 Sj的概率。 5.观测状态转移概率矩阵B（ConfusionMatrix） 令N代表隐含状态数目，M代表可观测状态数目，则： Bij=P(Oi|Sj),1≤i≤M,1≤j≤N.表示在t时刻、隐含状态是 Sj条件下，观察状态为Oi的概率。
隐马尔可夫模型（Hidden Markov Model， HMM）是统计模型，它用来描述一个含有隐含 未知参数的马尔可夫过程。其难点是从可观察的 参数中确定该过程的隐含参数。然后利用这些参 数来作进一步的分析，例如模式识别。 在正常的马尔可夫模型中，状态对于观察者来说 是直接可见的。这样状态的转换概率便是全部的 参数。而在隐马尔可夫模型中,状态并不是直接可 见的，但受状态影响的某些变量则是可见的。每 一个状态在可能输出的符号上都有一概率分布。 因此输出符号的序列能够透露出状态序列的一些 信息。
隐马尔可夫模型状态变迁图 x — 隐含状态 y — 可观察的输出 a — 转换概率（transition probabilities） b — 输出概率（output probabilities）
1.隐含状态S 这些状态之间满足马尔可夫性质，是马尔可夫模型中实际所 隐含的状态。这些状态通常无法通过直接观测而得到。（例 如S1、S2、S3等等) 2.可观测状态O 在模型中与隐含状态相关联，可通过直接观测而得到。(例 如O1、O2、O3等等，可观测状态的数目不一定要和隐含 状态的数目一致。） 3.初始状态概率矩阵π 表示隐含状态在初始时刻t=1的概率矩阵，(例如t=1时， P(S1)=p1、P(S2)=P2、P(S3)=p3，则初始状态概率矩阵 π=[p1p2p3].