马尔可夫更新过程与半马尔可夫过程”的讨论
关于“马尔可夫更新过程与半马尔可夫过程”的讨论
前言
马尔可夫更新过程是马尔可夫过程和更新过程的综合与推广。马尔可夫更新过程以及由其产生的半马尔可夫过程，与马尔可夫过程、更新过程仅有紧密的联系，又有明显的区别。
马尔可夫更新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫过程是由其产生的一维随机过程。半马尔可夫过程的状态逗留时间是一般分布，不具有马尔可夫性，但在各状态转移时刻具有马尔可夫性。
马尔可夫更新过程是马尔可夫过程的推广。如果忽略马尔可夫更新过程中的时间变量，就可得到离散时间马尔可夫链。如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，就可得到连续时间马尔可夫链。
马尔可夫更新过程是更新过程的推广。状态逗留时间可以看作是受到一个马尔可夫链调制。如果忽略确切的状态或状态固定，即只有一个状态，就可得到更新过程。
本读书报告主要对马尔可夫更新过程和半马尔可夫过程的概念进行了分析，讨论了马尔可夫更新过程和半马尔可夫过程、马尔可夫过程、更新过程的区别与联系，并分析总结了马尔可夫更新过程的基本特性。
一、对相关定义的理解
1、马尔可夫更新过程
取值于状态空间{},是取值[)的随机变{}是马尔可夫更新过程，如果对于满足 []n n n n n X t T T j X P |,110011≤-==++ （1）
上式称作“半马尔可夫性”的联合分布与过去的历111100
马尔可夫更新过程是将连续时间马尔可夫过程的状态逗留时间分布由指数分布推广到一般分布，故马尔可夫更新过程中，序列{}只具有半马尔可夫性，即在状态转移时刻{}具有马尔可夫性。
2、与马尔可夫更新过程相联系的计数过程
由教材2.9节知道，更新过程是一计数过程，表示到时刻t 的更新次数。那么马尔可夫更新过程的更新次数应该如何描述呢？
表示过程{}在(0,t]到达状态是马尔可夫更新过对应的更新次数。特别地，假设初始状态是k ,则转移到状态k 构成一次更新，则意味着每次转移到状态k 的连续时间间隔是独立同分布的。时间间隔叫作在状态的逗留时间。定义如下函数：
0,},2,1{,,0,,1),(110≥∈=??∈≤+++==++-t S k I otherwise I n t T T T k X t n I n n k 其中，当（2）
则 0,,)
,()(≥∈=∑t S k t n I t N k k （3）
用表示过程{}在(0,t]内总的状态转移次数，包括从当前状态出发又回到该状态的转移，状态每转移一次记为一次更新，根据更新理论有
（4） 则可以得到 0,
)()(≥=t t N t N k （5）
则是马尔可夫更新过程{}在状态空间S 上对应的总的更新次数。
3、马尔可夫更新函数
在教材2.9节中，定义了更新过程的的更新函数为。：
（6）
将(3)式代入（6）式，得到
]
|,[]|),([|),()(00
000∑∑∑∞∞=∞==≤====??????==n n n k n k ik i X t T k X P i X t n V E i X t n V E t M （7）
n {}到达状态n 次状态转移时刻。
4、半马尔可夫过程 {}
，0≥?t ，令
?????>∞=+n n n n T t t Y sup ,)(1 （8）
称{}为由马尔可夫更新过程{}产生的（最小）半马尔可夫过程，其轨道如下图。
由图可见，一个半马尔可夫过程是一个随机过程，其状态变化遵循一个马尔可夫链，而状态变化的时间间隔是随机变量，其分布是一般分布。
值得注意的是：在离散时间马尔可夫过程中，可以把在每个状态的逗留时间看作一个单位时间。在连续时间马尔可夫过程中，在每个状态的逗留时间是服从指数分布的。半马尔可夫过程像连续时间马尔可夫过程一样进行状态转移，但是在每个状态的逗留时间是任意分布的，并且依赖于下一个到达状态，因此，在各个状态转移时刻半马尔可夫过程是马尔可夫过程。
二、几种随机过程之间的区别与联系
1、马尔可夫更新过程和半马尔可夫过程的关系
马尔可夫更新过程和半马尔可夫过程最大的不同是：马尔可夫更新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫是一个随着时间而变化的一维连续参数的随机过程。
半马尔可夫过程不具有马尔可夫性，将来取决于现在的状态和在该状态已停留的时间。但是，在其更新点{}上半马尔可夫过程{}一个马尔可夫链，即具有马尔可夫性。这也是{}被命名为半马尔可夫过程的原因。
解释：
{}
就是状态转移时刻，在已知该时刻过程所处状态的条件下，过程将来发展的概率规律和过去的历史无关。
在马尔可夫过程中，在每个状态的逗留时间服从指数分布，由于指数分布的无记忆性，故任一时刻t都是更新点，也就是说在任一时刻都具有马尔可夫性。但是，在半马尔可夫过程中，在每个状态的逗留时间是一般分布，因此不是所有时刻都是过程的更新点，而只有状态转移时刻是更新点，所以只有在这些更新点上才具有马尔可夫性。
2、半马尔可夫过程和连续时间马尔可夫链的关系
如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，这时就得到一个连续时间马尔可夫链。换句话说，如果逗留时间是指数分布，并且在一个状态的逗留时间与下一个到达状态独立，我们就可以得到一个连续时间马尔可夫链。
这时可以得到 [][]
),,0,1(,1|,|,111110011s j i t n e i X j X P T T i X t T T j X P t n n n n n n n n n n n ∈≥≥-===-=≤-==-+++++且服从指数分布）（注意，若λ（9）
3、马尔可夫更新过程和离散时间马尔可夫链的关系
换句话说，如果忽略马尔可夫更新过程中的时间变量，就可得到离散时间马尔可夫链。
[]
),,1(,|,1101s j i n i X j X P n n n n ∈≥===++且 （10）
4、马尔可夫更新过程和更新过程的关系
如果序列独立同分布，并且它们的分布不依赖于，这时马尔可夫更新过程就成为更新过程。即就是，如果忽略确切的状态（或状态固定，即只有一个状态），就得到了独立同分布{}就是一个更新过程。
[][] （11） 反过来说，马尔可夫更新过程是更新过程的推广，其状态逗留时间不是独立同分布，而是受一马尔可夫链调制。当{}时，状态逗留时间条件独立。
三、马尔可夫更新过程的基本特性
{}{}具有如下基本特性：
1、
{}是状态空间S 上转移矩阵为的马尔可夫
链
，并且和n 无关，即是齐次的。其中，[]。
2 []),,(),,(),,(101212101n n n n t X X G t X X G t X X G -= （12）
[]
{}时，逗留时间序列件独立。特别地，若S 只有一个状态时,是一个更新过程。
3、对于固定状态，令},0:min{j X n n S =≥=，},:min{j X S n n S =≥=，1≥n 。S n 次到达状态j 的时刻，
S S -是第n 次与第n-1次到达状态j 的时间间隔，}0,{≥=n S S S S S -S S -}1{≥-n S S ，同分布（注意这里的n 是大于等于1的，即不包括S ）。 值得注意的是，更新过程和延时更新过程是有区别的。在更新过程的研究中，时间原点的选取很重要。如果原点选在一次更新的发生时刻，则各次更新的时间间隔独立同分布，这样的更新过程称作普通更新过程。另一种可能的选择是过程并不是从一次更新时刻开始，亦即原点并不在更新区间的端点，而是在更新区间内部。这时，第一个
S 和其余的区间长度S S -S S -，…有不同的分布。
这样的过程称作延时更新过程。显然，当第一个区间长度和其余区间长度有相同的分布时，延时更新过程就成为普通更新过程。
4、在状态空间S 增加一新的状态S H ∈，1≥n 次访问子集H n 次访问子集H n X X =~T T n τ=~,}0),~,~{()~,~(≥=n T X T X 是状态空间为的马尔可夫更新
过程。
（注：可编辑下载，若有不当之处，请指正，谢谢!）
北大随机过程课件：第 3 章 第 2 讲 马尔可夫过程
马尔可夫过程 ?1马尔可夫过程概论 6 1.1马尔可夫过程处于某个状态的概率 6 1.2马尔可夫过程的状态转移概率 6 1.3参数连续状态离散马尔可夫过程的状态转移的切普曼-柯尔莫哥洛夫方程 切普曼-柯尔莫哥洛夫方程 齐次切普曼-柯尔莫哥洛夫方程 转移概率分布函数、转移概率密度函数 6 1.4马尔可夫过程状态瞬时转移的跳跃率函数和跳跃条件分布函数 瞬时转移概率分布函数 6 1.5确定马尔可夫过程Q矩阵 跳跃强度、转移概率Q矩阵 ?2参数连续状态离散马尔可夫过程的前进方程和后退方程 柯尔莫哥洛夫-费勒前进方程（利用Q矩阵可以导出、转移概率的微分方程）福克-普朗克方程（状态概率的微分方程） 柯尔莫哥洛夫-费勒后退方程（利用Q矩阵可以导出、转移概率的微分方程）?3典型例题 排队问题、机器维修问题、随机游动问题的分析方法 ?4马尔可夫过程的渐进特性 稳态分布存在的条件和性质 稳态分布求解 ?5马尔可夫过程的研究 1概论 1.1 定义及性质 1.2 状态转移概率 1.3 齐次马尔可夫过程的状态转移概率 1.5跳跃强度、转移概率Q矩阵 2 前进方程和后退方程 2.1 切普曼-柯尔莫哥洛夫方程 2.2柯尔莫哥洛夫-费勒前进方程 2.2福克-普朗克方程 2.3柯尔莫哥洛夫-费勒后退方程 3典型的马尔可夫过程举例 例1 例2 例3 例4，随机游动 4马尔可夫过程的渐进特性 4.1 引理1 4.2 定理2 4.3 定理
5马尔可夫过程的研究 6关于负指数分布的补充说明：
1概论 1.1定义：马尔可夫过程 ()t ξ： 参数域为T ，连续参数域。以下分析中假定[0,)T =∞； 状态空间为I ，离散状态。以下分析中取{0,1,2,}I ="； 对于T t t t t m m ∈<<<<+121"，若在12m t t t T <<<∈"这些时刻观察到随机过程的值是12,,m i i i "，则 1m m t t T +>∈时刻的条件概率满足: {}{}1111()/(),,()()/(), m m m m m m P t j t i t i P t j t i j I ξξξξξ++======∈" 则称这类随机过程为具有马尔可夫性质的随机过程或马尔可夫过程。 1.2 定义：齐次马尔可夫过程 对于马尔可夫过程()t ξ，如果转移概率{}21()/()P t j t i ξξ==只是时间差12t t ?=τ的函数,这类马尔可夫过程称为齐次马尔可夫过程。 1.３ 性质 马尔可夫过程具有过程的无后效性； 参数连续状态离散的马尔可夫过程的条件转移概率为： {}{}212112()/()0()/(),,P t j t t t P t j t i t t i j I ξξξξ′′=≤≤===≤∈ 马尔可夫过程的有限维联合分布律可以用转移概率来表示 {} {}{}{}32132211123(),(),()()/()()/()(),,,P t k t j t i P t k t j P t j t i P t i t t t i j k I ξξξξξξξξ=========≤≤∈ 马尔可夫过程的有限维条件分布律可以用转移概率来表示
马尔科夫及其应用(02129057)
马尔可夫过程及其应用 一． 马尔可夫过程的简介 马尔科夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。 二． 马尔可夫过程的一般概念 2.1定义 设有一随机过程X(t)，t ∈T ，若在t1,t1,…tn-1,tn(t1
马尔可夫过程的发展和应用
H a r b i n I n s t i t u t e o f T e c h n o l o g y 课程设计（论文） 课程名称：应用随机过程 设计题目：马尔可夫过程的发展与应用 院系：电子信息与工程学院 班级：通信一班 设计者： 学号： 指导教师：田波平 设计时间： 2009/12/17 马尔可夫链(过程)的发展与应用
1. 随机过程发展简述 在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。 一些特殊的随机过程早已引起注意，例如1907年前后，Α.Α.马尔可夫研究过一列有特定相依性的随机变量，后人称之为马尔可夫链（见马尔可夫过程）；又如1923年N.维纳给出了布朗运动的数学定义（后人也称数学上的布朗运动为维纳过程），这种过程至今仍是重要的研究对象。虽然如此，随机过程一般理论的研究通常认为开始于30年代。1931年，Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》；三年后，Α.Я.辛钦发表了《平稳过程的相关理论》。这两篇重要论文为马尔可夫过程与平稳过程奠定了理论基础。稍后，P.莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。1953年，J.L.杜布的名著《随机过程论》问世，它系统且严格地叙述了随机过程的基本理论。1951年伊藤清建立了关于布朗运动的随机微分方程的理论(见随机积分)，为研究马尔可夫过程开辟了新的道路；近年来由于鞅论的进展，人们讨论了关于半鞅的随机微分方程；而流形上的随机微分方程的理论，正方兴未艾。60年代，法国学派基于马尔可夫过程和位势理论中的一些思想与结果，在相当大的程度上发展了随机过程的一般理论，包括截口定理与过程的投影理论等，中国学者在平稳过程、马尔可夫过程、鞅论、极限定理、随机微分方程等方面也做出了较好的工作。 2. 马尔可夫过程发展 2.1 马尔可夫过程简介 马尔科夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。 2.2 马尔可夫过程的发展 20世纪50年代以前，研究马尔可夫过程的主要工具是微分方程和半群理论（即分析方法）；1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并形成了对轨道分析必不可少的强马尔可夫性概念。1942年，伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程，开辟了研究马尔可夫过程的又一重要途径。
马尔可夫更新过程与半马尔可夫过程”的讨论
关于“马尔可夫更新过程与半马尔可夫过程”的讨论 前言 马尔可夫更新过程是马尔可夫过程和更新过程的综合与推广。马尔可夫更新过程以及由其产生的半马尔可夫过程，与马尔可夫过程、更新过程仅有紧密的联系，又有明显的区别。 马尔可夫更新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫过程是由其产生的一维随机过程。半马尔可夫过程的状态逗留时间是一般分布，不具有马尔可夫性，但在各状态转移时刻具有马尔可夫性。 马尔可夫更新过程是马尔可夫过程的推广。如果忽略马尔可夫更新过程中的时间变量，就可得到离散时间马尔可夫链。如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，就可得到连续时间马尔可夫链。 马尔可夫更新过程是更新过程的推广。状态逗留时间可以看作是受到一个马尔可夫链调制。如果忽略确切的状态或状态固定，即只有一个状态，就可得到更新过程。 本读书报告主要对马尔可夫更新过程和半马尔可夫过程的概念进行了分析，讨论了马尔可夫更新过程和半马尔可夫过程、马尔可夫过程、更新过程的区别与联系，并分析总结了马尔可夫更新过程的基本特性。 一、对相关定义的理解 1、马尔可夫更新过程
取值于状态空间{},是取值[)的随机变{}是马尔可夫更新过程，如果对于满足 []n n n n n X t T T j X P |,110011≤-==++ （1） 上式称作“半马尔可夫性”的联合分布与过去的历111100 马尔可夫更新过程是将连续时间马尔可夫过程的状态逗留时间分布由指数分布推广到一般分布，故马尔可夫更新过程中，序列{}只具有半马尔可夫性，即在状态转移时刻{}具有马尔可夫性。 2、与马尔可夫更新过程相联系的计数过程 由教材2.9节知道，更新过程是一计数过程，表示到时刻t 的更新次数。那么马尔可夫更新过程的更新次数应该如何描述呢？ 表示过程{}在(0,t]到达状态是马尔可夫更新过对应的更新次数。特别地，假设初始状态是k ,则转移到状态k 构成一次更新，则意味着每次转移到状态k 的连续时间间隔是独立同分布的。时间间隔叫作在状态的逗留时间。定义如下函数：
第章离散时间的马尔可夫链
第1章 离散时间的马尔可夫链 §1 随机过程的基本概念 定义1 设(,,)P ΩF 是概率空间，(, )E E 是可测空间， T 是指标集. 若对任何t T ∈，有 :t X E Ω→，且t X ∈F E ，则称{}(), t X t T ω∈是(, , )P ΩF 上的取值于(,)E E 中的随机过 程，在无混淆的情况下简称{(), }t X t T ω∈为随机过程，称(,)E E 为状态空间或相空间，称E 中的 元素为状态，称T 为时间域. 对每个固定的ω∈Ω，称()t X ω为 {}(), t X t T ω∈对应于ω的轨道或现 实，对每个固定的t T ∈，称()t X ω为E 值随机元. 有时()t X ω也记为 设 T ?R ，{}, t t T ∈F 是F 中的一族单调增的子σ代数（σ代数流），即 ① t t T ?∈??F F ，且t F 是σ代数； ② , , s t s t T s t ?∈
马尔科夫链与马尔科夫过程
关于马尔科夫链与马尔科夫过程 人生中第一次接触到马尔科夫链不是在随机过程的课上，是在大三时候通信大类开设的两门专业课上，一个是大名鼎鼎的通信原理，另一个是模式识别这门课。 1 关于马尔科夫脸的概念 在机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：АндрейАндреевичМарков）得名，不愧是切比雪夫同志的弟子。其为状态空间中经过从一个状态到另一个状态的转换的随机过程。 这个过程强调的性质，不光是独立性，还有记忆性。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。但是绝对意义上的这个时候的状态与之前的一切毫无关系的案例十分少见，只能人为的创造满足这样性质的条件，不光是在机器学习的实际应用上，在随机过程中的更新过程或者是其他的某些过程都是这种解题思路，使用一定的数学上的处理进行一定的转化，从而使得后来得到的序列可以适应马尔科夫链的相关性质。 在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机过程中反映这样的一个变化往往使用一个矩阵进行表示。 随机漫步（其实就是随机过程）中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。 2 一个经典的实例 概括马尔科夫链的话，那就是某一时刻状态转移的概率只依赖于它的前一个状态。这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等。