马氏链模型
T为参数集，对固定的e和t , X (e, t )称为过程的状态； X (e, t )所有可能的值的全体称为状态空间； 今后将X (e, t )简记为X (t )
5
一 .马氏链理论
引例1
一个醉鬼摇摇晃晃地站在路中央，他向前迈一步的概率 为p，向后退一步的概率为q=1-p. 无论他已经摇晃了几步, 在当前位臵向前或向后一步的概率仍然分别是p和q。在这 个醉鬼酒醒之前，他的运动是一种“随机走动”(random walk),也常译为“随机游动”或“随机游走”。随机走动 是一种马尔科夫链。 一个离散时间集合T={0,1,2,…} 和一个有限或可列无穷的状态空 间E={1,2,…}上，一个随机过程 在任一时刻从一个状态以一定的 概率向其他状态转移（或保持原 状态不变）。
18 18 , 18 52 70 P P X n1 1| X n 1 52 52 11 18 52 70
12 2013年8月22日
一 .马氏链理论
例1 一醉汉Q(或看作一随机游动的质点)在直线上的点集 I={1,2,3,4,5}作随机游动，且仅在1秒、2秒等时刻发生游动， 游动的概率规则是：如果Q现在位于点i(1<i<5)，则下一时刻 各以 1/3 的概率向左或向右移动一格，或以 1/3 的概率留在 原处；如果Q现在处于1(或5)这一点上，则下一时刻就以概率 1移动到2(或4)这点上，1和5这两点称为反射壁，这种游动称 为带有两个反射壁的随机游动。以Xn表示时刻n时Q的位臵， 说明{Xn,n=0,1,2 …}是一齐次马氏链，并写出它的一步转移 概率矩阵。
i, j 1, 2, ．
p
j 1
ij
1, i 1, 2, ．
P (1)
此矩阵的每一行元素之和等于1.
10 2013年8月22日
例： 气象案例的马尔可夫链表示
0 Xt= 如果第t天是晴天
1 如果第t天是雨天 P{Xt 1 0 Xt 0} 0.8, P{Xt 1 0 Xt 1 0.6 }
e ( X (e, t ) t (, )),
3
1. 设 Z(t) 是北京市未来一天 t 时刻的温度. 对任意指定的时间 t ∈[0,24] , 事先无法确定 Z(t) 的取值, 即 Z(t) 是一随机变量, 因此 Z(t), t ∈[0,24] 是一随机过程. 2. 设 Z(t) 是某市电话局在未来时间 t 内收到的呼叫次数,t ∈[0,+∞]. 由于任意给定的时间 t , 事先无法确定 Z(t) 的取值, 即 Z(t) 是一随机变量, 因此 Z(t), t ∈ [0,+∞]是一随机过程. 3. 设 Z(t) 是未来第 t 个交易日收盘时的上证指数，t ∈ T={1,2,3, …}. 则 Z(t), t ∈ T是一随机过程. 4. 考查未来第 t 个交易日上证指数的涨跌情况，记
17 2013年8月22日
解: (1) 设Xn为第n(n=1,2,…,97)个时段的计算机状态， 可以认为它是一个齐次马氏链，状态空间I={0,1}， 96次状态转移情况是： 0→0：8次； 0→1：18次； 1→0：18次； 1→1：52次； 因此一步转移概率可用频率近似地表示为：
P00 P X n1 0 | X n 0
6 2013年8月22日
一 .马氏链理论
引例2
一只荷兰猪在一个分成四个房间的笼子里随机运动。当 它在任一时刻、处于任一房间时，在下一时刻跑到两个相 邻房间之一的概率均为1/3,逗留在原房间里的概率也是1/3. 这只荷兰猪的运动也是一种马尔科夫链。
一个离散时间集合T={0,1,2,…}
和一个有限或可列无穷的状态空 间E={1,2,…}上，一个随机过程 在任一时刻从一个状态以一定的 概率向其他状态转移（或保持原 状态不变）。
2013年8月22日
16
例3 某计算机机房的一台计算机经常出故障，研究者每隔15 分钟观察一次计算机的运行状态，收集了24个小时的数(共作97 次观察)，用1表示正常状态，用0表示不正常状态，所得的数据 序列如下： 11100100111111100111101111110011111111100011 01101111011011010111101110111101111110011011 111100111 设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它 是一个齐次马氏链. 求(1)一步转移概率矩阵; (2)已知计算机在某一时段(15分钟)的状态为0，问在此条件下， 从此时段起，该计算机能连续正常工作45分钟(3个时段) 的条件 概率.
定义：设T 是一无限实数集，X (e, t ), e S , t T 是对应于e和t的实数， 即为定义在S 和T 上的二元函数。 若此函数对任意固定的t T , X e, t 是一个随机变量， 则称 X (e, t ), e S , t T 是随机过程； 对于随机过程 X (e, t ), e S , t T 进行一次试验，即e给定，
5 0 0 0 1 3 0
2013年8月22日
0 0
1 3 1 3
0 0
1 3 1 3
0 0
0 0
0
1
0
1
随机到达者
等候室
服务台
离去者
系统 例2 排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组 成。服务规则为：先到先服务，后来者需在等候室依次排队， 假设一个需要服务的顾客到达系统时发现系统内已有3个顾客， 则该顾客立即离去。 设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接 受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分 小时，在这时间间隔内多于一个顾客进入或离开系统实际上是 不可能的，再设有无顾客来到与服务是否完毕是相互独立的。
马氏链的n步转移概率：
P (n) P (m, m n) P{X mn a j | X m ai }. ij ij
P ( n) ( Pij ( n))为n步转移概率矩阵 . 当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有平稳性. 同时也称此链是齐次的或时齐的.
由于第二天天气情况不受今天之前天气情况的影响，即状态0和状态 1是相互独立且仅有的状态，所以两个状态的概率和为1。因此，该 随机过程具有马尔可夫属性，该过程称为马尔可夫链。
P00 0.8, P10 0.6
P01 1 0.8 0.2, P11 1 0.6 0.4
因此，转移矩阵为：
1
2
3
4
5
13
2013年8月22日
1
2
3
4
5
解：以Xn表示时刻n时Q的位臵，不同的位臵就是Xn的不同 状态；而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与 Xn=i有关，而与Q在时刻n以前如何到达i完全无关，所以 {Xn,n=0,1,2 …}是一马氏链，且是齐次的。它的一步转移概率矩阵 为： 如果把1这点改为吸收壁，即Q一旦到达1这一点， 则永远留在点1时，此时的转移概率矩阵为：
P= 0 1
p 00 p 01 p10 p11
0
1
0 = 0 1
1
0.8 0.2 0.6 0.4
马氏链的n步转移概率
称条件概率
P (m, m n) P{X mn aj | X m ai} ij
为马氏链在时刻 处于状态ai条件下, m 在时刻 m n
转移到状态 j的转移概率. a
1 1 0 2 1 3 P 3 0 4 0 5 0 2 1
1 3 1 3
3 4 0
1 3 1 3 1 3
5 0 0 0 1 3 0
14
1 1 1 2 1 3 P 3 0 4 0 5 0
2 0
1 3 1 3
3 4 0
1 3 1 3 1 3
e ( X (e), Y (e)), 即( X , Y )——二维随机变量
e ( X1 (e), X 2 (e), X n (e)), 即( X1, X 2 ,, X n )——n维随机变量
e ( X1 (e), X 2 (e),),
即X1 , X 2 ,——随机序列
即{X (t ), t (, )}——随机过程
数学建模之马氏链模型
马氏链模型
(Markov Chain Model)
随机过程是研究随机动态系统演变过程规律性的学科； 广泛地应用于通信、控制、生物、地质、经济、管理、 能源、气象等许多领域; 马氏链模型是时间、状态均为离散的随机过程。
2013年8月22日 1
一、
马氏链理论 健康与疾病模型 流行病监测中的马氏链模型 钢琴销售的存贮策略
转移概率矩阵具有下述性质： （1） pi j 0, （2）
a1
X m a1 的 a2 状 态 ai
p11 p 21 p i1
X m 1的状态
a2
p12 p22 pi 2
aj
p1 j p1 j pij
7 2013年8月22日
一、马氏链理论
1. 马氏链严格数学定义
设随机过程 X n (n T ) 的时间集合 T {1,2,3,} ，状态 空间 E {1,2,3 N } ，
状态离散的随机过程。 若对任意 X n (n T ) 是时间离散、 的整数 n T ，满足 即
P{X n1 xn1 X n xn ,, X 0 x0 } P{X n1 xn1 X n xn }
则称
X n (n T ) 为马尔可夫链，简称马氏链。上式称为过程
第十一章 马氏链模型
设投保 a1(n) 0 时疾病 a2(n) 1
0.7 0.77 0.777 … 7/9 0.3 0.33 0.333 … 2/9
n时状态概率趋于稳定值，稳定值与初始状态无关
健康与疾病
例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病
死亡为第3种状态，记Xn=3 0.8
0.18
0.25
有r个吸收状态的吸收链 的转移概率阵标准形式
P
Irr R
0 R有非 Q 零元素
M(IQ)1
Qs s0
y (y 1 ,y 2 , y k r) M
e(1 ,1 , ,1 )T
yi ~ 从第 i 个非吸收状态出发，被某个 吸收状态吸收前的平均转移次数。
11.2 钢琴销售的存贮策略
背景与问题
钢琴销售量很小，商店的库存量不大以免积压资金 一家商店根据经验估计，平均每周的钢琴需求为1架 存贮策略：每周末检查库存量，仅当库存量为零时， 才订购3架供下周销售；否则，不订购。
=a:2b:c
状态定义为配对的基因类型组合
动时，最终结果有多大变化。
设Dn服从均值为
的波松分布
状态转移阵
P (D n k ) k e /k !,( k 0 ,1 ,2 )
e 0
1e
P
e
e
1(1)e
2e/2 e 1(2/2)e
第n周(n充分大)失去销售机会的概率 PP(DnSn)
0.8
0.9
1.0
1.1
1.2
P 0.073 0.089 0.105 0.122 0.139
p11=0.8, p12=0.18, p13=0.02
0.65
1
2
马氏链模型——精选推荐
1 马氏链模型正则链 从任意的状态出发经过有限次的转移都能达到另外的任意状态，定义如下： 一个有K 个状态的马氏链如果存在正整数N ，使从任意状态i 经过N 次转移都以大于零的概率到达状态j （i ，j=1,2，...k ）则称为正则链。
定理1 若马氏链的转移矩阵为P ，则它是正则链的充要条件是：存在正整数N 使p N >0(指p N 的每个元素大于零)定理 2 正则链存在唯一的极限状态概率w=()12k ωωω ，，，使得当n →∞时状态概率()a n w →，w 与初始状态概率无关，w 又称稳定概率，满足11k i i wP ww ===∑从状态i 出发经过n 次转移，第一次到状态j 的概率称为i 到j 的首次概率，记作()ij f n 于是()1i j i j n n f n μ∞==∑为状态i 第一次到达状态j 的平均转移次数，特别地，ij μ是状态i 首次返回的平均转移次数。
ij μ与稳定概率ω有密切地关系，即定理3 对于正则链ij =1/μω吸收链 1ii p =，于是系统一旦进入状态i 就不再离开它，可以把它看作“吸收”其它状态的一个状态，并且从其它的状态可以经过有限次的转移到达状态i 定义如下： 定义2 转移概率1ii p =的状态i 称为吸收状态。
如果马氏链至少包含一个吸收状态，并且从每个非吸收状态出发，能以正的概率经有限次的转移到达某个吸收状态，那么这个马氏链称为吸收链。
吸收链的转移矩阵可以写成简单的标准形式，若有r 个 吸收状态，k-r 个非吸收状态，则转移矩阵P 可表示为r r I O P R Q ⨯⎡⎤=⎢⎥⎣⎦其中k-r 阶子方阵Q 的特征值λ满足1λ＜这要求子阵()k r r R -⨯中必含有非零元素，已满足从任意一非吸收状态出发经有限次转移可到达某个吸收状态的条件。
这样Q 就不是随机矩阵， 它至少存在一个小于1的行和，且如下定理成立定理4 对吸收链P 的标准形式，（I-Q ）可逆，()10s s M I Q Q ∞-==-=∑记元素全为1的列向量()1,1,,1Te = 则y=Me的第i 个分量是从第i 个非吸收状态出发，被某个吸收状态吸收的平均转移次数。
第六讲马氏链模型
情形2 开始经营坏
n01 2 3
4
0 0.4 0.44 0.444 0.4444 ？
1 0.6 0.56 0.556 0.5556 ？
a1(n)
4 10
4 102
4 10n
4
1 (
1 10n1
)
4
10 1 1
9
5
10
a2 (n) 9
推测：
不管开始经营情况如何，经 过足够长时间后，商店销路不好 的概率大于好的概率，好坏的可 能是4/9和5/9
5
w1
a
b
b
(1/
2/5 2) (2
/
5)
4 9
w2
5 9
2 迷宫问题（1）
下面给出一个迷宫图。迷宫有两个分隔间，分 别记为1，2。每个分隔间粉刷成不同的颜色， 试验者把一只老鼠放在迷宫的某个分隔间内， 不同的颜色对老鼠的吸引作用不同，从第 i 个
分隔间转移到第 j 个分隔的概率为 pij
12 迷宫1
7/9 2/9
n01 2 3
4
a1n 0 0.7 0.77 0.777 0.7777 7/9
a2n 0 0.3 0.23 0.223 0.2223 2/9
问题的进一步考虑
人寿保险公司考虑到人的死亡情况，把死亡作为第三 种状态，用 X n 3 表示。
0.18
0.8 1
2 0.25
0.65
0.02
线性代数模型
Durer 魔方 植物基因的分布 常染色体的隐性疾病 马尔科夫链模型
四 马尔科夫链模型 Markov Chain Model
讨论材料1 商店的经营问题
某商店每月考察一次经营情况，其结果用 销路好或销路坏这两种状况之一表示。已知如 果本月销路好，下月仍保持这种状况的概率为 0.5；如果本月销路坏，下月转变为销路好的概 率为0.4。试分析假若开始时商店处于销路好的 状况，那么经过若干月后能保持销路好的概率 有多大？若开始时商店处于销路坏的状况呢？
马氏链模型在金融风险评估中的应用研究
马氏链模型在金融风险评估中的应用研究在金融领域，风险的评估是一项非常重要的工作。
如何准确地评估各种金融产品的风险程度，是各家金融机构与投资者必须研究的重要问题。
在金融风险评估中，马氏链模型成为了一种非常有效的分析工具，能够帮助我们理解和量化各种金融事件的概率和风险程度。
一、马氏链模型的原理马氏链模型是一种描述随机过程的数学工具，它基于概率转移矩阵，用于描述系统在不同状态之间的转移概率，并可以通过数学推导来预测未来发展趋势。
在金融领域，这种模型可以用来分析各种金融事件的发生概率，帮助投资者和金融机构评估风险程度。
二、金融风险评估中的应用在金融风险评估中，马氏链模型可以用来分析各种金融产品的风险程度。
比如，对于股票基金、债券基金、货币基金等金融产品，我们可以利用马氏链模型来评估未来一段时间内它们的收益率和风险程度。
对于股票基金，我们可以使用马氏链模型来分析其在不同的市场环境下的表现，比如在经济繁荣时期、危机时期、通货膨胀时期等。
在分析中，我们可以把市场环境看成是该模型的状态，根据历史数据来计算在每个市场环境下不同收益率之间的转移概率，从而预测股票基金在未来各种市场环境下的表现。
对于债券基金，我们可以利用马氏链模型来预测未来的市场利率变化。
一般来讲，债券基金的收益率和市场利率呈现负相关关系，因此我们可以通过分析市场利率的变化来预测债券基金的收益率。
在模型的分析中，我们可以将不同利率水平看作状态，然后利用历史数据来计算不同利率之间的转移概率，从而预测未来利率的变化趋势。
对于货币基金，我们可以使用马氏链模型来分析利率的变化对其收益率的影响。
与债券基金一样，货币基金的收益率也与市场利率呈现负相关关系。
我们可以将市场利率的变化看作模型的状态，然后通过分析历史数据来计算不同利率之间的转移概率，进而预测未来利率的变化趋势及其对货币基金收益率的影响。
三、马氏链模型的优势在金融风险评估中，马氏链模型具有很多优势。
首先，该模型能够将金融事件抽象成不同的状态，通过数学建模的方式，准确地估计各种状态之间的转移概率，从而得出未来的趋势和风险。
马氏链预测模型
马氏链预测模型：
马氏链分为正则链和吸收链
正则链即任意状态都可通过正概率到达其他状态，吸收链为存在一个状态，当到达此状态时，就不能再向其他状态转移，其他任意状态都可经过一个正概率向此状态转移，且经过足够长时间后，所有状态都将变为这个状态。
基本模型：
状态⎪⎪⎩⎪⎪⎨⎧=4
3
21n X ，分别表示四种水质，状态概率)()(i X P n a n i ==，
状态转移概率..2,1,0;,...,2,1,)),(|)((1=====+n k j i i X j X P P n n ij
经n 次转以后状态概率：
k i P n a n a k j ij j i ...,2,1,*)()1(1
==+∑=
当经过足够长时间达到稳态时，对于正则链，假设w 为稳态概率，则满足：
w P w =*
利用MATLAB 程序实现：
function Markov_Chain=f1(P,n,A0)
%P 为转移概率矩阵，n 为递推时间，A0为初始状态列向量
b=size(A0,1);%确定初始状态矩阵A0行数
A=zeros(b,n);
A(:,1)=A0;
p=P';%按照递推公式，需将转移概率矩阵P 转置
j=1;
while j<=n
A(:,j+1)= p*A(:,j)%第j 列代表递推j 次后的状态向量
j=j+1;
end
A_n=A(:,n) %得到递推n 次后的状态向量
根据数据可分别求出四个地区四种水质的转移概率：
P1=。
《马氏链模型》课件
马氏链模型的求解
1
平稳分布
马氏链模型的平稳分布是指随着时间的推移，状态转移概率趋于稳定的情况。
2
极限行为
马氏链模型在假设条件下，其极限行为会收敛到一个稳定的状态。
马氏链模型的改进
1
非齐次马氏链模型
非齐次马氏链模型考虑了不同时间段的状态转移概率的变化。
2
马尔可夫决策过程
马尔可夫决策过程是马氏链模型的扩展，同时考虑了状态转移和决策的影响。
总结
马氏链模型的优点
马氏链模型能够描述状态转移的概率，并用于解决 实际问题。
马氏链模型的应用前景
马氏链模型在各个领域具有广泛的应用前景，可以 帮助解决实际问题。
《马氏链模型》PPT课件
马氏链模型是概率论中的重要工具，它描述了一个系统按照一定的概率从一 个状态转移到另一个状态的过程。
什么是马氏链模型？
马氏链模型是描述系统状态转移的数学模型，它具有马氏性质，即下一个状 态只依赖于当前状态，与之前的状态无关。
马氏链模型的特点
状态转移概率
马氏链模型中的每一个状态都有一定的概率转移到其他的状态。
马链的齐次性
马氏链模型的转移概率在时间上保持不变，不受时间影响。
时间齐次性
时间齐次性指的是马氏链模型的转移概率与时间的长度无关，只与当前状态有关。
马氏链模型的应用
随机游走问题
随机游走问题是马氏链模型的一 个重要应用领域，它可以描述在 随机环境下的随机漫步过程。
网站访问模型
马氏链模型可以用于描述网站访 问行为，帮助优化页面设计和内 容推荐。
马氏链模型
完全 优势 基因 遗传
完全优势基因遗传
3种基因类型：dd~优种D, dr~混种H, rr~劣种R 父母基因类型决定后代各种基因类型的概率
父母基因类型组合 后代各种 基因类型 的概率 R 0 1 0 0 1/4 1/2 D H DD 1 0 RR 0 0 DH 1/2 1/2 DR 0 1 HH 1/4 1/2 HR 0 1/2
该稳定值与初始状态无关。
a1 ( n + 1) p11 a ( n + 1) = p 1 2 12 p21 a1 ( n) p11 a ( n) = p p22 2 12
p21 a1 (0) p22 a2 (0)
n
马氏链模型理论
马氏链的基本方程
随机繁殖
假设
讨论基因类型的演变情况
设群体中雄性、雌性的比例相等，基因类 型的分布相同（记作D:H:R） 每一雄性个体以D:H:R的概率与一雌性个体交配， 其后代随机地继承它们的各一个基因 设初始一代基因类型比例D:H:R =a:2b:c （a+2b+c=1), 记p=a+b, q=b+c, 则群体中优势基因和 劣势基因比例 d:r=p:q (p+q=1)。
父母基因类型组合 后代各种 基因类型 的概率 R 0 1 0 0 1/4 1/2 D H DD 1 0 RR 0 0 DH 1/2 1/2 DR 0 1 HH 1/4 1/2 HR 0 1/2
当父母均为DD时,子女为DD的概率为1,其他为零 当父母均为RR时,子女为RR的概率为1,其他为零
父母基因类型组合 后代各种 基因类型 的概率 R D H
5 2 2 5 y = Me = ( 4 , 6 , 5 , 4 ) 6 3 3 6
数学建模——马尔科夫链模型ppt课件
相应的转移矩阵 为：
0.4 0.4 0 0.2
M 0.1 0.3 0.6
0
0.7 0 0.2 0.1
0
0
0
1
且Sj+1=SjM
首先，任一转移矩阵的行向量均为概率向量，即有 （1）
（I , j=01,…P,ing ）1
n
马氏链模型的性质完全由其转移矩 阵决定，故研究马氏链的数学工
（2） Pig 1 （i=1,…具,是n）线性代数中有关矩阵的理论。
1 1 0
1a0 2b0 1c0
.
即1ຫໍສະໝຸດ 11n 1
1
n1
x( n)
显然有 a0b0c01
（ii）第n代的分布与 第n－1代的分布之间的关系是通过表
5.2确定的。
（b）建模
根据假设(ii)，先考虑第n代中的AA型。由于第n－1代的AA
型与AA型结合。后代全部是AA型；第n－1代的Aa型与AA型
结合，后代是AA型的可能性为 1/2，而 第n－1代的aa型与
AA型结合，后代不可能 是AA型。因此当n=1,2…时
j1
这样的矩阵被称为 随机矩阵。
.
常染色体遗传模型
在常染色体遗传中，后代从每个亲体的基因对中各继承一 个基因，形成自己的基因父时体，—基—因母对体也的称基为因基型因型。如果
我们所考虑的遗传特A征A是由AA两个AA基 因AaA和Aaa控制aa的，（A、
a为表示两类基因的符－号）－那么－就有三－种基－因对－，记为AA，
1 =1， 2 =1/2， 3 =0
.
因此 所以
1 0 0 1 1 1
D0 0
1
2 0
0,e10 0 0
(完整版)马氏链模型及matlab程序
一、用法，用来干什么，什么时候用 二、步骤，前因后果，算法的步骤，公式 三、程序 四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链（Markov chain ）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。
什么时候用应用马尔可夫链的计算方法进行马尔可夫分析， 主要目的是根据某些变量现在的情 况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依 据。
马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n 季度是畅销还是滞销，用一个随机变量X n 便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量 X 1，X 2，…，X n ，…．称{ X t ，t ∈T ，T 是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n }的参数为非负整数， X n 为离散随机变量，且{ X n }具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ X n }的参数n 看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．对具有N 个状态的马氏链，描述它的概率性质，最重要的是它在n 时刻处于状态i 下一时刻转移到状态j 的一步转移概率：N j i n p i X j X P j i n n ,,2,1,)()|(1若假定上式与n 无关，即 )()1()0(n p p p j i j i j i ，则可记为j i p （此时，称过程是平稳的），并记N N N N N N p p p p p p p p p P212222111211（1） 称为转移概率矩阵．转移概率矩阵具有下述性质：（1）N j i p j i ,,2,1,,0 ．即每个元素非负．（2）N i p Nj j i ,,2,1,11．即矩阵每行的元素和等于1．如果我们考虑状态多次转移的情况，则有过程在n 时刻处于状态i ，n +k 时刻转移到状态j 的k 步转移概率：N j i n p i X j X P k j i n k n ,,2,1,)()|()(同样由平稳性，上式概率与n 无关，可写成)(k j i p ．记)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（2）称为k 步转移概率矩阵．其中)(k j i p 具有性质：N j i p k ji ,,2,1,,0)( ； N i p Nj k j i ,,2,1,11)( ．一般地有，若P 为一步转移矩阵，则k 步转移矩阵)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（3） （2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．表1 某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态1 1 (畅销) 7 1(畅销) 13 1(畅销) 19 2(滞销)2 1(畅销) 8 1(畅销) 14 1(畅销) 20 1(畅销)3 2(滞销) 9 1(畅销) 15 2(滞销) 21 2(滞销)4 1(畅销) 10 2(滞销) 16 2(滞销) 22 1(畅销)5 2(滞销) 11 1(畅销) 17 1(畅销) 23 1(畅销) 62(滞销)122(滞销)181(畅销)241(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．表2 市场状态转移情况表现计算转移概率．以频率代替概率，可得连续畅销的概率：1170.5151p连续出现畅销的次数出现畅销的次数分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：1270.5151p畅销转入滞销的次数出现畅销的次数滞销转入畅销的概率：2170.789p滞销转入畅销的次数出现滞销的次数连续滞销的概率：2220.229p连续滞销的次数出现滞销的次数综上，得销售状态转移概率矩阵为：22.078.05.05.022211211p pp p P 从上面的计算过程知，所求转移概率矩阵P 的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：77711p 77712p 27721p 77222p Matlab 程序：format rat clca=[ 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1]; for i=1:2 for j=1:2f(i,j)=length(findstr([i j],a)); end end fni=(sum(f'))' for i=1:2p(i,:)=f(i,:)/ni(i); end p由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m 种状态S 1，S 2，…，S m ，根据系统的状态转移的历史记录，得到表3的统计表格，以j i pˆ表示系统从状态i 转移到状态j 的转移概率估计值，则由表3的数据计算估计值的公式如下：表3 系统状态转移情况表（3）带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r 11元，连续滞销时亏本r 22元，由畅销转为滞销盈利r 12元，由滞销转为畅销盈利r 21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵N N N N N N p p p p p p p p p P212222111211的马氏链，当系统由i 转移到j 时，赋予利润r ij （i ，j =1，2，…，N ），则称N N N N N N r r r r r r r r r R212222111211 （5） 为系统的利润矩阵，r ij ＞0称为盈利，r ij ＜0称为亏本，r ij = 0称为不亏不盈．随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量)1(1x 、)1(2x 的概率分布分别为：其中 p 11+ p 12 = 1 ，p 21+ p 22 = 1．如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n 个季度以后，期望获得的利润是多少？为此，引入一些计算公式．首先，定义)(n i v 为抗病毒药现在处于)2,1( i i ，经过n 步转移之后的总期望利润，则一步转移的期望利润为：212211)1()1()(j j i j i i i i i i i p r p r p r x E v其中)()1(i x E 是随机变量)1(i x 的数学期望．二步转移的期望利润为：21)1(2)1(221)1(11)2()2(][][][)(j j i j j i i i i i i i p v r p v r p v r x E v其中随机变量)2(ix （称为二步利润随机变量）的分布为：2,1,)()1()2( j p v r x P j i j j i i例如，若6.04.05.05.0P ，7339R则抗病毒药销售的一步利润随机变量：抗病毒药畅销和滞销时的一步转移的期望利润分别为：65.035.09)(12121111)1(1)1(1 p r p r x E v 36.074.03)(22222121)1(2)1(2 p r p r x E v二步利润随机变量为：抗病毒药畅销和滞销时的二步转移的期望利润分别为：12)1(21211)1(111)2(1)2(1][][)(p v r p v r x E v5.75.0)33(5.0)69(22)1(22221)1(121)2(2)2(2][][)(p v r p v r x E v4.26.0)37(4.0)63(一般地定义k 步转移利润随机变量),2,1()(N i x k i的分布为：N j p v r x P ji k j j i k i ,2,1)()1()(则系统处于状态i 经过k 步转移后所得的期望利润)(k iv 的递推计算式为：j i k j Nj j i k i k i p v r x E v )()()1(1)()(Nj j i k j i Nj j i k j Nj j i j i p v v p v p r 1)1()1(1)1(1（6）当k =1时，规定边界条件0)0( iv ．称一步转移的期望利润为即时的期望利润，并记N i q v i i ,2,1,)1( ．可能的应用题型题型一、市场占有率预测例题1在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A 、B 、C 三药厂的各有400家、300家、300家，预测A 、B 、C 三个厂家生产的某种抗病毒药在未来的市场占有情况。
[学习笔记]马氏链模型
[学习笔记]马⽒链模型引例：（带有反射壁的随机徘徊）如果在原点右边距离原点⼀个单位及距原点 s(s > 1)个单位处各⽴⼀个弹性壁。
⼀个质点在数轴右半部从距原点两个单位处开始随机徘徊。
每次分别以概率 p(0 < p < 1) 和 q(q = 1− p) 向右和向左移动⼀个单位；若在+1 处，则以概率 p 反射到 2，以概率q 停在原处；在 s 处，则以概率 q 反射到 s −1，以概率 p 停在原处。
由该例⼦可以看出，我们所做的，是根据质点的移动⽅向和⽅向对应的概率，对质点的运动⽅向进⾏预测。
在这背景下，球移动的⽅向与概率只与当前的点有关，与它历史运动轨迹⽆关。
因此，这种现象可以⽤⼀句话来概括：某⼀系统在已知现在情况的条件下，系统未来时刻的情况只与现在有关，⽽与过去的历史⽆直接关系。
描述这类随机现象的数学模型称为马⽒模型。
概念以及定理：时齐性：它的含义是：系统由状态i 到状态j 的转移概率只依赖于时间间隔的长短，与起始的时刻⽆关。
在此马⽒链假定都是时齐的，因此省略“时齐”⼆字。
n可以理解成起点的位置n=1，2… m表⽰从n开始的时间间隔，i与j分别表⽰n点的状态与n+m点的状态。
由式⼦可以看出，概率与n⽆关，只与起点状态，终点状态，以及两点之间的距离有关。
转移概率矩阵： m 步转移概率 p (m) ij 为元素的矩阵 为马尔可夫链的m 步转移矩阵。
当m = 1时，记 P(1) = P 称为马尔可夫链的⼀步转移矩阵，或简称转移矩阵。
（下⾯是⼀个转移矩阵）并且由上⾯的图可以看出⼀些性质：(1)上次购买的A对应下次购买的A、B、C的概率，每⼀个都在范⽂[0,1]，⽽且总和是1.(2)当步数为0时，若前后状态相同，概率为1。
状态不同概率为0。
吸收链：如果马⽒链⾄少含有⼀个吸收状态，并且从每⼀个⾮吸收状态出发，都可以到达某个吸收状态，那么这个马⽒链被称为吸收链。
如图，当状态到4的时候就会停留到4，状态4也就被称为吸收状态。