Matlab学习系列34. 马尔可夫预测
系统预测马尔可夫预测
解：
划分状态。 按销售额多少作为划分状态的标准。 状态1——滞销：销售额60万元； 状态2——平销：60万元销售额
100万元； 状态3——畅销：销售额100万元。
19
则各状态出现的次数Mi为：
M1=7； M2=5； M3=8。 根据统计数据计算比例数，建立状态 转移概率矩阵。
20
由状态i转移为状态j的次数记为Mij，
24
条件
设市场中提供某种商品的厂商共有n家。 当前的市场占有率,即本期市场占有率为：
用Pij代表经过一个时期后i厂商丧失的顾 客转移到j厂商的概率，或j厂商得到由i 厂商转来的顾客的概率。特别是当i=j时， Pij代表i厂商保留上期顾客的概率。这样 Pij即为市场占有率的转移概率。
25
转移概率矩阵
3
一、Markov预测原理
例1：出租公司车站租、还车一步转移概率。
机场 租 风景区 车 宾馆
机场 0.8 0.2 0.2
还车 风景区
0.2
0
0.2
宾馆 0 0.8 0.6
p11
p12
p13 0.8 0.2
0
P
p21
p22
p23
0.2
0
0.8
p31
p32
p33 0.2 0.2 0.6
4
一、Markov预测原理
若假定各期的转移概率不变，则那 么对于下K期市场占有率的预测，可 以看成是在当前状态下经过K步转移 所达到的状态。即：S（K）=S（0）PK。
31
例5
已知市场上有A、B、C三种品牌
的洗衣粉，上月的市场占有率分布
为（0.3 0.4 0.3），并且转移概率矩
阵为：
马尔可夫预测方法
几个基本概念 马尔可夫预测法
马尔可夫链是最简明的马尔可夫过程, 它是状态、时 间都是离散量的马尔可夫过程. 它有极为深厚的理论基础,如拓扑学、函数论、泛函分 析、近世代数和几何学; 又有广泛的应用空间,如近代 物理、随机分形、公共事业中的服务系统、电子信息、 计算机技术等. 自然界很多现象遵从这样的演变规则:由时刻t0系统 或 过程所处的状态(现在)可以决定系统或过程在时刻t＞t0 所处的状态(将来),而无需借助于t0以前系统或过程所处 状态(过去)的历史资料. 如微分方程初值问题即属于此.
同理可得
7 0.538 5 13 2 P22 P( E2 E2 ) P( E2 E2 ) 0.153 8 13 4 P23 P( E2 E3 ) P( E3 E2 ) 0.307 7 13 P21 P( E2 E1 ) P( E1 E2 )
即
1 0.200 0 1 0.538 5 2 0.363 6 3 2 0.466 7 1 0.1538 3 0.454 5 3 0.3333 0.307 7 0.1818 1 2 3 3 求解该方程组得： 1＝0.365 3, 2＝0.352 5， 3
所以
3 P 0.200 0 11 P ( E1 E1 ) P ( E1 E1 ) 15
7 P 0.466 7 12 P ( E1 E2 ) P ( E2 E1 ) 15
5 P 0.333 3 13 P ( E1 E3 ) P ( E3 E1 ) 15
n
i
1
使得
P
（3.7.4）
这样的向量α称为平衡向量，或终极向 量。这就是说，标准概率矩阵一定存在平 衡向量。
马尔可夫预测算法
马尔可夫预测算法综述马尔可夫预测法以系统状态转移图为分析对象，对服从给定状态转移率、系统的离散稳定状态或连续时间变化状态进行分析马尔可夫预测技术是应用马尔可夫链的基本原理和方法研究分析时间序列的变化规律，并预测其未来变化趋势的一种技术。
方法由来马尔可夫是俄国的一位著名数学家 (1856—1922)，20世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。
针对这种情况，他提出了马尔可夫预测方法，该方法具有较高的科学性，准确性和适应性，在现代预测方法中占有重要地位。
基础理论在自然界和人类社会中，事物的变化过程可分为两类:一类是确定性变化过程；另一类是不确定性变化过程。
确定性变化过程是指事物的变化是由时间唯一确定的，或者说，对给定的时间，人们事先能够确切地知道事物变化的结果。
因此，变化过程可用时间的函数来描述。
不确定性变化过程是指对给定的时间，事物变化的结果不止一个，事先人们不能肯定哪个结果一定发生，即事物的变化具有随机性。
这样的变化过程称为随机过程一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描述。
在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接连不断地观测它的变化过程。
这就要研究无限多个，即一族随机变量。
随机过程理论就是研究随机现象变化过程的概率规律性的。
客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化状态即为客观事物可能出现或存在的状况，用状态变量表示状态：⎪⎪⎭⎫⎝⎛⋅⋅⋅=⋅⋅⋅==,2,1,,2,1t N i i X t 它表示随机运动系统，在时刻),2,1( =t t 所处的状态为),2,1(N i i =。
状态转移：客观事物由一种状态到另一种状态的变化。
设客观事物有N E E E E ...,,321共 N 种状态，其中每次只能处于一种状态，则每一状态都具有N 个转向（包括转向自身），即由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是状态转移概率。
马尔科夫预测
第 6 章马尔可夫预测马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。
它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。
6.1 马尔可夫预测的基本原理马尔可夫（A.A.Markov ）是俄国数学家。
二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。
具有这种特性的随机过程称为马尔可夫过程。
设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。
6.1.1 马尔可夫链为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。
如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。
设有参数集T （ , ），如果对任意的t T ，总有一随机变量X t 与之对应，则称{X t ,t T} 为一随机过程。
如若T 为离散集（不妨设T {t0,t1,t2,...,t n,...} ），同时X t的取值也是离散的，则称{X t ,t T} 为离散型随机过程。
设有一离散型随机过程，它所有可能处于的状态的集合为S {1,2,L ,N} ，称其为状态空间。
系统只能在时刻t0,t1,t2,...改变它的状态。
为简便计，以下将X t n等简记为X n。
一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。
在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。
这个性质称为无后效性，即所谓马尔可夫假设。
具备这个性质的离散型随机过程，称为马尔可夫链。
用数学语言来描述就是：马尔可夫链如果对任一n 1，任意的i1,i2, ,i n 1, j S恒有P X n j X1 i1,X2 i2,L ,X n 1 i n 1 P X n j X n 1 i n 1 （6.1.1）则称离散型随机过程{X t ,t T} 为马尔可夫链。
马尔科夫预测法简介
故可用矩阵式表达所有状态:
[S1(k),S2(k), …… ,SN(k)]= [S1(0),S2(0), …… ,SN(0)] P[k]
即 S(k) = S(0) P [k] 当满足稳定性假设时,有
S(k) = S(0) Pk 这个公式称为已知初始状态条件下的市场占有
率k步预测模型.
例:东南亚各国味精市场占有率预测, 初期工作: a)行销上海,日本,香港味精,确定状态1,2,3. b)市场调查,求得目前状况,即初始分布 c)调查流动状况;上月转本月情况,求出一步状 态转移概率. 1)初始向量: 设 上海味精状况为1;
0.5
P = 0.78
0.22
此式说明了：若本季度畅销，则下季度畅销和滞销的可能性 各占一半
若本季度滞销，则下季度滞销有78%的把握，滞销风 险22%
二步状态转移矩阵为：
[2] 2
P=P=
0.5 0.5
0.5 0.5
0.78 0.22 0.78 0.22
0.64
0.36
= 0.5616 0.4384
求T
0.6 0.1 0.3 解：设 U = [U1 U2 U3] = [U1 U2 1－U1－U2]
由 UP = U 有
0.4 0.3 0.3
[U1 U2 1－U1－U2] 0.6 0.3 0.1 = [U1 U2 U3]
0.6 0.1 0.3
即
-0.2U1 + 0.6 = U1
0.2U1 + 0.2U2 + 0.1 =U2
定理二：设X为任意概率向量，则XT = U 即任意概率向量与稳态概率矩阵之点积为 固定概率向量。
事实上： U1 U2 …… UN
XT = X• : :
马尔可夫预测方法
状态转移概率。在事件的发展变化过程中， 状态转移概率。在事件的发展变化过程中， 从某一种状态出发， 从某一种状态出发，下一时刻转移到其它状 态的可能性，称为状态转移概率。由状态Ei 态的可能性，称为状态转移概率。由状态 转为状态E 转为状态 j的状态转移概率 P(E i → E j ) 是 P(Ei → E j ) = P(E j / Ei ) = Pij
Copyright 2007 Geocomputation Lab SNNU
主要内容： 主要内容：
几个基本概念 1、状态 、 2、状态转移过程 、 3、马尔可夫过程 、 4、状态转移概率 、 5、状态转移概率矩阵 、 马尔可夫预测法 1、状态转移概率 、 2、状态转移概率矩阵 、
Copyright 2007 Geocomputation Lab SNNU
二、马尔可夫预测法
表示事件在初始（ ＝ ） 状态概率 π j (k )：表示事件在初始（k＝0）状 态为已知的条件下，经过k次状态转移后 次状态转移后， 态为已知的条件下，经过 次状态转移后，在 个时刻（时期） 的概率。 第k 个时刻（时期）处于状态 E j 的概率。 且：
j =1 根据马尔可夫过程的无后效性及Bayes条件概 条件概 根据马尔可夫过程的无后效性及 率公式， 率公式，有
（7.1） 7.1）
状态转移概率矩阵。 状态转移概率矩阵。假定某一个事件的发展 过程有n个可能的状态 个可能的状态， 过程有 个可能的状态，即E1，E2， …，En。 ， 记为从状态E 转变为状态E 记为从状态 i转变为状态 j的状态转移概 率 P ( E i → E j ) ，则矩阵
Copyright 2007 Geocomputation Lab SNNU
马尔可夫预测算法
马尔可夫预测算法马尔可夫预测算法是一种基于马尔可夫链的概率模型，用于进行状态转移预测。
它被广泛应用于自然语言处理、机器翻译、语音识别等领域。
马尔可夫预测算法通过分析过去的状态序列来预测未来的状态。
本文将介绍马尔可夫预测算法的原理、应用以及优缺点。
一、原理1.马尔可夫链马尔可夫链是指一个随机过程，在给定当前状态的情况下，未来的状态只与当前状态有关，与其他历史状态无关。
每个状态的转移概率是固定的，可以表示为一个概率矩阵。
马尔可夫链可以用有向图表示，其中每个节点代表一个状态，每个边表示状态的转移概率。
（1）收集训练数据：根据需要预测的状态序列，收集过去的状态序列作为训练数据。
（2）计算转移概率矩阵：根据训练数据，统计相邻状态之间的转移次数，然后归一化得到转移概率矩阵。
（3）预测未来状态：根据转移概率矩阵，可以计算出目标状态的概率分布。
利用这个概率分布，可以进行下一步的状态预测。
二、应用1.自然语言处理在自然语言处理中，马尔可夫预测算法被用于语言模型的建立。
通过分析文本中的单词序列，可以计算出单词之间的转移概率。
然后利用这个概率模型，可以生成新的文本，实现文本自动生成的功能。
2.机器翻译在机器翻译中，马尔可夫预测算法被用于建立语言模型，用于计算源语言和目标语言之间的转移概率。
通过分析双语平行语料库中的句子对，可以得到句子中单词之间的转移概率。
然后利用这个转移概率模型，可以进行句子的翻译。
3.语音识别在语音识别中，马尔可夫预测算法被用于建立音频信号的模型。
通过分析音频数据中的频谱特征，可以计算出特征之间的转移概率。
然后利用这个转移概率模型，可以进行音频信号的识别。
三、优缺点1.优点（1）简单易懂：马尔可夫预测算法的原理相对简单，易于理解和实现。
（2）适用范围广：马尔可夫预测算法可以应用于多个领域，例如自然语言处理、机器翻译和语音识别等。
2.缺点（1）数据需求大：马尔可夫预测算法需要大量的训练数据，才能准确计算状态之间的转移概率。
决策与预测第八章马尔可夫预测
决策与预测第八章马尔可夫预测马尔可夫预测（Markov Prediction）是一种基于马尔可夫模型的预测方法。
马尔可夫模型是一种具有状态转移特性的随机过程，即当前状态的发生只与前一个状态有关，与之前的状态无关。
马尔可夫预测依据这一性质，通过对已有的状态序列进行分析，来预测未来可能的状态。
马尔可夫预测在许多领域都有应用，比如天气预测、股市预测、自然语言处理等。
在天气预测中，我们可以将天气分为晴天、阴天、雨天等若干个状态，通过观察历史天气数据，建立马尔可夫模型，从而预测未来几天的天气情况。
在股市预测中，我们可以将股票价格分为涨、跌、平稳等若干个状态，通过分析历史股价数据，建立马尔可夫模型，从而预测未来股票价格的走势。
马尔可夫预测的关键是确定马尔可夫链的阶数。
马尔可夫链的阶数决定了当前状态只与前几个状态有关。
一般情况下，阶数越高，预测的准确性越高，但计算复杂度也越高。
选择合适的阶数需要根据具体问题进行权衡。
马尔可夫预测的关键步骤包括状态定义、状态转移矩阵的估计和预测结果生成。
首先，需要将观测序列转化为状态序列。
状态定义需要根据具体问题确定，通常是将连续的观测值离散化为若干个状态。
然后，需要估计马尔可夫链的状态转移矩阵。
状态转移矩阵描述了从一个状态转移到另一个状态的概率。
可以通过历史数据来估计状态转移矩阵，常用的方法有最大似然估计和贝叶斯估计。
最后，通过状态转移矩阵和当前的状态，可以通过马尔可夫链进行状态的预测。
马尔可夫预测有一些优点和限制。
优点是简单易用，不需要太多的领域知识，只需要一些历史数据。
同时，马尔可夫预测可以处理非线性和非平稳的数据，具有一定的适应性。
然而，马尔可夫预测也有一些限制。
首先，马尔可夫模型假设当前状态只与前一个状态相关，而与之前的状态无关，这个假设在一些情况下可能不成立。
其次，马尔可夫模型对于状态转移矩阵的估计需要大量的历史数据，否则预测的准确性可能较低。
在实际应用中，马尔可夫预测通常与其他方法结合使用，以提高预测的准确性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
33. 马尔可夫预测马尔可夫预测，是一种预测事件发生的概率的方法。
它是基于马尔可夫链，根据事件的目前状况预测其将来各个时刻（或时期）变动状况的一种预测方法。
马尔可夫预测法的基本要求是状态转移概率矩阵必须具有一定的稳定性。
因此，必须具有足够的统计数据，才能保证预测的精度与准确性。
换句话说，马尔可夫预测模型必须建立在大量的统计数据的基础之上。
（一）经典马尔可夫模型 一、几个概念状态：指某一事件在某个时刻（或时期）出现的某种结果； 状态转移：事件的发展，从一种状态转变为另一种状态； 马尔可夫过程：在事件的发展过程中，若每次状态的转移都仅与前一时刻的状态有关，而与过去的状态无关，或者说状态转移是无后效性的，则这样的状态转移过程就称为马尔可夫过程。
状态转移概率：在事件的发展变化过程中，从某一种状态出发，下一时刻转移到其它状态的可能性，称为状态转移概率。
由状态i E 转为状态j E 的状态转移概率()(|)i j j i ij P E E P E E p →==状态转移概率矩阵：假定某一个事件的发展过程有n 个可能的状态，即1,,n E E ，则矩阵1111n n nn p p P p p ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦其中，ij p 为从状态i E 转为状态j E 的状态转移概率，称为状态转移概率矩阵。
状态转移矩阵满足：(i)01, ,1,,ij p i j n ≤≤=(ii)11nijj p==∑二、状态转移矩阵的计算即求出从每个状态转移到其它任何一个状态的状态转移概率ij p ，一般采用频率近似概率的思想进行计算。
例1某地区农业收成变化的三个状态，即E1“丰收”、E2“平收”和E3“欠收”。
下表给出了该地区1960~1999年期间农业收成的状态变化情况（部分）。
计算该地区农业收成变化的状态转移概率矩阵。
datas=xlsread('Agriculture.xlsx');E=datas(:,2)'; for i=1:3 for j=1:3f(i,j)=length(findstr([i j],E)); end endf %输出状态转移矩阵 fs=sum(f,2); for i=1:3p(i,:)=f(i,:)/fs(i); endp %输出状态转移概率矩阵 运行结果：f = 3 7 5 %3个E1到E1, 7个E1到E2, 5个E1到E37 2 4 4 5 2p = 0.2000 0.4667 0.3333 0.5385 0.1538 0.3077 0.3636 0.4545 0.1818三、状态概率用()j k π表示事件在第k 个时刻（时期）处于状态j E 的概率。
显然，1()1nj j k π==∑。
根据马尔可夫过程的无后效性及Bayes 条件概率公式，有1()(1) ,1,,nj j ij i k k p i j n ππ==-=∑记1()[(),,()]n k k k πππ=为第k 个时刻（时期）的状态概率向量。
由上式可得到计算状态概率向量的递推公式：()(1)(0)k k k P P πππ=-==其中，(0)π为初始状态概率向量。
于是，若事件在某个时刻（时期）的状态0()s π已知，则利用状态转移概率矩阵P 和递推公式，就可以求得它经过k 次状态转移后，在第0s k +个时刻（时期）处于各种可能的状态的概率0()s k π+，从而就得到该事件在第0s k +个时刻（时期）的状态概率预测。
将例1中1999年的农业收成状态记为0()[0,1,0]s π=，利用状态转移概率矩阵及递推公式，预测2000—2009年可能出现的各种状态的概率。
S{1}=[0 1 0]; for i=1:10S{i+1}=S{i}*P; end S{2:end}运行结果：ans = 0.5385 0.1538 0.3077 ans = 0.3024 0.4148 0.2828 ans = 0.3867 0.3335 0.2799 ans = 0.3587 0.3590 0.2824 ans = 0.3677 0.3510 0.2813 ans = 0.3648 0.3535 0.2817 ans = 0.3657 0.3527 0.2816 ans = 0.3654 0.3529 0.2816 ans = 0.3655 0.3528 0.2816 ans = 0.3655 0.3529 0.2816四、终极状态概率预测经过无穷多次状态转移后所得到的状态概率称为终极状态概率。
11lim ()=[lim (),,lim ()][,,]n n k k k k k k ππππππ→∞→∞→∞==终极状态概率应满足：P ππ=，即T T T P ππ=，即()T T P E πθ-=111212112122221122(1)0(1)0 (1)0n n n nn n nn n p p p p p p p p p πππππππππ-+++=⎧⎪+-++=⎪⎨⎪⎪+++-=⎩ 该齐次方程组的系数行列式为0，有无穷多个解，为得到唯一的正确解，需要另一个限制条件：1 =1ni i π=∑此时是n 个未知数，n+1个方程，去掉前n 个中的任意一个，求解即可得到正确解，即终极状态概率向量。
求例1的终极状态概率向量。
n=3; %状态数目 A=P'-eye(n);A(end,:)=ones(1,n);%将最后一个方程替换为限制条件sum(pi)=1 b=[zeros(n-1,1);1];S=inv(A)*b %解方程组Ax=b 得到终极状态概率向量运行结果：S = 0.3655 0.3529 0.2816结果说明，该地区农业收成的变化过程，在无穷多次状态转移后，“丰收”和“平收”状态出现的概率基本相当，都大于“欠收”状态出现的概率。
例2设某药品共有1000家购买对象，买A、B、C三药厂的各有400家、300家、300家，即A、B、C三药厂目前的市场占有份额分别为：40%、30%、30%，故初始市场占有状态向量为[0.4, 0.3, 0.3].为预测A、B、C三个药厂生产的该药品在未来的市场占有情况，收集顾客订货情况如下表：表顾客订货情况表下季度订货情况合计来自A B CA 160 120 120 400B 180 90 30 300C 180 30 90 300合计520 240 240 1000假设在未来的时期内，订货流向如上表保持不变，即状态转移概率稳定。
预测未来3年，A、B、C厂的该药品市场占有率；计算经过若干时期形成稳定之后，A、B、C厂的该药品市场占有率。
f=[160 120 120; 180 90 30; 180 30 90]; %状态转移矩阵fs=sum(f,2);for i=1:3P(i,:)=f(i,:)/fs(i);endP %输出状态转移概率矩阵S0=[0.4 0.3 0.3];S1=S0*PS2=S1*PS3=S2*Pn=3; %状态数目: 3个药厂A=P'-eye(n);A(end,:)=ones(1,n); %将最后一个方程替换为限制条件sum(pi)=1 b=[zeros(n-1,1);1];S=inv(A)*b %解方程组Ax=b得到终极状态概率向量运行结果：P = 0.4000 0.3000 0.30000.6000 0.3000 0.10000.6000 0.1000 0.3000S1 = 0.5200 0.2400 0.2400S2 = 0.4960 0.2520 0.2520S3 = 0.5008 0.2496 0.2496S = 0.5000 0.2500 0.2500（二）带利润的马尔可夫模型经典马尔可夫模型可以应用到，某商品的销售状态的预测。
例如，销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本。
假定连续畅销时盈利r11元，连续滞销时盈利r22元，由畅销转为滞销盈利r12元，由滞销转为畅销盈利r21元，其中，r22和r12为负数，即亏本。
这种随着系统的状态转移，赋予一定利润的马尔可夫模型，称为带利润的马尔可夫模型。
设状态转移概率矩阵为111212122212n n n n nn p p p p p p p p p ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦当系统从状态E i 转到E j 时，赋以利润r ij ，则系统利润矩阵为：111212122212n n n n nn r r r r r r r r r ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦r ij >0表示盈利，r ij <0表示亏本，r ij = 0表示不亏不盈。
随着时间的变化，系统的状态不断地转移，从而可得到一系列利润。
由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马尔可夫链的转移概率决定。
第1期的各利润随机变量记为(1)(1)1,,nx x ，其概率分布为：1,,i n =, 注意到11nij j p ==∑. 从而第1期的各期望利润(1)i v 为：(1)(1)1(), 1,,2niiij ij j vE x r p i ====∑第2期的各利润随机变量记为(2)(2)1,,nx x ，其概率分布为：1,,i n =. 从而第2期的各期望利润(2)i v 为：(2)(2)(1)1()() 1,,2niiij j ij j vE x r v p i ===+=∑依次做下去……，得到第k 期的各利润随机变量记为()()1,,k k nx x ，其概率分布为：1,,i n =. 从而第k 期的各期望利润()k i v 为：()()(1)1(1)(1)(1)111()() nk k k iiij j ijj nnnk k ij ij j ij i j ijj j j vE x r v p r p v p v v p -=--=====+=+=+∑∑∑∑当k=1时，规定边界条件(0)0i x =。
例3 设0.50.593, 0.40.637P R ⎡⎤⎡⎤==⎢⎥⎢⎥-⎣⎦⎣⎦，求第1至5期的期望利润。
P=[0.5 0.5; 0.4 0.6]; %状态转移矩阵 R=[9 3; 3 -7]; %利润矩阵 T=5; %预测5期的期望利润 n=length(P);v=zeros(n,T); %初始化期望利润矩阵 for i=1:nv(i,1)=R(i,:)*P(i,:)'; %第1期的n 个期望利润 endfor k=2:T %计算第2至第T 期的各期望利润 for i=1:nv(i,k)=v(i,k-1)+P(i,:)*v(:,k-1);endendv运行结果：v = 6.0000 7.5000 10.0500 14.6550 23.3205 -3.0000 -2.4000 -0.8400 2.6760 10.1436。