随机过程-马尔可夫过程应用

进入“决标阶段”，或以r3的概率不去投标而“退出”。决定投标后，或 以q4的概率中标，或以r4的概率失标而“退出”。
由于某承包公司在各阶段能否进入下一阶段，只与本阶段的决策依据有 关，而与本阶段前各阶段的决策依据无关，故研究的问题满足后无效性，是一 个有限状态的马尔可夫链。
记为{Xn,n≥0},条件概率P与n无关，故这一马氏链还是时齐的，其一步转 移概率可表示为Pil，由此可得，系统的状态转移矩阵为
而在经济领域的运用中，如果社会、政治、经济环境等内、外部因素发生
变化了,或者在长期预测中随机过程呈现出一定的长期变化趋势,转移率矩阵就 不可能保持不变,那么原有的矩阵稳定性的假设就遭到了破坏。因此,马尔可夫 方法较适合短期预测分析,应用中应尽量避免用它作长期预测。
同时，一些研究工作,是在一种理想的状态下进行的。其实际可操作性并没 有得到真正的检验,比如在股市中的应用，其实用性到底如何,还要真正在实际 中进行检验。
从马氏链的理论及图1可知 ，状态空间I可分解为N+C1+C2，由于C1和C2为两 个互不相交的基本常返闭集，N为非常返态，且状态5和状态6分别为正常返、非 周期的吸收态．即系统的状态转移一旦进入
状态5(中标)或状态6(退出)两阶段，就永远处于这两个状态，不会再转移 到其它状态．所以国际工程投标的风险问题，可由一个带有2个吸收状态和4个 非常返状态的可约马氏链来表示。
2.3 马尔可夫链理论及其在经济管理领域的应用研究 马尔可夫链是一个有着广泛应用的随机过程模型,它对一个系统由一种状态
转移到另一种状态的现状提出了定量分析。许多经济和社会现象中的动态系统 问题都可采用马尔可夫链来描述。比如银行不良资产管理、城市用水量仿真预 测、企业管理、企业人力资本投资预测、机车管理、国际工程投标风险预测等 方面。
设由fij(n)组成的最终进入吸收状态的可能概率矩阵为F,显然F=R+ZF,则
这个矩阵表明在进入吸收状态之前,处于各非常返态的贷款分别有多大可能 性最终收回或不可收回。与此同时,我们既要了解贷款在一段时间以后到达各个 状态的可能性,也应该了解进入吸收状态之前,一笔处于i状态的贷款,在暂态j停 留的时间,这样既能知道这笔贷款转变到别的状态以后会停留的时间,也能通过 计算得知它多长时间以后会被吸收(即被收回或成为新的呆帐),对银行资产管理 者的工作很有帮助。记tij与为一笔贷款从状态i出发首次转变到状态j所花的平 均时间,则
2.2 马氏链在国际工程投标风险预测中的应用
图1为国际工程投标的过程。由图可见，系统的状态转移关系是：来承包公 司在某次投标的全过程中，系统先从“预研阶段”开始，然后或以q1的概率进 入“资格预审阶段”，或以r1的概率不参加投标而退出。若进入资格预审阶段 后，则或以q2的概率通过资格预审，或以r2的概率不能通过资格预审而“退 出”。若该公司已通过资格预审，并进入“投标阶段”，则或以q3的概率
将学生在前一次考试中获得的成绩划分为若干等级—优、良、中、及格和 不及格，以各等级学生人数占总人数之比∏n/∏作为成绩的初始状态分布。对 最近一次阶段教学后的测试成绩，也将学生成绩按照优、良、中、及格和不及 格划分为5个等ห้องสมุดไป่ตู้，算出各等级所含学生的频数，并求出一步转移概率矩阵P：
假定教学效果稳定，即任意相邻两次测验后，学生数在不同成绩等级间的 转化率不变，也就是说—步转移概率矩阵不变，这使得学生成绩过程具有时齐 性，在假设成绩过程具备无后效性，亦即将来的成绩只与最近的成绩有关，而
2 马尔可夫过程的应用
2.1 马氏过程理论在教学质量评估中的应用 马尔可夫链在教学评价中的应用是基于两次测验成绩基础上的，并假设教
学效果稳定，通过分析学生两次测验在不同成绩等级间的变化，构建转移概率 矩阵，以其稳定分布来衡量学生最终达到的成绩分布。根据教学规律与教学质 量评估的需要，马尔可夫链评估法较好地体现其在教学质量评估中的实用性与 有效性。
V是定义在π×S上的单值函数，称为目标。其中π是全体策略构成的集 合，π∈Ⅱ，i∈S，V(π，i)表示t=0时从状态i出发，用策略π所获得的目标 值，它是衡量不同策略优劣的标准。当给定了一组{S，A(i)，i∈P，r，V}时， 就认为给定了一个具体的马氏决策规划。
3 理解与分析
在现实世界中,有很多过程都是马尔可夫过程,其在自然科学和许多实际问 题中也有着很多的应用。不过作为一种定量分析方法，运用马尔可夫链法也存 在着它的局限性。
率公式知逾期贷款第t+k个时段的绝对概率向量为
在已知初始概率向量（即特定时段逾期贷款所处的区间）的情况下,对任意 时段后逾期贷款所处区间的概率分布作出预测。根据全概率公式可知,系统从i 状态出发经n步首次到达j状态的概率,等于它从状态i一次到达j状态的概率与先 到达状态k,再从状态k最终到达状态j的概率之和,即
马氏决策规划可由(S，A(i)，i∈P，r，V}来描述，S表示状态空间，A(i) 为状态i∈S时的备选方案集，P为系统状态转移律，P(j／i，a)表示任一时刻 t(t=0，1，⋯)系统处于状态i，选用方案a∈A(i)后，在(t+1)时刻转移到状态j 的概率。它与系统在t之前的历史无关，且满足
令Γ={(i，a)／a∈A(i)，i∈S)，r是定义在Γ上的单值函数，r(i，a)表 示在任一时刻t，系统处理状态i，选用方案a时所获得的收益。
只要一步转移概率矩阵P1已知,就可以求出各状态之间的到达平均时间。设
tij组成的矩阵为
则即：
矩阵T每行元素之和表示在到达最终吸收状态之前在各暂态停留的时间之 和,即
2.4 马氏决策规划在股票价格预测中的应用 马尔可夫链在经济管理领域中的应用一直是国内外学者研究的重点热点,在
股市分析中,不仅单支股票价格的变化、而且单支股票的预期收益时间序列、整 个证券市场的股指、证券组合的综合价格与预期收益时间序列,都表现出极强的 随机性。
比如在教学质量评估的应用中，特定外部气氛、心理影响，试题的命题风 格，评卷教师的宽严，考题的难易等都会影响到学生考试平均成绩的高低，它 们都在转移概率矩阵P中体现出来。教学质量的马尔可夫链评估是以考试成绩为 依据的，因此，考试的质量直接影响到马尔可夫链分析的质量。所以，仅用 “分数”对教学质量进行评估是不够科学的。
如果把证券市场股价变化的时间序列视为马氏链,则可按转移概率根据当前 的状态预测以后的状态,进行持股时间和投资收益分析,以采取相应的策略,这就 是运用马氏链的方法进行股市分析的基本思想。
利用股市的历史资料,统计得出在连续两个时段(天、周、旬、月)内,前一 个时段股价处于i区而后一个时段股价处于区的比率pij(i,j=1,2,3…n),用它表 示第一时段价指处于i区,而第二时段股价处于j区的可能性,构造一步转移概率 矩阵p=(pij)，则一步转移概率矩阵
以下为马尔可夫链在银行不良资产风险分析中的应用，并建立马尔可夫预 测分析模型：
我们利用银行的历史资料,统计得出在连续两个时段内,前一时段逾期贷款 处于状态i,而后一时段处于状态j的比率,构造一步转移概率矩阵并分块得
则k步转移概率矩阵pk为
记概率
向量为第t个时段银行逾期贷款的绝对
概率向量,其中pi(t)表示第t个时段逾期贷款处于状态i的绝对概率。根据全概
马尔可夫过程的应用
1 马氏过程概念及定义
马尔可夫过程，也称为“健忘”过程，是在20世纪初由前苏联学者马尔可 夫在研究随机过程中得到的，因而称马尔可夫过程，简称马氏过程。马尔科夫 过程是以概率论和随机过程理论为基础，运用随机数学模型及其马尔科夫过程 无后效性的特性来分析事物发展变化过程中有关数量关系的一种统计方法，是 一类重要的随机过程，它在信息理论、自动控制、数值计算、近代物理、工程 技术、生物科学、经济交通等领域都起到了非常重要的作用。
记向量X(t)=( X1(t), X2(t), …Xn(t))为第t个时段股价的概率分布向量, 其中Xi(t)分别表示第i个时段股价处于i(i=1,2,3…n)区,由全概率公式有
若给定初始条件向量X(0)=(X1(0),X2(0),…Xn(0)),则t个时段后的股票价格 预测的马尔可夫过程模型为
可在己知初始条件即特定时段股价所处的区间的情况下,对任意时段后股指 所处区间的概率分布做出预测。而且由前述的马尔可夫链的有关性质可知,股价 预测的马氏链具有遍历性,即无论股市初期股价所处的区间 X(0)=(X1(0),X2(0),…Xn(0))如何,经过足够长的时间后,股价最终处于各个区间 的概率分布都是一个平稳值。另外,对于整个证券市场的股指时间序列和证券组 合的综合价格时间序列,都可以用这种马尔可夫过程模型进行预测和分析。 2.5 马氏决策规划在战时装备维修中的应用
宏观或微观的经济现象是一个随时间变动的过程,可视为一相依的随机变量
序列,其前后影响因素错综复杂。迄今为止,还难以通过纯粹的经济成因分析来 确定出未来某一时段如年、季、月等经济现象各方面指标的准确数值。同时,在 有些情况下,仅需预测出未来某些时段经济指标适当的变化区间即可。且在检验 其具“马氏性”后,应用某种分类的方法划分出指标值的变化区间,可建立马尔 可夫链模型来做预测分析。为了增加马尔可夫链在经济管理领域应用的科学性 和准确性,可用相关的各阶马尔可夫链作出的加权马尔可夫链来预测未来的经济 现象,或者将其与灰色理论、相关分析方法相结合,综合它们的长处加以利用,以 期为指导生产生活提供可靠的科学依据。这类预测的结果不是一个具体的值,而 是一个范围区间。对某些问题而言,这样的结果更加可靠、实用。
3) 求出转移概率矩阵P的平稳分布 设∏={π1,……,π5}，由方程解∏=∏P出∏={π1,……，π5}，∏={π 1,……，π5}即马尔可夫过程{X(n)}的平稳分布，也是状态的极限分布。它与初 始状态分布∏1=n1/ n, ……, n5/ n)无关。 4) 设教学班级状态转移矩阵的平稳分布为∏={π1,……,π5}它是教学效果 的量化指标，表明经过一系列教学活动，该班某门课成绩居于优的可能性为π 1，居于良好的可能性为π2，中等的可能性为π3，属于及格的可能性为π4，属 于不及格的可能性为π5。 教学效果的齐次马氏链分析着眼于过程，重视“历史”，因此它比起其它 教学评估的方法来更符合具有紧密的前后联系的教学过程的实际情况。此法除 了用于教学效果的评价外，还可用于教学实验的对比评价、因材施教情况的分 析、标准考试的质量分析以及用于教师的自我检查和预测学生的变化，将上述 分析步骤编出计算机程序，应用将更加快捷。