马尔柯夫链在班级成绩预测中的应用【文献综述】
马尔科夫链在教学评价中的应用及模型改进
CAIXUN 财讯－71－马尔科夫链在教学评价中的应用及模型改进□ 天津财经大学 董 蕾 闫 岩 / 文马尔科夫链是一类具有良好性质的随机过程，我们生活中许多现象都可以用马尔科夫链来解释，本文首先介绍了马尔科夫链在教学评价模型中的应用，通过教学前后学生成绩分布的变化，构建一步转移概率矩阵和教学效果评估指标，进而对教学效果进行综合评定，但传统模型仍存在诸多不足之处，本文针对模型的不足提出了该进意见，使得模型能够更真实、公平的反映教师教学效果。
马尔科夫链 教学评价模型转移概率矩阵马尔科夫链的简介1906年，马尔科夫在《大数定理关于相依变量的扩展》一文中提出，存在一种满足某一特殊性质的随机变量序列，该序列可以大致描述为：随机变量序列,...,...,21K ξξξ中第K 个变量取值的概率完全取决于1-K ξ，与前面的变量无关。
这就是马尔科夫链最初的概率模型。
马尔科夫的概率模型可以描述为：),;,(),;,(),;(2111012,0j k k nk j i t t P t tP t t P ξξξξξξ∑==其中n表示系统所有状态数，该式意义可表述为：系统在初始时刻t 0处于状态i ξ的条件下，系统在时刻t 2处于j ξ的概率为两个状态概率的乘积和，系统经由中间状态k ξ最终达到状态j ξ，中间时刻t 1所处的状态k ξ遍历每一个状态l ，2，⋯，n 。
而C —K 方程)(0)()(m kjk n ik m n ij P P P ∑∞=+=，正 是对上述概率模型理想的转化。
事实证明，许多实际现象都属于马尔科夫链的概率模型，例如艾伦费斯特提出的关于容器中分子扩散的运动，高尔顿提出的家族遗传规律，布朗发现的水中花粉小颗粒的无规则运动等等，都能够用随机过程中的马尔科夫链来解释。
由于马尔科夫链具有无后效性，因此将马尔科夫链运用于教学评价中，可排除学生基础的差异，较真实地反映出教师的教学效果。
本文提出了一种较为科学的教学效果量化评估算法，力求教学评估工作向最优化、规范化迈进。
使用马尔可夫网络进行预测分析(六)
马尔可夫网络是一种用于建模随机过程的数学工具，它被广泛应用于预测分析。
它的核心思想是“当前状态只依赖于前一个状态”，这使得它在模拟和预测复杂系统行为时具有很大的优势。
在本文中，我们将探讨马尔可夫网络在预测分析中的应用，讨论它的优势和局限性，并且给出一些实际应用的案例。
首先，让我们来了解一下马尔可夫网络的基本原理。
马尔可夫网络是一种随机过程的数学模型，它由一组状态和状态间的转移概率组成。
在一个马尔可夫网络中，系统在每个时刻都处于一个特定的状态，这个状态可以根据一定的概率转移到下一个状态。
这里的关键点在于，系统的下一个状态只依赖于当前的状态，而与过去的状态无关。
这种特性使得马尔可夫网络在描述随机过程和预测系统行为时非常有用。
在实际应用中，马尔可夫网络可以用来预测各种各样的系统行为，比如天气预测、股票价格预测、自然语言处理等。
在天气预测中，我们可以用马尔可夫网络来建模天气的变化规律，从而预测未来几天的天气情况。
在股票价格预测中，我们可以用马尔可夫网络来分析股票价格的波动规律，从而预测未来的价格走势。
在自然语言处理中，我们可以用马尔可夫网络来建模语言的结构和规律，从而预测下一个词语或短语的可能性。
马尔可夫网络在预测分析中有许多优势。
首先，它能够很好地处理随机性和不确定性，这使得它在复杂系统的建模和预测中非常有优势。
其次，它的数学原理比较简单，可以比较容易地应用到实际问题中。
此外，马尔可夫网络还有很好的可解释性和可视化性，这使得我们可以直观地理解系统的行为规律。
然而，马尔可夫网络在预测分析中也存在一些局限性。
首先，它的“当前状态只依赖于前一个状态”的特性可能会限制其对系统行为的准确建模。
有些系统的行为可能受到多个过去状态的影响，这时候马尔可夫网络就显得力不从心。
其次，马尔可夫网络的参数估计和状态空间的选择可能会对预测结果产生影响。
在实际应用中，我们需要仔细地选择状态空间和调整转移概率，以获得准确的预测结果。
马尔可夫链模型及其在预测模型中的应用
马尔可夫链模型及其在预测模型中的应用马尔可夫链模型是一个重要的数学模型，在各种预测问题中都有广泛应用。
该模型描述的是一个随机过程，在每一个时间步骤上，其状态可以从当前状态转移到另一个状态，并且转移的概率只与当前状态有关，而与历史状态无关。
这种性质被称为“马尔可夫性”。
本文将介绍马尔可夫链模型的基本原理和应用，以及相关的统计方法和算法。
马尔可夫链模型的构造方法通常是通过定义状态空间和状态之间的转移概率来完成的。
状态空间是指可能的状态集合，而状态之间的转移概率则是指在一个时间步骤上从一个状态转移到另一个状态的概率。
这些转移概率通常被表示为一个矩阵，称为转移矩阵。
转移矩阵的元素表示从一个状态转移到另一个状态的概率。
马尔可夫链模型的重要性在于它对于许多实际问题的数学描述，因为很多现象都符合马尔可夫过程的特点，即时间上的无后效性，即系统的当前状态仅仅依赖于它的上一个状态。
比如，一个天气预测问题，天气系统的状态可以描述为“晴、雨、阴”，在每一个时间步骤上，系统可能会转移到另一个状态，转移概率可以根据历史天气数据进行估计。
马尔可夫链模型可以用于各种预测问题，如下一个状态的预测、状态序列的预测以及时间序列的预测。
对于下一个状态的预测问题，我们可以使用当前状态的转移矩阵来计算目标状态的概率分布。
对于状态序列的预测，我们可以利用当前状态的转移概率估计下一个状态的状态分布，并重复该过程，直到预测的序列达到一定的长度为止。
对于时间序列的预测，我们可以将时间序列转化为状态序列，并将时间作为状态的一个特征进行建模，在此基础上进行预测。
马尔可夫链模型也可以用于分析时间序列数据的特性。
例如，可以使用马尔可夫过程来检测时间序列数据中的周期性、趋势和季节性等特征。
这些特征可以反映时间序列数据的长期和短期变化情况，为精确的预测提供了基础。
对于马尔可夫链模型的参数估计问题，通常使用统计学习方法来完成。
常见的方法包括极大似然估计、贝叶斯估计以及最大后验估计等。
马尔可夫链预测方法及其一类应用【开题报告】
开题报告数学与应用数学马尔可夫链预测方法及其一类应用一、综述本课题国内外研究动态, 说明选题的依据和意义概率论自1654年创立以来, 已由最初的博弈分析问题发展成为现今的方法论综合性学科. 而其中随机过程已经是现代概率论发展的必然性. 在这其中, 马尔可夫在1906年的"大数定理关于相依变量的扩展"（Extension de la loi de grands bombers etc）论文中首次创立的马尔可夫链已经成为了概率论的重中之重.马尔可夫是世界上著名的数学家、社会学家. 他所研究的范围非常的广泛, 涉及到概率论、数论、数的集合、函数逼近论、数理统计、微分方程等方面. 马尔可夫在1906~1912年间, 他提出并研究了一种能用数学分析方法研究自然过程的一般图示, 后人把这种图示以他的姓氏命名为马尔可夫链(Markov Chain). 在当时, 马尔可夫开创性地采用了一种对无后效性的随机过程的研究范式, 即在已知当前状态的情况下, 过程的未来状态与其过去状态无关, 这就是现在大家非常熟悉了解的马尔可夫过程. 在现实生活当中, 有许多过程都能被看作成马尔可夫过程. 如软件可靠性测试、传染病受感染的人数、农村剩余劳动力流动趋势预测、液体中微粒所作的布朗运动、产品市场占有率及利润率的变动等等. 也正是由于马尔可夫链在生活中所具有的普遍存在性, 马尔可夫链理论才被广泛应用于近代的物理学, 生物学, 地质学, 计算机科学, 公共事业, 教育管理、经济管理、以及企业人员管理、桥梁建筑等各个领域.马尔可夫链运用数学模型对定性问题进行预测提供了一种思路, 丰富了预测的内容. 其大体上可以分为以下几个步骤:首先, 把现象看作成为一个系统, 并对该系统进行科学的划分. 根据系统的实际和需要划分出多个状态, 系统所划分出来的各个状态就是要预测的内容.其次, 对现象各种状态的状态概率进行统计测定, 也就是判定出系统当前处于什么状态.然后, 对各系统未来发展的每次转移概率进行预测, 就是要确定出系统是如何转移的.最后, 根据系统当前的各种状态和转移概率矩阵, 推测出系统经过若干次转移后, 到达各个状态的概率.本文主要讨论马尔可夫链在经济方面和软件可靠性测试方面的预测方法, 这对经济发展和软件开发测试方面会起重大作用.二、研究的基本内容, 拟解决的主要问题（一）研究的基本内容: 马尔可夫链的预测方法及其一些应用, 对马尔可夫链的预测方法做出分类介绍和总结.（二）主要解决问题:1、掌握马尔可夫链的基本概念和基本理论, 叙述马尔可夫链的一些性质.2、根据马尔可夫链在不同领域中的应用的研究进行整编分类, 并简单叙述各个领域中的研究状况.3、重点的介绍马尔可夫链在经济和软件测试中的运用.三、研究步骤、方法及措施步骤:1、查阅相关资料, 做好笔记.2、仔细查看所搜集的文献资料, 学习马尔可夫过程的发展进展和算法分析；3、翻译英文资料, 修改英文翻译, 撰写外文翻译;4、在老师指导下, 确定整个论文的思路, 列出论文提纲, 撰写文献综述;5、撰写毕业论文;6、上交论文初稿;7、反复修改论文;8、论文定稿.方法: 通过图书馆、上网等查阅收集相关的信息资料, 上中文学术期刊网查找文章, 参考相关内容. 在老师指导下, 与同组同学研究讨论, 用文献综合的方法来解决问题.四、参考文献[1] 徐传胜. 从博弈问题到方法论学科——概率论发展史研究[M]. 北京: 科学出版社,2010.[2] 胡迪鹤. 随机过程论：基础、理论、应用[M]. 武汉: 武汉大学出版社, 2000.[3] 钱敏侯振挺. 可逆马尔可夫过程[M]. 长沙: 湖南科学技术出版社, 1979.[4] 刘克. 摄动马尔可夫决策与哈密尔顿圈[M]. 安徽: 中国科学技术大学出版社, 2009.[5] 曾建潮. 软件工程[M]. 武汉: 武汉理工大学出版社, 2003.[6] 贺平. 软件技术测试[M]. 北京: 机械工业出版社, 2004.[7] 李兴南葛玮董云卫等. 一种基于大数定律的软件测试方法[J]. 微机发展，2005,15（2）.[8] S M Ross.Stochastic Process [M].New York: John Wiley&Sons，Inc.1991.[9] 洪流.浅析人民币汇率升值压力及应对措施[J]. 宁夏科技，2003,(6).[10] 唐小我, 曾勇. 市场预测中马尔可夫链转移概率的估计[J]. 电子科技大学学报, 23(6).[11]Q.Y.Hu.The Optimal Replacement of a system in a semi-Markov environment [J]. 2000。
马尔可夫链在教学质量评价中的应用
马尔可夫链在教学质量评价中的应用目前，在教学质量评价领域，已经有许多方法被提出和应用，然而，传统的评价方法在考虑教学质量属性之间的相关性方面缺乏效率。
随着机器学习，机器学习技术，特别是马尔可夫决策过程（MDP），可以在教学质量评价中得到有效的应用。
本文介绍了一种基于马尔可夫链的决策方法，它既能设计完整结构的评价模型，又能考虑教学质量评价中属性之间的相互关联性。
马尔可夫链是一种时序概率模型，用于描述一个系统沿着一段时间（有限或无限）状态随机演变的过程。
如果状态空间表示为{s_1 ，s_2，…，s_n），那么随机变量X，表示从状态s_i变到s_j的概率，可以定义为矩阵$\bf P$=($\bf p_ij$)，其中$\bf p_ij$是由状态s_i变到状态s_j的概率。
此外，所有状态之间的概率必须满足$\sum_{j=1}^nP_{ij}=1$。
基于马尔可夫链的教学质量评价方法可以设计一个完整的有限马尔可夫评价模型，定义一个状态空间，它代表教学的属性空间，此外，它还可以考虑教学质量参数之间的相关性。
状态空间可以有一个转移矩阵$\bf P$=($\bf p_ij$），其中$\bf p_ij$是根据教学的属性、特征推测的从状态S_i变到S_j的概率。
基于这一有限状态马尔可夫链模型，可以在这些状态之间构建一个政策空间，根据这一政策空间，就可以对该马尔可夫链模型进行策略评估。
基于马尔可夫链的教学质量评价方法，不仅能够充分考虑教学质量的属性空间，还能够考虑教学质量参数之间的相关性。
此外，通过定义政策空间，可以给出一个更准确的评估，较好地反映出教学质量。
由此可见，基于马尔可夫链模型的评价方法是一种信息熵最小化的，能够有效考虑教学质量中各个属性之间相关性的一种方法。
数学教育评价的马尔科夫链模型应用
数学教育评价的马尔科夫链模型应用
1 马尔科夫链模型在数学教育评价中的应用
马尔科夫链模型是一种概率模型，用统计数据（如学生在数学考
试中的得分）来测算学习过程中不同学习行为之间的关系。
马尔科夫
链模型可以有效地应用于数学教育评价，它可以帮助教师通过分析学
生的考试成绩和行为来确定学生在学习数学时的具体情况以及学习效果。
首先，教师可以使用马尔科夫链模型来收集学生的考试成绩信息，从而获得学生在学习数学的表现情况。
比如，教师可以测算学生在各
个考试科目和模块中的表现，以及学生在数学学习中会遇到的困难解
决问题情况，这样就可以清楚地了解学生在学习数学时的状况。
其次，教师可以根据学生的考试成绩和行为，通过马尔科夫链模
型预测学习效果。
马尔科夫链模型可以帮助教师预测出学生在未来的
学习行为，从而根据学生的学习态度、背景知识进行合理的教育调整。
此外，教师还可以利用马尔科夫链模型来评估课程教学有效性，
分析学生的学习行为以及教学内容之间的关系，从而识别课程存在的
问题，并进行改善。
总之，马尔科夫链模型可以有效地支撑教师和数学教育评价，帮
助教师对学生的学习行为有全面的认识，并有效地检验教学模式的有
效性，从而帮助学生更好地掌握数学知识和技能。
马尔可夫链预测模型及一些应用
南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。
尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。
与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。
本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。
研究生签名：_____________日期：____________南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。
本文电子文档的内容和纸质论文的内容相一致。
论文的公布（包括刊登）授权南京邮电大学研究生院（筹）办理。
涉密学位论文在解密后适用本授权书。
研究生签名：____________导师签名：____________日期：_____________南京邮电大学硕士学位论文摘要学科、专业：理学、应用数学研究方向：应用概率与随机信息系统作者：2009级研究生温海彬指导教师：王友国教授题目：马尔可夫链预测模型及一些应用英文题目：The application on some predic t ion with Markov chain model主题词：转移概率；优化；马尔可夫链；加权马尔可夫链；灰色马尔可夫链Keywords:transition probability;optimization;Markov chain;weighted Markov chain;gray Markov chain摘要马尔可夫链是一种时间离散、状态离散、带有记忆情况的随机过程，是预测问中常用的一种数学模型。
本文基于马尔可夫链分别对安徽17个地级市人均GDP、东方6+1彩票和全国电信业务总量进行预测。
马尔科夫链在教学评价中的应用
马尔科夫链在教学评价中的应用
马尔科夫链在教学评价中有很多应用，其中最常见的是通过学生的学习历史、成绩等数据构建起马尔科夫链模型，从而对学生的学习表现进行评估。
具体来说，可以将学生的学习过程抽象为一个状态转移图，其中每个状态表示学生的一个学习状态，例如掌握某个知识点、出现了某个错误、开展了某个学习活动等。
然后根据学生在不同状态之间的转移情况，构建起马尔科夫链模型。
最后，通过分析该模型的特征，可以对学生的学习情况进行评价和预测。
另外，马尔科夫链也可以用于对教师教学过程的评价。
在这种应用中，可以将教师的教学过程抽象为一个状态转移图，其中每个状态表示教师的一个教学状态，例如讲解某个知识点、询问学生问题、引导学生发言等。
然后根据教师在不同状态之间的转移情况，构建起马尔科夫链模型。
通过对该模型的分析，可以评价教师的教学效果，提出改进建议等。
总之，马尔科夫链作为一种强大的数学工具，在教学评价中有着广泛的应用，可以帮助评价学生和教师的表现，为教学改进提供有力支持。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
文献综述
数学与应用数学
马尔柯夫链在班级成绩预测中的应用 马尔柯夫链是数学中具有马尔科夫性质的离散随机过程. 在该过程中, 给定当前信息的情况下, 过去(即当期以前的历史状态)对于预测将来(即当期以后的未来状态)是无关的. 考虑只取有限个或可数个值的随机过程{}n ,0,1,2,X n =K , 若不另外说明, 过程可能取得值的集合将以非负整数集{}0,1,2,K 来表示. 若n X i =, 就说过程在时刻n 处于状态i , 假设每当过程处于状态i , 则在下一时刻处于状态j 的概率是固定的ij P , 也即假设对一切状态011,,,,,n i i i i j -K 及一切0n ≥又
{}1111100,,,,/n n n n ij P X j P X i X i X i X i +--======K , 这样的随机过程称为马尔柯夫链. 式(2.1)解释为, 对马尔柯夫链, 给定现在的状态n X 及过去的状态011,,,n X X X -K , 将来的状态1n X +的条件分布于过去的状态无关, 只依赖于现在的状态, 这称为马尔科夫性. 马尔柯夫链是一个有着广泛应用的随机过程模型, 它对一个系统由一种状态转移到另一种状态给出了定量分析. 马尔柯夫在1906年首先做出了这类过程. 而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的. 马尔柯夫链与布朗运动以及遍历假说被列为二十世纪初期重要课题, 但马尔柯夫寻求的不仅在于数学动机, 名义上是对于纵属事件大数法则的扩张. 其中, 马尔柯夫链用在基于观察数据的二到三维离散变量的随机模拟. 这一应用类似于“克里金”地理统计学, 被称为是“马尔柯夫链地理统计学”. 经过近百年的发展已形成完整的理论体系, 并且广泛被应用于社会、经济、科技、生态、农业、环境、医学、水利水电等众多科学领域.
自从我国著名的数学家、教育家中科院王梓坤院士在上世纪50年代将马尔柯夫理论引入国内以后, 我国学者对马尔柯夫过程的研究也取得了丰硕的成果, 在生灭过程的构造和它的积分型泛函的分布、马尔科夫过程的零壹律、Martin 边界与过份函数、马尔柯夫过程与位势理论的关系、多参数马尔柯夫过程等方面做了很多开创性工作, 近年来也不断有新的研究成果推出, 这些都标志着我国数学界对马尔柯夫理论的研究理论研究达到了世界领先水平.
在现实世界中, 有很多过程都是马尔柯科夫过程, 如独立随机变量和的序列、直线上的随机游动、车站的候车人数、离散分支过程等都可视为马尔柯夫过程. 所谓马尔柯夫链是指时间连续(或离散)、状态可列、时间齐次的马尔柯夫过程. 这种过程之所以重要, 一是由于它的理论比较完整深入, 可以作为一般马尔柯夫过程及其他随机过程的借鉴; 二是由于它在自然科学和许多实际问题(如教育学、经济学、规则论、排队论等)中有着丰富的应用; 三是由于虽然它是解决随机转移过程的工具, 但是一些确定性系统的状态转移问题也能用马氏链模型处理.
马尔科夫链的应用一直是国内外学者研究的重点和热点,这方面的成果也相对比较多, 主要体现在:
(1) 人力资源流动时间序列都符合马氏性.可按转移概率, 根据当前的状态预测以后的状态预测以后的状态, 从而采取相应的策略, 这就是运用马尔柯夫链的方法进行人力资源分析的基本思想.
(2) 马尔柯夫链在宏观经济形式的变化、企业市场占有率及期望利润的变化过程都具有随机性和“无后效性”, 符合马尔柯夫链的的应用要求. 在对它们进行预测时马尔柯夫链预测方法不需要连续不断的历史数据, 只需要近期的资料就可以采用马尔柯夫链来描述. 马尔柯夫链是预测市场的占有率和期望利润的有力工具.
(3）在很多灾变的过程中, 马尔柯夫链都已一定的参考性, 比如应用马尔柯夫链方法测报草原蝗虫. 我国北方草原区, 草原蝗虫一年发生一代, 都以卵的形式在土壤内越冬, 次年孵化由于种类不同, 出土期处于一定的变化状态. 蝗虫是渐变态, 即若虫和成虫栖息于同一生境, 并取食相同的食物即草原牧草. 了解蝗虫的出土期、系统地掌握蝗虫的个体发育以及种群数量动态变化, 对草原畜牧业生产具有非常大的参考作用.
马尔柯夫链在其它的应用还有很多, 比如在银行不良资产管理、企业破产概率等. 在教育方面的应用也是极为突出的, 主要表现在预测班级学科的成绩、个人的学习成绩、班级的综合测评和个人的综合测评.
在教育领域进行预测从整体上看有一定的规律性, 班级成绩预测和课程研究的任务, 就在于认识班级活动中各种的规律. 班级成绩变化现象是个随时间变动的过程, 可以视为已相依的随机变量序列, 其前后影响因素是错综复杂的, 可视为随机马尔柯夫过程. 在检测其具有一定的马氏性后, 应用某种分类的方法划分出指标值的变化区间, 可以建立马尔柯夫链模型来做预测分析. 最重要的是根据实际观测资料对某些刻画系统的关键定量指标进行系统分析并预测未来.
本文将建立马尔柯夫链的预测模型, 在预测班级整体成绩做一个应用, 坚持理论与实证分析相结合. 使用数据主要来自具体班级的数据. 合理处理原始数据的基础上, 建立合理模型, 科学预测班级未来三年成绩发展趋势, 为教师的教学工作提供帮助.
参考文献
[1]姜启源, 谢金星, 叶俊. 数学模型[M]. 北京: 高等教育出版社, 2008, 333-356.
[2]林元烈. 应用随机过程[M]. 北京: 清华大学出版社, 1998, 72-77; 138-150.
[3]宋庆龙. 马尔科夫链在市场经济预测中的应用[J]. 商业研究, 2009年2期.
[4]彭志行. 马尔可夫链理论及其在经济管理领域的应用研究[D]. 河海大学, 2006.
[5]刘海波, 陈孝思, 秦玉. 随机过程在灾变预测中的应用[J]. 系统工程理论与实践,
1996,9: 19-23.
[6]陈本建. 利用马尔可夫链方法预测草原蝗虫[J]. 草业科学1999, 2: 37-40.
[7]夏乐天, 沈永梅. 加权马尔科夫链在降水状况预测中的应用[J]. 水利水电科技进展,
2006, 2(6): 20~27.
[8]张宗国. 马尔可夫链预测方法及其应用研究[D]. 河海大学, 2005.
[9]闵照翠. 基于马尔科夫链的代理高信誉评估[J]. 商场现代化, 2008年24期.
[10]Derman C. Finite state Markovian decision processes [M]. New York: Academic Press,
1970.
[11]Hu Qiying. The Optimal Replacement of a system in a semi-Markov environment [J].
submitted, 2000.。