基于马氏决策向量过程模型的有限阶段期望总报酬准则及其最优方程
马尔科夫决策解决方案
马尔科夫决策解决方案篇一：马尔可夫决策过程模型3。
马尔可夫决策过程模型本节介绍了MDP模型来确定相互制约的服务商到客户系统调度策略,分配区分服务器优先级的客户。
医药科学的MDP模型作为一个线性规划模型,以至于考虑与约束不可以添加扩展马尔可夫状态空间,从而允许有效的线性规划算法标识最佳相互制约政策。
消费者要求达到的服务,都有一个关联的位置和分为高优先级或低优先级。
服务器救护车所分化他们的答复和服务时间。
我们可以捕捉时间从一个服务器是派去当它到达现场,捕捉的总时间和服务时间为客户服务,包括响应客户时间,对待客户现场,运输一个客户去医院,并返回到服务。
目标是确定哪些服务器调度到达客户最大化平均水平.总奖励每阶段给予最低标准股本。
回复一个电话的奖励是解释作为高优先级客户的可能性是对一个固定的时间内一个RTT目标函数已经成为最好的效率的性能的措施，在EMS系统。
在模型中,客户根据到达泊松过程的速度。
当一个客户到达时,其位置和优先级评估,和一家派往它可用的服务器。
的模型使得几个假设:1.如果客户和服务器可用,到达服务器必须派遣。
2。
只有服务器-服务器位于他们家庭基站可以被派往客户。
3。
一个服务器分配给每个客户。
4。
然后服务器返回服务客户。
5。
服务时间不依赖于客户优先权和指数分布。
6。
有一个零长度队列为客户。
我们将讨论如何修改模型电梯的假设和假设一个强大的影响产生的政策。
需要服务器被派往客户如果服务器是可用非理想的政策合理,因为这里的模型是出于EMS体系中,为所有客户提供服务是一个主要的公共服务系统的目标。
此外,由于担忧的责任,而不是保留是一种能力,嵌入在EMS调度和政策实践,约束的服务提供者。
为了简单起见,所有服务器维修后返回本国驻地客户,当他们说为其他客户服务可用,服务器不能动态改航。
在实践中,服务器可以从以外的地点派遣他们家电台,当服务器完整的服务。
以允许救护车被派遣本国驻地以外的位置,可以扩大到包括状态空间辅助服务器的位置相对应服务器完成服务。
决策与理论复习
不确定型决策P35不确定型决策的基本特征是每个方案都对应着一些不同的状态，但无法确切知道哪种状 态将出现，也不知道各状态出现的概率。
这种情况下的决策主要取决于决策者的素质与要求。
决策矩阵（决策表）如下：一、悲观准则（max-min 准则）这种方法的基本思想是假定决策者心态比较保守，总是从每个方案可能出现的最差结果出 发，且其最佳选择是从这些最不利的结果中选择最有利的结果（差中选优）max采用悲观准则，最优方案为A1二、乐观准则（max-max 准则）这种准则的出发点是假定决策者对未来的结果持乐观的态度，总是假设出现对自己最有利的 状态，在从中选择最好的结果（优中选优）。
max决策状态—益损值采用乐观准则，最优方案为A2 折中准则折中准则是介于悲观准则和乐观准则之间的一个准则，其特点是对客观状态的估计既不是完 全乐观，也不是完全悲观，而是采用一个乐观系数a 来反映决策者对状态估计的乐观程度。
具体做法是：取ea[0，1]，u （A ）= a max a + （1 -a ）min a i = 1,2, , n1< j < n ij采用折中准则（乐观系数a =0.8 ），其中乐观系数取a =0.8。
最优方案为A2三、等可能准则（Laplace 准则） 也称为合理性准则，这种准则的思想在于，既然没有充分理由相信哪一种自然状态会有较大 的概率出现，那就认为各种可能的状态出现的可能性是相等的，即每种状态出现的概率都是 1/n （取平均数）。
计算出每个方案Ai 的期望收益E （Ai ），然后选择期望收益最大的方案为最 优方案。
方案A1与方案A4的数学期望都达到了最大，但明显方案A4的收益波动较大。
所以A1最 优。
四、遗憾准则（min-max 准则）决策中，当某一状态出现时，如果恰好选择了该状态下的最大收益对应的方案，是最理想的。
但如果不是选择的这个理想方案，则会感到后悔或遗憾。
遗憾准则的基本思想是尽量减少决 策后的遗憾，使决策者不后悔或少后悔。
南开大学12秋学期《运筹学》在线作业答案
南开大学12秋学期《运筹学》在线作业答案试卷总分：100 测试时间：-- 试卷得分：100单选题多选题判断题一、单选题（共 20 道试题，共 40 分。
）得分：40V 1. .A. 平衡B. 非平衡C. 模糊D. 以上均不正确正确答案：A 满分：2 分得分：22. .A. 最短路问题B. 最小费用流问题C. 最大流问题D. 最小费用最大流问题正确答案：A 满分：2 分得分：23. .A. 最短路问题B. 最小费用流问题C. 最大流问题D. 最小费用最大流问题正确答案：B 满分：2 分得分：24. 在电子表格模型中, 有关函数MMULT表述正确的是（）A. 用来求解基于给定样本的总体方差B. 用来求解两个变量的协方差C. 用来求解两个数组矩阵的乘积D. 以上说法均不正确正确答案：C 满分：2 分得分：25. 用图解法求线性规划问题时，要求决策变量的个数为（）A. 1B. 2C. 3D. 4正确答案：B 满分：2 分得分：26. .A. 最短路问题B. 最小费用流问题C. 最大流问题D. 最小费用最大流问题正确答案：C 满分：2 分得分：27. 下列选项中关于目标规划的表述正确的是（）A. 考虑现有的资源的条件下，就多个经营目标寻求满意解，即使得完成的目标的总体结果离事先制定目标的差距最小B. 考虑现有的资源的条件下，就多个经营目标寻求最优解，即使得完成的目标的总体结果离事先制定目标的差距最小C. 现有的资源的条件下，就多个经营目标寻求满意解，即使得完成的目标的总体结果离事先制定目标的差距最大D. 以上说法均不正确。
正确答案：A 满分：2 分得分：28. .A. 最短路问题B. 最小费用流问题C. 最大流问题D. 最小费用最大流问题正确答案：D 满分：2 分得分：29. .A. 平衡运输问题B. 产大于销的运输问题C. 销大于产的运筹问题D. 无法确定正确答案：B 满分：2 分得分：210. 下列数学模型为线性规划模型的是A.B.C.D.正确答案：A 满分：2 分得分：211. 下列为目标规划的数学模型的一般结构为A.B.C.D. 以上模型均不是正确答案：B 满分：2 分得分：212. Excel“规划求解”工具求解整数规划问题利用的方法是（）A. 分支定界法B. 割平面法C. 匈牙利法D. 以上均不正确正确答案：A 满分：2 分得分：213. .A. 固定成本B. 资源分配C. 成本收益平衡D. 网络配送正确答案：A 满分：2 分得分：214. 在电子表格模型中, 有关函数VARP表述正确的是（）A. 用来求解基于给定样本的总体方差B. 用来求解两个变量的协方差C. 用来求解两个数组矩阵的乘积D. 以上说法均不正确正确答案：A 满分：2 分得分：215. 下列哪种数据不属于成本收益平衡问题范畴的是（）A. 收益的最低可接受水平B. 单位活动的贡献C. 每周单位的活动成本D. 每种资源的可供量正确答案：D 满分：2 分得分：216. 下列为目标规划的数学模型的一般结构为A.B.C.D. 以上模型均不是正确答案：A 满分：2 分得分：217. 在电子表格模型中, 有关函数COVAR表述正确的是（）A. 用来求解基于给定样本的总体方差B. 用来求解两个变量的协方差C. 用来求解两个数组矩阵的乘积D. 以上说法均不正确正确答案：B 满分：2 分得分：218. 下列关于资源分配问题的叙述正确的是（）A. 资源分配问题的共性是在线性规划模型中每一个函数约束均为收益约束,并且每一种资源都可以表现为如下的形式: 使用的资源数量￡可用的资源数量B. 在资源分配问题中，线性规划模型的每一个函数约束均为资源约束,并且每一种资源都可以表现为如下的形式: 使用的资源数量≥ 可用的资源数量C. 在资源分配问题中，线性规划模型的每一个函数约束均为资源约束,并且每一种资源都可以表现为如下的形式: 使用的资源数量￡可用的资源数量D. 以上说法均不正确。
大连理工大学22春“物流管理”《运筹学》期末考试高频考点版(带答案)试卷号：5
大连理工大学22春“物流管理”《运筹学》期末考试高频考点版（带答案）一.综合考核(共50题)1.在国际上，通常认为“运筹学”与“管理科学”是具有相同或相近涵义。
()A.正确B.错误参考答案：A2.线性规划的求解方法包括图解法、单纯形法、椭球法、内点法等。
()A.正确B.错误参考答案：A3.满足目标要求的可行解称为最优解。
()A.正确B.错误参考答案：A4.以下说法中，不属于无概率决策问题(不确定型决策问题)的特点的为()。
A.决策人面临多种决策方案B.对每个决策方案对应的几个不同决策状态无法估计其出现概率的大小C.仅凭个人的主观倾向和偏好进行方案选择D.未来情况和条件出现的概率已知参考答案：D5.B.多学科交叉与综合C.模型方法的应用D.属于行为科学参考答案：D6.建立运筹学模型的基本步骤不包括()。
A.明确目标B.描述问题C.运算求解D.设置假设条件参考答案：D7.在一局对策中，每个局中人从其策略集中各取出一个策略参与对策，这些策略合起来称为一个局势。
()A.正确B.错误参考答案：A8.最小期望机会损失准则以不同方案的期望损失作为择优的标准，选择期望损失最大的方案为最优方案。
()A.正确B.错误参考答案：B9.先验概率主要包括统计概率和主观概率两类。
()A.正确B.错误参考答案：A10.家庭中的存储储备品，工厂储备原材料，商店存储商品等都是存储问题。
()A.正确B.错误参考答案：A11.完全信息是指能够完全准确地预报未来发生状态的信息。
()A.正确B.错误参考答案：A12.线性规划数学模型的三要素包括目标函数、约束条件和解。
()A.正确B.错误参考答案：B13.()也称小中取大准则。
这是一种在不确定型决策问题中，充分考虑可能出现的最小收益后，在最小收益中再选取最大者的保守决策方法。
A.悲观准则B.折中准则C.等可能准则D.后悔值准则参考答案：A14.下列方法中可以用来求解部分树的方法的为()。
运筹学笔记和课后习题(含考研真题)详解_部分10
解：按月份将问题分为四个阶段，阶段变量，设状态变量为第k 月末的工人数，决策变量表示第k 月招聘或解聘的工人数（招聘为正，解聘为负），允许决策集合为，表示第k 个月所需的工人数，状态转移方程为。
为第1个月至第k 个月的最小总花费。
动态规划的基本方程为：3．某公司有资金4百万元，可向A 、B 、C 三个分公司增加投资，已知各分公司增加不同数量资金后增加的相应效益如表9-2所示，问如何分配资金可使公司总效益最大？（提示：用动态规划方法）（北京交通大学2009年研）表9-2解：将问题按分公司分为三个阶段，将A 、B 、C 三个分公司分别编号1、2、3。
设为分配给第k 个分公司至第3个分公司的投资。
为分配给第k 个分公司的投资。
表示分配给第k 个分公司的投资为后增加的效益。
表示为的投资分配给第k 个分公司至第3个分公司时所增加的最大效益。
可写出递推关系式：k=3时，，其数值计算如表9-3所示：表9-30 1 2 3 4 0 0 0 0 126 261240 40 2 358583 468 684当k=2时，，其数值计算如表9-4所示：表9-40 1 2 3 4 00 0 0 1 0+2622+026 0 2 0+40 22+2637+048 1 3 0+58 22+40 37+26 55+063 2 40+6822+5837+4055+2666+813当k=1时，，其数值计算如表9-5所示： 表9-50 1 2 3 4 40+81 21+63 35+48 50+26 60+841所以，得到最优解为：。
4．某公司有五台新设备，将有选择地分配给三个工厂，所得的收益如表9-6所示：表9-6表9-6中“—”表示不存在返样的方案。
请用动态规划求出收益最大的分配方案。
（北京理工大学2001年研） 解：将问题按工厂的个数分为3个阶段， 设表示为分配给第k 个工厂到第n 个工厂的新设备数目，表示为分配给第k 个工厂的新设备数目， 则为分配给第k+1个工厂至第n 个工厂的设备数目， 表示为个新设备分配给第k 个工厂所得的收益，表示为个设备分配给第k 个工厂到第n 个工厂时所得到的最大收益。
马工程管理学 第7章 作为决策者的管理者
组织应当采用何种管理信息系统？
6-10
管理者作为决策制定者
决策制定：理性
理论前提：古典决策理论基于“完全理性人或 经济人”的假设，决策目的在于决策最佳，又 称规范决策理论或理性决策理论（盛行于20世 纪50年代前） 主要内容
a.决策者掌握完全信息 b.决策者了解所有备选方案 c.决策者建立一整套规范的组织体系 d.决策的目的在于追求最大经济利益
在特定情况下最有效的领导方式是什 么？
一个具体的变化会对工人生产率产生 何种影响？
何时是激化矛盾的恰当时机？
向我直接汇报的员工数应当是多少？ 控制
组织应达到怎样的集权程度？
应当控制组织中的哪些活动？
应当怎样设计工作？
应当怎样控制那些活动？
组织应在何时实施一个不同的结构？ 绩效偏差在什么时候是显著的？
第7章 作为决策者的管理者
6-1
学习概览
– 决策制定过程 – 管理者制定决策
1）完全理性和有限理性 2）直觉决策、循证管理 – 决策和决策制定条件的类型 1）程序化决策和非程序化决策 2）确定性、风险性、不确定性决策 -决策风格
6-2
你做决策了吗？
63
7.1 决策制定过程
什么是决策？ – 从两个或多个备选方案中选择 – 决策是一个过程
集体决策方法 1.头脑风暴法（5~ 6人，1~ 2小时） 由创始人奥斯本（A.F.Osborn）提出 四项原则： （1）对别人的建议不作任何评价 （2）建议越多越好 （3）鼓励每个人畅所欲言 （4）可补充已有建议
6-21
2.德尔菲法（专家决策法） 由美国兰德公司提出
要点： （1）匿名、反馈、统一 （2）选择好专家 （3）决定专家的人数（约为45 ~ 60人） （4）拟订好意见征询表 （5）做好意见甄别和判断工作
随机过程中的马尔可夫决策过程
随机过程中的马尔可夫决策过程马尔可夫决策过程（Markov Decision Process，MDP）是研究随机过程中最常用的一种方法。
它是一个数学框架，用于描述一个决策问题的动态过程，其中包含了决策者、状态和决策时的不确定性。
一、马尔可夫决策过程的基本概念马尔可夫决策过程由以下几个要素组成：1. 状态（State）：表示系统在某一时刻的条件或属性，可以用来描述决策问题的各个可能的情况。
状态可以是离散的，也可以是连续的。
2. 决策（Decision）：表示决策者在每个状态下可以采取的行为或策略。
决策可以是确定性的，也可以是随机性的。
3. 反馈（Feedback）：表示决策者在采取某个行为后，系统转移到下一个状态的概率。
这个概率可以是确定性的，也可以是随机性的。
4. 收益（Reward）：表示决策者在每个状态下采取某个行为后获得的收益或效用。
收益可以是实数值，也可以是离散值。
5. 转移概率（Transition Probability）：表示系统从当前状态转移到下一个状态的概率。
这个概率通常是通过观测历史数据来估计得到的。
二、马尔可夫决策过程的求解方法马尔可夫决策过程的求解方法主要包括以下几种：1. 基于价值函数的方法：通过定义状态的价值函数或动作的价值函数来确定最优决策。
常用的方法有价值迭代和策略迭代。
2. 基于策略梯度的方法：通过直接优化策略的参数来确定最优决策。
这种方法可以应用于连续动作空间的问题。
3. 基于模型的方法：通过建立系统的动态模型，预测不同决策下的状态转移和收益，然后进行优化。
三、马尔可夫决策过程的应用马尔可夫决策过程在实际应用中具有广泛的应用领域，包括但不限于以下几个方面：1. 机器人路径规划：马尔可夫决策过程可以用来描述机器人在不同状态下的移动和决策过程，从而实现自主路径规划和导航。
2. 股票交易决策：马尔可夫决策过程可以用来描述股票市场的波动和交易决策，从而实现基于历史数据的股票交易策略。
最优化方法的Matlab实现(公式完整版)
第九章最优化方法的Matlab实现在生活和工作中，人们对于同一个问题往往会提出多个解决方案，并通过各方面的论证从中提取最佳方案。
最优化方法就是专门研究如何从多个方案中科学合理地提取出最佳方案的科学。
由于优化问题无所不在，目前最优化方法的应用和研究已经深入到了生产和科研的各个领域，如土木工程、机械工程、化学工程、运输调度、生产控制、经济规划、经济管理等，并取得了显著的经济效益和社会效益。
用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容：1）建立数学模型即用数学语言来描述最优化问题。
模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。
2）数学求解数学模型建好以后，选择合理的最优化方法进行求解。
最优化方法的发展很快，现在已经包含有多个分支，如线性规划、整数规划、非线性规划、动态规划、多目标规划等。
9.1 概述利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。
具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。
另外，该工具箱还提供了线性、非线性最小化，方程求解，曲线拟合，二次规划等问题中大型课题的求解方法，为优化方法在工程中的实际应用提供了更方便快捷的途径。
优化工具箱中的函数优化工具箱中的函数包括下面几类：1．最小化函数表9-1 最小化函数表2．方程求解函数表9-2 方程求解函数表3．最小二乘（曲线拟合）函数表9-3 最小二乘函数表4．实用函数表9-4 实用函数表5．大型方法的演示函数表9-5 大型方法的演示函数表6．中型方法的演示函数表9-6 中型方法的演示函数表参数设置利用optimset函数，可以创建和编辑参数结构；利用optimget函数，可以获得o ptions优化参数。
● optimget函数功能：获得options优化参数。
语法：val = optimget(options,'param')val = optimget(options,'param',default)描述：val = optimget(options,'param') 返回优化参数options中指定的参数的值。
最优化方法的Matlab实现(公式(完整版))
第九章最优化方法的Matlab实现在生活和工作中，人们对于同一个问题往往会提出多个解决方案，并通过各方面的论证从中提取最佳方案。
最优化方法就是专门研究如何从多个方案中科学合理地提取出最佳方案的科学。
由于优化问题无所不在，目前最优化方法的应用和研究已经深入到了生产和科研的各个领域，如土木工程、机械工程、化学工程、运输调度、生产控制、经济规划、经济管理等，并取得了显著的经济效益和社会效益。
用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容：1）建立数学模型即用数学语言来描述最优化问题。
模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。
2）数学求解数学模型建好以后，选择合理的最优化方法进行求解。
最优化方法的发展很快，现在已经包含有多个分支，如线性规划、整数规划、非线性规划、动态规划、多目标规划等。
9.1 概述利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。
具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。
另外，该工具箱还提供了线性、非线性最小化，方程求解，曲线拟合，二次规划等问题中大型课题的求解方法，为优化方法在工程中的实际应用提供了更方便快捷的途径。
9.1.1 优化工具箱中的函数优化工具箱中的函数包括下面几类：1．最小化函数表9-1 最小化函数表2．方程求解函数表9-2 方程求解函数表3．最小二乘（曲线拟合）函数表9-3 最小二乘函数表4．实用函数表9-4 实用函数表5．大型方法的演示函数表9-5 大型方法的演示函数表6．中型方法的演示函数表9-6 中型方法的演示函数表9.1.3 参数设置利用optimset函数，可以创建和编辑参数结构；利用optimget函数，可以获得o ptions优化参数。
● optimget函数功能：获得options优化参数。
语法：val = optimget(options,'param')val = optimget(options,'param',default)描述：val = optimget(options,'param') 返回优化参数options中指定的参数的值。
运筹学各章的作业题答案
运筹学各章的作业题答案《管理运筹学》各章的作业----复习思考题及作业题第一章绪论复习思考题1、从运筹学产生的背景认识本学科研究的内容和意义。
2、了解运筹学的内容和特点，结合自己的理解思考学习的方法和途径。
3、体会运筹学的学习特征和应用领域。
第二章线性规划建模及单纯形法复习思考题1、线性规划问题的一般形式有何特征？2、建立一个实际问题的数学模型一般要几步？3、两个变量的线性规划问题的图解法的一般步骤是什么？4、求解线性规划问题时可能出现几种结果，那种结果反映建模时有错误？5、什么是线性规划的标准型，如何把一个非标准形式的线性规划问题转化成标准形式。
6、试述线性规划问题的可行解、基础解、基础可行解、最优解、最优基础解的概念及它们之间的相互关系。
7、试述单纯形法的计算步骤，如何在单纯形表上判别问题具有唯一最优解、有无穷多个最优解、无界解或无可行解。
8、在什么样的情况下采用人工变量法，人工变量法包括哪两种解法？9、大M 法中，M 的作用是什么？对最小化问题，在目标函数中人工变量的系数取什么？最大化问题呢？10、什么是单纯形法的两阶段法？两阶段法的第一段是为了解决什么问题？在怎样的情况下，继续第二阶段？作业题:1、把以下线性规划问题化为标准形式：(1) max z= x1-2x2+x3s.t. x1+x2+x3≤122x1+x2-x3≥ 6-x1+3x2＝9x1, x2, x3≥0(2) min z= -2x1-x2+3x3-5x4s.t x1+2x2+4x3-x4≥ 62x1+3x2-x3+x4＝12x1+x3+x4≤ 4x1, x2, x4≥0(3) max z= x1+3x2+4x3s.t. 3x1+2x2≤13x2+3x3≤172x1+x2+x3=13x1, x3≥02、用图解法求解以下线性规划问题(1) max z= x1+3x2s.t. x1+x2≤10-2x1+2x2≤12x1≤7x1, x2≥0(2) min z= x1-3x2s.t. 2x1-x2≤4x1+x2 ≥3x2≤5x1≤4x1, x2≥03、在以下问题中，列出所有的基，指出其中的可行基，基础可行解以及最优解。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
定义 ４ 当系统在 ｔ 时刻采取决策向量 ＝（ ，０， 口， 时 ， ０ ，：…， …） 若 的分量未取 的个
数为 凡则称 的联合度为 ， ， 记为 ｌ Ｉ ． ＝ｎ
定义５ 记ｐ（）：ｐ （ｌ， ， ｏ ‘＿ Ｐ（ ０『 ） ）＝ｐ （ ） 若系统在决策时刻 ｔ采取决策向 ｔ 口， ， ０ ｏ
ｅ ｕ ｔ ｎ ｉ ｒ ｏ ｅ ｉｉｎ—ｍａ ｉｇ ｖ ｃｏ ｒ ｃ ｓ ｅ ． ｉａｌ ｅ ｐ ｏ ｅ ｈ ｘ ｓ ｎ ｅ ｏ ｏｕ ｉｎ ｎ ｔ ｅ ｏ ｔ ｌｉ ｑ ａｉ Ｍａ ｋ ｖ ｄ ｃｓｏ ｏ ｎ ｋｎ ｅ ｔｒｐ ｏ ｅ ｓ ｓ Ｆ ｎ ｌ ｗ ｒ ｖ ｄ ｔ ｅ ｅ ｉｔ ｃ ｆ ｓ ｌｔ ｓ ｉ ｈ ｐ ｉ ｙ ｅ ｏ ｍａ ｔ ｙ
Ｏｐ ｍａｉ ｑ ａｉ ｎ ｉ ｔ ｌｔ ｅｕｔ ｙ ｏ
０ 引 言
２ 世纪 ４ ０ Ｏ年代末 ５ 年代初 ，ｅｍ ｎＲ 研究动态规划 问题 ，ｈｐ ｙＬ 研究随机对策问 ０ Ｂ ｌ ａ ． ｌ Ｓａｌ ． ｅ
题时提出了 Ｍ Ｐ的基本思想 ， ｏａ ． １６ ） Ｄ ¨ Ｈ ｗ ｒ Ｒ （９ ０ 的研究工作则奠定 了 Ｍ Ｐ的理论基础 ． ｄ Ｄ
第３ ｌ卷
第 ４期
数学理论与应用
ＭＡＴＨＥＭＡＴＩ ＣＡＬ Ｔ ＨＥ０ＲＹ ＡＮＤ ＰＬ ＣＡ ＡＰ Ｉ ｎ０ＮＳ
Ｖ０． １ Ｎｏ ４ １３ ．
Ｄｅ ．２ １ Ｃ ０１
２１ ０ １年 ｌ ２月
基 于 马 氏决策 向量过 程模 型 的有 限阶段 期 望 总报 酬 准则及 其最优 方 程
为 ｎ 记为 Ｉ Ｉ ＝ｒ ， ｔ ．
显然 ， 任意行动 口 与 咖是相合的， 所以 Ｉ Ｊ≥ １ ．
定义 ７ 称 ｛ ， ， （）Ｐ ． ，） ｒｉ ） 为马氏决策 向量过程模型（ ａ ｏ Ｄ ｃ ｉ — ｓＡ ｉ ，（ Ｉ ， ， ｝ （ａ Ｍ ｒ ｖ ｅｉｏ ｋ ｓｎ
（ ， ７ ｉ ｒ ）≥
（） ｉ 对于所有 ｉ 成立 ， 则称 々 ｒ 为
Ｔｈ ｉ ｉｅ Ｓ ａ ｅ ｏ ｐ ｃｅ ｔ ｌ Ｒｅ ｒ ｅ Ｆ ｎ ｔ ｔ ｇ ｆＥｘ ｅ ｔｄ Ｔｏ ｌ ｗａ ｄ ａ Ｍ ｏ ｅ ｎ ｔｍ ａ ｉｙ Ｅｑ ａ ｉｎ ｏ ａ ｋ ｖ ｉ ｄ ｌａ ｄ Ｏｐ ｉ ｌ ｕ ｔｏ ｆＭ ｒ ｏ ｎ ｔ Ｄｅ ｉｉｎ —ｍ ａ ｉ ｇ Ｖｅ ｔ ｒ Ｐｒ ｃ ｓｅ ｃｓｏ — ｋ ｎ ｃｏ ｏ ｅ ｓ ｓ
若系统在某个决策时刻 ｔ所采取 的决策向量 为 。且 Ｊ Ｉ ， 。 ， ≥２ 则称 ｛，，（）ｐ ・ｉ ｓＡ ，（ ｌ ，
ａ ， ｝ ） ｒ ，） 为马氏多元决策过程模型（ ａ ｏ ｕｉ ｅ ｅｉｏｓ ｒ ｅ ｅ ） 简记为 Ｍ Ｄ ． （ Ｍ ｒ ｖＭ ｌｐ ｃ ｉ ｏ ｓ ， ｋ ｔ ｌ Ｄ ｓ ｎ Ｐ ｃｓ ｓ Ｍ Ｐ
定义 ９ 称 （ ）＝ｓｐ ｕ｛
。
，
（ ， ） ７∈ｎ ， ， ∈ 为 优值函 仃ｈ Ｉｒ ｈ∈ 凡 最 数．
（ 一致有 界 ． ｈ）也
由于 ｒ ， （ ）有界 ，
（ｒｈ）存在 而且 一致有 界 ， 而 ７， 从
对 Ｖ ｓ≥０ 如果 向量策略 仃 ， 使得
基于马氏决策 向量过程模型 的有 限阶段期望总报酬准则及其： 最优方程
９
量 有
） ≥
勰 （ ａ，ＰＪｉ ｝后＝ ２… ） ｉ ｋ）（ｌ ） ， ，， ， Ｊ ，
则 称 为优了系统在时刻 ｔ 处于状态 ｉ 时所采取行动 的个数 ； 同时 ， 也说 明了 各个行动之间的相合性 ： 设系统在时刻 ｔ 处于状态 ｉ ， 称行动 口与 ｂ 为相合的， 如果 ｒ （ ，） ｉ （ 口ｂ ， ） ≥ ｍ ｘ ｓｐｒａｉ ， ｐｒｂｉ ｝ 即采取两个行动获得的报酬 比单个行动的要多． ａ ｛ｕ （ ， ｓ （ ， ， ） ｕ ） 定义 ６ 若优决策 向量 ＝（ 口， ， 的分量未取 的个数为 ｎ则称 的相合度 口 ， …， …） ，
ｖ ｃｏ ，ｃ ｎ ｉｔｎ ｙ ｄ ｇ ｅ ，Ｅ Ｃ． ｈｓ ｐ ｐ ｒ ｗ ｌ ｓｕ ｙ ｔｅ ｆ ｉ ｔ ｇ ｆｅ ｐ ｃｅ ｔｌ ｒ ｗａｄ ｍｏ ｅ ｄ ｏ ｔ ｌ ｙ ｅ ｔｒ ｏ ｓｓｅ ｃ ｅ ｒ ｅ Ｔ Ｔ ｉ ａ ｅ ｉ ｔ ｄ ｈ ｉ ｔ ｓａ ｅｏ ｘ ｅ ｔ ｄ ｔ ａｌ ｅ ｒ ｄ ｌ ｌ ｎｅ ｏ ｎ ａ ｐｉ ｉ ｍａ ｔ
ｅ ａ ｏ ｑｕ ｔ ｎ． ｉ
Ｋｅ ｒ ｓ Ｍａｋ ｖ ｄ ｃｓ ｎ —ｍａ ｉ ｇ ｖ ｔｒ ｐ ｏ ｅ ｓ ｓ ｙ ｗｏ ｄ ｒ ｏ ｅ ｉｉ ｏ ｋ ｎ ｅ ｏ ｒ ｃ ｓｅ ｃ Ｅ ｉ ｅ ｅ Ｘｓ ｎ ｅ ｔ
Ｅ ｐ ｃ ｅ ｏ ａｌｒ ｗ ｒ ｄ ｌ ｘ ｔ ｄ ｔｔ ｅ ａ ｄ ｍｏ ｅ ｅ ｌ
模 型可 能有 约束条 件等 诸 多 问题 ． 者们 据 此 进 一 步发 展 了 更加 接 近 于 实 际 问题 的 ＭＤ 学 Ｐ模
型， 如状态部分可观察的 Ｍ Ｐ 多 目标 Ｍ Ｐ 自 Ｄ、 Ｄ 、 适应 Ｍ Ｐ 参数不确定 Ｍ Ｐ 带约束条件 Ｍ Ｐ Ｄ、 Ｄ、 Ｄ、 摄动 Ｍ Ｐ Ｄ 等等 ， 并提 出了一类参数随环境变化而变化 的 Ｍ Ｐ 型， Ｄ 模 即随机环境 Ｍ Ｐ Ｄ 模型和 混合 Ｍ Ｐ Ｄ 模型 ．
ｍ ｋ ｇ ｅｔ ｒ ｅｓ ， ａｉ ｃ ｒ ｏ ｓ ｓ）简记为 Ｍ Ｖ ． 中 为系统的决策时刻集； 为系统所有可能状态 ｎ ｖ ｏＰ ｃ ｅ Ｄ Ｐ其 Ｓ
所组成的非空状态集 ； （） Ａ ｉ 为系统在状态 ｉ 处可用的决策向量集 ； （ Ｉ ） Ｐ ．ｉ 为系统的转移概 ， 率 ； （， 为期望报酬． ｒ ）
Ａｂｔａｔ ｙａｐｙｎ ｒｏ ｅｉｏ — ａｉｇｖｃｏ ｒ ｅｓｓｈ ｏ ｄｔｅｎｗｄｆ ｉｏ ｆ ｅｉｏ — ａｉｇ ｓｒｃ Ｂ ｐ ｌ ｇＭａ ｖ ｃｓ ｎ—ｍ ｋｎ ｅｔｒ ｏ ｓｅ ｅｒ ａ ｅ ｅｎｔ ｎｏ ｃｓ ｎ—ｍ ｋｎ ｉ ｋ ｄ ｉ ｐｃ ｔ ｙｎ ｈ ｉ ｉ ｄ ｉ
Ａ （） ｉ 为一元决策集 ； （） Ａ ｉ 中的元素称为决策 向量 ， 记为 定义 ３ 称 ｐ （ ）＝ｐ（ ，） ＥＡ ｉ 为在时刻 ｔ ， （） ａ 采取决策向量 时系统从状态 ｉ —
的转移概率． 若系统在 ｔ 时刻采取 了 则其期望值报酬为 ，
ｒ ， ＝∑ｒ ，ｊ （ｌ ） （ ） （ ，Ｐ ｉ ｉ ） ｊ，
然而在传统马氏决策过程 （ Ｄ ） Ｍ Ｐ 模型中存在着一个共同局限性 ， 即在决策时刻只采取单
个行动来确定系统的状态转移概率． 但在实际问题中， 状态转移概率可能依赖于多个行动．为 了克服传统 Ｍ Ｐ Ｄ 模型的这种局限性 ， 文献 ［ ］ ４ 在决策时刻引入了多元行动来确定系统的状态
转移概率 ， 并通过运用传统 Ｍ Ｐ的基本理论 以及结合多元行动集 、 Ｄ 决策 向量 、 相合度等新定
定 义８ 对Ｎ≥０ｒ ， 为 ，（ 有界函 则 量策 ） 数， 在向 略仃＝（ ， ・ ∈兀 下的Ｊ阶 ・ ） ７ 、 ｒ
段期望总报酬准则定义为
１ ０
．一 １ ｖ 】
数学理论与应用
，
（，） ７ｈ ＝∑卢 Ｅ ｛ ， ）ｈ｝ ＮＥ ｛ ）ｈ ｒ ｒ Ｉ ＋ － （ ｌ （ ｎ
Ｃ ｅ ｉ ｈ ｎＪｅ ＬｕＺ ｉ ｎ Ｘｉｇ Ｌｎ ｂ ｉ ａｍｉｇ ｎ ｉｇ ｏ
（ ．Ｃ ｌ ｇ ｆ ｃ ｎｅａｄＥ ｇ ｅｒ ｇ ＱｏｇｈｕＵ ｉｅ ｉ ， ａｙ ７ ０２， ｈｎ ） １ ｏｅｅｏ Ｓｉ ｃ ｎ ｎｉ ｅ ｎ ，ｉｎｚｏ ｎｖｒ ｔ Ｓ ａ５＇ ２ Ｃ ｉａ ｌ ｅ ｎ ｉ ｓｙ ｎ ２ ， （ ．Ｓ ｈｏ ｆ ｔｅ ａｉ ， ｅｔ ｌ ｏ ｔ Ｕ ｉ ｒｔ， ｈｎｓａ １０ ５ ２ ｃｏｌ ｈｍ ｔ ｓ Ｃ ｎｒ ｕｈ ｎｖｓ ｙ Ｃ ａｇｈ ０７ ） ｏ Ｍａ ｃ ａＳ ｅ ｉ ４
陈 杰 刘 再 明 邢 灵博
（ ． 州学 院理 工 学院 ， １琼 海南 ，７０２ ５ ２２ ）
（． ２ 中南大学数学科学与计算技术学院， 长沙，１０ ５ ４０ ７ ）
摘 要 在马氏决策向量过程模 型的理论基础上 ， 结合 决策向量和相合 度等新定 义， 进一步提 出有限阶段期
存在性
望总报 酬准则和最优 方程 ， 并证明最优 方程 的解 的存在性． 关键词 马氏决策向量过程模 型 报酬准则 最优方程
义， 提出了马氏向量决策过程模型 ， 并对一这新模型进行了一些尝试性的研究 ， 内容包括 ： 其 马 氏决策向量过程的定义和相合度的算法． 在马氏决策 向量过程模型的框架下 ， 所得到的这些新 结论 比传统 Ｍ Ｐ模型中的结论更具有一般性 ， Ｄ 但未进一步提出马氏向量决策过程模型的有限 阶段期望总报酬准则和最优方程 ， 且有关最优方程的解的存在性问题有待于解决．
琼州学 院青年基金资助项 目， 编号 Ｑ Ｑ ２ １２ Ｙ Ｎ ０ １６
收稿 日期 ：０ １ １ ２ １ 年 １月 ０ ３日
数学理论与应用
早期 的 Ｍ Ｐ Ｄ 模型大致可分为三大类 ： 离散时间马氏决策过程（ Ｔ Ｄ ）连续时间马氏决策过 ＤＭ Ｐ 、 程 （Ｔ Ｄ ） Ｃ Ｍ Ｐ 和半马氏决策过程（ Ｍ Ｐ ． Ｓ Ｄ ） 这些 Ｍ Ｐ模型描述实际问题时， Ｄ 往往 出现状态未必 完全可观察、 目标函数可能多于一个 、 模型的参数可能为未知的、 折扣因子的精确值不易确定 、
若 Ｖ ∈Ａ ｉ 都有 Ｉ Ｉ 时（ （） ＝１ 即系统在任意决策时刻只采取单个行动）则称之为传统 ，
马氏决策过程模型（ ａ ｏ ｅｉｏ ｒ ｅ ｅ ） 简记为 Ｍ Ｐ Ｍ ｒ ｖ ｃ ｉ Ｐｏ ｓ ｓ ， ｋ Ｄ ｓｎ ｃ ｓ Ｄ． 若无特殊说明 ， 传统马氏决策过程与马氏多元决策过程统记为 ｛ ，， （）Ｐ ． ，） ｒ ，） ． ｓＡ ｉ ，（ １ ， ｝ （
其 中 Ｔ＝｛ ， ，…Ｎ一 ｝ Ｎ＜。 ， （ ｉ 为有界报酬 函数． ０ １２ １， 。ｒ ） ， 当决策者在选定一定的决策向量