(完整word版)马尔可夫决策过程马尔可夫决策过程(MarkovDecisionProcesses
马尔可夫属性，链，奖励过程和决策过程
马尔可夫属性，链，奖励过程和决策过程马尔可夫属性如果我们的状态表示和拥有完整的历史一样有效，那么我们说我们的模型满足了Markov属性的需求。
举个例子来说明这一点，想想玩井字游戏。
当我们能够根据当前状态作出决定，而不是需要了解整个历史，那么我们就说我们满足了马尔可夫属性的条件。
或者更笼统地说:'未来与过去无关'我们说，我们可以从一个马尔可夫状态s出发通过定义状态转换概率来定义继任状态，这是由马尔可夫过程或马尔可夫链马尔科夫过程是一个无记忆的随机过程，我们采用一系列满足马尔可夫属性要求的随机状态。
或者定义：马尔可夫过程是一个tuple ，其中：•S是（有限的）一组状态•P是状态转移概率矩阵，Pss'= P [St + 1 = s'| St = s]我们的P矩阵写成：矩阵的每一行总和为1。
我们用一个例子来说明这一点。
假设我们想要表示天气状况。
我们如何预测接下来几天的天气？当我们有这个转换矩阵时：然后我们可以看到，在当前晴天，我们将有90％的机会在阳光明媚的日子之后，而当我们有一个下雨天时，有50％的机会在下雨天。
将此图表示为图表会导致：马尔科夫奖励流程（MRP）就像我们在强化学习中所做的那样，做出决定的事实。
我们介绍一种叫做“reward”的东西。
这将帮助我们根据当前的环境和我们将获得的回报来选择行动。
马尔科夫奖励过程是原始马尔可夫过程的延伸，但增加了奖励。
写在一个定义：马尔可夫奖励过程是一个元组其中：•S是（有限的）一组状态•P是状态转移概率矩阵，Pss'= P [St + 1 = s'| St = s]•R是奖励函数，Rs = E [rt + 1 | St = s]•γ是折扣因子，γ∈[0,1]这意味着我们将增加去某些状态的奖励。
当我们将这个映射到我们的雏形示例上时：通过增加这个奖励，我们可以找到一个最优的路径，在我们处于决定的时候。
让我们想象我们可以在这里扮演上帝，你会走哪条路?我们想试着走那条一直都是“阳光”的道路，但是为什么呢?因为这意味着我们会得到尽可能高的回报。
如何建立有效的马尔可夫决策过程模型(十)
马尔可夫决策过程（Markov Decision Process, MDP）是一种用来描述随机决策问题的数学模型。
它被广泛应用在机器学习、优化算法、运筹学等领域。
本文将从建立有效的马尔可夫决策过程模型的角度出发，探讨如何在实际问题中应用MDP模型，并解决其中的挑战。
1. 确定状态空间和动作空间在建立MDP模型时，首先需要确定状态空间和动作空间。
状态空间是描述系统状态的集合，动作空间是系统可采取的动作的集合。
这两个空间的确定对于后续的模型求解至关重要。
在实际问题中，状态空间和动作空间的确定通常需要依靠领域知识和数据分析。
在确定状态空间时，需要考虑状态的完备性和可观测性；在确定动作空间时，需要考虑动作的离散性和连续性。
在实际问题中，状态空间和动作空间的确定往往是建立MDP模型的第一步，也是最关键的一步。
2. 建立状态转移概率和奖励函数在MDP模型中，状态转移概率和奖励函数是描述系统动态演化和反馈的重要组成部分。
在实际问题中，确定状态转移概率和奖励函数往往是建立MDP模型的难点之一。
状态转移概率描述了在某一状态下，采取某一动作后转移到其他状态的概率分布。
奖励函数描述了在某一状态下，采取某一动作后所获得的奖励或成本。
确定状态转移概率和奖励函数通常需要依靠领域知识和数据分析，同时也需要考虑模型的精确度和可解释性。
在实际问题中，建立状态转移概率和奖励函数往往需要结合实地调研和模型验证，以确保模型的准确性和有效性。
3. 求解最优策略确定了状态空间、动作空间、状态转移概率和奖励函数后，接下来的关键问题是求解最优策略。
最优策略是使得系统长期累积奖励最大化的策略。
求解最优策略是MDP模型中的一个经典问题，通常可以通过动态规划、强化学习等方法来解决。
在实际问题中，求解最优策略往往需要面临状态空间和动作空间的维度灾难、状态转移概率和奖励函数的不确定性等挑战。
因此，求解最优策略通常需要结合领域知识和数据分析，同时也需要考虑模型的计算效率和可扩展性。
马尔可夫决策过程在金融领域的应用
马尔可夫决策过程在金融领域的应用马尔可夫决策过程（Markov Decision Process, MDP）是一个重要的数学模型，被广泛应用于金融领域。
它是马尔可夫链在动态决策问题中的推广，可以用于描述决策者在动态环境中做出的一系列决策。
在金融领域，MDP可以用于投资组合管理、风险控制、期权定价等多个方面。
本文将从多个角度探讨MDP在金融领域的应用。
首先，MDP在投资组合管理中发挥着重要作用。
投资组合管理涉及投资者如何在不同资产之间进行配置，以达到最大化收益或最小化风险的目标。
MDP可以帮助投资者在不确定的市场环境中做出最优决策。
通过建立状态空间、动作空间和奖励函数，投资者可以利用MDP模型来确定每一步的最佳投资策略，从而实现长期收益的最大化。
其次，MDP在风险控制方面也有重要应用。
金融市场充满着各种风险，如市场风险、信用风险、操作风险等。
在这样的复杂环境中，MDP可以帮助金融机构和投资者制定合理的风险管理策略。
通过建立状态空间和动作空间，MDP可以帮助决策者在不同的风险情景下做出最优决策，从而降低整体的风险暴露。
此外，MDP在期权定价方面也具有重要的应用。
期权是金融衍生品市场中的重要工具，它允许投资者在未来的某个时间点以约定的价格买入或卖出资产。
MDP 可以帮助定价期权并制定最优的对冲策略。
通过建立状态空间和奖励函数，MDP可以帮助决策者确定期权的合理价格，并制定对冲策略以降低风险。
除了以上几个方面，MDP还在金融领域的其他方面有着广泛的应用。
例如，在高频交易中，MDP可以帮助交易员制定最优的交易策略；在信用评级中，MDP可以帮助评级机构更准确地评估债券的违约风险；在投资决策中，MDP可以帮助投资者更科学地分析市场情况。
总之，MDP在金融领域的应用是多方面的，它为金融机构和投资者提供了重要的决策支持。
然而，MDP在金融领域的应用也面临着一些挑战。
首先，MDP模型的建立需要大量的数据支持，而金融市场的数据往往是高维、非线性且具有很强的随机性，这为建立准确的MDP模型带来了挑战。
如何建立和优化马尔可夫决策过程模型
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于建立和优化决策模型的数学框架，它在许多领域都有着广泛的应用，例如人工智能、运筹学、金融等。
在本文中，我们将探讨如何建立和优化马尔可夫决策过程模型。
# 理解马尔可夫决策过程首先，我们需要理解马尔可夫决策过程的基本概念。
MDP是描述一个决策过程的数学模型，它包括状态空间、动作空间、状态转移概率和奖励函数等元素。
在MDP中，代理根据当前的状态和可选的动作来做出决策，然后环境根据代理的动作和状态转移概率来更新状态，并给予相应的奖励。
代理的目标是通过选择最优的动作序列来最大化长期累积奖励。
# 建立马尔可夫决策过程模型建立一个马尔可夫决策过程模型需要考虑以下几个步骤：1. 确定状态空间和动作空间：首先，我们需要确定决策过程中可能出现的所有状态和代理可以采取的所有动作。
状态空间和动作空间的定义对于后续的状态转移概率和奖励函数的估计至关重要。
2. 估计状态转移概率：在MDP中，状态转移概率描述了在给定状态和动作下，环境转移到下一个状态的概率分布。
为了估计状态转移概率，我们可以使用历史数据或者模拟环境来进行估计。
3. 定义奖励函数：奖励函数用来评估代理在某个状态下采取某个动作的好坏程度。
奖励函数的设计需要考虑到代理的长期目标，以及如何平衡即时奖励和长期累积奖励。
4. 解决马尔可夫决策过程：一旦建立了MDP模型，我们就可以使用不同的强化学习算法来求解最优策略。
常见的算法包括值迭代、策略迭代、Q-learning 等。
# 优化马尔可夫决策过程模型除了建立MDP模型，我们还可以通过一些方法来优化MDP模型的性能。
1. 状态空间和动作空间的优化：在实际问题中，状态空间和动作空间可能非常庞大，这会导致MDP模型的求解变得非常困难。
因此，我们可以通过状态聚合、动作剪枝等方法来优化状态空间和动作空间的表示，从而简化MDP模型。
2. 奖励函数的设计和调整：奖励函数的设计对MDP模型的性能有着重要的影响。
基于迁移学习的马尔可夫决策过程
基于迁移学习的马尔可夫决策过程迁移学习是机器学习领域中的一个重要研究方向，它的目标是通过利用从一个或多个相关任务中获得的知识，来改善在目标任务上的学习性能。
马尔可夫决策过程（Markov Decision Process, MDP）是一种用于建模序贯决策问题的数学框架。
本文将探讨如何将迁移学习应用于马尔可夫决策过程，以提高在目标任务上的决策性能。
在传统的马尔可夫决策过程中，我们通常假设环境是静态且未知的。
然而，在现实世界中，环境常常是动态和不确定的。
此外，在许多实际应用中，我们可能无法从头开始训练一个全新的模型来解决一个新任务。
这时候迁移学习就发挥了重要作用。
迁移学习可以通过利用从源领域（source domain）获得的知识来改善在目标领域（target domain）上模型性能。
源领域和目标领域可以有一些共享或相似之处，例如共享特征、相似分布或相似任务等。
通过利用这些共享信息，我们可以将从源领域学到的知识迁移到目标领域上。
在马尔可夫决策过程中，迁移学习可以通过以下几种方式应用。
首先，我们可以利用从源领域中学到的策略来初始化目标领域上的决策过程。
这种方法被称为初始化迁移（Initialization Transfer）。
通过将源领域上的策略应用于目标领域，我们可以在目标任务上更快地找到一个较好的策略。
其次，我们可以利用从源领域中学到的价值函数来辅助目标任务上的决策过程。
这种方法被称为价值函数迁移（Value Function Transfer）。
通过将源领域中学到的价值函数与目标任务上的奖励函数结合起来，我们可以更准确地评估在目标任务中采取不同动作所获得的回报。
另外一种常见方法是特征选择与转换（Feature Selection and Transformation）。
通过选择和转换特征空间，我们可以将源领域和目标领域之间不一致或不相关的特征进行匹配。
这样做可以减少由于特征空间不匹配而引起的误差，并提高在目标任务上决策过程性能。
马尔可夫决策过程中的状态空间建模技巧(八)
马尔可夫决策过程（Markov Decision Process，MDP）是一种用来描述随机决策问题的数学框架。
在这个框架中，决策者在不确定环境中做出决策，并且这些决策会影响未来的状态和奖励。
在实际问题中，状态空间的建模是至关重要的。
本文将介绍马尔可夫决策过程中的状态空间建模技巧。
## 马尔可夫决策过程简介在马尔可夫决策过程中，我们考虑的是一个有限状态空间、有限动作空间、奖励函数和状态转移概率的随机过程。
在每个时刻，代理根据当前状态和选择的动作会转移到下一个状态，并且会收到一个相应的奖励。
马尔可夫决策过程的目标是找到一个策略，使得长期累积奖励最大化。
## 状态空间建模技巧### 离散状态空间在实际问题中，状态空间可以是离散的，也可以是连续的。
对于离散状态空间，我们可以使用状态-动作值函数（Q函数）来描述状态和动作之间的关系。
Q函数表示在状态s下选择动作a所能获得的长期累积奖励。
通过对Q函数的建模，可以得到最优的策略，使得长期累积奖励最大化。
### 连续状态空间对于连续状态空间，建模更加复杂。
一种常见的方法是使用函数逼近来估计值函数。
例如，可以使用线性函数逼近或者神经网络来估计值函数。
通过函数逼近，可以对状态空间进行更加精细的建模，得到更加准确的策略。
### 非确定性状态空间在一些情况下，状态之间的转移并不是确定的，而是存在一定的不确定性。
这时，我们可以使用概率转移矩阵来描述状态之间的转移概率。
概率转移矩阵可以帮助我们更好地理解状态空间之间的关系，从而找到最优的策略。
## 实际案例为了更好地理解状态空间建模技巧，我们可以以一个实际案例来说明。
假设我们要设计一个自动驾驶汽车的决策系统。
汽车在道路上行驶时，需要根据当前的状态（例如车速、距离前车的距离、道路的曲率等）选择合适的动作（加速、减速、转弯等）。
这时，我们可以将汽车的状态空间建模为一个多维的向量空间，每个维度代表一个状态变量。
通过对状态空间的建模，我们可以使用马尔可夫决策过程来设计自动驾驶汽车的决策系统，并且找到最优的策略，使得汽车能够安全、高效地行驶。
如何利用马尔可夫决策过程进行路径规划(五)
马尔可夫决策过程（Markov Decision Process，简称MDP）是一种用于建模决策问题的数学框架。
它能够帮助我们在不确定的环境中做出最优的决策，因此在路径规划领域有着广泛的应用。
本文将探讨如何利用马尔可夫决策过程进行路径规划，并介绍一些相关的算法和方法。
马尔可夫决策过程的基本概念是状态、动作和奖励。
在路径规划中，状态可以用来描述机器人或车辆所处的位置和姿态，动作则表示机器人或车辆可以采取的行动，奖励则反映了每个状态-动作对的好坏程度。
通过建立状态空间、动作空间和奖励函数，我们可以利用马尔可夫决策过程来制定路径规划策略。
首先，我们需要定义状态空间。
在路径规划中，状态空间通常表示机器人或车辆可能处于的所有位置和姿态。
例如，如果我们希望规划一个机器人在办公室中移动的路径，状态空间可以包括办公室中的每个房间和每个房间中的不同位置。
通过将状态空间离散化，我们可以将连续空间转化为离散空间，从而简化路径规划问题的复杂度。
其次，我们需要定义动作空间。
动作空间表示机器人或车辆可以采取的所有行动。
在路径规划中，动作通常包括移动到相邻位置、转向、停止等。
通过定义动作空间，我们可以将路径规划问题分解为一系列局部决策问题，从而更容易求解最优路径。
接下来，我们需要定义奖励函数。
奖励函数用来评估每个状态-动作对的好坏程度。
在路径规划中，奖励函数通常根据目标位置和当前位置的距离、碰撞风险、能源消耗等因素来设计。
通过合理设计奖励函数，我们可以引导机器人或车辆做出最优的决策，以实现最优的路径规划。
一旦我们定义了状态空间、动作空间和奖励函数，就可以利用马尔可夫决策过程来制定路径规划策略。
在实际应用中，我们通常会使用一些基于MDP的算法来求解最优策略，例如值迭代算法、策略迭代算法、Q-learning算法等。
值迭代算法是一种基于动态规划的方法，通过不断更新每个状态的值函数来求解最优策略。
它的优点是收敛速度较快，但缺点是需要对整个状态空间进行遍历，计算量较大。
马氏决策
2
4 4 R = 1 −19
2
问题是在若干月内采取什么决策才能使其总期望 报酬最大。
用n表示系统的阶段数。p 表示系统当前处于状 态i，下一步以d种决策方式转移到状态j的概率。 f n (i )表示系统初始状态为i，采取最优策略时的 期望报酬最大值。则有如下方程：
下面考虑系统经过一定阶段的运行后的总 期望报酬。记q(i)为状态i 做出一次转移的 N 期望报酬，则有 q (i ) = Σ pij rij i = 1, 2,......N j =1 称 Q = [ q (1), q (2).....q ( N ) ] 为一次转移的期望报酬向量。
T
记 Vn (i) 为系统由状态ｉ经过n次转移之后的 总期望报酬，则有
仍以上述工厂为例，设该工厂在每个状态可选的 决策是不登广告（记作方式1）或登广告（记作 方式2）。若不登广告，自然无广告费；若登广 告，要花额外的广告费，但下月初为销路好的概 率可增加。 决策方式1的状态转移矩阵及报酬矩阵为： 1 9 3 0.5 0.5 1 1 R = P = 0.4 0.6 3 −7 选决策方式2的状态转移矩阵及报酬矩阵为：
在利用上面的公式，可以得出该工厂在不同的 初始状态下，经过若干月后的总期望获利情况。
6 V1 = Q = −3
三、马氏决策规划 在赋值马氏过程中，如果在某状态选用不同 的决策能够改变相应的状态转移矩阵及报酬 矩阵，就产生了动态随机系统求值最优策略 的问题。马氏决策规划就是研究这类问题的。 下面我们通过实例来介绍马氏决策规划中有 限阶段的一种求解方法——值迭代法。设系 统目标为总期望报酬最大化。
4 4 q 2(1) 0.8 0.2 4 2 2 2 Q = 2(2) = ( P )Θ ( R ) = Θ 1 −19 = −5 0.7 0.3 q
如何在实际应用中使用马尔可夫决策过程(十)
马尔可夫决策过程（MDP）是一种在人工智能和机器学习领域广泛应用的数学模型。
它可以帮助我们理解和解决一系列问题，例如自动驾驶、游戏策略、金融决策等。
在本文中，我将探讨如何在实际应用中使用马尔可夫决策过程，并且给出一些具体的案例。
首先，让我们来了解一下马尔可夫决策过程是什么。
马尔可夫决策过程是一种用来建模决策问题的数学框架，它基于马尔可夫链和决策理论。
在马尔可夫决策过程中，我们考虑的是一个代理在一个环境中做决策的过程。
这个环境可以是任何可以描述为状态空间和动作空间的系统。
在每个时刻，代理根据当前的状态选择一个动作，然后环境对状态和动作做出响应，代理得到奖励并转移到新的状态。
这个过程就是马尔可夫决策过程的基本框架。
在实际应用中，我们可以使用马尔可夫决策过程来建模和解决很多问题。
比如，假设我们要设计一个自动驾驶系统，我们可以将道路交通环境建模为一个马尔可夫决策过程。
每个交通状态（比如红绿灯、车辆行驶速度等）可以被看作是一个状态，而每个驾驶决策（比如加速、减速、转弯等）可以被看作是一个动作。
然后，我们可以使用强化学习算法来训练代理，使其学会在不同交通状态下做出最优的驾驶决策。
另一个例子是金融领域的应用。
假设我们要设计一个股票交易系统，我们可以将股市行情建模为一个马尔可夫决策过程。
每个市场状态（比如股票价格、成交量等）可以被看作是一个状态，而每个交易决策（买入、卖出、持有等）可以被看作是一个动作。
然后，我们可以使用强化学习算法来训练代理，使其学会在不同市场状态下做出最优的交易决策。
在实际应用中，使用马尔可夫决策过程需要我们解决一些具体的问题。
首先，我们需要定义环境的状态空间和动作空间。
这需要对问题领域有一定的理解和抽象能力。
其次，我们需要定义环境对状态和动作的响应方式，以及代理获得奖励的规则。
这需要我们对环境的运行机制有一定的了解。
接下来，我们需要选择合适的强化学习算法来训练代理。
常用的算法包括Q-learning、SARSA、DQN等。
马尔可夫决策过程实例讲解
} 算法步骤简单，思想也简单但有效：重复贝尔曼公式（4），更新V (s) 。经过验证，该算
法 最 终 能 够 使 得 V (s) V *(s) 。 具 体 证 明 值 迭 代 算 法 收 敛 的 过 程 可 以 参 考 文 档
file:///E:/rearchStudent3/201501.15@MDP/MDP%E8%B5%84%E6%96%99/introduction%20of% 20MDP--Princeton.pdf 中的 3-10 部分。
上图的场景表征的是机器人导航任务，想象一个机器人生活在网格世界中，阴暗单元是 一个障碍。假设我希望机器人到达的目的地是右上角的格子（4,3），于是我用+1 奖励来 关联这个单元；我想让它避免格子（4,2），于是我用-1 奖励来关联该单元。现在让我们 来看看在该问题中，MDP 的五元组是什么： S：机器人可以在 11 个网格中的任何一个，那么一共有 11 个状态；集合 S 对应 11 个可 能到达的位置。 A={N S E W}。机器人可以做出的动作有 4 个：向东 向南 向西 向北。 Psa ：假设机器人的行为核心设计并不是那么精准，机器人在受到相关指令后有可能会走偏 方向或者行走距离不那么精确，为简化分析，建立机器人随机动态模型如下：
P(3,1)N ((3, 2)) 0.8; P(3,1)N ((2,1)) 0.1； P(3,1)N ((4,1)) 0.1；P(3,1)N ((3,3)) 0；...
R：奖励函数可以设置为：
R((4,3)) 1 R((4, 2)) 1 R(s) 0.02对于其他状态s
去状态是条件独立的。在一些资料中将 Psa 写成矩阵形式，即状态转换矩阵。
[0,1) 表示的是 discount factor，具体含义稍后解释。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(完整word版)马尔可夫决策过程马尔可夫决策过程(MarkovDecisionProcesses 马尔可夫决策过程
马尔可夫决策过程(Markov Decision Processes，MDP）
马尔可夫决策过程概述
马尔可夫决策过程是基于马尔可夫过程理论的随机动态系统的最优决策过程。
马尔可夫决策过程是序贯决策的主要研究领域。
它是马尔可夫过程与确定性的动态规划相结合的产物,故又称马尔可夫型随机动态规划，属于运筹学中数学规划的一个分支.
马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯地作出决策。
即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步（未来）的状态是随机的，并且其状态转移概率具有马尔可夫性。
决策者根据新观察到的状态，再作新的决策,依此反复地进行。
马尔可夫性是指一个随机过程未来发展的概率规律与观察之前的历史无关的性质。
马尔可夫性又可简单叙述为状态转移概率的无后效性。
状态转移概率具有马尔可夫性的随机过程即为马尔可夫过程。
马尔可夫决策过程又可看作随机对策的特殊情形，在这种随机对策中对策的一方是无意志的。
马尔可夫决策过程还可作为马尔可夫型随机最优控制，其决策变量就是控制变量。
马尔可夫决策过程的发展概况
50年代R。
贝尔曼研究动态规划时和L.S。
沙普利研究随机对策时已出现马尔可夫决策过程的基本思想。
R。
A.霍华德（1960）和D。
布莱克韦尔（1962)等人的研究工作奠定了马尔可夫决策过程的理论基础.1965年，布莱克韦尔关于一般状态空间的研究和E.B。
丁金关于非时齐（非时间平稳性）的研究，推动了这一理论的发展。
1960年以来，马尔可夫决策过程理论得到迅速发展，应用领域不断扩大。
凡是以马尔可夫过程作为数学模型的问题,只要能引入决策和效用结构，均可应用这种理论。
马尔可夫决策过程的数学描述
周期地进行观察的马尔可夫决策过程可用如下五元组来描述：｛S，(A(i），i∈S,q,γ，V}，其中S 为系统的状态空间（见状态空间法）； A（i）为状态i(i∈S）的可用行动（措施，控制)集;q为时齐的马尔可夫转移律族，族的参数是可用的行动;γ是定义在Γ（Г呏{（i,ɑ)：a∈A(i），i∈S}上的单值实函数;若观察到的状态为i，选用行动a，则下一步转移到状态 j的概率为q（j│i，ɑ）,而且获得报酬γ(j，ɑ）,它们均与系统的历史无关；V是衡量策略优劣的指标（准则）。
马尔可夫决策过程的策略
策略是提供给决策者在各个时刻选取行动的规则,记作π＝（π0，π1,π2，…, πn,πn＋1…)，其中πn是时刻 n选取行动的规则.从理论上来说，为了在大范围寻求最优策略πn，最好根据时刻 n以前的历史,甚至是随机地选择最优策略。
但为了便于应用，常采用既不依赖于历史、又不依赖于时间的策略，甚至可以采用确定性平稳策略。
马尔可夫决策过程的指标
衡量策略优劣的常用指标有折扣指标和平均指标.折扣指标是指长期折扣〔把 t时刻的单位收益折合成0时刻的单位收益的βt(β < 1）倍〕期望总报酬;平均指标是指单位时间的平均期望报酬。
采用折扣指标的马尔可夫决策过程称为折扣模型.业已证明:若一个策略是β折扣最优的，则初始时刻的决策规则所构成的平稳策略对同一β也是折扣最优的,而且它还可以分解为若干个确定性平稳策略，它们对同一β都是最优的。
现在已有计算这种策略的算法。
采用平均指标的马尔可夫决策过程称为平均模型。
业已证明：当状态空间S 和行动集A(i）均为有限集时,对于平均指标存在最优的确定性平稳策略；当S和（或）A(i）不是有限的情况,必须增加条件，才有最优的确定性平稳策略。
计算这种策略的算法也已研制出来。