动态规划 算法
动态规划算法难点详解及应用技巧介绍

动态规划算法难点详解及应用技巧介绍动态规划算法(Dynamic Programming)是一种常用的算法思想,主要用于解决具有重叠子问题和最优子结构性质的问题。
在解决一些复杂的问题时,动态规划算法可以将问题分解成若干个子问题,并通过求解子问题的最优解来求解原始问题的最优解。
本文将详细介绍动态规划算法的难点以及应用技巧。
一、动态规划算法的难点1. 难点一:状态的定义在动态规划算法中,首先需要明确问题的状态。
状态是指问题在某一阶段的具体表现形式。
在进行状态定义时,需要考虑到问题的最优子结构性质。
状态的定义直接影响到问题的子问题划分和状态转移方程的建立。
2. 难点二:状态转移方程的建立动态规划算法是基于状态转移的思想,即通过求解子问题的最优解来求解原始问题的最优解。
因此,建立合理的状态转移方程是动态规划算法的关键。
在进行状态转移方程的建立时,需要考虑问题的最优子结构性质和状态之间的关系。
3. 难点三:边界条件的处理在动态规划算法中,边界条件是指问题的最简单情况,用于终止递归过程并给出递归基。
边界条件的处理需要考虑问题的具体要求和实际情况,确保问题能够得到正确的解。
二、动态规划算法的应用技巧1. 应用技巧一:最长递增子序列最长递增子序列是一类经典的动态规划问题。
其求解思路是通过定义状态和建立状态转移方程,找到问题的最优解。
在应用最长递增子序列问题时,可以使用一维数组来存储状态和记录中间结果,通过迭代计算来求解最优解。
2. 应用技巧二:背包问题背包问题是另一类常见的动态规划问题。
其求解思路是通过定义状态和建立状态转移方程,将问题转化为子问题的最优解。
在应用背包问题时,可以使用二维数组来存储状态和记录中间结果,通过迭代计算来求解最优解。
3. 应用技巧三:最短路径问题最短路径问题是动态规划算法的经典应用之一。
其求解思路是通过定义状态和建立状态转移方程,利用动态规划的思想来求解最优解。
在应用最短路径问题时,可以使用二维数组来存储状态和记录中间结果,通过迭代计算来求解最优解。
动态规划算法

2级
n=4时:有3大类归并法。前1堆后3堆、前2堆后2堆、前3堆后1堆。
因3堆有2种归并法,所以一共5小类归并法。前1堆第1种情况:
4级 3级 2级 1级 13 序号 1
44 31 15 7
2
f(1, 4) = 15 + 31 + 44 = 90 = f(2, 4) + g(1, 4) w不变 = f(2, 3) + g(2, 4) + g(1, 4)
若f(2,4)越小,则f(1,4)就越小。 8
3
16
4
n=4 时:前1堆的第2种情况。
4级 44 31 24 7 2 8 3 f(1, 4) = 24 + 31 + 44 = 99 = f(2, 4) + g(1, 4) w不变 = f(3, 4) + g(2, 4) + g(1, 4) 若f(2,4)越小,则f(1,4)就越小。 16 4 f(1, 4) = 20 + 24 + 44 = 88
的一种通用方法,对最优化问题提出最优性原则,从而创建最优化问题
的一种新算法设计技术——动态规划,它是一种重要的应用数学工具。 至少在计算机科学圈子里,人们不仅用它解决特定类型的最优化问题, 而最终把它作为一种通用的算法设计技术,即包括某些非最优化问题。 多阶段决策过程最优化: 现实世界里有许多问题属于这种情况:它有很多解,应用要求最优解。 穷举法通过找出全部解,再从中选出最优解。这种方法对于那些计算
动态规划算法及其应用案例解析

动态规划算法及其应用案例解析动态规划算法是计算机科学中一种非常重要的算法,它在许多领域都有大量的应用。
在本文中,我们将介绍动态规划算法的基本思想和特点,并通过一些常见的应用案例来深入理解这个算法。
1. 动态规划算法的基本思想动态规划算法是一种算法设计技术,用于在多阶段决策过程中寻找最优解。
它的基本思想是将一个大问题分解成较小的子问题来解决,然后将这些子问题的解组合起来得到原问题的解。
它与分治算法很类似,但是动态规划算法通常是针对问题的重复性结构进行优化的。
动态规划算法通常适用于满足以下几个条件的问题:(1)问题具有重叠子问题的特点,即一个大问题可以分解为多个子问题,且这些子问题存在相同的子结构;(2)问题具有最优子结构的特点,即一个问题的最优解包含其子问题的最优解。
通过以上两个条件,在通过子问题的最优解推导出大问题的最优解时,我们可以避免重复计算并且保证得到的结果是最优的。
2. 动态规划算法的特点动态规划算法的主要特点包括以下几个方面:(1)动态规划算法使用一个递推公式来计算问题的解,这个递推公式通常是由原问题和子问题之间的关系建立而来的。
(2)动态规划算法使用一个表格来存储子问题的解,这个表格通常称为动态规划表或者状态转移表。
(3)动态规划算法通常需要进行一些预处理操作,例如初始化表格的值,以及确定递推公式的边界条件。
(4)动态规划算法的时间复杂度通常是由子问题的个数和计算每个子问题的时间复杂度来决定的。
3. 应用案例解析下面我们将通过一些常见的应用案例来更好地理解动态规划算法。
(1)背包问题背包问题是指给定一组物品和一个容量为W的背包,选择一些物品放入背包中,使得放入背包的物品的总价值最大。
这个问题可以通过动态规划算法来解决。
我们可以定义一个二维数组f[i][j],表示前i个物品放进容量为j的背包所得到的最大价值。
递推公式可以定义为:f[i][j] = max(f[i-1][j], f[i-1][j-w[i]] + v[i]),其中w[i]表示第i个物品的重量,v[i]表示第i个物品的价值。
动态规划算法原理和实现

动态规划算法原理和实现动态规划是解决某些优化问题的一种算法思想,它主要针对的是那些可以分解成子问题的大问题,因此也被称作分治法。
动态规划算法的核心思想是将大问题分解成一个个小问题,然后逐步求解这些小问题并将它们组合成原问题的解。
本文将简单介绍动态规划算法的原理和实现。
一、动态规划算法的原理为了更好地理解动态规划算法的原理,我们可以以一个实例为例:假设有一个背包,它最多能装W重量的物品,现在有n种不同的物品,每种物品都有自己的重量w和价值v。
我们需要选择哪些物品放入背包中,以使得背包中物品的总价值最大。
这是一个典型的动态规划问题。
首先,我们可以把问题分解成子问题:设f(i,j)表示前i种物品放入一个容量为j的背包可以获得的最大价值。
因此,我们可以得到以下状态方程式:f(i,j) = max{f(i-1,j), f(i-1,j-w[i])+v[i]} (1≤i≤n,1≤j≤W)其中,f(i-1,j)表示不放第i种物品的最大价值,f(i-1,j-w[i])+v[i]表示放入第i种物品的最大价值。
因此,当我们计算出f(i,j)时,我们就得到了「前i种物品放入容量为j的背包的最大价值」,这也就是原问题的解。
这样,我们就可以使用动态规划算法来计算出最优解。
具体来说,我们从0开始,逐个计算出f(i,j)的值,直到计算出f(n,W)为止。
此外,我们还需要注意以下几点:1. 在计算f(i,j)的时候,我们需要使用到f(i-1,j)和f(i-1,j-w[i])这两个状态,因此我们需要先计算出f(1,j),在此基础上计算f(2,j),以此类推。
2. 对于一些特殊的情况,我们需要单独处理。
比如当背包容量小于某种物品重量时,我们就无法放入该物品。
3. 我们在计算f(i,j)时,有许多状态是可以复用的。
比如,当我们计算出f(i-1,j)后,我们就可以直接使用这个值来计算f(i,j),而无需重新计算。
二、动态规划算法的实现上面我们已经介绍了动态规划算法的核心思想和实现原理,下面我们来看看具体的实现过程。
动态规划算法的详细原理及使用案例

动态规划算法的详细原理及使用案例一、引言动态规划是一种求解最优化问题的算法,它具有广泛的应用领域,如机器学习、图像处理、自然语言处理等。
本文将详细介绍动态规划算法的原理,并提供一些使用案例,以帮助读者理解和应用这一算法的具体过程。
二、动态规划的基本原理动态规划算法通过将问题分解为多个子问题,并利用已解决子问题的解来求解更大规模的问题。
其核心思想是利用存储技术来避免重复计算,从而大大提高计算效率。
具体来说,动态规划算法通常包含以下步骤:1. 定义子问题:将原问题分解为若干个子问题,这些子问题具有相同的结构,但规模更小。
这种分解可以通过递归的方式进行。
2. 定义状态:确定每个子问题的独立变量,即问题的状态。
状态具有明确的定义和可计算的表达式。
3. 确定状态转移方程:根据子问题之间的关系,建立状态之间的转移方程。
这个方程可以是简单的递推关系式、递归方程或其他形式的方程。
4. 解决问题:使用递推或其他方法,根据状态转移方程求解每个子问题,直到获得最终解。
三、动态规划的使用案例1. 背包问题背包问题是动态规划算法的经典案例之一。
假设有一个背包,它能容纳一定重量的物品,每个物品有对应的价值。
目的是在不超过背包总重量的前提下,选取最有价值的物品装入背包。
这个问题可以通过动态规划算法来求解。
具体步骤如下:(1)定义问题:在不超过背包容量的限制下,选取物品使得总价值最大化。
(2)定义状态:令dp[i][j]表示将前i个物品放入容量为j的背包中所能获得的最大价值。
(3)状态转移方程:dp[i][j] = max(dp[i-1][j-w[i]]+v[i], dp[i-1][j]),其中w[i]为第i个物品的重量,v[i]为第i个物品的价值。
(4)解决问题:根据状态转移方程依次计算每个子问题的解,并记录最优解,直到获得最终答案。
2. 最长公共子序列最长公共子序列(Longest Common Subsequence,简称LCS)是一种经典的动态规划问题,它用于确定两个字符串中最长的共同子序列。
动态规划算法原理与的应用

动态规划算法原理与的应用动态规划算法是一种用于求解最优化问题的常用算法。
它通过将原问题划分为子问题,并将每个子问题的解保存起来,以避免重复计算,从而降低了问题的时间复杂度。
动态规划算法的核心思想是自底向上地构建解,以达到求解整个问题的目的。
下面将介绍动态规划算法的原理以及一些常见的应用。
1.动态规划算法的原理1)将原问题划分为多个子问题。
2)确定状态转移方程,即找到子问题之间的关系,以便求解子问题。
3)解决子问题,并将每个子问题的解保存起来。
4)根据子问题的解,构建整个问题的解。
2.动态规划算法的应用2.1最长公共子序列1) 定义状态:假设dp[i][j]表示序列A的前i个字符和序列B的前j个字符的最长公共子序列的长度。
2) 确定状态转移方程:若A[i] == B[j],则dp[i][j] = dp[i-1][j-1] + 1;若A[i] != B[j],则dp[i][j] = max(dp[i-1][j],dp[i][j-1])。
3) 解决子问题:从前往后计算dp数组中每个元素的值。
4) 构建整个问题的解:dp[m][n]即为最终的最长公共子序列的长度,其中m和n分别为序列A和序列B的长度。
2.2背包问题背包问题是指给定一个背包的容量和一些物品的重量和价值,要求在不超过背包容量的情况下,选择若干物品放入背包中,使得背包中物品的总价值最大。
该问题可通过动态规划算法求解,具体步骤如下:1) 定义状态:假设dp[i][j]表示在前i个物品中选择若干物品放入容量为j的背包中,能够获得的最大价值。
2) 确定状态转移方程:考虑第i个物品,若将其放入背包,则dp[i][j] = dp[i-1][j-wi] + vi;若不将其放入背包,则dp[i][j] = dp[i-1][j]。
3) 解决子问题:从前往后计算dp数组中每个元素的值。
4) 构建整个问题的解:dp[n][C]即为最终的背包能够获得的最大价值,其中n为物品的个数,C为背包的容量。
动态规划算法详解及经典例题

动态规划算法详解及经典例题⼀、基本概念(1)⼀种使⽤多阶段决策过程最优的通⽤⽅法。
(2)动态规划过程是:每次决策依赖于当前状态,⼜随即引起状态的转移。
⼀个决策序列就是在变化的状态中产⽣出来的,所以,这种多阶段最优化决策解决问题的过程就称为动态规划。
假设问题是由交叠的⼦问题所构成,我们就能够⽤动态规划技术来解决它。
⼀般来说,这种⼦问题出⾃对给定问题求解的递推关系中,这个递推关系包括了同样问题的更⼩⼦问题的解。
动态规划法建议,与其对交叠⼦问题⼀次重新的求解,不如把每⼀个较⼩⼦问题仅仅求解⼀次并把结果记录在表中(动态规划也是空间换时间的)。
这样就能够从表中得到原始问题的解。
(3)动态规划经常常使⽤于解决最优化问题,这些问题多表现为多阶段决策。
关于多阶段决策:在实际中,⼈们经常遇到这样⼀类决策问题,即因为过程的特殊性,能够将决策的全过程根据时间或空间划分若⼲个联系的阶段。
⽽在各阶段中。
⼈们都须要作出⽅案的选择。
我们称之为决策。
⽽且当⼀个阶段的决策之后,经常影响到下⼀个阶段的决策,从⽽影响整个过程的活动。
这样,各个阶段所确定的决策就构成⼀个决策序列,常称之为策略。
因为各个阶段可供选择的决策往往不⽌⼀个。
因⽽就可能有很多决策以供选择,这些可供选择的策略构成⼀个集合,我们称之为同意策略集合(简称策略集合)。
每⼀个策略都对应地确定⼀种活动的效果。
我们假定这个效果能够⽤数量来衡量。
因为不同的策略经常导致不同的效果,因此,怎样在同意策略集合中选择⼀个策略,使其在预定的标准下达到最好的效果。
经常是⼈们所关⼼的问题。
我们称这种策略为最优策略,这类问题就称为多阶段决策问题。
(4)多阶段决策问题举例:机器负荷分配问题某种机器能够在⾼低两种不同的负荷下进⾏⽣产。
在⾼负荷下⽣产时。
产品的年产量g和投⼊⽣产的机器数量x的关系为g=g(x),这时的年完善率为a,即假设年初完善机器数为x,到年终时完善的机器数为a*x(0<a<1);在低负荷下⽣产时,产品的年产量h和投⼊⽣产的机器数量y 的关系为h=h(y)。
动态规划算法教学PPT

03
动态规划算法的实现步骤
明确问题,建立数学模型
1
确定问题的目标和约束条件,将其转化为数学模 型。
2
理解问题的阶段划分,将问题分解为若干个子问 题。
3
确定状态变量和决策变量,以便描述子问题的状 态和决策。
划分阶段,确定状态变量和决策变量
01
根据问题的阶段划分,将问题分解为若干个子问题。
02
确定状态变量和决策变量,以便描述子问题的状态 和决策。
02
将子问题的最优解组合起来,得到原问题的最优解。
对最优解进行验证和性能评估,确保其满足问题的要求。
03
04
动态规划算法的优化技巧
分支定界法
分支定界法是一种求解优化问题的算 法,它通过不断生成问题的分支并确 定每个分支的界限,来寻找最优解。 在动态规划中,分支定界法可以用来 优化状态转移方程,减少计算量。
详细描述
多目标规划问题在实际生活中应用广泛,如资源分配、项目计划、城市规划等领 域都有涉及。常用的求解多目标规划的方法包括权重和法、帕累托最优解等。
多阶段决策问题
总结词
多阶段决策问题是动态规划中的一类,解决的问题需要在多个阶段做出决策,每个阶段的决策都会影响到后续阶 段的决策。
详细描述
多阶段决策问题在实际生活中应用广泛,如生产计划、库存管理、路径规划等领域都有涉及。常用的求解多阶段 决策问题的方法包括递归法、动态规划等。
特点
动态规划算法具有最优子结构、重叠 子问题和最优解性质等特征。
动态规划算法的应用领域
计算机科学
在计算机科学中,动态规划算法广泛应用于字符 串处理、排序、数据压缩和机器学习等领域。
电子工程
在电子工程中,动态规划算法用于信号处理、通 信和控制系统等领域。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
在生物学中,一些生物的结构是用包含其要素的大写字母序列来表示的。生物学家对于把长的序列分解成较短的(称之为元素的)序列很感兴趣。
如果一个集合P中的元素可以通过串联(允许重复;串联,相当于Pascal中的“+”运算符)组成一个序列S,那么我们认为序列S可以分解为P中的元素。并不是所有的元素都必须出现。举个例子,序列ABABACABAAB可以分解为下面集合中的元素:
ifstream fin ("subset.in");
ofstream fout ("subset.out");
int main() {
fin >> n;
fin.close();
int s = n*(n+1);
if (s % 4) {
fout << 0 << endl;
fout.close ();
return ;
决策:一个阶段的状态给定以后,从该状态演变到下一阶段某个状态的一种选择(行动)称为决策。在最优控制中,也称为控制。在许多间题中,决策可以自然而然地表示为一个数或一组数。不同的决策对应着不同的数值。描述决策的变量称决策变量,因状态满足无后效性,故在每个阶段选择决策时只需考虑当前的状态而无须考虑过程的历史。
{A, AB, BA, CA, BBC}
序列S的前面K个字符称作S中长度为K的前缀。设计一个程序,输入一个元素集合以及一个大写字母序列,计算这个序列最长的前缀的长度。
PROGRAM NAME: prefix
状态决策
决策:
当前状态通过决策,回到了以前状态.可见决策其实就是状态之间的桥梁。而以前状态也就决定了当前状态的情况。数字三角形的决策就是选择相邻的两个以前状态的最优值。
状态:
我们一般在动规的时候所用到的一些数组,也就是用来存储每个状态的最优值的。我们就从动态规划的要诀,也就是核心部分“状态”开始,来逐步了解动态规划。有时候当前状态确定后,以前状态就已经确定,则无需枚举.
对于动态规划算法解决这个问题,我们根据状态转移方程和状态转移方向,比较容易地写出动态规划的循环表示方法。但是,当状态和转移非常复杂的时候,也许写出循环式的动态规划就不是那么简单了。
解决方法:
我们尝试从正面的思路去分析问题,如上例,不难得出一个非常简单的递归过程:
f1:=f(i-1,j+1); f2:=f(i-1,j);
动态规划算法介绍——概念、意义及应用、例题(2012-05-14 21:54:37)转载▼标签:杂谈
动态规划(dynamic programming)是运筹学的一个分支,是求解决策过程(decision process)最优化的数学方法。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时,提出了著名的最优化原理(principle of optimality),把多阶段过程转化为一系列单阶段问题,逐个求解,创立了解决这类过程优化问题的新方法——动态规划。1957年出版了他的名著Dynamic Programming,这是该领域的第一本著作。
}
s /= 4;
int i, j;
dyn [0] = 1;
for (i = 1; i <= n; i++)
for (j = s; j >= i; j--)
dyn[j] += dyn[j-i];
fout << (dyn[s]/2) << endl;
fout.close();
return 0;
}
USACO 2.3 Longest Prefix
如果N=7,有四种方法能划分集合{1,2,3,4,5,6,7},每一种分发的子集合各数字和是相等的:
{1,6,7} and {2,3,4,5} {注1+6+7=2+3+4+5}
{2,5,7} and {1,3,4,6}
{3,4,7} and {1,2,5,6}
{1,2,4,7} and {3,5,6}
决策变量的范围称为允许决策集合。
策略:由每个阶段的决策组成的序列称为策略。对于每一个实际的多阶段决策过程,可供选取的策略有一定的范围限制,这个范围称为允许策略集合。允许策略集合中达到最优效果的策略称为最优策略。
给定k阶段状态变量x(k)的值后,如果这一阶段的决策变量一经确定,第k+1阶段的状态变量x(k+1)也就完全确定,即x(k+1)的值随x(k)和第k阶段的决策u(k)的值变化而变化,那么可以把这一关系看成(x(k),u(k))与x(k+1)确定的对应关系,用x(k+1)=Tk(x(k),u(k))表示。这是从k阶段到k+1阶段的状态转移规律,称为状态转移方程。
动态规划程序设计是对解最优化问题的一种途径、一种方法,而不是一种特殊算法。不象前面所述的那些搜索或数值计算那样,具有一个标准的数学表达式和明确清晰的解题方法。动态规划程序设计往往是针对一种最优化问题,由于各种问题的性质不同,确定最优解的条件也互不相同,因而动态规划的设计方法对不同的问题,有各具特色的解题方法,而不存在一种万能的动态规划算法,可以解决各类最优化问题。因此读者在学习时,除了要对基本概念和方法正确理解外,必须具体问题具体分析处理,以丰富的想象力去建立模型,用创造性的技巧去求解。我们也可以通过对若干有代表性的问题的动态规划算法进行分析、讨论,逐渐学会并掌握这一设计方法。
if f1>f2 then f:=f1+a[i,j] else f:=f2+a[i,j];
显而易见,这个算法就是最简单的搜索算法。时间复杂度为2n,明显是会超时的。分析一下搜索的过程,实际上,很多调用都是不必要的,也就是把产生过的最优状态,又产生了一次。为了避免浪费,很显然,我们存放一个opt数组:Opt[i, j] -每产生一个f(i, j),将f(i, j)的值放入opt中,以后再次调用到f(i, j)的时候,直接从opt[i, j]来取就可以了。于是动态规划的状态转移方程被直观地表示出来了,这样节省了思维的难度,减少了编程的技巧,而运行时间只是相差常数的复杂度,避免了动态规划状态转移先后的问题,而且在相当多的情况下,递归算法能更好地避免浪费,在比赛中是非常实用的.
各个阶段的决策构成一个决策序列,称为一个策略。每一个阶段都有若干个决策可供选择,因而就有许多策略供我们选取,对应于一个策略可以确定活动的效果,这个效果可以用数量来确定。策略不同,效果也不同,多阶段决策问题,就是要在可以选择的那些策略中间,选取一个最优策略,使在预定的标准下达到最好的效果.
2.动态规划问题中的术语
这种把一个问题看作是一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程,这种问题就称为多阶段决策问题。
记忆化搜索
给你一个数字三角形,形式如下:
1
2 3
4 5 6
7 8 9 10
找出从第一层到最后一层的一条路,使得所经过的权值之和最小或者最大.
无论对与新手还是老手,这都是再熟悉不过的题了,很容易地,我们写出状态转移方程:f(i, j)=a[i, j] + min{f(i+1, j),f(i+1, j + 1)}
SAMPLE 参考程序如下:
#include <fstream>
using namespace std;
const unsigned int MAX_SUM = 1024;
int n;
unsigned long long int dyn[MAX_SUM];
给出N,你的程序应该输出划分方案总数,如果不存在这样的划分方案,则输出0。程序不能预存结果直接输出。
PROGRAM NAME: subset
INPUT FORMAT
输入文件只有一行,且只有一个整数N
SAMPLE INPUT (file subset.in)
7
OUTPUT FORMAT
输出划分方案总数,如果不存在则输出0。
在前面的例子中,第一个阶段有一个状态即A,而第二个阶段有两个状态B1和B2,第三个阶段是三个状态C1,C2和C3,而第四个阶段又是一个状态D。
过程的状态通常可以用一个或一组数来描述,称为状态变量。一般,状态是离散的,但有时为了方便也将状态取成连续的。当然,在现实生活中,由于变量形式的限制,所有的状态都是离散的,但从分析的观点,有时将状态作为连续的处理将会有很大的好处。此外,状态可以有多个分量(多维情形),因而用向量来代表;而且在每个阶段的状态维数可以不同。
动态规划算法的应用
一、动态规划的概念
近年来,涉及动态规划的各种竞赛题越来越多,每一年的NOI几乎都至少有一道题目需要用动态规划的方法来解决;而竞赛对选手运用动态规划知识的要求也越来越高,已经不再停留于简单的递推和建模上了。
要了解动态规划的概念,首先要知道什么是多阶段决策问题。
1.多阶段决策问题
如果一类活动过程可以分为若干个互相联系的阶段,在每一个阶段都需作出决策(采取措施),一个阶段的决策确定以后,常常影响到下一个阶段的决策,从而就完全确定了一个过程的活动路线,则称它为多阶段决策问题。
阶段:把所给求解问题的过程恰当地分成若干个相互联系的阶段,以便于求解,过程不同,阶段数就可能不同.描述阶段的变量称为阶段变量。在多数情况下,阶段变量是离散的,用k表示。此外,也有阶段变量是连续的情形。如果过程可以在任何时刻作出决策,且在任意两个不同的时刻之间允许有无穷多个决策时,阶段变量就是连续的。
当过程按所有可能不同的方式发展时,过程各段的状态变量将在某一确定的范围内取值。状态变量取值的集合称为状态集合。
无后效性:我们要求状态具有下面的性质:如果给定某一阶段的状态,则在这一阶段以后过程的发展不受这阶段以前各段状态的影响,所有各阶段都确定时,整个过程也就确定了。换句话说,过程的每一次实现可以用一个状态序列表示,在前面的例子中每阶段的状态是该线路的始点,确定了这些点的序列,整个线路也就完全确定。从某一阶段以后的线路开始,当这段的始点给定时,不受以前线路(所通过的点)的影响。状态的这个性质意味着过程的历史只能通过当前的状态去影响它的未来的发展,这个性质称为无后效性。