数学建模案例分析--最优化方法建模6动态规划模型举例

可编辑范本 § 6 动态规划模型举例 以上讨论的优化问题属于静态的，即不必考虑时间的变化，建立的模型——线性规划、非线 性规划、整数规划等，都属于静态规划。多阶段决策属于动态优化问题，即在每个阶段（通常以 时间或空间为标志）根据过程的演变情况确定一个决策，使全过程的某个指标达到最优。例如： （1）化工生产过程中包含一系列的过程设备，如反应器、蒸馏塔、吸收器等，前一设备的输出为 后一设备的输入。因此，应该如何控制生产过程中各个设备的输入和输出，使总产量最大。 （ 2）发射一枚导弹去击中运动的目标， 由于目标的行动是不断改变的， 因此应当如何根据目标运 动的情况，不断地决定导弹飞行的方向和速度，使之最快地命中目标。 （3）汽车刚买来时故障少、耗油低，出车时间长，处理价值和经济效益高。随着使用时间的增加 则变得故障多，油耗高，维修费用增加，经济效益差。使用时间俞长，处理价值也俞低。另外， 每次更新都要付出更新费用。因此，应当如何决定它每年的使用时间，使总的效益最佳。 动态规划模型是解决这类问题的有力工具，下面介绍相关的基本概念及其数学描述。 （1）阶段 整个问题的解决可分为若干个相互联系的阶段依次进行。 通常按时间或空间划分阶段， 描述阶段的变量称为 阶段变量 ，记为 k 。 （2）状态 状态表示每个阶段开始时所处的自然状况或客观条件， 它描述了研究过程的状况。 各

阶段的状态通常用 状态变量描述。常用Xk表示第k阶段的状态变量。n个阶段的决策过程有 n 1

个状态。用动态规划方法解决多阶段决策问题时，要求整个过程具有 无后效性 。即：如果某阶段 的状态给定，则此阶段以后过程的发展不受以前状态的影响，未来状态只依赖于当前状态。 （3）决策 某一阶段的状态确定后， 可以作出各种选择从而演变到下一阶段某一状态， 这种选择 手段称为 决策。描述决策的变量称为 决策变量 。决策变量限制的取值范围称为 允许决策集合 。用

Uk（xQ表示第k阶段处于状态Xk时的决策变量，它是 Xk的函数，用Dk（xJ表示Xk

的允许决策 集合。

（4） 策略 一个由每个阶段的决策按顺序排列组成的集合称为 策略。由第k阶段的状态xk开始

到终止状态的后部子过程的策略记为 pk（Xk） {uk（Xk）,uk 1（Xk 1）, ,un（Xn）} 。在实际问题中， 可供选择的策略有一定范围，称为 允许策略集合 。其中达到最优效果的策略称为 最优策略 。 （5） 状态转移方程 如果第k个阶段状态变量为xk，作出的决策为uk，那么第k 1阶段的状态 变量 Xk 1也被完全确定。用状态转移方程表示这种演变规律，写作 Xk 1 Tk（ Xk ， uk）

6）最优值函数 指标函数是系统执行某一策略所产生结果的数量表示， 数量指标，它定义在全过程和所有后部子过程上。指标函数的最优值称为 最优值函数 。 面的方程在动态规划逆序求解中起着本质的作用。 fk(xk) u mDin(x )[vk (xk,uk(xk)) fk 1(xk 1)], uk Dk (xk )

fn 1(xn 1) 0, xk 1 Tk(xk ,uk),k n,n 1, ,1 称此为动态规划逆序求解的基本方程(贝尔曼方程) 。

是用来衡量策略优劣的 可编辑范本

可以把建立动态规划模型归纳成以下几个步骤： (1)将问题恰当地划分为若干个阶段； (2) 正确选择状态变量，使它既能描述过程的演变，又满足无后效性； (3) 规定决策变量，确定每个阶段的允许决策集合； (4) 写出状态转移方程； (5) 确定各阶段各种决策的阶段指标，列出计算各阶段最优后部策略指标的基本方程。 下面结合具体例子阐述建立动态规划模型的思路。 例13 生产计划问题。公司要对某产品制定 n 周的生产计划，产品每周的需求量、生产和贮存 费用、 生产能力的限制、 初始库存量等都是已知的， 试在满足需求的条件下， 确定每周的生产量， 使 n 周的总费用最少。

决策变量是第k周的生产量，记作Uk (k 1,2, ,n)。已知下列数据及函数关系：第 k周的

需求量dk :第k周产量为Uk时的生产费为Ck(Uk );第k周初贮存量为Xk时这一周的贮存费为 hk(Xk)；第k周的生产能力限制为 Uk ;初始(k 0)及终结(k n)时贮存量均为零。按 照最短路问题的思路，设从第k周初贮存量为Xk到(n周末)过程结束的最小费用函数为 fk(Xk)， 则下列逆向递推公式成立。 fk(Xk) 0mUkinUk[ck(Uk) hk(Xk) fk 1(Xk 1)] Xk Xk,k n, ，2,1 (1)

fn 1(Xn 1) 0

而 Xk 与 Xk 1 满足 Xk 1 Xk Uk dk, k n, ，2，1 k 1 k k k (2)

X1 Xn 1 0

这里贮存量 Xk 是状态变量，( 2)式给出了相邻阶段的状态在决策变量作用下的转移规律，称 为状态转移规律。在用( 1)式计算时， Xk 的取值范围——允许状态集合 Xk 由( 2)式及允许决 策集合 (0 Uk U k ) 决定。 在实际问题中，为简单起见， 生产费用常取 ck(Uk ) ， Uk 0；ck(Uk ) a cUk， Uk 0， 其中c是单位产品生产费，而 a是生产准备费。贮存费用常取 hk(Xk) hXk， h是单位产品(一■ 周的)贮存费。 最优方程( 1)和状态转移方程( 2)构成了这个多阶段决策问题的动态规划模型。实际上， 多阶段决策问题有时也可用静态规划方法求解，如例 2的生产计划问题。 可编辑范本

例14资源分配问题。总量为 mi的资源A和总量为m2的资源B同时分配给n个用户，已知第k用 户利用数量Uk的资源A和数量Vk的资源B时，产生的效益为 gk(Uk,Vk)，问如何分配现有资源使 总效益最大。 这本来是个典型的静态规划问题： n Max Z gk(Uk,vk) (1)

k1

n s.t. Uk m1, Uk 0 (2)

k1

n vk m2, vk 0 (3)

k1

但是当gk比较复杂及n较大时，用非线性规划求解是困难的，特别是，若 gk是用表格或图形给

出而无解析表达式时，则难以求解。而这种情况下，将其转化为动态规划，是一种可行的方法。 资源A，B每分配给一个用户划分为一个阶段，分配给第 k用户的数量是二维决策变量 (Uk,Vk)，而把向第k用户分配之前，分配者手中掌握的资源数量作为二维状态变量，记作

( xk , yk ) ，这样，状态转移方程应为 xk 1 xk Uk yk 1 yk Vk

最优值函数fk (xk ,yk)定义为将数量(Xk, yk)的资源分配给第 k至第n用户时能获得的最大效 益，它满足最优方程 fk(xk,yk) max[gk(Uk,Vk) fk1(xk 1,yk1)], 0 xk m1,0 yk m2,k n, ,2,1 0 Uk xk

0 Vk yk

fn 1(0,0) 0

(5) 对于由(4),(5)式构成的动态规划模型，不需要 gk(Uk,Vk), fk(Xk,yk)的解析表达式，完全可 以求数值解。 例15 系统可靠性问题。一个系统由若干部件串联而成,只要有一个部件故障,系统就不能正常

运行。为提高系统的可靠性， 每个部件都装置备用件， 一旦原部件故障，备用件就自动进入系统。 显然，备用件越多，系统可靠性越高，但费用也越大，那么在一定的总费用限制下，如何配置各 部件的备用件，使系统的可靠性最高呢？

设系统有n个部件，当部件k装置uk个备用件时，这个部件正常工作的概率为 pk(Uk)。而

每个备用件的费用为 ck，另外设总费用不应超过 C。 这个优化问题的目标函数是系统正常运行的概率，它等于 n个串联部件正常工作的概率的乘 积。约束条件是备用件费用之和不应超过 C ,决策变量是各部件的备用件数量，于是问题归结为 n Max Z Pk(Uk) ( 1)

4) 可编辑范本

k 1 n s.t. CkUk C, Uk

为非负整数 (2)

k 1

这个非线性规划转化为动态规划求解比较方便。

按照对n个部件装置备用件的次序划分阶段， 决策变量仍为部件 k的备用件数量uk，而状态

变量选取装配部件 k之前所容许使用的费用，记作 xk，于是状态转移方程为 Xk 1 Xk CkUk

( 3)

最优值函数fk(Xk)定义为状态Xk下，由部件k到部件n组成的子系统的最大正常工作概率，它 满足 fk(Xk) Max [Pk(Uk) fk 1(Xk 1)] (4)

uk Uk%)

Uk(Xk) {Uk Uk [0, Xk/Ck ],且为正整数}, 0 Xk C,k n, ,2,

1

f n 1(xn 1 ) 1 (5)

注意，这个动态规划模型的最优方程( 4)中，阶段指标 pk(uk)与最优值函数fk1(Xk1)之 间的关系是相乘，而不是例 13~15中的相加，这是由“两事件之交的概率等于两事件概率之积” 这一性质决定的。与此相应，最优值函数的初始条件 fn 1(Xn 1) 1等于1。 例16任务均衡问题。一批任务由若干设备完成，问题是如何均衡地向每个设备分配各项任务， 使这批任务尽早地完成。例如一高层(设 N层)办公大楼有n部性能相同的电梯，为了在早高峰 期间尽快地将乘客送到各层的办公室，决定各部电梯分段运行，即每部电梯服务一定的层段。假

定根据统计资料，已知一部电梯从第 i层次开始服务j层所需要的时间为tjj ,问如何安排这些电 梯服务的层段，使送完全部乘客的时间最短。

按照由下而上安排电梯服务层次的序号划分阶段 k 1,2, ,n。第k部电梯(即第k阶段)

开始服务的层次为状态 xk ，它服务的层数为决策 uk ，满足 xk 1 xk uk

( 1)

当Xk i，Uk j时，已知第k部电梯服务的时间为 Vk(Xk,Uk) t0。因为对于第k,l两部电梯 而言，总的服务时间为 Max

[Vk(Xk,Uk),Vi(Xi,u」]，所以最优值函数 fk(xQ(即从第k部到第n 部电梯总的最短服务时间)满足 fk(Xk) min {maX[Vk (Xk ,uk ), f k 1( Xk 1)]} uk Uk (Xk )