基于动态规划方法的最优配水问题研究

示系统在配水过程的供水状态，并以 q 表示，则 q = q1 + q2 + … + qk ，且有 0≤q≤Q。
（ 2） 状态转移方程。它表达了阶段变量 k，阶段变量
dk 和状态变量 qk 的关系。由水量平衡原理，有： qk = d1 + d2 + … + dk = （ d1 + d2 + …dk － 1 ） + dk = qk － 1
+ dk （ 3） 目标函数。设 fN * （ Q） 为以 Q 单位水量分配给 N
个用户的最大效益，则： fN * （ Q） = Max｛ g1 （ d1 ） + g2 （ d2 ） + … + gN （ dN ） ｝ （ 4） 约束条件。显示各用户供水量之和不能超过 Q，
即：
d1 + d2 + … + dN ≤Q，0≤dk ≤Q； k = 1，2，…，N 用逆序法将上述问题写成递推方程形式，对于第 N
形成的状态作为初始状态的过程而言，余下的诸决策必
须构成最优策略。”“最优化原理”阐明了多阶段决策寻优
过程，是动态规划的核心，所有动态规划问题的递推关系
［收稿日期］ 2011 － 01 － 04 ［作者简介］ 王博辉（ 1980 － ） ，男，黑龙江五大连池人，助理工程师； 艾立刚（ 1976 － ） ，男，黑龙江嫩江人，助理工程师；
［中图分类号］ TV213. 9 ［文献标识码］ B ［文章编号］ 1006 － 7175（ 2011） 04 － 0032 － 02
动态规划（ dynamic programming） 是运筹学的一个分 支，是求解多阶段决策问题的最优化方法。20 世纪 50 年 代初 R. E. Bellman 等人在研究多阶段决策过程 （ multistep decision process） 的优化问题时，提出了著名的最优性 原理（ principle of optimality） ，把多阶段过程转化为一系列 单阶段问题，逐个求解，创立了解决这类过程优化问题的 新方法———动态规划，并于 1957 年出版了该领域的第一 本著作《Dynamic Programming》。动态规划自问世以来广 泛应用于资源 分 配、生 产 计 划、货 物 运 输 和 存 储 等 方 面， 它把一个复杂的系统分析问题分解为一个多阶段的决策 过程，并按一定 的 顺 序 或 时 序，从 第 一 阶 段 开 始，逐 次 求 出每一阶段的最优策略。水资源配置的重要性体现在以 最小的投入获得最大的收益，基于动态规划方法的水资 源配置研究有重大的现实意义［1］。
孙 卓（ 1979 － ） ，女，吉林长岭人，工程师，学士 .
— 32 —
王博辉，等： 基于动态规划方法的最优配水问题研究
第4 期
都是根据此原理建立起来的。
2 最优配水问题模型
设某水厂有 Q 个单位水量供给 N 个用户。当以数量
dk 供给第 k 个用户时，相应收益为 gk （ dk ） 。求把 Q 单位 水量分配给 N 个用户，使水厂总收益最大的方案。
由式（ 2） ，式（ 3） 得：
f2 （ R2 ） = Max｛ 12x2 － x2 3 ｝ 令 d｛ 12x2 － x2 3 ｝ / d x2 = 12 － 3x2 2 = 0，解得
x2 = 2，当 R2 ≥2，即 x1 ≤1 时； x2 = R2 ，当 R2 = 2，即 1
≤x1 ≤5 时。
（ 4）
用状态转移方程和递归方程求解动态规划的过程，
是由 k = n + 1 逆推至 k = 1，这种解法称为逆序解法。对
某些动态规划问题也可采用顺序解法，这时状态转移方
程和递归方程分别为：
xk = Tk + 1 （ xk + 1 ，uk + 1 ） ，k = 1，…，n
{f1（ x1） = 0 或 1
fk +1 （ xk +1 ）
当 x2 = R2 时， f1 （ R1 ） 2 = Max｛ 12x1 + 3x1 2 － 2x1 3 + 12 R2 － R2 3 ｝ 1≤
x1 ≤5 = Max｛ 12x1 + 3x1 2 － 2x1 3 + 12 （ 5 － x1 ） － （ 5 － x1 ） 3 ｝ = Max｛ － x1 3 － 12x1 2 + 75x1 － 65｝
第 17 卷第 4 期 2011 年 4 月
水利科技与经济
Water Conservancy Science and Technology and Economy
Vol. 17 No. 4 Apr. ，2011
基于动态规划方法的最优配水问题研究
王博辉，艾立刚，孙 卓
（ 黑河市孙吴水文局，黑龙江 孙吴 164200）
fN － 1 （ q） = Max｛ gN － 1 （ dN － 1 ） + fN （ q － dN － 1 ） ｝ ， 0≤dN － 1 ≤q，0≤q ≤Q 依此类推，可写出 fN － 2 ，fN － 3 ，…，f1 。f1 （ q） 表示把 q 水量最优的分配给 N 个用户的收入。写成一般的递推方
这是一个静态优化问题。gk （ dk ） 是线性规划问题，但 也可以把它转化为一个多阶段决策过程，用动态规划求
解，其步骤如下：
（ 1） 把过程阶段化，选择决策变量和状态变量。设每
个用户为一个阶段，N 个用户为 N 个阶段。选择对每个
用户的供水量 dk 为决策变量，相应效益为 gk （ dk ） 。选择 分配给第 k 段至第 N 段的供水量之和为状态变量，以表
3 实例分析
研究一个地 区 水 资 源 的 最 优 分 配 问 题，其 待 分 配 流 量为5 m3 / s，共有 2 个用水户，每个用户的用水流量与相 应的效益关系见表 1，求总效益最大的配水方案。
表 1 用户的用水流量与相应的效益关系
用户 1 2
引用流量 x1 x2
效益关系 12x1 + 3x1 2 － 2x1 3
4 问题讨论
（ 1） 没有统一的标准模型，也没有构造模型的通用方 法，甚至还没有判断一个问题能否构造动态规划模型的 准则。这样就 只 能 对 每 类 问 题 进 行 具 体 分 析，构 造 具 体 的模型。对于较复杂的问题在选择状态、决策、确定状态 转移规律等方面需要丰富的想象力和灵活的技巧性，这 就带来了应用上的局限性。
（ 2） 用数值方法求解时存在维数灾 （ curse of dimensionality） 。若一维状态变量有 m 个取值，那么对于 n 维问 题，状态 xk 就有 mn 个值，对于每个状态值都要计算、存储 函数 fk （ xk ） ，对于 n 稍大（ 即使 n = 3） 的实际问题的计算 往往是不现实的，目前还没有克服维数灾的有效的一般 方法［6］。
（ 7） 递归方程。形式如下所示：
{fn +1（ xn +1） = 0 或 1
fk（ xk）
=
opt
uk∈Uk（ xk）
｛
vk （
xk ，uk ）
fk +1 （
xk +1 ）
｝
，k
=
n，…，1
在上述方程中，当为加法时取 fn + 1 （ xk + 1 ） = 0； 当
为乘法时，取 fn + 1 （ xk + 1 ） = 1。
当 x1 = 1 时，f1 （ R1 ） 1 = 29 d｛ － x1 3 － 12x1 2 + 75x1 － 65｝ / d x1 = － 3 （ x1 2 + 8x1 －
25） = 0，得 x1 = 2. 403 因为 d2 ｛ － x1 3 － 12x1 2 + 75x1 － 65｝ / d x1 2 = － 6 x1 －
程形式，有：
fk * （ q）
= Max｛ gk （ dk ）
+
f* k +1
（
q
+
dk ）
｝
，0≤dk ≤q，0
≤q ≤Q
利用递推方程可求出各阶段的最佳效益及相应的最 优决策［4］。当 k = 1 时，所求出的 f1 * （ q） 即为使系统收益 最大的各用户分配水量 d1 * ，d2 * ，…，dN * 。
（ 3） 决策。当一个阶段的状态确定后，可以作出各种 选择从而演变到下一阶段的某个状态，这种选择手段称 为决策，描述决策的变量称决策变量，变量允许取值的范 围称允许决策集合。用 uk（ xk ） 表示第 k 阶段处于状态 xk 时的决策变量，用 Uk （ xk ） 表示 xk 的允许决策集合。
（ 4） 策略。决策组成的序列。可供选择的策略有一
12x2 － x2 3
首先建立 动 态 规 划 求 解 模 型［5］，把 用 户 按 任 意 次 序
排列成一个多阶段分配系统，此处按用户 1、用户 2 的次
序排列。把确定 x1 ，x2 的值作为两阶段的决策变量，用 k
表示阶段序号（ k = 1，2） 。状态变量用 R1 ，R2 表示，有
R1 = 5，R2 = 5 － x1 ，R3 = R2 － x2 。
=
opt
uk + 1∈Uk + 1（ xk + 1）
｛
vk +1 （
xk + 1 ，uk + 1 ）
fk （
xk ）
｝
，
k = 1，…，n
1. 2 动态规划的基本原理
动态规划的基本原理是贝尔曼（ Bellman） 提出的“最 优化原理”［3］，即： “一个过程的最优策略具 有 这 样 的 性
质，即无论初始状态和初始决策如何，对以第一个决策所
［摘 要］ 动态规划是一种多阶段决策过程，主要用于解决多目标的决策问题，以使系统运行 的总效果最优。水资源配置的重要性体现在以最小的投入获得最大的收益，基于动态规划方 法的水资源配置研究有重大的现实意义。通过算例，给出了水资源调度分配的动态规划模型， 按经济最优性原则进行水资源分配，得出了使经济效益达到最优的方案，结果验证了动态规划 方法在解决具有最优解的实际应用问题中的有效性。 ［关键词］ 动态规划； 最优配水； 最优策略