动态规划习题集详解

动态规划

动态规划是运筹学的一个分支，它是解决多阶段决策过程最优化问题的一种方法。该方法是由美国数学家贝尔曼(R．Bellman)等人在本世纪50年代初提出的。他们针对多阶段决策问题的特点，提出了解决这类问题的“最优化原理”，并成功地解决了生产管理、工程技术等方面的许多实际问题，从而建立了运筹学的一个新分支——动态规划。他的名著《动态规划》于1957年出版，该书是动态规划的第一本著作。

动态规划是现代企业管理中的一种重要决策方法，在工程技术、经济管理、工农业生产及军事及其它部们都有广泛的应用，并且获得了显著的效果。动态规划可用于解决最优路径问题、资源分配问题、生产计划与库存问题、投资分配问题、装载问题、设备更新与维修问题、排序问题及生产过程的最优控制等。由于它所具有独特的解题思路，在处理某些优化问题时，常常比线性规划或非线性规划方法更有效。

第一节动态规划的基本方法

多阶段决策的实际问题很多，下面通过具体例子，说明什么是动态规划模型及其求解方法。

例1：最短路线问题

某工厂需要把一批货物从城市A运到城市E，中间可经过B1 、B2、B3、C1、C2、C3、D1、D2等城市，各城市之间的交通线和距离如下图所示，问应该选择一条什么路线，使得从A到E的距离最短？

4

9

6 3

7

下面引进几个动态规划的基本概念和相关符号。

(1)阶段(Stage)

把所给问题的过程，按时间和空间特征划分成若干个相互联系的阶段，以便按次序去求每个阶段的解，阶段总数一般用字母n 表示，用字母k 表示阶段变量。

如例l 中 (最短路线问题)可看作是n=4阶段的动态规划问题，k=2表示处于第二阶段。

(2)状态(State)

状态表示每个阶段开始时系统所处的自然状况或客观条件，它描述了研究问题过程状况。描述各阶段状态的变量称为状态变量，常用字母s k 表示第k 阶段的状态变量，状态变量的取值范围称为状态集，用S k 表示。

如例l 中，第一阶段的状态为A （即出发位置）。第二阶段有三个状态：B 1 、B 2、B 3，状态变量s 2=B 2表示第2阶段系统所处的位置是B 2。第2阶段的状态集S 2={ B 1 、B 2、B 3}。

动态规划中的状态变量应具有如下性质：当某阶段状态给定以后，在这个阶段以后过

程的发展不受这个阶段以前各个阶段状态的影响。也就是说，未来系统所处的状态只与系统当前所处的状态有关，而与系统过去所处的状态无关，即过去历史只能通过当前的状态去影响它未来的发展，这种特点称为无后效性（又称马尔可夫性）。如果所选定的状态变量不具备无后效性，就不能作为状态变量来构造动态规划模型。如例1中，当某阶段的初始状态即所在的城市选定以后，从这个状态以后的运货路线只与这个城市有关，不受以前的运货路线影响，所以是满足状态的无后效性的。

（3）决策(Decision)

当系统在某阶段处于某种状态，可以采取的行动（或决定、选择），从而确定下一阶段系统将到达的状态，称这种行动为决策。描述决策的变量，称为决策变量。常用字母u k(s k)表示第k阶段系统处于状态s k时的决策变量。决策变量的取值范围称为决策集，用D k(s k)表示。

在例l的第二阶段中，若从状态B2出发，可以做出三种不同的决策，其允许的决策集为D2(B2)={ C1、C2、C3}，决策u 2(B2)= C2表示第二阶段处于状态B2，选择的确行动下一阶段是走到C2。

（4）策略(Policy)

系统从第k阶段的状态s k开始由每阶段的决策按顺序组成的决策序列{u k(s k) ，u

k+1(s k+1)，…，u n(s n)}称为一个策略（k=1,2, …，n）,记作

,

()

k n k

p s。

在例l中，p2,4(B2)={ u 2(B2)= C2，u3(C2)= D1，u 4(D1)=E}是一个策略，表示第二

阶段从状态B2出发，沿着B2→C2→D1→E的方向走到终点。注意策略必须是一串实际可行的序列行动。

（5）状态转移方程

系统由这一阶段的—个状态进行决策后转变到下—阶段的另—个状态称为状态转移，

状态转移既与状态有关，又与决策有关，描述状态转移关系的方程称为状态转移方程，记为：

s k+1=T k (s k ，u k )

它的实际意义是当系统第k 阶段处于状态s k 做决策u k 时，第k+1阶段系统转移到状态s k+1。

状态转移方程在不同的问题中有不同的具体表现形式，在例l 中，状态转移方程表示为：s k+1=u k (s k )。

（6）阶段指标

阶段效益是衡量系统阶段决策结果的一种数量指标，记为：

(,)k k k v s u

表示系统在第k 阶段处于状态s k 做出决策u k 时所获得的阶段效益。这里的阶段效益在不同的实际问题中有不同的意义。在例l 中它表示两个中转站的距离，如

2222222(,())(,)7v B u B C d B C ===表示从中转站B 2走到中转站C 2之间的距离为7。更一

般地有(,())(,())k k k k k k k v s u s d s u s =。

（7）指标函数

指标函数是用来街量所实现过程的优劣的一种数量指标，它是一个定义在全过程和所有后部子过程上的确定的数量函数，记为：

,11(,,,,,,)

1,2,,k n k k k k k k V s u s u s u k n ++=L L

它应具有可分离性，并满足递推关系式：

,111,11(,,,,,,)[,,(,,,,)]k n k k k k k k k k k n k k k k V s u s u s u s u V s u s u ?+++++=L L

常见的指标函数的形式是：

1）过程和任一子过程的指标是它所包含的各阶段指标的和。既

,111,111

(,,,,,,)(,)(,)(,,,,)]

n

k n k k k k k k j j j k k k k n k k k k j V s u s u s u v s u v s u V s u s u +++++===+∑L L

2）过程和任一子过程的指标是它所包含的各阶段指标的积。既

,111,111

(,,,,,,)(,)(,)(,,,,)]

n

k n k k k k k k j j j k k k k n k k k k j V s u s u s u v s u v s u V s u s u +++++===?∏L L

（8）最优值函数

指标函数的最优值，称为最优值函数，记为()k k f s 。它表示系统在第k 阶段处于状态s k 时按最优策略行动所获得总的效益。既

,,11()

()(,,,,,,)k n k k k k n k k k k k k p s f s opt V s u s u s u ++=L

其中opt 是最优化（optimization ）的缩写，根据实际问题可取max (最大值)和min (最小值),,()

k n k p s opt 表示对所有允许策略,()k n k p s 使后面算式取最优。

下面利用动态规划的逆推归纳法，将例1从最后一个城市E 逐步推算到第一个城市A ，在此()k k f s 表示第k 阶段从城市s k 到城市E 最短路。

1)当k=4时：要求44()f s ，由于第4阶段只有两个城市D 1、D 2（即s 4的取值为D 1、

D 2），从D 1到

E 只有一条路，故*

41141()(,)4,()f D d D E u D E ===，同理

*42242()(,)3,()f D d D E u D E ===。

2)当k=3时：s 3的取值为C 1、C 2、C 3，从C 1出发到E 有两条路，一条是经过D 1到E ，另一条是经过D 2到E ，显然：

1141*31311

1242(,)()34()min min 7,

()(,)()53d C D f D f C u C D d C D f D ++????

====????++????

即从C 1出发到E 的最短路为7，相应决策为*

311()u C D =，最短路线是C 1→D 1→E 。

同理 2141*323222242(,)()64()5,

()(,)()23d C D f D f C u C D d C D f D ++????

====?

???++??

??

3141*333313242(,)()14()5,

()(,)()33d C D f D f C u C D d C D f D ++????

====?

???++??

??

2)当k=2时：s 2的取值为B 1、B 2、B 3，从B 1出发到E 有三条路，分别是经过C 1、C 2、C 3到E ，则有：

1131*2112322121333(,)()67()(,)()459,

()55(,)()d B C f C f B d B C f C u B C d B C f C ++????????

=+=+==????????

++???

?

同理 2131*2222322232333(,)()87()(,)()7511,

()65(,)()d B C f C f B d B C f C u B C d B C f C ++????

????

=+=+==????????

++???

?

3131*233232233333(,)()77()(,)()8512,

()75(3,)()d B C f C f B d B C f C u B C d B C f C ++????

????

=+=+==????????

++???

?

2)当k=1时：s 1的只有一个取值为A. 从A 出发到E 有三条路，分别是经过B 1、B 2、B 3到E ，则有：

121*122211323(,)()89()min (,)()min 91117,

()612(,)()d A B f B f A d A B f B u A B d A B f B ++????

????

=+=+==????????

++???

?

于是得到从A 到E 的最短距离17，为了找出最短路线，按计算的顺序逆推回去，可得到最优策略为：*

*

*

*

1,41121232242(){(),(),(),()}p A u A B u B C u C D u D E =====，最短路线是A →B 1→C 2→D 2→E 。

第 二 节 动态规划的基本原理

从上面的计算过程中可以看出，在求解的各个阶段，利用了k 阶段与k+1阶段之间的递推关系：

{}11()

55444()min (,())()4,3,2,1

()0(()(,))

k k k k k k k k k k u D s f s d s u s f s k f s f s d s E ++∈?=+=??==??或

这种递推关系称为动态规划的基本方程，其中55444()0(()(,))f s f s d s E ==或称为边

界条件。这个递推方程，是根据下述动态规划的贝尔曼(R ．Bellman)最优化原理推导得来的。

动态规划最优化原理：“作为整个过程的最优策略具有这样的性质：即无论过去的状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。”简单地说就是一个最优策略的子策略也是最优的。

一般情况下，作为一个动态规划模型的最优值函数在k 阶段与k+1阶段之间必须满足下列递推关系：

1） 加法型：若

,111,111

(,,,,,,)(,)(,)(,,,,)]

n

k n k k k k k k j j j k k k k n k k k k j V s u s u s u v s u v s u V s u s u +++++===+∑L L 则:

{}

,1,1,11()

1,11()

()

11()

(,,,,,,)

{(,)(,,,,()(,)}

)()k n k k k k k k k k n k k n k k k k k k p s k k k k n k k k k u D s p s k k k k k k k u D s opt V s u s u s u opt v s u op f s opt

v s u t V s s f u s u ++++∈+∈++++=+==+L L

即:{}

11()

,()(,)()1,,2,1k k k k k k k k k k u D s k f s opt

n v s u f s n ++∈+=-=

L (1)

边界条件为 11()0n n f s ++= 2）乘法型：{}

11()

,()(,)()1,,2,1k k k k k k k k k k x D s k f s opt

n v s u f s n ++∈?=-=

L (2)

边界条件为 11()1n n f s ++=

这种递推关系式(1)、(2) 称为动态规划的基本方程。这样的求解方法称为逆推解法（或逆序解法）。

同理也可给出顺推解法（或顺序解法），动态规划的顺序解法的基本方程为： 1）加法型：{}

11()

()(,)(1,2,,1,)k k k k k k k k k k u D s f s opt

v s u f s k n n +-∈=

+=-L (1)

边界条件为 01()0f s =

2）乘法型：{}

11()

()max (,1,2,,1)(),k k k k k k k k k k x D s f s v s u f k n s n +-∈=?=-L (2)

边界条件为 01()1f s =

注意：此时状态转移方程变为：s k =T k (s k ＋1，u k )

通过对最短路线问题的求解，我们可以把动态规划方法的基本思想归纳如下： 动态规划方法的关键，在于利用最优化原理给出最优值函数的递推关系式和边界条件，为此，必须先将问题的过程划分为几个相互联系的阶段，适当选取状态变量、决策变量, 状态转移方程及定义最优值函数。从而把一个大问题化成一系列同类型的子问题，然后逐个求解。

例3：逆推解法求解下面问题:2123

1

23123max ,,0

z x x x x x x c x x x =++=??

≥?

解: 按问题的变量个数划分阶段,把它看作一个三阶段决策问题。设状态变量为s 1，s 2，s 3，s 4。并记s 1＝c ；令变量x 1，x 2，x 3为决策变量；各阶段指标按乘积方式结合。

即令:2

111122223333(,),(,),(,)v s x x v s x x v s x x ===

令最优值函数f k (s k )表示为第k 阶段的初始状态为s k 时，从第k 阶段到第3阶段所得到的最大值。

设: s 3= x 3, s 3+ x 2=s 2, s 2+ x 1=s 1=c 则有：x 3=s 3, 0≤x 2≤s 2, 0≤x 1≤s 1=c 即状态转移方程为： s 3=s 2－x 2, s 2 =s 1－x 1 由逆推解法，33

3333()

max(),x s f s x s ===即最优解x 3＊=s 3,

23

22

22

22

222223233,022*******()max[]max [()]

max [()]max (,)

x x x s x s x s f s x x x f s x s x h s x ≤≤≤≤≤≤=?=?=?-=

由

222222230dh x s x dx =-=,得222

3

x s =和20x =（舍去） 又22222226d h s x dx =-，而22

2222223|20x s

d h s dx ==-<，故2223x s =为极大值点。 所以22224()27f s s =

即最优解*222

3

x s =。 123

11

1111211123122,,03

11111100()max[]max[()]

4max[()]max (,)27

x x x x s x s x s f s x x x x f s x s x h s x ≤≤≤≤≤≤=??=?=?-= 求导并令导数等于0可得：*

1114x s =

，故4

1111()64

f s s = 由于s 1=c ，∴*

114x c =，411()64

f c c =

由s 2 =s 1－x 1＊，∴*

222132x s c ==,3221()16

f s c =

由s 3 =s 2－x 2＊，∴*

3314x s c ==，331()4

f s c =

因此最优解为：*114x c =，*212x c =，*

314

x c =，

最大值为：4

11max ()64

z f c c ==

例3：用顺推解法求解下面问题:2123

123123max ,,0

z x x x x x x c x x x =++=??

≥?

解:设s 4＝c ，决策变量仍为x 1，x 2，x 3；最优值函数f k (s k+1)表示为第k 阶段末的结束状态为s k+1，从第1阶段到第k 阶段所得到的最大值。

设: s 2= x 1, s 2+ x 2=s 3, s 3+ x 3=s 4=c 则有：x 1=s 2, 0≤x 2≤s 3, 0≤x 3≤s 4=c 即状态转移方程为： s 2=s 3－x 2, s 3=s 4－x 3

由顺推解法，12

1212()max(),x s f s x s ===即最优解x 1＊=s 2,

12

23

23222312212,02

3

23230()max[]max [()]

4max [()]27

x x x s x s f s x x x f s x s x s ≤≤≤≤=?=?=?-=

最优解*

232

3

x s =

。 123

34

34234123323,,03

434340()max[]max [()]

41max [()]2764

x x x x s x s f s x x x x f s x s x s ≤≤≤≤=??=?=?-=

最优解*

3414

x s =

由于s 4=c ，∴*

314x c =，431()64

f c c =

由s 3=s 4－x 3＊，∴*

232132x s c ==,221()16

f s c =

由s 2=s 3－x 2＊，∴*

1214x s c ==，331()4f s c =

因此最优解为：*114x c =，*212x c =，*

214x c =，

最大值为：4

1max 64z c =

例4：用顺推解法求解下面问题:222123123123max 4212

329

,,0

z x x x x x x x x x =-++++≤??≥?

解: 按问题的变量个数划分阶段,把它看作一个三阶段决策问题。 设状态变量为s 0，s 1，s 2，s 3。并记s 3≤9； 令变量x 1，x 2，x 3为决策变量；

最优值函数f k (s k )表示为第k 阶段末的结束状态为s k ，从第1阶段到第k 阶段所得到的最大值。

设: 3x 1=s 1, s 1+2x 2=s 2, s 2+ x 3=s 3≤9 则有：x 1=s 1／3,0≤x 2≤s 2／2 , 0≤x 3≤s 3≤9 即状态转移方程为： s 1=s 2－2x 2, s 2=s 3－x 3 由顺推解法，112

2

11113

4()max(4),9

s x f s x s ===

即最优解x 1＊=s 1／3,

2

12

222222222212211,02

2

2

2222220022

()max[4]max [()]

4max [(2)]max (,)

9s x x x s s x x f s x x x f s x s x h s x ≤≤

≤≤≤≤=-=-+=-+-=

由

22221416099dh x s dx =-=,得228

7

x s =(它不在决策集内) 则最大值在端点上，∵222222241

(0),()924

s h s h s =

=- ∴最大值点为x 2=0。故得到22224()9

f s s =及最优解*

20x =。

123

33

3333222233123322,,02

233333300()max[4212]max [212()]

4

max [212()]max (,)9

x x x x s x s x s f s x x x x f s x s x h s x ≤≤≤≤≤≤=-++=++=++-=

由

3333448099dh x s dx =-=,得33211

x s = 又23234409

dh dx =>，故该点为极小值点。 而2

2332334(0)12,()2129

h s h s s =

+=+ ∴最大值点为x 3=s 3。故得到2333()212f s s =+及最优解*

33x s =。

由于s 3不知道，故须在对s 3求一次极值，即

33233309

09

max ()max[212]174s s f s s ≤≤≤≤=+=

反推回去即可得最优解为：*10x =，*20x =，*

39x =，

最大值为：1max (9)174z f ==

作业 P 214 1，5（1逆推，2顺推）

第 二 节 动态规划应用举例

一、资源分配问题

假设有某种资源的总数量为a (例如原材料、能源、机器设备、劳力、食品等)，可用于生产n 个产品，若生产j 种产品的所用资源数为x j 时，可获得利润为g j (x j )，问如何分配该种资源，使所获得的总利润达到最大。

该问题的数学模型可表示为：

11221212max ()()(),,0

n n n n z g x g x g x x x x a x x x =++++++≤??

≥?L L L

当g j (x j )都是线性函数时，它是一个线性规划问题；当g j (x j )是非线性函数时,它是—个非线性规划问题。但当n 比较大时，求解起来是非常麻烦的。由于该问题的特殊性，可以将它看成一个多阶段决策问题，并利用动态规划的方法来求解。

我们将n 个产品看作是n 个阶段，设状态变量s k 表示生产第k 个产品至第n 个产品的资源数量，0k s a ≤≤。

决策变量x j 表示生产第k 个产品的所用资源数量，0k k x s ≤≤。

显然状态转移方方程为：

1k k k s s x +=-

第k 阶段的阶段指标为：(,)()k k k k k v s x g x =。

最优值函数()k k f s 表示生产第k 个产品至第n 个产品的

资源数量为s k 时所获得的最大总利润。

则由动态规划最优化原理，可得动态规划的基本方程为：

{}1111()max ()()()0

k

k k k k k k x n n f s g x f s f s ++++=+=????? 下面我们来考虑一种资源可回收利用的资源分配问题，这类分配问题的一般描述如下：

设有某种资源，初始的拥有量是s 1。计划在A 、B 两个生产车间连续使用n 个阶段。巳知在A 车间投入资源x 时的阶段收益是g(x )，在B 车间投入资源y 时的阶段收益是h(y )。投入的资源在生产过程中有部分消耗,已知，每生产一个阶段后，车间A 、B 的资源回收率分别为a 和b ，0 ＜a ，b ＜1。回收的资源下一阶段可继续使用，求n 阶段间总收益最大的资源分配计划。

设s j 为第j 阶段投入A 、B 两个车间使用的资源数，j=1、2、…、n 。

x j 为第j 阶段投入A 车间使用的资源数，投入B 车间使

用的资源数为y j =s j -x j ，j=1、2、…、n 。此问题的静态规划模型为：

11122221113

222111

max ()()()()()()()()

()

0,1,2,,n n n n n n n j j z g x h s x g x h s x g x h s x s ax b s x s ax b s x s ax b s x x s j n

---=+-++-+++-=+-??=+-????=+-?≤≤=??L L L

L

该模型可用动态规划的方法来处理。

令s k 为状态变量，表示在第k 阶段投入A 、B 两个车间使用的资源数，k=1、2、…、n 。

x k 为决策变量，它表示在第k 阶段投入A 车间使用的

资源数，则y k =s k －x k 表示在第k 阶段投入B 车间使用的资源数，k=1、2、…、n 。

状态转移方程为：s k+1=ax k +b(s k －x k )

最优值函数()k k f s 表示拥有资源数为s k 时，从第k 阶段至第n 阶段采取最优分配方案进行生产时所获得的最大总收益。

则动态规划的递推公式

{}1111()max ()()()()0

k

k k k k k k k x n n f s g x h s x f s f s ++++=+-+=?????

下面我们对一个具体问题，用此方法求解。 例1：机器负荷分配问题

某公司新购进1000台机床，每台机床都可在高、低两

种不同的负荷下进行生产，设在高负荷下生产的产量函数为g(x)=10x（单位：百件），其中x为投入生产的机床数量，年完好率为a=0.7；在低负荷下生产的产量函数为h(y)=6y （单位：百件），其中y为投人生产的机床数量，年完好率为b=0.9。计划连续使用5年，试问每年如何安排机床在高、低负荷下的生产计划，使在五年内生产的产品总产量达到最高。

解：该问题可看作一个5阶段决策问题，一个年度就是一个阶段。

状态变量s k取为第k年度度初具有的完好机床台数。

决策变量x k为第k年度中分配在高负荷下生产的机器台数，则y k=s k－x k为第k年度中分配在低负荷下生产的机器台数（假定x k、s k皆为连续变量）。

状态转移方方程为：s k+1=a x k+b(s k-x k)=0.7x k+0.9(s k-x k)

第k年度的产量为：v k(s k,x k)=10x k+6(s k-x k)

最优值函数()

f s表示拥有机床数为s k时，从第k年度至

k k

第五年度采取最优分配方案进行生产时所获得的最大总产量。

则动态规划的基本方程为：

{}1111()max ()()()()0

k k k k k k k k x n n f s g x h s x f s f s ++++=+-+=????? 下面第5年度开始，用逆推归纳法进行计算。

1）k=5时，有

{}

{}

{}

55

5555

555556605550550()max ()()()max 106()0max 46x s x s x s f s g x h s x f s x s x x s ≤≤≤≤≤≤=+-+=+-+=+

因为55()f s 是x 5的单调增加函数，故的最大解为55*x s =，相应有55()f s =10s 5。

2) k=4

时，有

{}

{}

{}{}

44

444444

44444550444544404444440440()max ()()()max 106()(0.70.9())max 106()10(0.70.9())max 215x s x s x s x s f s g x h s x f s x s x f x s x x s x x s x x s ≤≤≤≤≤≤≤≤=+-+=+-++-=+-++-=+ 因为44()f s 是x 4的单调增加函数，故的最大解为44*x s =，相应有44()f s =17s 4。

3) k=3时，有

{}

{}

{}{}

33

333333

33333440333433303333330330()max ()()()max 106()(0.70.9())max 106()17(0.70.9())max 0.621.3x s x s x s x s f s g x h s x f s x s x f x s x x s x x s x x s ≤≤≤≤≤≤≤≤=+-+=+-++-=+-++-=+

因为33()f s 是x 3的单调增加函数，故的最大解为33*x s =，相应有33()f s =21.9s 3。 4) 当k=2时，有

{}

{}

{}{}

22

222222

22222330222322202222220220()max ()()()max 106()(0.70.9())max 106()21.9(0.70.9())max 0.3825.71x s x s x s x s f s g x h s x f s x s x f x s x x s x x s x x s ≤≤≤≤≤≤≤≤=+-+=+-++-=+-++-=-+

因为22()f s 是x 2的单调减少函数，故的最大解为2*0x =，相应有22()f s =25.71s 2。 5) 当k=1时，有

{}

{}

{}{}

11

111111

11111220111211101111110110()max ()()()max 106()(0.70.9())max 106()25.71(0.70.9())max 1.14229.139x s x s x s x s f s g x h s x f s x s x f x s x x s x x s x x s ≤≤≤≤≤≤≤≤=+-+=+-++-=+-++-=-+ 因为11()f s 是x 1的单调减少函数，故的最大解为1*0x =，相应有11()f s =29.139s 1。

由于第l 阶段的初始状态s 1是给定的，即s 1=1000，因此最优目标函数值为111()(1000)f s f =

=29139（百件）。

计算结果表明：最优策略为1*0x =，2*0x =，33*x s =，44*x s =，

55*x s =。即前两年应把年初全部完好机床投入低负荷生产，后

三年应把年初全部完好机床投入高负荷生产。这样所得的产

量最高，其最高产量为29139百件产品。同时，从求解过程还可反过来确定每年年初的状态，即每年年初所拥有的完好机器台数。已知s 1=1000，于是可得：

21111322224333354444655550.70.9()0.9900(0.70.9()0.9810(0.70.9()0.7567(0.70.9()0.7397(0.70.9()0.7278(s x s x s s x s x s s x s x s s x s x s s x s x s =+-===+-===+-===+-===+-==台)台)台)台)台)

由此可知最优的决策过程是：第一年将全部1000台机器全部投入到低负荷下进行生产，第一年末机床完好数是900台，第二年将900台机器继续投入到低负荷下进行生产，第二年末机床完好数成为810台，第三年改变策略将这810台机床全部投入到高负荷下进行生产，第三年末机床完好数为567台，第四年将这567台机床全部投入到高负荷下进行生产，第四年末机床完好数成为397台，第五年将这397台机床投入到高负荷下进行生产，这样第五年末剩下的完好机床数为278台，五年共生产产品29139（百件）。

二、生产与存储问题

假设为有一个企业，要制定某种产品n 个阶段（例如年、月、周）的生产（或购买）计划，已知初始的存储量为零，

第k 个阶段市场需求量为d k ，每个阶段企业的最大产量为M ，单位产品的生产成本为a ，每次生产的生产准备成本为K 。问该企业如何安排生产和存储，才能即满足市场需求，又使总的费用最少？

设x k 为第k 个阶段该产品的生产量。

s k 为第k 个阶段末该产品的库存量，则有s k =s k-1+x k -d k 。

()k k c x 表示第

k 个阶段该产品x k 时的成本费用，它包括

生产准备成本K 和产品成本ax k 两项费用，即 0,

0(),1,2,,,k k k k k k x c x K ax x M

x M =??

=+=??∞>?

L

()k k h s 表示在第k 个阶段结束时有库存量s k 所需的存储费

用。故第k 个阶段的总成本费用为()()k k k k c x h s +。

上述问题的数学模型为：

1

01min [()()]

0,0

()0

1,2,,101,2,,1,2,,n

k

k k k k n k k j j j k k z c

x h s s s s x d k n x M k n x k n ===

+==???=-≥=-??

?≤≤=??=?∑∑L L L 为整数

现在我们用动态规划的顺推归纳法来求解，把它看作一个n 阶段决策问题。令

x k 为决策变量，它表示在第k 阶段的生产量。 s k 为状态变量，它表示在第k 个阶段末该产品的库存量。 则状态转移方程为：s k =s k-1+x k -d k 。

最优值函数()k k f s 表示从第1阶段初始库存量为0到第k 阶段末库存量为s k 时的最小总费用。

则其顺序递推关系式：

1

101,()min [()(,(]

2)),k k

k k k k k k k k x f s c x k h s f

s n

σ--≤≤==++L 其中min(,)k k k s d M σ=+，这是因为一方面在每个阶段企业的

最大产量为M ，另一方面由于满足每个阶段市场的需求量，因为第k-1阶段末库存量为s k-1必须非负，即:

s k-1= d k +s k -x k ≥0 , ∴ x k ≤d k +s k 。 边界条件为00()f s （或111111()min[()()]f s c x h s =+）。 从边界条件出发，利用上面顺序递推关系式，最后求出的(0)n f 即为所要求的最小总费用。

下面通过一个实际例子计算之。

例2：某企业通过市场调查，估计今后四个时期市场对某种产品的需要量如下表：

假定不论在任何时期，生产每批产品的固定成本费为3(千元)，若不生产，则为零；生产单位产品成本费为1(千