宏观经济学 数学基础-3-动态规划
宏观经济学 数学基础-3-动态规划
第一部分高级宏观经济学的数学基础高级宏观经济学中许多模型用到了动态最优化理论。
这一部分主要介绍动态最优化理论的基本原理和方法，作为学习高级宏观经济学的必要准备知识。
动态最优化理论主要包括变分法、最优控制论和动态规划。
第三讲动态规划前面两节介绍了用变分法和最优控制理论（即极大值原理）求解动态最优化问题（我们主要介绍的是连续时间问题）。
同样，动态最优化问题也可以用动态规划方法来求解。
动态规划是美国数学家贝尔曼1957年提出的，同最优控制论一样，动态规划也被说成现代变分法。
动态规划包括离散时间和连续时间两种情形，它在解决离散时间问题时较为方便，我们这里重点讲离散时间下的方法。
此外，动态规划可以解决确定性条件下和不确定条件下的动态最优化问题，与变分法和最优控制相比，动态规划是求解不确定下动态最优化问题很方便的工具，但由于要涉及大量其他数学工具以及课程时间所限，我们这里只介绍解决确定性问题的方法。
一、动态规划原理与贝尔曼方程（一）动态规划问题的特点（二）贝尔曼方程二、离散时间无限界期的动态规划贝尔曼方程的形式动态规划的解三、经济学应用：新古典增长模型中的消费者最优化问题模型设定消费者储存资本并进行投资，即消费者的财富是以资本的形式表示的。
在每一期里，消费者都会把资本租给厂商并向厂商出售自己的劳动。
假设劳动并不会给消费者带来任何负效用，因此，不论工资率为多少，劳动供给始终是1单位。
消费者实际上就相当于在求解如下一个跨期最优化问题：{}1,0max ()t t t t c k t U c β+∞=∑s.t. 1(1)t t t t t c k w r k ++=++0lim 0(1)tt t t t k r →∞==+∏这里，0k 给定，t w 是工资率，t r 是资本的租金率。
如果把消费者的这个最优化问题用贝尔曼方程的方法表示出来，为{}11,()max[()()]t t t t t c k v k u c v k β++=+s.t. 1(1)t t t t t c k w r k ++=++ （1）0lim 0(1)tt t t tk r →∞==+∏把约束条件（1）代入目标函数中，有{}111()max [(1)]()t t t t t t t k v k u w r k k v k β+++=++-+ （2）式（2）的一阶条件（对1t k +求偏导）是11[(1)]()0t t t t t u w r k k v k β++''-++-+= （3）让式（2）两边对t k 求偏导，并应用包络定理，可以得到1()[(1)](1)t t t t t t v k u w r k k r +''=++-+ （4）把式（4）往后挪一期，有111121()[(1)](1)t t t t t t v k u w r k k r ++++++''=++-+ （5）用式（5）代替式（3）中的1()t v k +'，可以得到11()()(1)0t t t u c u c r β++''-++=该方程就是实现消费者最优的欧拉方程。
动态规划超级详细的讲义
动态规划入门1(2008-09-20 21:40:51)第一节动态规划基本概念一，动态规划三要素：阶段，状态，决策。
他们的概念到处都是，我就不多说了，我只说说我对他们的理解：如果把动态规划的求解过程看成一个工厂的生产线，阶段就是生产某个商品的不同的环节，状态就是工件当前的形态，决策就是对工件的操作。
显然不同阶段是对产品的一个前面各个状态的小结，有一个个的小结构成了最终的整个生产线。
每个状态间又有关联（下一个状态是由上一个状态做了某个决策后产生的）。
下面举个例子：要生产一批雪糕，在这个过程中要分好多环节：购买牛奶，对牛奶提纯处理，放入工厂加工，加工后的商品要包装，包装后就去销售……，这样没个环节就可以看做是一个阶段；产品在不同的时候有不同的状态，刚开始时只是白白的牛奶，进入生产后做成了各种造型，从冷冻库拿出来后就变成雪糕（由液态变成固态=_=||）。
每个形态就是一个状态，那从液态变成固态经过了冰冻这一操作，这个操作就是一个决策。
一个状态经过一个决策变成了另外一个状态，这个过程就是状态转移，用来描述状态转移的方程就是状态转移方程。
经过这个例子相信大家对动态规划有所了解了吧。
下面在说说我对动态规划的另外一个理解：用图论知识理解动态规划：把动态规划中的状态抽象成一个点，在有直接关联的状态间连一条有向边，状态转移的代价就是边上的权。
这样就形成了一个有向无环图AOE网（为什么无环呢？往下看）。
对这个图进行拓扑排序，删除一个边后同时出现入度为0的状态在同一阶段。
这样对图求最优路径就是动态规划问题的求解。
二，动态规划的适用范围动态规划用于解决多阶段决策最优化问题，但是不是所有的最优化问题都可以用动态规划解答呢？一般在题目中出现求最优解的问题就要考虑动态规划了，但是否可以用还要满足两个条件：最优子结构（最优化原理）无后效性最优化原理在下面的最短路径问题中有详细的解答；什么是无后效性呢？就是说在状态i求解时用到状态j而状态j就解有用到状态k…..状态N。
经济学动态规划
d2(B2,C1)+f3(C1)=4+11=15 d2(B2,C2)+f3(C2)=4+15=19 d2(B2,C3)+f3(C3)=6+8=14
=14
最小费用路线为B2-C3－D2－E
相应的最优决策u2(B2)=C3
f2(B3)=min
d2(B3,C1)+f3(C1)=1+11=12 d2(B3,C3)+f3(C3)=6+8=14
4 3
A
11
3
B1 4
4
4
B2
6
1
6
B3
C1
9
7
8
C2
12
5
C3
D1
5
3
E
D2
A-B1-C2-D1-E A-B2-C1-D2-E
均为策略
第一节 动态规划原理和模型
允许策略集合：可供选择策略的范围 最优策略：允许策略集合中最优的一个策略 在例1中最优策略为： A-B1-C3-D2-E
4 3
A
11
3
B1 4
=12
最小费用路线为B3-C1－D2－E
相应的最优决策u2(B3)=C1
第二节 动态规划求解方法
(4) S1={A} f1(A)=min
d1(A,B1)+f2(B1)=4+12=16 d2(A,B2)+f2(B2)=3+14=17 d3(A,B3)+f2(B2)=11+12=22
=16
最小费用路线为A-B1-C3－D2－E 相应的最优决策u1(A)=B1 所以整个问题的最小费用路线为A-B1-C3-D2-E 最优策略为{u1(A)=B1,u2(B1)=C3,u3(C3)=D2,u4(D2)=E}
宏观教材讨论个人关于动态规划及高级宏观学习的
宏观教材讨论个人关于动态规划及高级宏观学习的本坛网友鲁峰发表了一篇不错的高宏学习的帖子，名为："个人关于动态规划及高级宏观学习的意见"地址见：作为一名学了N年宏观的经济学工作者，我非常有兴趣和同道中人进行讨论。
同时，也可以为各位致力于宏观学习的童鞋提供一些(可能不完全正确)的建议。
我的研究领域与鲁峰网友近似，为：经济周期理论(按照惯例，也应包括经验研究)、货币理论与政策。
首先，想商议的第一个话题是，"你对宏观经济研究的偏向"。
在讨论这个话题之前，我假设大家都知道，所谓"经验"，是指empirical这个词。
为了避免与positive弄混淆，我用经验，而非"实证"来表示empirical。
按照惯例，如果有人说自己做宏观经济学，我们一般知道他主要是做理论研究的。
但是，宏观理论中，除了其基础--一般均衡理论外，基本上是找不到一处不能验证的理论的。
换言之，宏观理论直接来自于经验事实，同时，任何宏观理论一定要接受实验(经验)的检验，当然，只能用自然实验，而无法进行可控的实验。
我的看法是，宏观经济学不存在理论研究和经验研究之分，这两者都是由宏观经济学理论研究者完成。
如果有人说他用时间序列之类的方法在检验宏观经济理论，那么，按照惯例，这类研究领域应该叫做"应用时间序列研究"，最多叫做"应用计量经济学"，而绝对不能成为"经验宏观经济研究"，更不能叫做"应用宏观经济理论"。
举个例子，鲁克波尔与克莱茨希的一本教材，叫"应用时间序列计量经济学"。
(这两个人是德国人，名字不好记，所以就把中文名字记住了)这本书是SVAR课程的重要参考教材，整本书的内容就是宏观经济学的经验研究。
大家不妨看看书的名字。
另外一个例子，DeJong and Dave将其著作叫做《结构宏观计量经济学》、Canova将其著作叫《应用宏观经济研究方法》。
宏观经济学分析方法系列：变分法、欧拉方程、极值路径与动态经济模型分析
宏观经济学分析⽅法系列：变分法、欧拉⽅程、极值路径与动态经济模型分析附录：宏观经济学分析⽅法：变分法、极值路径与动态最优化(08、09 、10、11 硕已讲，精细订正版)⼀、动态最优化在静态最优化问题中，我们寻找在⼀个特定的时间点或区间上，使⼀个给定的函数最⼤化和最⼩化的⼀个点或⼀些点：给定⼀个函数y y(x)，最优点x 的⼀阶条件是y(x)0.在动态最优化问题中，我们要寻找使⼀个给定的积分最⼤化或最⼩化的曲线x (t).这个最⼤化的积分定义为独⽴变量t、函数x(t)及它的导数dx/dt的函数F下的⾯积。
简⾔之，假设时间区域从t0 0到t1 T，且⽤x表⽰dx/dt，我们寻找最⼤化或最⼩化T0 F[t,x(t), x(t)]dt (20.1 ) 这⾥假定F对t、x(t)、x(t)是连续的，且具有对x和x的连续偏导数.将形如(20.1)，对每⼀个函数x(t)对应着⼀个数值的积分称为“泛函”．⼀个使泛函达到最⼤或最⼩值的曲线称为“ 极值曲线”．极值可接受的“候选”极值曲线是在定义域上连续可微，且特别地满⾜⼀些固定端点条件的函数类x(t) ．(讲！)例1 ⼀家公司当希望获得从时间t 0到t T的最⼤利润时发现，产品的需求不仅依赖于产品的价格p ，⽽且也依赖于价格关于时间的变化率如dp/dt。
假设成本是固定的，并且每个p和dp/dt是时间的函数，p 代表dp/dt ，公司的⽬标可以作如下数学表⽰TMax 0 [t, p(t), p(t)] dt另⼀家公司发现它的总成本依赖于⽣产⽔平x(t) 和⽣产的变化率dx/dt x .假设这个公司希望最⼩化成本，且x和x是时间t的函数，公司的⽬标可以写成t1min C[t, x(t), x(t)]dtt满⾜x(t o) X o,且X(tJ X i这些初始和终值约束称为端点条件．例2 Ramsey经济：消费最优化问题从家庭终⽣效⽤函数的集约形式u u(c)出发，在消费预算约束的集约形式下求解家庭终⽣效⽤最⼤化问题，就是所谓“ Ramsey问题”⼀找出⼀条消费路径c(t)，使家庭终⽣效⽤函数U U(c)最⼤化：1max B e t [c(t)] dtc 0 1k0 o ( (t) c(t))e(n g)t R(t)dt 0⼆、欧拉⽅程：动态最优化的必要条件(三种形式)定理(泛函极值曲线即最优化)的必要条件)：对于⼀个泛函t it F[t,x(t),x(t)]dtt连接点(t o, X o)和(t i, X i)的曲线x x (t)是⼀个极值曲线(即最优化)的必要条件是F F(20 . 2a)x dt x称之为欧拉⽅程.尽管该定理等价于静态最优化的⼀阶必要条件，但是由式中稍微不同的记号可以容易了解，欧拉⽅程实际上是⼀个⼆阶微分⽅程.⽤下标表⽰偏导数，并列出其⾃变“量”，它们本⾝也可能是函数.（20 . 2a）的欧拉⽅程表⽰为F x（t,x,x）⾟［F x（t,x,x）］（20 .2b）dt然后，⽤链式法则求F x关于t的导数，并且省略⾃变“量”，得F x F xt F xx（x） F xx（x）（20 . 2c）这⾥，x d2x/dt2F⾯给出欧拉⽅程是极值曲线的必要条件的证明图20-2证明：（重点！09、10、11硕，已讲）设x x （t）是图20-2中连接点（t°,x°）和（t i,xj的曲线，并且它使F⾯泛函取得最⼤值；F[t,x(t),x(t)]dt(20 . 3)T即x x (t)为极值曲线，欧拉⽅程(20 . 2a)是x x (t)为极值曲线的⼀个必要条件.取X x (t) mh(t)是x x (t)的相邻曲线，这⾥m 是任意常数，h(t) 是⼀个任意函数.为了使曲线刃也通过点(t o ,x o )和(切禺)，则卞也满⾜端点条件：h(t o ) 0h(t i ) 0(20 . 4)⼀旦取定x (t)和h(t)之后，因x (t)和h(t)固定，则积分值^F[t,x(t), x(t)]dt 仅为m 的函数，不妨改写成tt lg(m) t F[t,x (t) mh(t) ,x (t) mh(t)]dt(20 . 5)t由于x (t)使(20 . 3)中的泛函fl F[t,x(t), x(t)]dt 实现最优化，所以t(20 .5)中的函数g(m)仅当m 0时 g(m) 1F[t,x (t) mh(t) ,x (t) mh(t)]dt 才能还原为t最优化，即有dg dm对(20 . 5)即 g(m) :F[t,x(t) mh(t),x(t) mh(t)]dt ⽤链式法则求F / m .由于F 是x 和x 的函数，依次⼜是m 的函数，代⼊(20 . 7)得dg t1上(x mh) F (x mh) dtdmt0x mx m(因为m 0时的：F[t,x(t), x(t)]dt )实现t(20 . 6)由于旦』h 且旦上h ，⽤条件(20 . 6)即岂|m0 0,有mmdm—m o th(t) h (t) dt 0(20 . 8)dm t0xx(注:u h(t)所以,去掉，合并其余两项，有由于h(t)是不必为零的任意函数，因此推出，对于极值曲线的必要条件为⽅括号中式⼦为零，即这就是欧拉⽅程．定理证毕⽅括号中的第⼀项不动，第⼆项的积分⽤分部积分，分部积分公式即vdu vu udv u u(t),v v(t)dv dv dt dtdu dF xdt⽕ dt h(t) dtdt dg dmt i tFh(t)dt xttdt-h(t)dt 0 x由(20 . 4)知，h(t 。
动态规划(生产和存储问题)
动态规划（生产和存储问题）一、动态规划法的发展及其研究内容动态规划是运筹学的一个分支，是求解决策过程最优化的数学方法。
20世纪50年代初美国数学家R.E.BELLMAN等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，把多阶段问题转化为一系列的单阶段问题，逐个求解创立了解决这类过程优化问题的新方法——动态规划。
1957年出版的他的名著《Dynamic Proggramming》，这是该领域的第一本著作。
动态规划问世以来，在经济管理·生产调度·工程技术和最优控制等方面得到了广泛的应用。
例如最短路线·库存管理·资源分配·设备更新·组合·排序·装载等问题，采用动态规划法求解比用其他方法更为简便。
二、动态规划法基本概念一个多阶段决策过程最优化问题的动态规划模型通常包括以下几个要素：1．阶段阶段（stage）是对整个过程的自然划分。
通常根据时间顺序或是空间特征来划分阶段，对于与时间，空间无关的“静态”优化问题，可以根据其自然特征，人为的赋予“时段”概念，将静态问题动态化，以便按阶段的顺序解优化问题。
阶段变量一般用k=1.2….n.表示。
1.状态状态(state)是我们所研究的问题（也叫系统）在过个阶段的初始状态或客观条件。
它应能描述过程的特征并且具有无后效性，即当某阶段的状态给定时，这个阶段以后的过程的演变与该阶段以前各阶段的状态无关。
通常还要求状态是可以直接或者是间接可以观测的。
描述状态的变量称为状态变量（State Virable）用s 表示，状态变量的取值集合称为状态集合，用S表示。
变量允许取值的范围称为允许状态集合(set of admissble states).用x(k)表示第k阶段的状态变量，它可以是一个数或者是一个向量。
用X(k)表示第k阶段的允许状态集合。
n 个阶段的决策过程有n+1个状态变量，x(n+1)是x(n)的演变的结果。
中级宏观经济学之无限期动态模型与动态规划 (PPT 73页)
（4.47）
再一次提醒大家，函数 v 和函数 w 是两个完全
不同的函数：函数 v 是以递归形式表述的社会计划
者最优问题中的值函数，而函数 w 是以序列形式表
述的社会计划者最优问题中的函数。
2020/6/17
第四讲 三期动态模型
25
计划者带进当前期的资本存量 k ，是过去决策的一个直接 后果，实际上凝结了所有过去决策的信息，它完全地决定 了从今往后可用于支配的资源数量。因此，它经常被称为 “状态变量（state variable）”：她完全地把当前的经济状态 刻画出来了（也就是说，计划者可以在此基础上进行未来 的选择）。变量 k 是计划者在当前所需要决定（或者说控制） 变量，因此，她经常被成为“控制变量（control variable）”， 因为，这个变量是计划者在当前能控制的变量。
2020/6/17
第四讲 三期动态模型
31
让我们猜： v(k) A B ln(k)
(4.49)
其中，A 和 B 都是待定系数。我们可以分如下
三个步骤来解它：
第一步：给定我们猜测的 v，求解函数方程中右
边的最大化问题，也即求解：
max ln(k k) A B ln(k)
0kk
1
B
FOC k k k k
2020/6/17
第四讲 三期动态模型
10
二、动态规划简介
2020/6/17
第四讲 三期动态模型
11
2.1序列形式表述的社会计划 者问题
因为我们在前面已经证明了竞争均衡解 也是帕雷托最优解。因此，我们可以通 过求解社会计划者问题来获得竞争均衡 的有关数量解，这样，上面这个无限期 模型中的社会计划者最优化问题可以正 规地描述如下：
数学建模动态规划
u5*(E2)F.
4
6
D2 2
F
3
1
D3
3
E2 u4 *(D 1)E1.
f4(D2)5 u4 *(D 2)E2.
f 3 ( C 2 ) m d 3 ( C 2 , D 1 i ) f 4 n ( D 1 ) d 3 ( { C , 2 , D 2 ) f 4 ( D 2 )}
m 4 i7 ,5 n 5 } { 1 . 0
一、基本概念
阶段：是指问题需要做出决策的步数。阶段总数常记为n，相 应的是n个阶段的决策问题。阶段的序号常记为k，称为阶段 变量，k=1,2, …,n. k即可以是顺序编号也可以是逆序编号， 常用顺序编号。 状态：各阶段开始时的客观条件，第k阶段的状态常用状态
变量 s k 表示，状态变量取值的集合成为状态集合，用 S k
4
A
5
2
B1 3
6
8 7
B2
7
C1
5
8
4
C2 5
3
C3 4
8
C4 4
D1
3
5 6
D2 2
1
D3
3
u5*(E1)F,
E1
4
3
E2
u5*(E2)F.
F
f 4 ( D 1 ) m d 4 ( D 1 , E 1 i ) f n 5 ( E 1 ) d 4 ( { D , 1 , E 2 ) f 5 ( E 2 )}
到过程终止时的最佳效益。记为
其中 opt 可根据具体情况取max 或min。 基本方程：此为逐段递推求和的依据，一般为：
式中opt 可根据题意取 max 或 min. 例如，案例1的基本方程为：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（4）
v(kt 1 ) u[wt 1 (1 rt 1 )kt 1 kt 2 ](1 rt 1 )
用式（5）代替式（3）中的 v(kt 1 ) ，可以得到
（5）
u(ct ) u(ct 1 )(1 rt 1 ) 0
第一部分
高级宏观经济学的数学基础
高级宏观经济学中许多模型用到了动态最优化理论。这一部分主要介绍动态最优 化理论的基本原理和方法，作为学习高级宏观经济学的必要准备知识。 动态最优化理论主要包括变分法、最优控制论和动态规划。
第三讲
动态规划
前面两节介绍了用变分法和最优控制理论（即极大值原理）求解动态最优化问题 （我们主要介绍的是连续时间问题）。同样，动态最优化问题也可以用动态规划方法 来求解。动态规划是美国数学家贝尔曼 1957 年提出的，同最优控制论一样，动态规划 也被说成现代变分法。 动态规划包括离散时间和连续时间两种情形，它在解决离散时间问题时较为方 便，我们这里重点讲离散时间下的方法。此外，动态规划可以解决确定性条件下和不 确定条件下的动态最优化问题，与变分法和最优控制相比，动态规划是求解不确定下 动态最优化问题很方便的工具，但由于要涉及大量其他数学工具以及课程时间所限， 我们这里只介绍解决确定性问题的方法。 一、动态规划原理与贝尔曼方程 （一）动态规划问题的特点
kt 1
（2）
式（2）的一阶条件（对 kt 1 求偏导）是
u[wt (1 rt )kt kt 1 ] v(kt 1 ) 0
让式（2）两边对 k t 求偏导，并应用包络定理，可以得到
（3）
v(kt ) u[wt (1 rt )kt kt 1 ](1 rt )
5
ct ,kt 1 t 0
max tU (ct )
s.t.
ct kt 1 wt (1 rt )kt kt lim 0 t t t 0 (1 rt )
这里， k0 给定， wt 是工资率， rt 是资本的租金率。
如果把消费者的这个最优化问题用贝尔曼方程的方法表示出来，为
v(kt ) max[u(ct ) v(kt 1 )]
ct ,kt 1
s.t.
ct kt 1 wt (1 rt )kt kt lim 0 t t 条件（1）代入目标函数中，有
v(kt ) max u[ wt (1 rt )kt kt 1 ] v(kt 1 )
1
（二）贝尔曼方程
2
3
二、离散时间无限界期的动态规划 贝尔曼方程的形式
4
动态规划的解
三、经济学应用：新古典增长模型中的消费者最优化问题 模型设定 消费者储存资本并进行投资，即消费者的财富是以资本的形式表示的。在每一期 里，消费者都会把资本租给厂商并向厂商出售自己的劳动。假设劳动并不会给消费者 带来任何负效用，因此，不论工资率为多少，劳动供给始终是 1 单位。消费者实际上 就相当于在求解如下一个跨期最优化问题：
该方程就是实现消费者最优的欧拉方程。
6