宏观经济学 数学基础-3-动态规划
第一部分中国精算师资格考试准精算师部分01～09科目
2006年度秋季中国精算师资格考试-考试指南第一部分中国精算师资格考试准精算师部分01～09科目01数学基础Ⅰ考试时间：3小时考试形式：客观判断题考试内容和要求：考生应掌握微积分、线性代数和运筹学的基本概念和主要内容。
A.微积分（分数比例约为60％）1.函数、极限、连续2.一元函数微积分3.多元函数微积分4.级数5.常微分方程B.线性代数（分数比例约为30％）1.行列式2.矩阵3.线性方程组4.向量空间5.特征值和特征向量6.二次型C.运筹学（分数比例约为10％）1.线性规划2.整数规划3.动态规划1.《高等数学讲义》（第二篇数学分析）樊映川编著高等教育出版社2.《线性代数》胡显佑四川人民出版社3.《运筹学》（修订版）1990年《运筹学》教材编写组清华大学出版社除以上参考书外，也可参看其他同等水平的参考书。
02数学基础Ⅱ考试时间：3小时考试形式：客观判断题考试内容和要求：A.概率论（分数比例约为50％）1.概率的计算、条件概率、全概公式和贝叶斯公式2.随机变量的数字特征，特征函数；3.联合分布律、边际分布函数及边际概率密度的计算4.大数定律及其应用5.条件期望和条件方差6.混合型随机变量的分布函数、期望和方差等B.数理统计（分数比例约为35％）1.统计量及其分布2.参数估计3.假设检验4.方差分析5.列联分析C.应用统计（分数比例约为15％）1.回归分析2.时间序列分析(移动平滑，指数平滑法及ARIMA模型)1、《概率论与数理统计》茆诗松，周纪芗编著，中国统计出版社1996年7月第1版。
2、《统计预测——方法与应用》，易丹辉编著，中国统计出版社，2001年4月第一版。
除以上参考书外，也可参看其他同等水平的参考书。
03复利数学考试时间：2小时考试形式：客观判断题考试内容和要求：1.利息及利率（分数比例：6%-15%）2.年金（分数比例：15%-25%）3.收益率（分数比例：15%-25%）4.债务偿还（分数比例：15%-25%）5.债券与其他证券（分数比例：15-25%）6.利息理论的应用（分数比例：6%-15%）参考书目：1.《利息理论》（中国精算师资格考试用书）刘占国主编南开大学出版社2000年9月第1版第1～5章、第6章第6.1节04寿险精算数学考试时间：4小时考试形式：客观判断题考试内容和要求：考生应掌握生命表、纯保费（趸缴、均衡）、责任准备金（均衡、修正）、总保费、多元生命函数、多元风险模型等主要内容。
经济学动态规划
d2(B2,C1)+f3(C1)=4+11=15 d2(B2,C2)+f3(C2)=4+15=19 d2(B2,C3)+f3(C3)=6+8=14
=14
最小费用路线为B2-C3－D2－E
相应的最优决策u2(B2)=C3
f2(B3)=min
d2(B3,C1)+f3(C1)=1+11=12 d2(B3,C3)+f3(C3)=6+8=14
4 3
A
11
3
B1 4
4
4
B2
6
1
6
B3
C1
9
7
8
C2
12
5
C3
D1
5
3
E
D2
A-B1-C2-D1-E A-B2-C1-D2-E
均为策略
第一节 动态规划原理和模型
允许策略集合：可供选择策略的范围 最优策略：允许策略集合中最优的一个策略 在例1中最优策略为： A-B1-C3-D2-E
4 3
A
11
3
B1 4
=12
最小费用路线为B3-C1－D2－E
相应的最优决策u2(B3)=C1
第二节 动态规划求解方法
(4) S1={A} f1(A)=min
d1(A,B1)+f2(B1)=4+12=16 d2(A,B2)+f2(B2)=3+14=17 d3(A,B3)+f2(B2)=11+12=22
=16
最小费用路线为A-B1-C3－D2－E 相应的最优决策u1(A)=B1 所以整个问题的最小费用路线为A-B1-C3-D2-E 最优策略为{u1(A)=B1,u2(B1)=C3,u3(C3)=D2,u4(D2)=E}
宏观经济学分析方法系列：变分法、欧拉方程、极值路径与动态经济模型分析
宏观经济学分析⽅法系列：变分法、欧拉⽅程、极值路径与动态经济模型分析附录：宏观经济学分析⽅法：变分法、极值路径与动态最优化(08、09 、10、11 硕已讲，精细订正版)⼀、动态最优化在静态最优化问题中，我们寻找在⼀个特定的时间点或区间上，使⼀个给定的函数最⼤化和最⼩化的⼀个点或⼀些点：给定⼀个函数y y(x)，最优点x 的⼀阶条件是y(x)0.在动态最优化问题中，我们要寻找使⼀个给定的积分最⼤化或最⼩化的曲线x (t).这个最⼤化的积分定义为独⽴变量t、函数x(t)及它的导数dx/dt的函数F下的⾯积。
简⾔之，假设时间区域从t0 0到t1 T，且⽤x表⽰dx/dt，我们寻找最⼤化或最⼩化T0 F[t,x(t), x(t)]dt (20.1 ) 这⾥假定F对t、x(t)、x(t)是连续的，且具有对x和x的连续偏导数.将形如(20.1)，对每⼀个函数x(t)对应着⼀个数值的积分称为“泛函”．⼀个使泛函达到最⼤或最⼩值的曲线称为“ 极值曲线”．极值可接受的“候选”极值曲线是在定义域上连续可微，且特别地满⾜⼀些固定端点条件的函数类x(t) ．(讲！)例1 ⼀家公司当希望获得从时间t 0到t T的最⼤利润时发现，产品的需求不仅依赖于产品的价格p ，⽽且也依赖于价格关于时间的变化率如dp/dt。
假设成本是固定的，并且每个p和dp/dt是时间的函数，p 代表dp/dt ，公司的⽬标可以作如下数学表⽰TMax 0 [t, p(t), p(t)] dt另⼀家公司发现它的总成本依赖于⽣产⽔平x(t) 和⽣产的变化率dx/dt x .假设这个公司希望最⼩化成本，且x和x是时间t的函数，公司的⽬标可以写成t1min C[t, x(t), x(t)]dtt满⾜x(t o) X o,且X(tJ X i这些初始和终值约束称为端点条件．例2 Ramsey经济：消费最优化问题从家庭终⽣效⽤函数的集约形式u u(c)出发，在消费预算约束的集约形式下求解家庭终⽣效⽤最⼤化问题，就是所谓“ Ramsey问题”⼀找出⼀条消费路径c(t)，使家庭终⽣效⽤函数U U(c)最⼤化：1max B e t [c(t)] dtc 0 1k0 o ( (t) c(t))e(n g)t R(t)dt 0⼆、欧拉⽅程：动态最优化的必要条件(三种形式)定理(泛函极值曲线即最优化)的必要条件)：对于⼀个泛函t it F[t,x(t),x(t)]dtt连接点(t o, X o)和(t i, X i)的曲线x x (t)是⼀个极值曲线(即最优化)的必要条件是F F(20 . 2a)x dt x称之为欧拉⽅程.尽管该定理等价于静态最优化的⼀阶必要条件，但是由式中稍微不同的记号可以容易了解，欧拉⽅程实际上是⼀个⼆阶微分⽅程.⽤下标表⽰偏导数，并列出其⾃变“量”，它们本⾝也可能是函数.（20 . 2a）的欧拉⽅程表⽰为F x（t,x,x）⾟［F x（t,x,x）］（20 .2b）dt然后，⽤链式法则求F x关于t的导数，并且省略⾃变“量”，得F x F xt F xx（x） F xx（x）（20 . 2c）这⾥，x d2x/dt2F⾯给出欧拉⽅程是极值曲线的必要条件的证明图20-2证明：（重点！09、10、11硕，已讲）设x x （t）是图20-2中连接点（t°,x°）和（t i,xj的曲线，并且它使F⾯泛函取得最⼤值；F[t,x(t),x(t)]dt(20 . 3)T即x x (t)为极值曲线，欧拉⽅程(20 . 2a)是x x (t)为极值曲线的⼀个必要条件.取X x (t) mh(t)是x x (t)的相邻曲线，这⾥m 是任意常数，h(t) 是⼀个任意函数.为了使曲线刃也通过点(t o ,x o )和(切禺)，则卞也满⾜端点条件：h(t o ) 0h(t i ) 0(20 . 4)⼀旦取定x (t)和h(t)之后，因x (t)和h(t)固定，则积分值^F[t,x(t), x(t)]dt 仅为m 的函数，不妨改写成tt lg(m) t F[t,x (t) mh(t) ,x (t) mh(t)]dt(20 . 5)t由于x (t)使(20 . 3)中的泛函fl F[t,x(t), x(t)]dt 实现最优化，所以t(20 .5)中的函数g(m)仅当m 0时 g(m) 1F[t,x (t) mh(t) ,x (t) mh(t)]dt 才能还原为t最优化，即有dg dm对(20 . 5)即 g(m) :F[t,x(t) mh(t),x(t) mh(t)]dt ⽤链式法则求F / m .由于F 是x 和x 的函数，依次⼜是m 的函数，代⼊(20 . 7)得dg t1上(x mh) F (x mh) dtdmt0x mx m(因为m 0时的：F[t,x(t), x(t)]dt )实现t(20 . 6)由于旦』h 且旦上h ，⽤条件(20 . 6)即岂|m0 0,有mmdm—m o th(t) h (t) dt 0(20 . 8)dm t0xx(注:u h(t)所以,去掉，合并其余两项，有由于h(t)是不必为零的任意函数，因此推出，对于极值曲线的必要条件为⽅括号中式⼦为零，即这就是欧拉⽅程．定理证毕⽅括号中的第⼀项不动，第⼆项的积分⽤分部积分，分部积分公式即vdu vu udv u u(t),v v(t)dv dv dt dtdu dF xdt⽕ dt h(t) dtdt dg dmt i tFh(t)dt xttdt-h(t)dt 0 x由(20 . 4)知，h(t 。
动态规划(生产和存储问题)
动态规划（生产和存储问题）一、动态规划法的发展及其研究内容动态规划是运筹学的一个分支，是求解决策过程最优化的数学方法。
20世纪50年代初美国数学家R.E.BELLMAN等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，把多阶段问题转化为一系列的单阶段问题，逐个求解创立了解决这类过程优化问题的新方法——动态规划。
1957年出版的他的名著《Dynamic Proggramming》，这是该领域的第一本著作。
动态规划问世以来，在经济管理·生产调度·工程技术和最优控制等方面得到了广泛的应用。
例如最短路线·库存管理·资源分配·设备更新·组合·排序·装载等问题，采用动态规划法求解比用其他方法更为简便。
二、动态规划法基本概念一个多阶段决策过程最优化问题的动态规划模型通常包括以下几个要素：1．阶段阶段（stage）是对整个过程的自然划分。
通常根据时间顺序或是空间特征来划分阶段，对于与时间，空间无关的“静态”优化问题，可以根据其自然特征，人为的赋予“时段”概念，将静态问题动态化，以便按阶段的顺序解优化问题。
阶段变量一般用k=1.2….n.表示。
1.状态状态(state)是我们所研究的问题（也叫系统）在过个阶段的初始状态或客观条件。
它应能描述过程的特征并且具有无后效性，即当某阶段的状态给定时，这个阶段以后的过程的演变与该阶段以前各阶段的状态无关。
通常还要求状态是可以直接或者是间接可以观测的。
描述状态的变量称为状态变量（State Virable）用s 表示，状态变量的取值集合称为状态集合，用S表示。
变量允许取值的范围称为允许状态集合(set of admissble states).用x(k)表示第k阶段的状态变量，它可以是一个数或者是一个向量。
用X(k)表示第k阶段的允许状态集合。
n 个阶段的决策过程有n+1个状态变量，x(n+1)是x(n)的演变的结果。
中级宏观经济学之无限期动态模型与动态规划 (PPT 73页)
（4.47）
再一次提醒大家，函数 v 和函数 w 是两个完全
不同的函数：函数 v 是以递归形式表述的社会计划
者最优问题中的值函数，而函数 w 是以序列形式表
述的社会计划者最优问题中的函数。
2020/6/17
第四讲 三期动态模型
25
计划者带进当前期的资本存量 k ，是过去决策的一个直接 后果，实际上凝结了所有过去决策的信息，它完全地决定 了从今往后可用于支配的资源数量。因此，它经常被称为 “状态变量（state variable）”：她完全地把当前的经济状态 刻画出来了（也就是说，计划者可以在此基础上进行未来 的选择）。变量 k 是计划者在当前所需要决定（或者说控制） 变量，因此，她经常被成为“控制变量（control variable）”， 因为，这个变量是计划者在当前能控制的变量。
2020/6/17
第四讲 三期动态模型
31
让我们猜： v(k) A B ln(k)
(4.49)
其中，A 和 B 都是待定系数。我们可以分如下
三个步骤来解它：
第一步：给定我们猜测的 v，求解函数方程中右
边的最大化问题，也即求解：
max ln(k k) A B ln(k)
0kk
1
B
FOC k k k k
2020/6/17
第四讲 三期动态模型
10
二、动态规划简介
2020/6/17
第四讲 三期动态模型
11
2.1序列形式表述的社会计划 者问题
因为我们在前面已经证明了竞争均衡解 也是帕雷托最优解。因此，我们可以通 过求解社会计划者问题来获得竞争均衡 的有关数量解，这样，上面这个无限期 模型中的社会计划者最优化问题可以正 规地描述如下：
中级宏观经济学之无限期动态模型与动态规划
最优的无限序列的资本存量（ k1, k2 , ）。
31.03.2020
第四讲 三期动态模型
17
动态规划的基本思想是试图通过对决策环 境的探讨而发现一种更简单的求解这一最 大化问题的方法，但是这个最大化问题的 解又是与我们原始的最大化问题的解是相 同的。
为了使上面所讲的这一点更明白、更具体， 我们可以再一次看看我们的原始的这个计 划者的最优化问题：
中级宏观经济学之无限期动态模型与动 态规划
路漫漫其悠远
少壮不努力，老大徒悲伤
第四讲 三期及无限期动态模型
31.03.2020
第四讲 三期动态模型
2
第二节 无限期动态模型与动态规划
31.03.2020
第四讲 三期动态模型
3
在本节，我们将介绍一个简单的无限期 模型，借助这个模型，我们一方面看看 那些在两期、三期模型中被运用的宏观 经济分析的基本思路是如何在无限期模 型中被得到继续运用的；另一方面，我 们也要简单介绍并展示一下离散时间的 动态规划怎样被运用的，这种运用对于 求解许多动态问题是非常有帮助的。
31.03.2020
第四讲 三期动态模型
18
w(k ) max 0
kt1
t0
s.t.0kt1 f (kt
),
t
0
tu f (kt ) kt1
k0给定
＝
max
kt1
t0
u
s.t.0k0k给t1定 f (kt ),
f (k0 ) k1
t1u
t 1
f
(kt ) kt1
31.03.2020
第四讲 三期动态模型
14
现在，用（4.40）式替代掉（4.41）式中的it ，并定 义 f (k) F(k,1) (1 )k ，这样，函数 f (k) 就代表了所
第3章动态规划
第3章动态规划动态规划是一种通过将问题分解为子问题，并且以自底向上的方式求解子问题从而求解整个问题的算法设计方法。
它在计算机科学中的应用非常广泛，特别是在优化问题和组合优化问题中。
动态规划的核心思想是将问题划分为多个重叠子问题，并且将计算结果储存起来以供后续使用。
通过这种方式，可以避免重复计算，提高算法效率。
动态规划通常适用于满足最优子结构的问题，即问题的最优解可以通过一系列子问题的最优解得到。
在动态规划中，需要定义一个状态转移方程，用于描述问题的最优解与其子问题的最优解之间的关系。
通过利用状态转移方程，可以从最底层的子问题开始，逐步求解出更大规模的问题的最优解。
最终，可以得到整个问题的最优解。
动态规划的基本步骤包括问题建模、确定状态、定义状态转移方程、确定边界条件和计算最优解。
首先，需要将原始问题转化为适合动态规划求解的形式，通常可以采用数学建模的方法。
然后，需要确定问题的状态，即将问题划分为多个子问题，并且定义子问题的状态。
接下来，需要定义状态转移方程，该方程记录了问题的最优解与子问题的最优解之间的关系。
然后，需要确定边界条件，即问题的最基本解。
最后，通过逐步计算子问题的最优解，得到整个问题的最优解。
动态规划在多个领域都有广泛的应用。
在计算机科学中，动态规划被广泛应用于图论算法、字符串处理算法、序列比对算法等。
此外，动态规划还被应用于经济学、运筹学和生物学等领域的优化问题。
通过应用动态规划，可以有效地解决这些领域中的复杂问题。
总结起来，动态规划是一种通过将问题划分为多个子问题，并且利用状态转移方程求解子问题从而求解整个问题的算法设计方法。
通过避免重复计算，动态规划可以提高计算效率，并且被广泛应用于计算机科学和其他领域的问题求解。
宏观经济学分析方法系列：动态规划的Bellman原理
================= ================= 附录：宏观经济学分析方法：动态规划的Bellman 原理（10、11硕已讲，精细订正版）二、一个简化的例子欲对Bellman 原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（backward recursion ，逆向递归，逆向归纳）的特征。
假定：（1）典型个人生存两个时期，他可以在两个时点上，即10、=t 上做决策（3=t 时，他就死亡了）；他被赋予一定量的初始资源0)0(>W 。
（2）理想化的资本市场上存在两种资产1。
一种是无风险的现金或者债券，它的价格在任何时刻都没有变化，始终为1；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。
1所谓理想化资本市场如上一章中的要求，即无交易成本、制度限制、操纵行为等。
简单地说，它表示在每一时点上，股票价格要么以 9/4的概率上涨一倍，要么以 )9/41(-的概率下跌一半。
用)0(w 和)1(w 表示该投资者在10、时刻上，投资于风险资产（股票）上的财富分额。
（3）投资者的非资本收入为0，效用函数具有以下特定形式： x x u =)(（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。
至此，最优化问题就可以简化为：⎣⎦)2(..)2(max )1(),0(>W t s W E w w我们的任务就是找到最优的投资决策变量（最优控制）)0(w 和)1(w ，使以上最优化问题得以解决。
可以尝试采用“向前”推导的方法，即从0=t 时刻开始，事先决图 股票价格运动的二项树模型p 1000 1 2 t定一个策略)0(w ，但它是不是最优还不清楚，根据)0(w 我们仅仅能够知道1=t 时刻的期望财富水平的函数表达式，但是最大化这个函数得到的“最优的”)0(w ，并不一定是最优决策过程)]1(),0([w w 的必然组成部分，除非可以明确地知道在所有不同情况状态下的)1(w ，并且它是惟一的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一部分高级宏观经济学的数学基础
高级宏观经济学中许多模型用到了动态最优化理论。
这一部分主要介绍动态最优化理论的基本原理和方法，作为学习高级宏观经济学的必要准备知识。
动态最优化理论主要包括变分法、最优控制论和动态规划。
第三讲动态规划
前面两节介绍了用变分法和最优控制理论（即极大值原理）求解动态最优化问题（我们主要介绍的是连续时间问题）。
同样，动态最优化问题也可以用动态规划方法来求解。
动态规划是美国数学家贝尔曼1957年提出的，同最优控制论一样，动态规划也被说成现代变分法。
动态规划包括离散时间和连续时间两种情形，它在解决离散时间问题时较为方便，我们这里重点讲离散时间下的方法。
此外，动态规划可以解决确定性条件下和不确定条件下的动态最优化问题，与变分法和最优控制相比，动态规划是求解不确定下动态最优化问题很方便的工具，但由于要涉及大量其他数学工具以及课程时间所限，我们这里只介绍解决确定性问题的方法。
一、动态规划原理与贝尔曼方程
（一）动态规划问题的特点
（二）贝尔曼方程
二、离散时间无限界期的动态规划贝尔曼方程的形式
动态规划的解
三、经济学应用：新古典增长模型中的消费者最优化问题
模型设定
消费者储存资本并进行投资，即消费者的财富是以资本的形式表示的。
在每一期里，消费者都会把资本租给厂商并向厂商出售自己的劳动。
假设劳动并不会给消费者带来任何负效用，因此，不论工资率为多少，劳动供给始终是1单位。
消费者实际上就相当于在求解如下一个跨期最优化问题：
{}1,0
max ()t t t t c k t U c β+∞
=∑
s.t. 1(1)t t t t t c k w r k ++=++
0lim 0(1)
t
t t t t k r →∞
==+∏
这里，0k 给定，t w 是工资率，t r 是资本的租金率。
如果把消费者的这个最优化问题用贝尔曼方程的方法表示出来，为
{}
11,()max[()()]t t t t t c k v k u c v k β++=+
s.t. 1(1)t t t t t c k w r k ++=++ （1）
0lim 0(1)t
t t t t
k r →∞==+∏
把约束条件（1）代入目标函数中，有
{}1
11()max [(1)]()t t t t t t t k v k u w r k k v k β+++=++-+ （2）
式（2）的一阶条件（对1t k +求偏导）是
11[(1)]()0t t t t t u w r k k v k β++''-++-+= （3）
让式（2）两边对t k 求偏导，并应用包络定理，可以得到
1()[(1)](1)t t t t t t v k u w r k k r +''=++-+ （4）
把式（4）往后挪一期，有
111121()[(1)](1)t t t t t t v k u w r k k r ++++++''=++-+ （5）
用式（5）代替式（3）中的1()t v k +'，可以得到
11()()(1)0t t t u c u c r β++''-++=
该方程就是实现消费者最优的欧拉方程。