动态最优化第2讲 基础知识简介
经典算法——动态规划教程
动态规划是对最优化问题的一种新的算法设计方法。
由于各种问题的性质不同，确定最优解的条件也互不相同，因而动态规划的没计法对不同的问题，有各具特色的表示方式。
不存在一种万能的动态规划算法。
但是可以通过对若干有代表性的问题的动态规划算法进行讨论，学会这一设计方法。
多阶段决策过程最优化问题——动态规划的基本模型在现实生活中，有一类活动的过程，由于它的特殊性，可将过程分成若干个互相联系的阶段，在它的每一阶段都需要作出决策，从而使整个过程达到最好的活动效果。
因此各个阶段决策的选取不能任意确定，它依赖于当前面临的状态，又影响以后的发展。
当各个阶段决策确定后，就组成一个决策序列，因而也就确定了整个过程的一条活动路线。
这种把一个问题看做是一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程，这种问题称为多阶段决策最优化问题。
【例题1】最短路径问题。
图中给出了一个地图，地图中每个顶点代表一个城市，两个城市间的连线代表道路，连线上的数值代表道路的长度。
现在，想从城市A到达城市E，怎样走路程最短，最短路程的长度是多少?【分析】把从A到E的全过程分成四个阶段，用k表示阶段变量，第1阶段有一个初始状态A，两条可供选择的支路ABl、AB2；第2阶段有两个初始状态B1、 B2，B1有三条可供选择的支路，B2有两条可供选择的支路……。
用dk(x k，x k+1)表示在第k阶段由初始状态x k到下阶段的初始状态x k+1的路径距离，Fk(x k)表示从第k阶段的x k到终点E的最短距离，利用倒推方法求解A到E的最短距离。
具体计算过程如下：S1：K=4，有：F4(D1)=3，F4(D2)=4，F4(D3)=3S2: K=3，有：F3(C1)=min{d3(C1,D1)+F4(D1),d3(C1,D2)+F4(d2)}=min{8,10}=8F3(C2)=d3(C2,D1)+f4(D1)=5+3=8F3(C3)=d3(C3,D3)+f4(D3)=8+3=11F3(C4)=d3(C4,D3)+f4(D3)=3+3=6S2: K=2，有：F2(B1)=min{d2(B1,C1)+F3(C1),d2(B1,C2)+f3(C2),d2(B1,C3)+F3(C3)}=min {9,12,14}=9F2(m)=min{d2(B2,c2)+f3(C2),d2(B2,C4)+F3(C4)}=min{16,10}=10S4：k=1，有：F1(A)=min{d1(A,B1)+F2(B1),d1(A,B2)+F2(B2)}=min{13,13}=13因此由A点到E点的全过程的最短路径为A—>B2一>C4—>D3—>E。
最优化理论与方法概述
1. 最优化问题
最优化问题：求一个一元函数或多元函数的极 值。 在微积分中，我们曾经接触过一些比较简单 的极值问题。下面通过具体例子来看看什么是最 优化问题。
第二页，编辑于星期五：十点 四分。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
、大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
0.380 0.380
x1 x1
0.001x2 0.001x2
Байду номын сангаас
0.002x3 0.002x3
0.012 100 0.008100
0.09x2 0.50x3 0.22100
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
解：因为
则 又因为：
f X
x1
2
x1
2
x2
f X
x2
2x2
2
x1
2 x3
3
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
f X
x3
2
x3
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N ( x*，) 使得对于
一切 x N ( x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) { x | x x* , 0}
配料
每磅配料中的营养含量
钙
蛋白质
纤维
最优化理论-教学大纲
《最优化理论》教学大纲课程编号：112302A课程类型：专业选修课总学时：32 讲课学时：26 实验学时：6学分：2适用对象：金融工程专业先修课程：数学分析、线性代数、经济学、金融学一、教学目标最优化问题即在有限种或无限种可行方案（决策）中选择最优的方案（决策），与之相对应的最优化理论是数学领域的一个重要分支，也是金融工程专业学生需要掌握的必备工具之一。
现代金融学研究的技术化程度日益增加，金融工程的许多问题都与最优化理论与方法密切相关，例如：投资组合选择与资产配置、期权的定价与对冲、金融风险的度量与管理、资产和负债的现金流管理等等。
本课程拟对最优化的基础理论和求解方法进行一个比较全面和系统的介绍，其中涉及到的方法包括：线性规划、非线性规划、二次规划、锥优化、整数规划、动态规划、随机规划等等。
通过本课程的学习，实现以下几个教学目标：目标1：帮助学生了解各类最优化模型的数学理论与求解方法；目标2：使学生理解如何应用这些优化模型分析经济学和金融学相关问题。
二、教学内容及其与毕业要求的对应关系本课程主要介绍几种主要的最优化模型的理论与方法，根据最优化模型的类别进行划分，分为无约束最优化和有约束最优化两大类别。
其中，无约束最优化问题的子类别较少、难度相对较低，主要从理论方法和数值方法两方面进行讲解；有约束最优化重点讲解线性规划的单纯形法和非线性规划的库恩塔克条件，在时间允许的情况适当介绍其他类别的高级规划课题。
基本教学内容的框架图如下：本课以课堂讲授为主，间之以案例教学、随堂练习和课后作业，针对适当的问题讲解其计算机程序实现，使学生既能掌握理论，也能动手操作，切实做到理论与实践相结合。
该课程旨在进一步完善金融工程专业学生的数理知识，一方面有利于强化与完善了金融专业学生的数理知识体系，同时结合经济学和金融学实际问题进行讲解学习，锻炼了学生们思考学习的能力，更训练了学生应用数理思维分析经济金融问题的能力，与金融工程专业学生的毕业要求相呼应。
最优化理论课程教学大纲
《最优化理论》课程教学大纲一、课程基本信息
二、课程目标及对毕业要求指标点的支撑
三、教学内容及进度安排
四、课程考核
五、教材及参考资料
教材：《最优化理论与算法（第2版）》,陈宝林著，清华大学出版社，2005年，ISBN：97873021137680
参考书：
1、《最优化方法》，孙文瑜、徐成贤、朱德通主编，高等教育出版社，2004年第一版,ISBN：9787040143751o
2、《最优化理论与方法》，袁亚湘，孙文瑜著，科技出版社，2010年（第二版），ISBN：9787030054135o
3、《最优化计算方法》，黄正海，苗新河著，科技出版社，2015年（第二版），ISBN：9787030433053o
六、教学条件
本课程属于基础理论与应用型课程，对实验条件要求不是很高。
学校实验大楼拥有的计算机软硬件资源，高性能计算机，投影仪等设备，基本能够完成所需的理论计算任务、数值模拟试验以及程序测试等。
需要使用多媒体教室授课，授课电脑安装了WindoWS7、
OffiCe2010、1ingo11Python>Mat1ab2015>Mathematica11>MathTyPe6.9以上版本的正版软件。
附录：各类考核评分标准表。
动态最优化 徐高的笔记
[
]
(2.1.3)
又由分部积分法可得
∫
T
0
Fy′ p ′(t )dt = Fy′ p (t ) 0 − ∫ p (t )
T 0
[
]
T
T d d Fy′ dt = − ∫ p (t ) Fy′ dt 0 dt dt
]
(2.2.13)
此式可以通过画一个图看出。详见蒋中一《动态最优化基础》76 页图 3.1 4
XG’s 动态最优化笔记
由于 ∆T 是任意的，可得横截条件为
[F + (φ ′ − y ′)F ]
y ′ t =T
=0
(2.2.14)
再加上 yT = φ (T ) 可确定曲线。 情形 IV：截断垂直（水平）终结线： 。做法是，先按照垂直终结线（水平终结线）方法 有终结约束 yT ≥ y min （或 T ≤ Tmax ） 求出最优曲线。检查是否符合约束，若是，则结束。否则按照固定终点问题 (T , y min ) （或
(2.1.4)
T dV (ε ) d = ∫ p (t ) Fy − Fy′ dt = 0 0 dε dt
(2.1.5)
由于 p (t ) 是任意函数，要上式成立，则必须有
Fy −
d Fy′ = 0 ，对于所有 t ∈ [0, T ] dt
y′
[欧拉方程]
(2.1.6)
欧拉方程的其它形式
s.t.
m
g (t , y1 ,L, y n ) ≤ c m
F = F + ∑ λi (t ) ci − g i
最优化计算方法(工程优化)第1章
最优化在物质运输、自动控制、机械设计、采矿冶金、经 济管理等科学技术各领域中有广泛应用。下面举几个简单的实 例。
例1：把半径为1的实心金属球熔化后，铸成一个实心圆柱体， 问圆柱体取什么尺寸才能使它的表面积最小？
解：决定圆柱体表面积大小有两个决策变量：圆柱体底面半 径r、高h。
问题的约束条件是所铸圆柱体重量与球重相等。即
优化模型的分类
根据问题的不同特点分类
一般的约束优化问题
标准形式
min
xRn
f
x
s.t. gi x 0, i 1, 2, , m
1） gi x 0 -gi x 0
2）
hi
x
0
hi x 0
-hi
x
0
优化模型的分类
根据函数类型分类
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
yi
a1
1
a3
ln 1
a2 exp
xi
a4 a5
最优化问题举例
例3已：知有从一v旅i 到行团v j从的v旅0费出为发要cij遍，游问城应市如何v1安, v排2 行,..程.,使vn总 ，
费用最小？
模型：
变量—是否从i第个城市到第j个城市
xij 1, 0;
约束—每个城市只能到达一次、离开一次
因此，我们在学习本课程时要尽可能了解如何 由实际问题形成最优化的数学模型。
数学模型: 对现实事物或问题的数学抽象或描述。
最优化问题的数学模型与分类
数学模型的建立
建立数学模型时要尽可能简单，而且要能完整地描 述所研究的系统。
过于简单的数学模型所得到的结果可能不符合实际情 况；而过于详细复杂的模型又给分析计算带来困难。
最优化及最优化方法讲稿
最优化的发展简史
最优化是一个古老的课题。长期以来， 人们对最优化问题进行着探讨和研究。
公元前 500年古希腊在讨论建筑美学中就已 发现了长方形长与宽的最佳比例为1. 618,称为 黄金分割比。其倒数至今在优选法中仍得到广泛 应用。在微积分出现以前，已有许多学者开始研 究用数学方法解决最优化问题。例如阿基米德证 明：给定周长，圆所包围的面积为最大。这就是 欧洲古代城堡几乎都建成圆形的原因。
组合最优化
在给定有限集的所有具备某些条件的子集中，按某种目 标找出一个最优子集的一类数学规划。又称组合规划。 从最广泛的意义上说，组合规划与整数规划这两者的领 域是一致的，都是指在有限个可供选择的方案的组成集 合中，选择使目标函数达到极值的最优子集。
组合最优化发展的初期，研究一些比较实用的基本上属 于网络极值方面的问题 ，如广播网的设计 、开关电路设 计、航船运输路线的计划、工作指派、货物装箱方案等。 自从拟阵概念进入图论领域之后，对拟阵中的一些理论 问题的研究成为组合规划研究的新课题，并得到应用。 现在应用的主要方面仍是网络上的最优化问题，如最短 路问题、最大（小）支撑树问题、最优边无关集问题、 最小截集问题、推销员问题等。
学习该课程的需要具备的基本知识
高等数学 线性代数
学习该课程的要求
态度决定一切 正确理解基本概念和原理 掌握最优化方法的思想 能够运用最优化方法分析解决实际问题
最优化问题
最优化问题的数学模型一般形式 minf((x) max) (1 .1 )（目标函数）
s .t. g ix 0 ,i 1 ,2 ,L m , 1 .2 （不等式约束）
D x g i x 0 , i 1 , 2 , L m , h j x 0 , j 1 , L , p , x R n
动态最优化基础 重点汇总
问题（3）与问题（2）不同，它的最优解的 T 个一阶条件不能分别确定， 而是要同时确定，也就是我们实际上要“．一．次．性．”．确．定．一．条．最．优．路．径．。每产出一
路径对应一个利润（目标值），这种路径（而不是单个值）与到实数之间的映射 关系叫泛．函．。在动态优化中，我们处理的问题的目标函数通常是泛函形式，称为 目．标．泛．函．。简而言之，函数是值到值的对应关系，而泛函是路径到值的对应关系。
max
V
[
y
]
=
T
∫0
F
[t,
y,
u
]dt
（7）
st y = f (t, y,u) y(0) = A y(t) 自由 (A,T给定 ）
（7）与（6）不同：①进入目标函数的不是 y ，而是= f 叫运动（转移状态）方程。②基本形式中 y(T ) 自由，
第一章 变分法
第一节 问题的性质（动态优化简介）
一、静态优化问题
如果一个企业要确定一个最优产出水平 x∗ 以最大利润 F（ x ）：
max x≥0 F (x)
（1）
这样的问题的解是一数，即确定选择变量的单个最优值。通常有一阶条件
F′(x∗) = 0 。 并．不．是．有．多．期．的．时．间．就．是．动．态．问．题．。考虑企业的多期（multiperiod）问题：
问题（3）中，我们假设了一个给定的初始点，即初始时间给定，且初始时 刻的产出（状态）已知。注意初始点有两．个．维．度．：时．间．与．状．态．。有时终结点也给 定的，即已知结束的时间与状态。
三、连续时间情形
问题（2）与（3）的连续时间对应物分别是问题（4）与（5）：
T
max ∫0 F (t, x(t))dt st x(t) ≥ 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f x x, y, f y x, y, 0
两个等式隐含着：
x* x* ,
y* y*
第二讲 基础知识——数学规划简介
（三）包络定理
（1）无约束最优化问题的包络定理
3. 把最优解代入目标函数，得到最优值函数：
V f x* , y* ,
（2）齐次方程情况（常数项为0） dy ay 0 dt 变换得： 1 dy adt y
两边积分得通解：
yt Ce at
把初始条件：y0 y0 代入通解，得定解：
yt y 0 e at
第二讲 基础知识——微分方程简介
（一）具有常系数和常数项的一阶微分方程
（3）非齐次方程情况 dy ay b dt 解由两部分构成： yt yc y p
yc Ce ;
at
b 通解：y t Ce a 把初始条件：y0 y0 代入通解，得定解：
at
b yp a
b at b yt y 0 e ，（a 0） a a
第二讲 基础知识——数学规划简介
（二）不等式约束最优化问题与库恩-塔克条件
1. 具有不等式约束的最优化问题： n个变量，m个不等式约束条件
Min S .T .
f x ,
x En i 1,2,, m
m
g i x 0,
2.构造拉格朗日函数：
x, u f x ui gi x
t
a1 则yc R C1 cos t C2 sin t , 其中：R a 2 , cos 2 a2
t
第二讲 基础知识——差分方程简介
（三）算例 （1）求定解
yt 2 yt 1 2 yt 12, y0 4, y1 5
第二讲 基础知识——数学规划简介
第二讲 基础知识——微分方程简介
（三）具有常系数和常数项的二阶线性微分方程
一种简单形式 yt a1 yt a2 yt b
1）特别积分 y p 的求解
解由两部分构成： yt yc y p
b 若 a2 0，则y p a2
b 若 a2 0，a1 0，则y p t a1 b 2 若 a2 0，a1 0，则y p t 2
（2）求通解：
dy 2ty t dt
第二讲 基础知识——差分方程简介
（一）一阶差分方程
一般形式： yt 1 ayt b
解由两部分构成：yt yc y p 1）特别积分 y p 的求解
yt 1 a yt b, 其中：yt yt 1 yt
第二讲 基础知识——微分方程简介
（二）可变系数和可变项的一阶微分方程
（1）一般形式
dy u t y wt dt
（2）齐次方程情况 dy u t y 0 dt 1 dy u t dt 变换得： y 1 左边积分，得： dy ln y A y 右边积分： ut dt ut dt
T u u1 , u2 ,, un
i 1
第二讲 基础知识——数学规划简介
（二）不等式约束最优化问题与库恩-塔克条件
3. 库恩-塔克定理： 在满足一些条件情况下（略）， 最优解满足以下的库恩-塔克条件：
KT
x, u f x m g i x ui 0, j 1,, n x x j x j i 1 j x, u g x 0, u 0, u g x 0, i 1,, m i i i i u i
动态最优化方法
——第2讲 基础知识简介
第二讲 基础知识——微分方程简介
（一）具有常系数和常数项的一阶微分方程
（1）一般形式
一阶线性微分方程形式：
dy u t y wt dt
u和w为常数时一阶微分方程的形式：
dy uy w dt
第二讲 基础知识——微分方程简介
（一）具有常系数和常数项的一阶微分方程
最优解满足拉格朗日条件： L x x2 0 1 L x1 0 x2 L 6 x1 x2 0
* * * x 3 , x 3 , 3 2 解得： 1 * * 代入目标函数得最优值： z * x1 x2 9
（一）等式约束最优化问题与拉格朗日乘数法
1. 具有等式约束的最优化问题： n个变量，m个等式约束条件
Min S .T .
f x ,
x En i 1,2,, m
x x1 , x2 ,, xn 为自变量向量
T
hi x 0,
2.构造拉格朗日函数：
Lx, f x i hi x
b 若 a 1，则y p 1 a 若 a 1 ，则y p bt
第二讲 基础知识——差分方程简介
（一）一阶差分方程
2）余函数 yc 的求解
yc C a
3）通解
t
b （ , a 1时） 1 a t yt C a bt C bt（ , a 1时） yt C a
4. 包络定理：
dV x* y * fx fy f d 因为： f x 0, f y 0
从而有：
（在最优点，只有外生参数的直接效应是相关的）
dV f d
第二讲 基础知识——数学规划简介
（三）包络定理
（1）无约束最优化问题的包络定理
m
1 , 2 ,, m T 为拉格朗日乘子
i 1
第二讲 基础知识——数学规划简介
（一）等式约束最优化问题与拉格朗日乘数法
3.最优解满足拉格朗日条件：
L
Lx, f x m hi x i 0, x x j x j i 1 j Lx, h x 0, i 1,, m i i
j 1,, n
第二讲 基础知识——数学规划简介
（一）等式约束最优化问题与拉格朗日乘数法
例子：
Min S .T .
拉格朗日函数：
y x1 x2 x1 x 2 6
L x1 x2 6 x1 x2
第二讲 基础知识——数学规划简介
（一）等式约束最优化问题与拉格朗日乘数法
由一阶条件知： P df* w 0
dL
所以有：
* * Pf L wL L* w w
第二讲 基础知识——数学规划简介
（三）包络定理
（1）无约束最优化问题的包络定理
例子： 价格变化对最大化利润的影响：
* df L* L* df L * * f L P * w f L P * w P dL P P dL P
第二讲 基础知识——微分方程简介
（二）可变系数和可变项的一阶微分方程
（2）齐次方程情况
两边相等，有：
ln y A ut dt
通解（余函数）：y e Ae u t dt Ce u t dt c
（3）非齐次方程情况： dy u t y wt dt 通解： yt e u t dt C wt e u t dt dt
1 1 则yc e C1 cos vt C2 sin vt , 其中：h a1 , v 4a2 a12 2 2
ht
第二讲 基础知识——微分方程简介
（四）算例
（1）求定解：
yt yt 2 yt 10, y0 12, y0 2
1 * x , 解得： 1 4 1 * x2 , 2 1 * 最优解： y * x1* x2 4 u* 1
第二讲 基础知识——数学规划简介
（三）包络定理
（1）无约束最优化问题的包络定理
Max
2. 一阶条件是：
1. 无约束最优化问题（两个变量x和y，一个参数 ）
U f x, y,
解由两部分构成： 1）特别积分 y p 的求解
b 若 a1 a2 1，则y p 1 a a 1 2 b t 若 a1 a2 1且a1 2，则y p a1 2 若 a1 2且a2 1，则y p b t 2 2
第二讲 基础知识——差分方程简介
（二）具有常系数和常数项的二阶线性差分方程
2）余函数 yc 的求解
2 若 a1 4a2，（不同的实根） 2 a a 1 1 4 a2 t t 则yc C1r1 C2 r2，其中 : r1 , r2 2 若 a12 4a2，（重实根）
a1 则yc Cr ，其中：r 2 若 a12 4a2，（复根）
t
4）代入初始条件 y0 ，得定解
b b t yt y0 （ , a 1时） a 1 a 1 a yt y0 bt（ , a 1时）
第二讲 基础知识——差分方程简介
（二）具有常系数和常数项的二阶线性差分方程
一般形式：
2 yt 2 a1 yt 1 a1 a2 yt b 其中：yt yt 1 yt , 2 yt yt 1 yt yt 2 2 yt 1 yt yt 2 a1 yt 1 a2 yt b
第二讲 基础知识——数学规划简介
（二）不等式约束最优化问题与库恩-塔克条件