动态最优化 徐高的笔记
动态最优化第10讲 具有约束的最优控制问题
最大值原理的其它条件（运动方程）：
dy H （状态变量的运动方程） dt d H g 1 g 2 1 2 （共态变量的运动方程） dt y y y y
加适当横截条件
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
0 0
Γ T G t , y, u dt k
T 0
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（3）等周问题
问题重新表述为：（两个状态变量的一个无约束问题）
Max S .T .
F t , y, u dt
T 0
dy f t , y, u dt dΓ G t , y, u dt y 0 y0 Γ 0 0 y T 自由 （y0 , T给定） Γ T k （k给定）
0 u1 0 u 2 0 i 0 3
0 3u1 0 3
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（2）不等式约束
如果构造拉格朗日函数为：
F f 1 c1 g 1 2 c2 g 2 即： 0 3u1
dy f t , y, u1 , u 2 dt g t , y, u1 , u 2 c1
1
S .T .
dy f t , y, u1 , u 2 dt g 1 t , y, u1 , u 2 c1 g 2 t , y, u1 , u 2 c2 u1 0
加适当横截条件
第十讲 具有约束的最优控制问题
最优化笔记
< 复习二次型 >
m n
2 二次超曲面 f ( x1 , x2 ,..., xn ) = a n x12 + a n x1 x2 + ... + a1n x1 x 2 + ... + a nm x n = ∑ ∑ a ij xi x j
i =1 j =1
m
n
矩阵 : f ( x1 , x2 ,..., xn ) = ∑ ∑ aij xi x j = [ x1 , x2 ,..., xn ] A [ x1 , x 2 ,..., x n ] = x Τ Ax
n
2 .设 a = [ a 1 , a 2 , ..., a n ] , x = [ x1 , x 2 , ..., x n ] , 则 f ( x1 , x 2 , ..., x n ) = 则 ∇ f ( x ) = [ a 1 , a 2 , ..., a n ]
Τ
Τ
Τ
∑ax
i i =1
i
+ b, 又
⎡ ∂2 f ⎤ 2 ⎢ ⎥ 或∇ f ( x) ⎢ ∂xi ∂x j ⎦ ⎥ nxn ⎣
由 数学 分析 知， f ( x) 在 x 处 的所有二阶偏导连续， 有 ∂2 f ∂2 f = ，i = 1,2,..., n; j = 1,2,..., n; ∂xi ∂x j ∂x j ∂xi
故Hesse矩 阵是 对称 的。
∂f = a i , i = 1, 2, ..., n ∂ xi
∂2 f = a, 且 = 0, i = 1, 2, ..., n , 则 ∇ 2 f ( x ) = 0 ( n xn 阶 零 矩 阵 ∂xi ∂x j
)
§2 多元函数的极值 对于二元函数
动态最优化 徐高的笔记
[
]
(2.1.3)
又由分部积分法可得
∫
T
0
Fy′ p ′(t )dt = Fy′ p (t ) 0 − ∫ p (t )
T 0
[
]
T
T d d Fy′ dt = − ∫ p (t ) Fy′ dt 0 dt dt
]
(2.2.13)
此式可以通过画一个图看出。详见蒋中一《动态最优化基础》76 页图 3.1 4
XG’s 动态最优化笔记
由于 ∆T 是任意的，可得横截条件为
[F + (φ ′ − y ′)F ]
y ′ t =T
=0
(2.2.14)
再加上 yT = φ (T ) 可确定曲线。 情形 IV：截断垂直（水平）终结线： 。做法是，先按照垂直终结线（水平终结线）方法 有终结约束 yT ≥ y min （或 T ≤ Tmax ） 求出最优曲线。检查是否符合约束，若是，则结束。否则按照固定终点问题 (T , y min ) （或
(2.1.4)
T dV (ε ) d = ∫ p (t ) Fy − Fy′ dt = 0 0 dε dt
(2.1.5)
由于 p (t ) 是任意函数，要上式成立，则必须有
Fy −
d Fy′ = 0 ，对于所有 t ∈ [0, T ] dt
y′
[欧拉方程]
(2.1.6)
欧拉方程的其它形式
s.t.
m
g (t , y1 ,L, y n ) ≤ c m
F = F + ∑ λi (t ) ci − g i
动态最优化基础 重点汇总
xT ∗ 。所以
由于作到一产量只影响该期利润，问题（2）实际上是一系列的静态问题，即在 每一期选择当前产量使该期利润最大化。可有类似的 T 个一阶条件。各期的一 阶条件之间没有联系。
二、动态问题
具有动态性质的问题是，当前的产出不但影响到当前的利润，还影响到未 ．．．．． 来 的利润。 ．
1
max ∑ F (t , xt , xt −1 )
1 5⎡ ⎤ V [ y ] = ∫ ⎢3t + ( y′) 2 ⎥dt 1 ⎣ ⎦ st y (1) = 3 , y (5) = 7
ቤተ መጻሕፍቲ ባይዱ解：
F = 3t + ( y ) 2 ⇒ Fy = 0, Fy =
1 3 − − 1 1 ( y ) 2 , Fyy = ( y ) 2 , Fyy = Fty = 0 2 4
四、问题的不同形式
我们后面处理的动态优化问题都是连续的形式 （离散时间问题的处理都可用
2
拉格朗日方法） 。动态优化问题会因端点（起始点与终结点）不同而所有不同。 一般经济学中遇到的问题都可认为起始点设定，下面我们讨论不同终结点的变 形。图 1 表述的固定终结点的三条不同时间路径 A、B、C，目标函数是不同路 径的泛函。这个问题中，终结点已知，时间为 T，状态为 Z，即 x(T ) = z 。 （图 1、图 2、图 3、图 4 略） 图 2：垂直终结线（固定时间）问题；图 3：水平终结线，图 4：终结曲线。 图 2、3、4 中，终结点要自由一些。图 2 中终结的时间已限定，但状态可自 由变化；图 3 中相反；图 4 中时间与状态均未限定，但两者有一个约束条件
问题（3）与问题（2）不同，它的最优解的 T 个一阶条件不能分别确定， 而是要同时确定，也就是我们实际上要“一次性”确定一条最优路径 。每产出一 ．．．．．．．．．．．．． 路径对应一个利润（目标值） ，这种路径（而不是单个值）与到实数之间的映射 关系叫泛函 。在动态优化中，我们处理的问题的目标函数通常是泛函形式，称为 ．． 目标泛函 。 简而言之， 函数是值到值的对应关系， 而泛函是路径到值的对应关系。 ．．．．
数理经济学05-动态最优化基础
第四章 动态最优化基础§4.1 动态最优化的基本问题例：最短路问题图4.1给出了从城市A 到城市B 的路线图（省略了距离单位标注）。
现求一条从A 到B 的最短路线。
图4.1显然，为了从A 到B ，必须先逐步经过C1、C2、C3、C4等诸城市。
而在C1、C2、C3、C4，又都有多种选择。
而关键性的困难是当前的最优选择不一定是全局的最优。
这类问题也称为多阶段决策问题。
§4.2 动态最优化的基本概念阶段：将全过程分为若干个有相互联系的阶段，常用字母t 、k 表示；状态：系统在不同阶段性态。
一般来说，系统在一个阶段有多个状态。
系统在某一阶段的所有可能的状态构成的集合成为状态集，记为S k ；状态变量：表示系统状态的变量，记为s k 。
它与阶段有关；决策：在某一阶段的某一状态下，系统由该状态演变到下一阶段某一状态的选择。
在第k 阶段，处于状态s k 时的所有可能的决策集记为D k （s k ）；决策变量：描述决策的变量，它与阶段与系统在该阶段的状态有关。
在第k 阶段，处于状态s k 时的决策记为d k （s k ）；状态转移：从当前阶段的某一状态转移到下一阶段的某一状态。
状态转移方程：描述状态转移规律的数学方程。
它是当前状态变量与决策变量的函数，即) ,(1k k k k d s T s =+；策略：从起点到终点的每一阶段的决策所构成的决策序列，称为（全局）策略。
自某一阶段起，至终点的决策称为子策略，记为))(,),(()(11,n n k n k s d s d s p =。
指标（目标）函数：性能指标或效用指标，它用来评价决策的效果。
它可分为阶段指标与全局指标两类。
阶段指标是指衡量某一阶段在某一状态下的决策效果的指标。
它仅依赖当前状态和当前决策。
记为))(,(k k k k s d s v ；全局指标是指衡量整个全过程或自某一阶段起至终点的各阶段决策的总体效果的指标。
它是所有各阶段的状态和决策的函数，即动态最优化的主要问题是寻找一个策略，使全局指标最优。
最优化历年考点总结
计算题部分：最速下降法、Newton 法、DFP 变尺度法、Rosen 投影梯度法（2003） 最速下降法、Newton 法、两步法（2004）最速下降法、Newton 法（2005）最速下降法、Newton 法（2007）给出函数要求选用合适方法求解（2003、2004、2005、2007） 名词解释部分：最速下降方向、变尺度法、无约束最优化的梯度算法、内部罚函数法（内点罚函数法）、收敛准则、松弛变量、外点罚函数法、1、最速下降方向：在某一点x,负梯度方向p= –g(x)是使目标函数 f(x)下降最快的方向,称为最速下降方向.2、收敛准则：由于精确的最优解是永远也不可能达到的。
但从工程角度考虑，一个精确度过高的最优解在计量和实施过程中是无法实现和没有必要的。
因此最优化计算只要求得到满足一定精度的近似最优解，而非精确最优解。
判断迭代点是否达到给定精度要求的判别式称之为最优化算法的收敛准则或终止准则。
点距准则：一般来说，迭代点向极小点的逼近速度是逐渐变慢的，越接近极小点相邻迭代点的距离越小。
当相邻迭代点间的距离充分小，并且小于给定的收敛精度0ε>，即有1k k X X ε+-< 时，便可认为点1k X +是满足给定收敛精度的最优解。
于是可令*1k X X +=，输出*X 和*()f X 后终止迭代。
一般取收敛精度6410~10ε--=.值差准则:在迭代点向极小点逼近的过程中，不仅相邻迭代点间的距离逐渐缩短，而且它们的函数值也越来越近。
因此。
可将相邻迭代点的函数值之差作为判断近似最优解的另一个准则，也就是值差准则。
即对于充分小的正数ε，如果1()()k k f X f X ε+-<或者1()()()k k k f X f X f X ε+-<成立， 令*1k X X +=，输出*X 和*()f X 后终止迭代。
梯度准则：由极值理论可知，多元函数在某点取得极值的必要条件是函数在改点的梯度等于零。
最优控制笔记
最优控制又叫动态优化工程技术领域里的过程（物理过程或化学过程），通常都是可以控制的过程控制：使过程的发展变化按人们的需要进行动态优化问题的四个要素：1.建立过程的动态模型（动态系统的状态方程）2.指定所需的初始状态和结束状态（状态方程的边界条件）3.确立在可行控制策略4.性能指标动态系统的变化，可以看成对应状态的变化，其中每一个状态对应着n维状态空间中的一个点，系统的运动将在状态空间中画出一条状态曲线动态系统的状态方程：1.是对研究对象的动态数学建模2.体现了系统运动时应遵循的规律,反映了系统的动态特征3.一般是微分方程组描述状态方程f[x(t),u(t),t]的数学性质：1.f[x(t),u(t),t]是向量函数，维数与状态变量维数相同2.f[x(t),u(t),t]是关于x(t)/u(t)/t的连续函数3.f[x(t),u(t),t]是关于x(t)/t的连续可微函数4.u(t)是关于t的分段连续函数，只有有限个第一类间断点系统的初始时刻t0和初始状态x0一般都是已知的系统的结束时刻tf：固定或者不固定系统的结束状态xf：全部固定/全部不固定/部分固定性能指标：1.要根据实际任务确定，例如过程持续的时间最少/过程消耗的能量最少/成本最小/利益最大等等2.种类：终值型/积分型/复合型,它们都是关于x(t)/t的连续可微函数最优控制一定是容许控制，即最优控制策略（最优控制函数）在控制函数空间中的一个子集中选择当最优控制轨迹确定后，通过系统的状态方程，可以确立对应的最优状态轨迹现代控制理论相对于经典控制理论的优点：1.从时不变系统延伸到时变系统2.从单输入单输出系统延伸到多输入多输出系统3.从频域回到时域，采用能够揭示系统内部各状态变化规律的状态空间描述法最优控制理论属于现代控制理论的分支从数学角度来看，最优控制问题本质上是求泛函极值的变分学问题变分法分为古典变分法和现代变分法（最大值原理/动态规划）古典变分法只能解决容许控制集为开集的最优控制问题实际最优控制问题的容许控制集都是闭集，可以用现代变分法解决函数分为两类：普通函数和泛函普通函数随自变量t变化有确定值对应泛函随普通函数（称为泛函的宗量函数）的形式变化有确定值对应，t已确定或不产生影响复合函数也是普通函数，随自变量t变化有确定值对应具有某些相同特征的所有函数组成一个函数类，或称函数空间在函数空间内，每一个函数（形式不同的）成为函数空间的一个点，例如sin(x)和sin(2x)是正弦函数空间的两个点泛函宗量的变分：1.同一函数空间中的两个函数的差（t已确定或不产生影响）2.宗量的变分仍然是一个普通函数3.这里“变分”的意思是改变量宗量的维数为m时，则宗量的变分在m维函数空间中进行，其中每一维函数空间各自是具有某些相同特征的函数类两个普通函数k阶相近的定义，从几何上来看就是曲线的相似程度两个普通函数间的k阶距离定义，从几何上来看就是曲线的差异程度m维函数空间中，与点[x0(t),x1(t),...xm(t)]距离相同的点构成m维空间中的一个球面泛函k阶连续的定义（利用两个普通函数间的k阶距离来定义）线性泛函的定义：满足齐次性与可加性泛函的变分：1.是泛函增量的关于宗量变分的线性主部2.是关于宗量变分的线性连续泛函3.仍然是一个泛函4.泛函的变分是唯一的5.这里变分的意思相当于普通函数的微分泛函变分的计算公式，是关于宗量变分的泛函，也是关于alpha的普通函数，从普通函数极值条件出发推导得到泛函极值条件求普通函数的极值，必要条件是：极值在稳定点获得，稳定点即普通函数导数为0的点求泛函的极值，必要条件是：极值在泛函变分为0的点取得Lagrange/Mayer/Bolza形式指标的相互转换欧拉--拉格朗日方程的推导过程欧拉--拉格朗日方程是一个二阶微分方程欧拉--拉格朗日方程成立的前提：1.宗量函数对自变量的二阶导数存在2.积分函数二阶连续可微欧拉--拉格朗日方程的能积分出最优解的特殊情况含有多个宗量函数的欧拉--拉格朗日方程组形式等式约束条件下的泛函极值问题采用拉格朗日乘子思想等式约束下的多变量普通函数极值问题，拉格朗日乘子是m维常向量等式约束下的泛函极值问题，拉格朗日乘子是m维普通函数，称为协态变量拉格朗日乘子法的步骤：原问题-->辅助泛函-->解等式约束+欧拉方程-->用边界条件确定未知系数-->判断极大/极小/鞍点等式约束下的泛函极值问题中，拉格朗日乘子（本质上是普通函数）的欧拉方程就是原问题的等式约束条件对于最优控制问题，控制函数u(t)和状态函数x(t)都看成是泛函的宗量，系统的动态方程作为等式约束条件Hamilton函数是泛函，其t的范围由x(t)/u(t)中的t范围确定，可以看成是mayer型泛函Hamilton函数的作用：积分型泛函J对u(t)的等式约束条件极值问题，转换成H对u(t)的无约束条件机制问题Hamilton函数方法解决最优控制问题，是基于必要条件，而不是充分条件Hamilton函数沿着最优空之轨迹和最优状态轨迹，对时间t的全导数等于偏导数当Hamilton函数不显含t时，H是不依赖于t的常数基础数理化：数学是理路，物理和化学是实践；工程中的物理和化学变化过程都是可控的；过程：与时间有关，随着时间推荐的变化，又叫动态过程；动态过程的数学模型又称状态方程，为OEDs或者DAEs形式对一个过程实施控制往往可以选择的策略不唯一，为了使得任务完成得最好，需要选择最优控制策略；最优的意义：根据任务确定的技术或者经济指标，可以是时间上最快、能量上最省、成本最低、利润最大等；状态微分方程f[x(t),u(t),t]是关于u(t),x(t),t的连续函数，是关于x(t),t的连续可微函数，u(t)只有有限个第一类间断点；状态、状态空间、动态系统的变化过程对应于状态空间中的点运动轨迹、点运动轨迹的起始点和结束点就是状态方程的边界条件；系统的初始时间t0和初始状态x0通常是给定的；系统的结束状态根据结束时间tf是否固定和结束状态是否固定可分为6种情况；性能指标的类型：终值型（Mayer型）、积分型（Lagrange型）、复合型（Bolza型；）终值型（Mayer型）是x(t),t的连续可微函数；积分型（Lagrange型）是u(t),x(t)，t的连续函数，是x(t),t的连续可微函数，u(t)只有有限个第一类间断点；注意终值型（Mayer型）指标中不含u(t)；最优控制轨迹往往在m维控制函数空间的一个子集omiga中选择；经典控制论的特点：针对SISO、线性、时不变（定常）、集中参数系统，以laplace变换作为分析工具，频域内；现代控制论的特点：针对MIMO、非线性、时变、分布参数系统，以状态空间分析方法为分析工具，时域内分析；对系统的状态空间描述，最大好处在于能够反映系统内部各状态变量之间的关系；最优控制理论属于现代控制理论的一部分；最优控制问题在数学上来说属于求泛函极值的变分学领域；古典变分法的局限性：只能处理u(t)无约束或者为开集的泛函极值问题；现代变分学的两个代表：最大值原理（苏联，Pontryagin提出）和动态规划（美国，Bellman 提出）；现代计算机的发展推动了控制理论和优化理论的发展与应用，增加了基于计算的科研活动方式；函数分为一般函数和泛函两类；一般函数：自变量形式唯一，当自变量确定为某一值时，函数值也随之确定；泛函：自变量形式和取值（范围）已经确定，当宗量函数形式确定时，泛函值也随之确定；复合函数属于一般函数；终值型泛函中，tf能被确定，所以泛函值取决于终值型泛函的宗量形式；积分型泛函中，被积函数往往是u(t),x(t),dx(t)/dt,t的函数，u(t),x(t)都属于积分型泛函的宗量；积分型泛函中，由于宗量的维数大于1：宗量为u(t),x(t)，且各自维数也可能大于1，所以积分型泛函属于多维泛函（宗量为多维，在多维函数空间内取值）；Hamiltonian属于多维泛函，自变量取值范围为t0~tf，宗量包括控制函数u(t),状态函数x(t)，协态函数y(t);函数空间：具有相同性质的函数类（按函数不同形式区分函数类中的单个函数），构成了一维函数空间（一根轴），每个属于该函数类的具体形式函数都是该一维函数空间（轴）上的一个点；宗量函数的变分deltax(t)：是同一函数类中两个一般函数的差，或者说是某一维函数空间中两个点之间的距离，本质上仍然是一个一般函数；一般函数相近的几何意义：曲线形态相似；泛函连续性的定义及与宗量函数相近（宗量函数的变分趋于0）的关系；线性泛函的定义：满足针对宗量函数的齐次性和可加性（将宗量看成一般函数的自变量）；泛函变分detalJ[x(t)]：是泛函增量关于“宗量函数变分”的线性主部，是关于“宗量函数变分”的线性连续泛函，本质是泛函；泛函的变分具有唯一形式；求一个泛函的变分不直接使用定义，而用偏导数方法获得，这与一般函数的微积分知识相似；泛函达到极值的必要条件：泛函在宗量函数x*(t)处的变分为0，有三种情况：非极值，极大值，极小值；古典变分法中的欧拉方程由积分型泛函变分为0的必要条件推出，所以欧拉方程也是泛函达到极值的必要条件；欧拉方程本质上是一个二阶偏微分方程；欧拉方程成立的前提是:L[x(t),dx(t)/dt,t]对宗量函数x(t)、宗量函数的导数dx(t)/dt、自变量t存在二阶偏导数；注意L[x(t),dx(t)/dt,t]本身不能称为泛函（自变量的值没有给定），也不能称为宗量函数（宗量函数是x(t)）；欧拉方程可以求解的条件：L[x(t),dx(t)/dt,t]中不显含x(t)、dx(t)/dt、t三者其一或其二；宗量函数为向量函数时，欧拉方程也成为向量二阶偏微分方程（二阶偏微分方程组）；phi(tf)这条终端曲线实际靠测试获得，并作为已知曲线；横街条件反应的是：极值曲线终端斜率与给定曲线斜率之间的关系横街条件成立的前提：L[x(t),dx(t)/dt,t]对宗量函数x(t)、宗量函数的导数dx(t)/dt、自变量t存在二阶偏导数；phi(t)对自变量t存在一阶偏导数；终端点可变情况下，泛函极值的必要条件共有两个：欧拉方程、横街条件；Lagrange型泛函的一阶变分和二阶变分的表达式；泛函极值属性的判断需要借助二阶变分表达式，它是一个对称函数矩阵；涉及到最优控制问题时，最优状态轨迹不仅要使目标函数最优，更重要的是满足系统的状态方程；系统的状态方程（等式）可以看成是求泛函极值问题时的微分等式约束；带等式约束的泛函极值问题，处理思想和一般函数的等式约束极值问题思路一样，采用拉格朗日乘子法思想；带等式约束的泛函极值问题，拉格朗日乘子是一般函数（一般函数的等式约束极值问题中，拉格朗日乘子是常数）；带等式约束的泛函极值问题，与一般函数的等式约束极值问题相比，梯度为0的必要条件进化成为变分为0（欧拉方程的满足）；带等式约束的泛函极值问题，原等式约束可以视为F[x(t),dx(t)/dt,lamda(t),t]对宗量函数lamda(t)的欧拉方程；利用古典变分法求解最优控制问题，是将控制函数u(t)和拉格朗日乘子函数lamda(t)都作为泛函的宗量函数；Hamiltonian的作用是将dx(t)/dt从F[u(t),x(t),dx(t)/dt,lamda(t),t]中分离出去，它们的关系是：H[u(t),x(t),lamda(t),t]=F[u(t),x(t),dx(t)/dt,lamda(t),t]-lamda(t)dx(t)/dt正则方程组的推导既可以从F[u(t),x(t),dx(t)/dt,t]的欧拉方程推导，也可以直接从变分=0的必要条件推导（欧拉方程从变分=0的必要条件中推导出来）；推导tf固定、tf自由时的最优控制问题必要条件时，辅助函数的做法：终态约束等式约束放在积分号外面，状态方程等式约束放在积分号里面；tf固定时的三种情况：x(tf)固定（仅需要欧拉方程无需横截条件）属于x(tf)自由的特殊情况，x(tf)自由又属于x(tf)受约束的情况；tf自由时的三种情况：x(tf)固定（仅需要欧拉方程无需横截条件）属于x(tf)自由的特殊情况，x(tf)自由又属于x(tf)受约束的情况；tf固定又属于tf自由时的特殊情况，仅缺少关于最优时间的方程，所以6种情况最终都可以归类为tf自由、x(tf)受约束的情况处理；Hamiltonian沿着最优控制轨迹和最优状态轨迹（即H[u(t),x(t),lamda(t),t]中的u(t),x(t),lamda(t)都在最优轨迹上取值）时，对时间的偏导数等于对时间的全导数；以上性质说明：沿着最优控制轨迹和最优状态轨迹时，若Hamiltonian不显含t，则Hamiltonian为常数；不等式约束泛函极值问题？古典变分法要求u(t)属于一个全函数空间或者一个函数空间中的开集；现代变分法从实际出发，u(t)可以属于一个函数空间中的闭集；现代变分法中的代表：极小值原理（苏联，Pontryagin）和动态规划（美国，Bellman）极小值原理比古典变分法的进步：u(t)可以属于一个函数空间内的闭集，不要求Hamiltonian对u(t)可微；当u(t)属于一个函数空间内的闭集时，H对u(t)的偏导数可能不为0（在闭函数空间内取不到极点）、deltau(t)可以为0，两方面原因造成古典变分法不再适用；与古典变分法对应的是，极小值原理也有6种情况，最普遍的是tf可变、x(tf)受约束的情况；对于tf可变的情况，需要增加一个确定tf的方程（属于横截条件的一部分）；Hamiltonian达到极小值的定义？极小值原理仅是最优控制问题的必要条件；如果x(tf)有终端约束，那么两点边值问题的求解难度会增加很多，常用方法为打靶法（扫描法）；协态变量就是等式约束泛函极值问题的拉格朗日乘子函数；状态变量终态的自由与固定，对应协态变量终态的固定与自由；状态变量微分方程求解联合协态变量微分方程求解体现了原问题--对偶问题的共同求解思想？目标泛函对u(t)求偏导，实际是泛函对宗量函数求偏导；从理论分析可以得到，目标泛函对u(t)的梯度（偏导数）在最优控制问题中与Hamiltonian 对u(t)的梯度（偏导数）等价；最优控制（动态优化）问题转换成静态优化问题的理论：通过对u(t)的离散化，将函数空间变为向量空间？从而可以直接使用静态优化算法；处理x(tf)受约束的方法除了惩罚函数法还有其他方法没？。
dynamic optimization 中译本
动态优化（dynamic optimization）是一种在不确定性环境下对系统进行优化的方法。
随着信息技术的发展和应用范围的扩大，动态优化在实际问题中得到了广泛的应用和研究。
1.动态优化的概念动态优化是指在不断变化的环境下，通过调整系统的参数或策略，以达到最优化的目标。
在这种情况下，传统的静态优化方法往往不再适用，因为系统不再是静态的，而是不断变化的。
动态优化的目标可以是最大化收益、最小化成本、或者在特定约束条件下达到最优的状态。
2.动态优化的应用领域动态优化的应用领域非常广泛，包括但不限于生产调度、资源分配、供应链管理、金融投资、能源管理等。
在这些领域中，由于环境的变化和不确定性因素的影响，传统的优化方法往往无法达到预期的效果，因此需要采用动态优化的方法来解决问题。
3.动态优化的方法动态优化的方法包括动态规划、强化学习、遗传算法、粒子群优化等。
这些方法通过对环境的监测和学习，不断调整系统的参数或策略，以适应环境的变化，并达到最优的目标。
其中，动态规划是一种经典的动态优化方法，通过将问题分解为子问题，并利用子问题的最优解来推导出原问题的最优解。
4.动态优化的挑战虽然动态优化在理论上是非常有吸引力的，但在实际应用中也面临着很多挑战。
其中包括环境的不确定性、系统的复杂性、数据的稀疏性等。
这些挑战使得动态优化的方法在实际应用中往往需要更多的技术和经验的积累。
5.动态优化的未来随着数据技术和人工智能的发展，动态优化的方法也在不断地得到改进和完善。
未来，动态优化的方法将更加注重对环境的感知和学习能力，以适应更为复杂和不确定的环境，并在更多的领域中得到应用。
动态优化是一种在不确定性环境下对系统进行优化的方法，它在生产调度、资源分配、供应链管理、金融投资、能源管理等领域得到了广泛的应用和研究。
在实际应用中，动态优化面临着诸多挑战，但随着数据技术和人工智能的不断发展，动态优化的方法也在不断地得到改进和完善。
未来，动态优化将在更多的领域中得到应用，并发挥越来越重要的作用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[
]
(2.1.3)
又由分部积分法可得
∫
T
0
Fy′ p ′(t )dt = Fy′ p (t ) 0 − ∫ p (t )
T 0
[
]
T
T d d Fy′ dt = − ∫ p (t ) Fy′ dt 0 dt dt
F (t , y, y ′) = 0 ，则该积分收敛。
条件 II：
∫
∞
0
F (t , y, y ′)dt 中，如果被积函数具有形式 G (t , y, y ′)e − ρt ，其中 ρ > 0 且 G 有界，
则该积分收敛。 横截条件
[F − y ′F ]
y ′ t →∞
∆T + Fy′
[ ]
t →∞
∫ F dt = F
y
(2.1.7) (2.1.8)
Fy′y′ y ′′(t ) + Fyy′ y ′(t ) + Fty′ − Fy = 0
特殊情形下的欧拉方程
2
XG’s 动态最优化笔记
情形 I： F = F (t , y ′) ，解为
Fy′ = 常数
情形 II： F = F ( y , y ′) ，解为
s.t.
m
g (t , y1 ,L, y n ) ≤ c m
F = F + ∑ λi (t ) ci − g i
i =1 m
M
(
)
(2.5.6)
由欧拉方程
Fyj −
及互补松弛条件 可求得最优值。 等周问题
λi (t )(ci − g i ) = 0 ， t ∈ [0, T ] ， (i = 1,2,L, m)
Fyj −
不等式约束
d F y′ = 0 t ∈ [0, T ] dt j
T
( j = 1,2, L, n)
(2.5.4)
′ , L, y n ′ )dt V [ y1 ,L, y n ] = ∫ F (t , y1 ,L, y n , y1
0
(2.5.5)
g 1 (t , y1 ,L, y n ) ≤ c1
y ′ t =T
∆T + Fy′
[ ]
t =T
∆yT = 0
(2.2.10)
一般的横截条件（2.2.10）可以写成各种具体形式 特殊横截条件 情形 I：垂直终结线（固定时间水平问题） ： 由 ∆T = 0 ， F − y ′Fy′
[
]
t =T
∆T = 0 自动满足，可得（自然边界条件）
(2.2.11)
XG’s 动态最优化笔记
动态最优化1
徐 高2
1． 预备知识
1.1 目标泛函
标准问题：
V [ y ] = ∫ F [t , y (t ), y ′(t )]dt
T 0
(1.1.1)
迈耶问题（终结控制问题） ：
V [ y ] = G[T , y (T )]
博尔扎问题：
(1.1.2)
V [ y ] = ∫ F [t , y (t ), y ′(t )]dt + G[T , F − λG ， （ λ =常数）
得必要条件欧拉方程为
(2.5.10)
6
XG’s 动态最优化笔记
Fy −
d Fy′ = 0 dt
(2.5.11)
3． 最优控制理论
3.1 最大值原理
最优控制的最简单问题
max V = ∫ F (t , y, u )dt
0
T
(3.1.1)
s.t.
& = f (t , y, u ) y y (0) = A ,， y (T ) 自由（A，T 给定） u (t ) ∈ u ，对所有 t ∈ [0, T ]
∆yT = 0
(2.4.4)
两项中的任一项都必须单独趋于零。
5
XG’s 动态最优化笔记
2.5 约束问题
等式约束
′ , L, y n ′ )dt V [ y1 ,L, y n ] = ∫ F (t , y1 ,L, y n , y1
0
T
(2.5.1)
g 1 (t , y1 ,L , y n ) = c1
2． 变分法
2.1 变分法的基本问题
基本问题
max(min)V [ y ] = ∫ F [t , y (t ), y ′(t )]dt
T 0
(2.1.1)
s.t.
y (0) = A （A 给定） y (T ) = Z （T，Z 给定）
一阶条件（欧拉方程）的推导 推导的思路是将泛函极值的问题转化为一个一元函数极值的问题， 这样就可以用求驻点 的方法得到极值。 设 y (t ) 为最优函数，则满足约束的任意函数可以表示为 y (t ) + εp (t ) 。其中 p (t ) 是任
[欧拉—泊松方程]
(2.1.16)
2.2 可变端点的横截条件 max(min)V [ y ] = ∫ F [t , y (t ), y ′(t )]dt
T
0
(2.2.1)
s.t.
y (0) = A （A 给定）
y (T ) = yT （T， yT 给定）
一般横截条件的推导 推导的思想仍然是将泛函的极值问题转化为一个一元函数极值的问题。 不同的是需要将 终点也表示为 ε 的函数。
]
(2.2.13)
此式可以通过画一个图看出。详见蒋中一《动态最优化基础》76 页图 3.1 4
XG’s 动态最优化笔记
由于 ∆T 是任意的，可得横截条件为
[F + (φ ′ − y ′)F ]
y ′ t =T
=0
(2.2.14)
再加上 yT = φ (T ) 可确定曲线。 情形 IV：截断垂直（水平）终结线： 。做法是，先按照垂直终结线（水平终结线）方法 有终结约束 yT ≥ y min （或 T ≤ Tmax ） 求出最优曲线。检查是否符合约束，若是，则结束。否则按照固定终点问题 (T , y min ) （或
* * 假设 T 是已知的最优终结时间。则 T 邻近的任何 T 可以表示为
T = T * + ε∆T
其中， ε 为一个很小的数， ∆T 代表任意取定的 T 的小变动。则
(2.2.2)
3
XG’s 动态最优化笔记
dT dT (ε ) = = ∆T dε dε
式(2.2.1)的极值等价于以下函数的极值
(2.2.3)
0
T
(2.1.13) (2.1.14) (2.1.15)
Fyj −
T
d Fy′j = 0 ( j = 1,2, L, n) dt
[欧拉方程组]
V [ y ] = ∫ F (t , y, y ′, y ′′,L, y ( n ) )dt
0
Fy −
n d d2 n d Fy′ + 2 Fy′′ − L + (− 1) F (n) = 0 dt dt dt n y
d F y′ = 0 ， t ∈ [0, T ] ， ( j = 1,2, L, n) dt j
(2.5.7) (2.5.8)
′ , L, y n ′ )dt V [ y1 ,L, y n ] = ∫ F (t , y1 ,L, y n , y1
0
T
(2.5.9)
′ ,L, y n ′ )dt = k1 G 1 (t , y1 ,L, y n , y1 M s.t. T m ∫ G (t , y1 ,L, y n , y1′ ,L, y n′ )dt = k m
最大值原理 汉密尔顿函数4
H (t , y, u , λ ) ≡ F (t , y, u ) + λf (t , y, u )
(Tmax , yT ) ）求解问题。
2.3 二阶条件
充分性定理：对于固定端点问题（2.1.1） ，如果 F (t , y, y ′) 关于 ( y , y ′) 是凹（凸）的， 那么欧拉方程对识别 V [ y ] 一个绝对最大值（最小值）是充分的。 对于可变端点问题， F (t , y, y ′) 的凹（凸）性，加上欧拉方程及横截条件，对识别 V [ y ] 的一个绝对最大值（最小值）是充分的
(2.2.5)
由
∫
T (ε )
0
T ∂F d dt = ∫ p (t ) Fy − Fy′ dt + [ Fy′ ]t =T p (T ) 0 ∂ε dt
(2.2.6)
得问题（2.2.1）的一阶条件为
∫
T
0
d p (t ) Fy − Fy′ dt + [ Fy′ ]t =T p (T ) + [ F ]t =T ∆T = 0 dt
(2.2.7)
由于 （2.2.7） 中的三项均含有任意元素， 故三项必须分别为零。 第一项可导出欧拉方程， 后二项导出横截条件。 又 则
∆yT = p(T ) + y ′(T )∆T 3 p(T ) = ∆yT − y ′(T )∆T
(2.2.8) (2.2.9)
故，一般的横截条件为
[F − y ′F ]
T 0
(1.1.3)
三种问题的转化：令 z (t ) ≡ G[t , y (t )] ，满足 z (0) = 0 ，则 可将迈耶问题与博尔扎问题均转化成为标准问题。
∫
T
0
z ′(t )dt = z (t ) 0 = G[T , y (T )] 。
T
1.2 求导一个定积分
I ( x) ≡ ∫ F (t , x)dt