北航最优化方法作业答案uco_trustregion
北航最优化方法大作业参考
1 流量工程问题1.1 问题重述定义一个有向网络G=(N,E)，其中N是节点集，E是弧集。
令A是网络G的点弧关联矩阵，即N×E阶矩阵，且第l列与弧里(I,j)对应，仅第i行元素为1，第j行元素为-1，其余元素为0。
再令b m=(b m1,…,b mN)T，f m=(f m1,…,f mE)T，则可将等式约束表示成：Af m=b m本算例为一经典TE算例。
算例网络有7个节点和13条弧，每条弧的容量是5个单位。
此外有四个需求量均为4个单位的源一目的对，具体的源节点、目的节点信息如图所示。
这里为了简单，省区了未用到的弧。
此外，弧上的数字表示弧的编号。
此时，c=((5,5…,5)1 )T，×13)。
根据上述四个约束条件，分别求得四个情况下的最优决策变量x=((x12,x13,…,x75)1×13图 1 网络拓扑和流量需求1.2 7节点算例求解1.2.1 算例1（b1=[4;-4;0;0;0;0;0]T）转化为线性规划问题：Minimize c T x1Subject to Ax1=b1x1>=0利用Matlab编写对偶单纯形法程序，可求得:最优解为x1*=[4 0 0 0 0 0 0 0 0 0 0 0 0]T对应的最优值c T x1=201.2.2 算例2（b2=[4;0;-4;0;0;0;0]T）Minimize c T x2Subject to Ax2=b2X2>=0利用Matlab编写对偶单纯形法程序，可求得:最优解为x2*=[0 4 0 0 0 0 0 0 0 0 0 0 0]T对应的最优值c T x2=201.2.3 算例3（b3=[0;-4;4;0;0;0;0]T）Minimize c T x3Subject to Ax3=b3X3>=0利用Matlab编写对偶单纯形法程序，可求得:最优解为x3*=[4 0 0 0 4 0 0 0 0 0 0 0 0]T对应的最优值c T x3=401.2.4 算例4（b4=[4;0;0;0;0;0;-4]T）Minimize c T x4Subject to Ax4=b4X4>=0利用Matlab编写对偶单纯形法程序，可求得:最优解为x4*=[4 0 0 4 0 0 0 0 0 4 0 0 0]T对应的最优值c T x4=601.3 计算结果及结果说明1.3.1 算例1（b1=[4;-4;0;0;0;0;0]T）算例1中，由b1可知，节点2为需求节点，节点1为供给节点，由节点1将信息传输至节点2的最短路径为弧1。
北航最优化大作业
北航最优化大作业1.引言旅行商问题（Traveling Salesman Problem，TSP）是一种经典的组合优化问题，目标是找到一条路径，使得旅行商从起点出发，途经所有城市一次后返回起点，并且总路径长度最短。
TSP问题具有NP-hard的特性，寻找最优解是一个非常具有挑战性的任务。
本文将基于禁忌算法，探讨TSP问题的求解方法。
2.禁忌算法简介禁忌算法是一种基于局部的元启发式算法，通过在过程中禁止一定的动作来跳出局部最优解，以期望获得更好的全局最优解。
算法通过引入禁忌表和禁忌长度等机制，避免过程中陷入局部最优解。
3.TSP问题的数学建模假设有n个城市，城市之间的距离可以表示为一个n×n的距离矩阵D。
TSP问题的目标可以定义为：min ∑_(i=1)^n ∑_(j=1)^(n) D_ij*x_ijs.t. ∑_(i=1)^n x_ij=1,∑_(j=1)^n x_ij=1,∀i ≠ jx_ij∈{0,1}, 1≤i,j≤n其中x_ij表示城市i与城市j之间的路径是否存在，1表示存在，0表示不存在。
4.禁忌算法在TSP问题中的应用（1）初始化选取一个起始解x，计算其路径长度f(x)。
将x设为当前解x_best，将f(x)设为当前解的最优值f_best。
（2）选择邻域解选择当前解的一个邻域解x'，使得x'与x只有一个位置上的交换。
通过随机选择两个位置，进行交换操作。
（3）禁忌判断如果邻域解x'的路径长度f(x')小于当前解的最优值f_best，则更新f_best为f(x')，并将x'设为新的当前解。
否则，比较x'与当前解的禁忌情况。
（4）禁忌更新如果x'未在禁忌表中，或者禁忌表中对应的禁忌周期已过，则将x'设为新的当前解。
否则，选择一个路径长度较短的邻域解x''，即使其路径长度f(x'')大于f_best。
北航最优化方法最新最全答案2015版
将此问题化成线性规划.
minimize f (x)
x∈Rn
subject to Ax = b
x ≥ 0.
5
解: 引入变量 t ，所给问题等价于
minimize t subject to f (x) = t,
Ax = b, x ≥ 0.
考虑问题
minimize t
subject to f (x) ≤ t, Ax = b,
4. 单纯形法的练习：习题2.10，习题2.11，习题2.12，习题2.13，习题2.20(说明单纯形 法的效率的一般性例子中，自变量为三个时所得问题)，习题2.21(说明单纯形法采用最小 相对费用系数进基原则确定进基变量时，如果所求解问题是退化的，则单纯形法会出现 循环！)，习题2.31.
5. 两阶段法的练习：习题2.14-习题2.16；大 M 法的练习：习题2.18.
2u1 − 2v1 + u3 − v3 = 3, ui, vi, s ≥ 0, i = 1, 2, 3.
方法2: 引入非负变量 t1, t2, t3 ，将原问题转化成等价问题
minimize t1 + t2 + t3 subject to x + y ≤ 1,
2x + z = 3, |x| = t1, |y| = t2, |z| = t3.
(c)
minimize subject to
x1 + 4x2 + x3 x1 − 2x2 + x3 = 4 x1 − x3 = 1
x2 ≥ 0, x3 ≥ 0.
解:
(c) 由于变量 x1 无限制，可利用约束 x1 = x3 + 1 对其消去. 因此，得其标准形
北航最优化大作业
图 18: 前两行为迭代点 xk, 后面一行为梯度的 2 范数，显然，前两行行都趋于无穷大，发散，梯度的 2 范数 趋于 13.4536（从 matlab 变量表格中得到）。 4: 初始点 x(0) = (10, 20)T 前两行为迭代点 xk, 后面一行为梯度的 2 范数，显然，前两行行都趋于无穷大，发散，梯度的 2 范数 趋于 13.4536（从 matlab 变量表格中得到）。
33
图 57: 7、9、11、13 迭代停止测试。
当 n=50 时，解 x*=[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1, 1,1,1,1,1,1,1,1, 1,1,1,1,1,1,1,1,1,1] 判断矩阵：
图 58: 可以发现，没有发现负曲率的情况，第 1 和第 2 次的迭代到了边界，第 4、6、8、10、12、14、16 次 迭代到了边界。
▽f (x) = g = −400x1(x2 − x21) + 2x1 − 2
200(x2 − x21)
[
]
▽2f (x) = G = 1200x21 − 400x2 + 2 −400x1
−400x1
200
14
4.1 最速下降法
代码和流程图：
图 33:
图 34: 15
4.1.1 初始点为 (1.2,1.2)
++
)
x1 + x12 − 100
x11
x1
−
50 1
−
x2
−10 − µ(
++
)
x1 + x2 − 100 x2 −x1 + 50 + x2
北航最优化方法最新最全答案2015版详解
部分习题参考解答
刘红英 编
北京航空航天大学数学与系统科学学院 2015 年 5 月
内容简介
本书是《数学规划基础》(刘红英，夏勇，周水生，北京航空航天大学出版社，2012.10)的 配套教学辅导材料，较详细地给出了该教材各章后部分习题的参考解答.
前言
本习题解答自 2008 年春季开始编写，当时由硕士研究生阎凤玉提供部分习题解答， 经讨论和确认后，由作者首次录入排版. 后来陆续参加习题解答修订的硕士研究生包括王 浩、欧林鑫、朱丽媛、易彩霞和杨茜，其中的数值结果由欧林鑫提供. 作者在此向他们的 辛勤劳动表示衷心的感谢.
本解答得到了？项目的资助，在此表示感谢. 由于这些参考解答尚未经过特别严格的校对，仅供参考. 任何意见、建议或其它反馈 都可以发送至liuhongying@，在此深表感谢.
刘红英 2015.5 于北京
目录
第一章 引言
1
第二章 线性规划: 基本理论与方法
3
第三章 线性规划：应用及扩展
maximize 200x + 60y + 206z
subject to 3x + y + 5z ≤ 8000000
5x + y + 3z ≤ 5000000
x, y, z ≥ 0, 且 x, y, z 是整数.
忽略掉整性要求后，调用 Matlab 中的 linprog.m 函数求解，得最优解 x = 0, y = 500000, z = 1500000，自动满足整性要求.
(x)(∇ri
(x))T
2A(x)T A(x).
1.6 考虑向量值函数 f (x) : Rn → Rm ，设 f 的每个分量函数 fi(x) 在 x′ 都可微. 写出 f 在 x′ 的Taylor展式，请用 A(x)T 表示 ∇f (x)T (= [∇f1(x), · · · , ∇fm(x)]).
最优化方法信赖域方法
最优化方法信赖域方法Trusted Domain Method of Optimization Methods一、概述信赖域（Trusted Domain）法是一种针对多目标最优化问题的优化方法，属于启发式优化技术，又被称为受信域法（Credible Domain）法或者受信域增强法（Credible Domain Enhancement）。
它由A.K.Chentsov在1980年提出，目前已经在工业优化、控制优化、混合模糊优化等领域有广泛的应用。
信赖域法使多目标最优化问题中的搜索变得更加有效和快捷，可以很好地处理多目标最优化问题中的非凸性和高维问题，使最优解更容易被获取。
二、原理信赖域方法优化的原理是：在解空间中划分子空间，在每个子空间中进行最优优化，同时进行领域大小的优化，以找到最优解。
（1）划分的子空间划分的子空间由一组不可分割的解空间，即称为“信赖域（Trusted Domain）”确定，有一种收敛性的在同一信赖域上的解空间集合，该信赖域中必须包含一个或多个最优解点。
（2）之分的子空间有效性在信赖域中，有一种收敛性的解空间，该解空间必须包含一个或多个最优解点，且此处解的收敛性可以满足要求。
由此可以看出，划分的子空间有效的充分利用解空间，能够使对最优解的搜索效率更高，更快地找到最优解。
（3）领域大小的优化在划分解空间时，信赖域方法重点考虑领域大小的优化，以缩小搜索空间大小，并引导搜索过程朝最优解的方向发展。
三、应用1.工业优化信赖域方法已经在工业优化领域得到应用，使多目标工业优化问题中的搜索更加有效和快捷，可以很好地处理多目标最优化问题中的非凸性和高维问题，使最优解更容易被获取。
2.控制优化由于信赖域方法能够有效地处理多目标非凸性和高维问题，因此已经在控制优化中得到应用，用于设计准确性好的控制系统。
3.混合模糊优化信赖域方法在混合模糊优化领域也有应用，可以用来解决特殊类型的模糊控制优化问题，来有效地提高优化中的效率和准确性。
最优化方法练习题答案
练习题一1、建立优化模型应考虑哪些要素? 答：决策变量、目标函数和约束条件。
2、讨论优化模型最优解的存在性、迭代算法的收敛性及停止准则。
答：针对一般优化模型()()min ()..0,1,2, 0,1,,i j f x s t g x i m h x j p≥===，讨论解的可行域D ，若存在一点*X D ∈，对于X D ∀∈ 均有*()()f X f X ≤则称*X 为优化模型最优解，最优解存在；迭代算法的收敛性是指迭代所得到的序列(1)(2)(),,,K X X X ，满足(1)()()()K K f X f X +≤，则迭代法收敛；收敛的停止准则有(1)()k k x x ε+-<，(1)()()k k k x x x ε+-<，()()(1)()k k f x f x ε+-<，()()()(1)()()k k k f x f x f x ε+-<，()()k f x ε∇<等等。
练习题二1、某公司看中了例2.1中厂家所拥有的3种资源R 1、R2、和R 3，欲出价收购（可能用于生产附加值更高的产品）。
如果你是该公司的决策者，对这3种资源的收购报价是多少？（该问题称为例2.1的对偶问题）。
解：确定决策变量 对3种资源报价123,,y y y 作为本问题的决策变量。
确定目标函数 问题的目标很清楚——“收购价最小”。
确定约束条件 资源的报价至少应该高于原生产产品的利润，这样原厂家才可能卖。
因此有如下线性规划问题：123min 170100150w y y y =++1231231235210..23518,,0y y y s t y y y y y y ++≥⎧⎪++≥⎨⎪≥⎩ *2、研究线性规划的对偶理论和方法（包括对偶规划模型形式、对偶理论和对偶单纯形法）。
答：略。
3、用单纯形法求解下列线性规划问题：（1）⎪⎪⎩⎪⎪⎨⎧≥≤+-≤++≤-++-=0,,43222..min32131321321321x x x x x x x x x x x t s x x x z ； （2）⎪⎪⎩⎪⎪⎨⎧=≥=++=+-=+-+-=)5,,2,1(052222..4min 53243232132 i x x x x x x x x x x t s x x z i解：（1）引入松弛变量x 4，x 5，x 6123456min 0*0*0*z x x x x x x =-++++12341232 =22 5 =3..13 6=41,2,3,4,5,60x x x x x x x x s t x x x x x x x x x +-+⎧⎪+++⎪⎨-++⎪⎪≥⎩因检验数σ2<0，故确定x 2为换入非基变量，以x 2的系数列的正分量对应去除常数列，最小比值所在行对应的基变量x 4作为换出的基变量。
最优化计算方法课后习题答案----高等教育出社。施光燕
习题二包括题目： P36页 5（1）（4）5（4）习题三包括题目：P61页 1(1)(2); 3; 5; 6; 14；15(1) 1(1)(2)的解如下3题的解如下5,6题14题解如下14. 设22121212()(6)(233)f x x x x x x x =+++---, 求点在(4,6)T-处的牛顿方向。
解：已知 (1)(4,6)T x=-，由题意得121212212121212(6)2(233)(3)()2(6)2(233)(3)x x x x x x x f x x x x x x x x +++-----⎛⎫∇= ⎪+++-----⎝⎭∴ (1)1344()56g f x -⎛⎫=∇=⎪⎝⎭21212122211212122(3)22(3)(3)2(233)()22(3)(3)2(233)22(3)x x x x x x x f x x x x x x x x +--+--------⎛⎫∇= ⎪+--------+--⎝⎭∴ (1)2(1)1656()()564G x f x --⎛⎫=∇=⎪-⎝⎭(1)11/8007/400()7/4001/200G x --⎛⎫= ⎪--⎝⎭∴ (1)(1)11141/100()574/100d G x g -⎛⎫=-=⎪-⎝⎭15（1）解如下15. 用DFP 方法求下列问题的极小点（1）22121212min 353x x x x x x ++++解：取 (0)(1,1)T x=，0H I =时，DFP 法的第一步与最速下降法相同2112352()156x x f x x x ++⎛⎫∇= ⎪++⎝⎭， (0)(1,1)T x =，(0)10()12f x ⎛⎫∇= ⎪⎝⎭(1)0.07800.2936x -⎛⎫= ⎪-⎝⎭， (1)1.3760() 1.1516f x ⎛⎫∇= ⎪-⎝⎭以下作第二次迭代(1)(0)1 1.07801.2936x x δ-⎛⎫=-= ⎪-⎝⎭， (1)(0)18.6240()()13.1516f x f x γ-⎛⎫=∇-∇= ⎪-⎝⎭0110111011101T T T TH H H H H γγδδδγγγ=+- 其中，111011126.3096,247.3380T T TH δγγγγγ===111.1621 1.39451.3945 1.6734Tδδ⎛⎫= ⎪⎝⎭ ， 01101174.3734113.4194113.4194172.9646T TH H γγγγ⎛⎫== ⎪⎝⎭所以10.74350.40560.40560.3643H -⎛⎫= ⎪-⎝⎭(1)(1)1 1.4901()0.9776dH f x -⎛⎫=-∇= ⎪⎝⎭令 (2)(1)(1)1xx d α=+ ， 利用 (1)(1)()0df x d d αα+=，求得 10.5727α=-所以 (2)(1)(1)0.77540.57270.8535xx d⎛⎫=-= ⎪-⎝⎭ ， (2)0.2833()0.244f x ⎛⎫∇= ⎪-⎝⎭以下作第三次迭代(2)(1)20.85340.5599x x δ⎛⎫=-= ⎪-⎝⎭ ， (2)(1)2 1.0927()()0.9076f x f x γ-⎛⎫=∇-∇= ⎪⎝⎭22 1.4407T δγ=- ， 212 1.9922T H γγ=220.72830.47780.47780.3135T δδ-⎛⎫=⎪-⎝⎭1221 1.39360.91350.91350.5988T H H γγ-⎛⎫= ⎪-⎝⎭所以22122121222120.46150.38460.38460.1539T T T TH H H H H δδγγδγγγ-⎛⎫=+-= ⎪-⎝⎭(2)(2)20.2246()0.1465d H f x ⎛⎫=-∇= ⎪-⎝⎭令 (3)(2)(2)2xxdα=+ ， 利用(2)(2)()0df x d d αα+=，求得 21α=所以 (3)(2)(2)11x x d ⎛⎫=+=⎪-⎝⎭， 因为 (3)()0f x ∇=，于是停止 (3)(1,1)T x =-即为最优解。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
理想特性: 在 x(k) 靠近局部解之前线搜索法用步长来限制 探搜索方向 p(k) 使 f(x) 获取充分下降; 而在 x(k)接近局部 解时, 该限制无效, 即步长为 1，迭代恢复为快速收敛的 基本牛顿法. 理想特性: 在 x(k) 靠近局部解之前信赖域法用信赖域约束 来限制探测步 s(k) 使 f(x) 获取充分下降; 而在 x(k)接近 局部解时, 该限制无效, 从而迭代恢复为快速收敛的基 本(即步长为 1)牛顿法.
基本信赖域法的收敛性
第 6 章 无约束优化：信赖域法 数学规划基础 LHY-SMSS-BUAA
Steihaug-Conjugate Gradient Method
min = q (s) :
s ≤∆ 1 2
s Bs + g s
T T
q(s)
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
近似求解信赖域子问题：dog-leg法
min q ( k ) ( s ) = :
s ≤∆ k 1 2
s T G ( k ) s + g ( k )T s + f ( k )
⊙ 近似方法 ：找 s(k) 使得 q(k) q(k) ⊙ dog-leg法(折线法)，适合 G(k) 正定的问题 当 ∆ k 较小时, 柯西点较恰当 − g ( k ) 当 ∆ k 较大时, 牛顿步较恰当
第 6 章 无约束优化：信赖域法 数学规划基础 LHY-SMSS-BUAA
原型算法的收敛性
信赖域型牛顿法！ 定理6.1.1 若算法6.1.1产生的序列 {x(k)}有界，且 f(x) 二次连 续可微. 则序列 {x(k)} 必有聚点 x*满足一阶和二阶最优性条 件，即 g*= 0 且 G* 半正定. 定理6.1.2 若定理6.1.1中的聚点 x*还满足二阶充分条件，即 g*= 0 且G*正定，则 (b) 对充分大的k，信赖域约束 收敛速度是二次的.
无约束优化：信赖域法
Trust Region Methods for Unconstrained Optimization
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
信赖域法的动机
Taylor展式： 信赖域(trust region)：使得Taylor展式(模型)有效的区域 其中 是信赖域半径. 信赖域子问题： 设信赖域子问题的解为 s(k)，根据 f(k)- f (x(k) + s(k)) 和 的吻合程度调整半径 真实下降量： 预计下降量： 定义
使得
正定，则
注2：当 B(k) = G(k)时，可以将牛顿型信赖域法理解成一种特殊的 修正牛顿法！
第 6 章 无约束优化：信赖域法 数学规划基础 LHY-SMSS-BUAA
精确求解信赖域子问题
2 范数信赖域子问题
除G(k)正定且牛顿步满足信赖域约束条件(此时牛顿 步为解)外，解均在信赖域边界取得，此种情况需要利用 牛顿法解关于标量 的方程，从而一次迭代需要做3-4个 Cholysky分解. －－6.2.2小节－－算法6.2.1
x ( k ) + sΝ
LM trajectory
s N = −(G ( k ) ) −1 g ( k )
ˆC x (k ) + s
x ( k ) ( s = 0)
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
近似求解信赖域子问题: 共轭梯度法
= min q (s) :
s ≤∆ 1 2
第 6 章 无约束优化：信赖域法 数学规划基础
是非积极的，且
LHY-SMSS-BUAA
2范数信赖域子问题解的刻画
考虑 其中
注1：这里为了表述简洁和具有一般性，将二阶Taylor展式中的 Hessian阵替换成了B(k)，并去掉了子问题中的迭代指标.
(1)
定理6.2.1 s*是问题(1)的全局解当且仅当存在 和 成立，且 半正定；另外，如果 s*是问题(1)的唯一解.
第 6 章 无约束优化：信赖域法
来度量
逼近
数学规划基础
的程度
LHY-SMSS-BUAA
一个原型算法
解的刻画/精确算法 Cauchy点/近似算法 收敛性(了解即可)
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
一个信赖域原型算法
模型函数是二阶Taylor展式 精确求解子问题 特定的信赖域半径更新方式
(a) p ( i )T Bp ( i ) ≤ 0
其中 τ 是二次方程
(b)
x ( i ) + α i p( i )
(i ) 2 2
s' 终止算法，返回信赖域边界上的点=
x
(i )
x ( i ) + τ p( i )
= ∆ 2 的某个根
2
≥∆
+α p
(k ) (k ) (k ) q ( s ) ≤ q ( s s' ≤ ∆ k ' 重要事实： C ), T (k ) ( k )T (k ) q ( k ) ( s) = : 1 s G s + g s + f 2
s ≤∆ k
1 2
s T B ( k ) s + g ( k )T s + f ( k )
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
实用信赖域法－细节
参数的典型值
实用算法的参数选取更精细：如给信赖域的半径设定上界！
定理 (基本信赖域法的收敛性)
第 6 章 无约束优化：信赖域法
s ≤∆ 1 2
s B s+ g s
定理 假设应用初始点 x(0) = 0 的共轭梯度法来极小化二次函数 q(s)，且对所有0 ≤ i ≤ k, 有 p(i)TB p(i) > 0，则下列不等式成立 x ( j ) < x ( j +1) , j =0, 1, , k − 1
2 2
引入两种新的终止情况：
⊙ 实践中，我们希望(并且能够)比这做得更好
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
近似标准－Cauchy点的图示
⊙ Cauchy点： 柯西点! q(k)(
trust region contours of q ( k )
(k ) sC
- g (k )
第 6 章 无约束优化：信赖域法 数学规划基础 LHY-SMSS-BUAA
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
Cauchy点与近似方法
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
近似标准－Cauchy点
要求近似解满足：模型在近似解处所获取的预测减少量不 比按最速下降迭代所获取的少！ ⊙ Cauchy点： 在线段上极小化二次函数－－非常容易！ 柯西点! q(k)( ⊙ 要求所选的步s(k)满足 q(k)( q(k)( 算法即是全局收敛的！
sT Bs + gT s
问题： (i) B 不定时，可能有
( i )T (i )
p Bp = 0 p ( i )T Bp ( i ) < 0
(ii) 违反信赖域约束
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
近似求解信赖域子问题:共轭梯度法 ( 续 ) T T
min = q( s) :
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
例
选取
子
，则
信赖域子问题为 求得牛顿步 有
第 6 章 无约束优化：信赖域法
所以解必在边界上!
数学规划基础 LHY-SMSS-BUAA
例
子(续)
Lagrange乘子法：
因为 因为
，所以 且 所以
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
线搜索法与信赖域法
trust region
line search directiቤተ መጻሕፍቲ ባይዱn
contours of q ( k )
trust region step
contours of f
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
线搜索法与信赖域法的作用
模型预测减少量的下界及全局收敛性
定理 (模型在柯西点处所获取的减少量). q(k)(s) q(k) 推论 q(k)(s) q(k)
第 6 章 无约束优化：信赖域法 数学规划基础 LHY-SMSS-BUAA
近似求解信赖域子问题
⊙ 近似方法 ：找 s(k) 使得 q(k) q(k)
◇ dog-leg法(折线法)－解方程 ◇ 二维子空间极小化法 估计最小特征值＋求解三次代数方程 ◇ Steihaug-共轭梯度法
数学规划基础
LHY-SMSS-BUAA
实用信赖域法
需要解决的问题 一般性的参数设置 需要构造模型函数(二阶泰勒展式、一般的二次函数等、插值法) 子问题：近似算法 可由各种拟牛顿更新公式构造！ 近似标准是什么？－Cauchy 点
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
实用信赖域法－描述
min q ( k ) ( s ) = :