运筹学(最优化方法)第六章无约束优化信赖域法
北航刘红英数学规划教材课后习题参考答案
ri(x)∇ri(x)
=
2A(x)T r(x),
∇2f (x)
= =
2 2
∑m ∑mi=1
i=1
ri(x)∇2ri(x) ri(x)∇2ri(x)
+ +
2
∑n
i=1
∇ri
(x)(∇ri
(x))T
2A(x)T A(x).
1.6 考虑向量值函数 f (x) : Rn → Rm ，设 f 的每个分量函数 fi(x) 在 x′ 都可微. 写出 f 在 x′ 的Taylor展式，请用 A(x)T 表示 ∇f (x)T (= [∇f1(x), · · · , ∇fm(x)]).
maximize 200x + 60y + 206z
subject to 3x + y + 5z ≤ 8000000
5x + y + 3z ≤ 5000000
x, y, z ≥ 0, 且 x, y, z 是整数.
忽略掉整性要求后，调用 Matlab 中的 linprog.m 函数求解，得最优解 x = 0, y = 500000, z = 1500000，自动满足整性要求.
的最优值相同，将这个问题的最优解投影到 (x, y, z) 所在的空间可以得到原问题的解. 这个问题可以写成线性规划问题：
minimize t1 + t2 + t3 subject to x + y ≤ 1,
2x + z = 3, −t1 ≤ x ≤ t1, −t2 ≤ y ≤ t2, −t3 ≤ z ≤ t3.
解:
(a) ∇f (x) = a, ∇2f (x) = 0n×n; (b) ∇f (x) = (A + AT )x, ∇2f (x) = A + AT ;
6.2无约束优化(信赖域)
LM trajectory
s N = −(G ( k ) ) −1 g ( k )
ˆC x (k ) + s
x ( k ) ( s = 0)
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
近似求解信赖域子问题: 共轭梯度法
= min q (s) :
s ≤∆ 1 2
无约束优化：信赖域法
Trust Region Methods for Unconstrained Optimization
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
信赖域法的动机
Taylor展式： 信赖域(trust region)：使得Taylor展式(模型)有效的区域 其中 是信赖域半径. 信赖域子问题： 设信赖域子问题的解为 s(k)，根据 f(k)- f (x(k) + s(k)) 和 的吻合程度调整半径 真实下降量： 预计下降量： 定义
第 6 章 无约束优化：信赖域法
来度量
逼近
数学规划基础
的程度
LHY-SMSS-BUAA
一个原型算法
解的刻画/精确算法 Cauchy点/近似算法 收敛性(了解即可)
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
一个信赖域原型算法
模型函数是二阶Taylor展式 精确求解子问题 特定的信赖域半径更新方式
s ≤∆ k
1 2
s T B ( k ) s + g ( k )T s + f ( k )
第 6 章 无约束优化：信赖域法
数学规划基础
无约束最优化的信赖域BB法_刘亚君
目
标 函 数 的 二阶 信 息 本 文 将
ｓｅ
，
法 与 信 赖 域方法 相 结 合 利 用
，
ＢＢ
步
，
长 的 倒 数去 近 似 目 标 函 数 的 Ｈｅ ｓ
矩 阵 同 时 利 用 信 赖 域子 问 题 更 加 灵 活 地 选 取 梯 度 法 的 步 长
ＢＢ
给 出 求 解无 约 束 最优 化 问 题 的 单 调 和 非 单 调 信 赖域
８
［
，
９
］
分 别 应用 公 式
后 步长 的 思 考
，
．
（
１
．
１
〇）
求 解 无 约 束优 化 问 题 和 界 约 束 优 化 问 题 对
． １ ，
ＢＢ
步长 的 研究 引 发 了 对滞
一
在梯 度 法 中 更 多滞 后 的 ＢＢ 步长被 研 究 气 并 得 出 与 Ｂ Ｂ 法 研 究发 现 更 多 的 滞 后 步 增 强 了 Ｂ Ｂ 法 的 非 单 调 性 因 此 可 能 加快 收 敛速 度 Ｐ
，
Ｈ ｅｓ ｓ ｅ
矩阵
Ｖ２／
（
：
ｒ ｆ ｃ
）
或其近
．
应 用 最广 的 修 正 公 式 是 Ｂ Ｆ ＧＳ 修 正 公 式 其 数值稳 定 性 比 其他 修 正 公 式 要好 心 被 称 为 信 赖域 半 径 被 称 为 信赖域 子 问 题 对 于 当 前 迭 代 点 ％ 通 过 求 解模 型
２０１ ６
年
２
月
计 算 数 学第
３８
卷第
．
１
期
．
Ｆ ｅｂ
．
北航最优化方法最新最全答案2015版
将此问题化成线性规划.
minimize f (x)
x∈Rn
subject to Ax = b
x ≥ 0.
5
解: 引入变量 t ，所给问题等价于
minimize t subject to f (x) = t,
Ax = b, x ≥ 0.
考虑问题
minimize t
subject to f (x) ≤ t, Ax = b,
4. 单纯形法的练习：习题2.10，习题2.11，习题2.12，习题2.13，习题2.20(说明单纯形 法的效率的一般性例子中，自变量为三个时所得问题)，习题2.21(说明单纯形法采用最小 相对费用系数进基原则确定进基变量时，如果所求解问题是退化的，则单纯形法会出现 循环！)，习题2.31.
5. 两阶段法的练习：习题2.14-习题2.16；大 M 法的练习：习题2.18.
2u1 − 2v1 + u3 − v3 = 3, ui, vi, s ≥ 0, i = 1, 2, 3.
方法2: 引入非负变量 t1, t2, t3 ，将原问题转化成等价问题
minimize t1 + t2 + t3 subject to x + y ≤ 1,
2x + z = 3, |x| = t1, |y| = t2, |z| = t3.
(c)
minimize subject to
x1 + 4x2 + x3 x1 − 2x2 + x3 = 4 x1 − x3 = 1
x2 ≥ 0, x3 ≥ 0.
解:
(c) 由于变量 x1 无限制，可利用约束 x1 = x3 + 1 对其消去. 因此，得其标准形
最优化方法——信赖域法
2012-2013（1）专业课程实践论文信赖域法董文峰，0818180123，R数学08-1班伊广旭，0818180113，R数学08-1班李超，0818180114，R数学08-1班一、算法理论信赖域方法与线搜索技术一样, 也是优化算法中的一种保证全局收敛的重要技术. 它们的功能都是在优化算法中求出每次迭代的位移, 从而确定新的迭代点.所不同的是: 线搜索技术是先产生位移方向(亦称为搜索方向), 然后确定位移的长度(亦称为搜索步长)。
而信赖域技术则是直接确定位移, 产生新的迭代点。
信赖域方法的基本思想是:首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。
然后,通过求解这个区域内的“信赖域子问题”(目标函数的二次近似模型) 的最优点来确定“候选位移”。
若候选位移能使目标函数值有充分的下降量, 则接受该候选位移作为新的位移,并保持或扩大信赖域半径, 继续新的迭代。
否则, 说明二次模型与目标函数的近似度不够理想,需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。
如此重复下去，直到满足迭代终止条件。
信赖域方法解决无约束线性规划f(x)R x ∈min的基本算法结构。
设k x 是第k 次迭代点，记)f(x f k k =，)f(x g k k ∇=，k B 是Hesse 阵)f(x k 2∇的第k 次近似，则第k 次迭代步的信赖域子问题具有如下形式：,21g (d)min T k d B d d q k T k += k d t s ∆≤..其中k ∆是信赖域半径，•是任一种向量范数，通常取2-范数或∞-范数。
定义k f ∆为f 在第k 步的实际下降量：),d f(x f Δf k k k k +=-定义k q ∆对应的预测下降量：()().-0k k k k d q q q =∆定义他们的比值为：kk k q f r ∆∆= 一般的，我们有0>∆k q 。
北航最优化方法作业答案uco_trustregion
理想特性: 在 x(k) 靠近局部解之前线搜索法用步长来限制 探搜索方向 p(k) 使 f(x) 获取充分下降; 而在 x(k)接近局部 解时, 该限制无效, 即步长为 1，迭代恢复为快速收敛的 基本牛顿法. 理想特性: 在 x(k) 靠近局部解之前信赖域法用信赖域约束 来限制探测步 s(k) 使 f(x) 获取充分下降; 而在 x(k)接近 局部解时, 该限制无效, 从而迭代恢复为快速收敛的基 本(即步长为 1)牛顿法.
基本信赖域法的收敛性
第 6 章 无约束优化：信赖域法 数学规划基础 LHY-SMSS-BUAA
Steihaug-Conjugate Gradient Method
min = q (s) :
s ≤∆ 1 2
s Bs + g s
T T
q(s)
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
近似求解信赖域子问题：dog-leg法
min q ( k ) ( s ) = :
s ≤∆ k 1 2
s T G ( k ) s + g ( k )T s + f ( k )
⊙ 近似方法 ：找 s(k) 使得 q(k) q(k) ⊙ dog-leg法(折线法)，适合 G(k) 正定的问题 当 ∆ k 较小时, 柯西点较恰当 − g ( k ) 当 ∆ k 较大时, 牛顿步较恰当
第 6 章 无约束优化：信赖域法 数学规划基础 LHY-SMSS-BUAA
原型算法的收敛性
信赖域型牛顿法！ 定理6.1.1 若算法6.1.1产生的序列 {x(k)}有界，且 f(x) 二次连 续可微. 则序列 {x(k)} 必有聚点 x*满足一阶和二阶最优性条 件，即 g*= 0 且 G* 半正定. 定理6.1.2 若定理6.1.1中的聚点 x*还满足二阶充分条件，即 g*= 0 且G*正定，则 (b) 对充分大的k，信赖域约束 收敛速度是二次的.
北航最优化方法最新最全答案2015版详解
部分习题参考解答
刘红英 编
北京航空航天大学数学与系统科学学院 2015 年 5 月
内容简介
本书是《数学规划基础》(刘红英，夏勇，周水生，北京航空航天大学出版社，2012.10)的 配套教学辅导材料，较详细地给出了该教材各章后部分习题的参考解答.
前言
本习题解答自 2008 年春季开始编写，当时由硕士研究生阎凤玉提供部分习题解答， 经讨论和确认后，由作者首次录入排版. 后来陆续参加习题解答修订的硕士研究生包括王 浩、欧林鑫、朱丽媛、易彩霞和杨茜，其中的数值结果由欧林鑫提供. 作者在此向他们的 辛勤劳动表示衷心的感谢.
本解答得到了？项目的资助，在此表示感谢. 由于这些参考解答尚未经过特别严格的校对，仅供参考. 任何意见、建议或其它反馈 都可以发送至liuhongying@，在此深表感谢.
刘红英 2015.5 于北京
目录
第一章 引言
1
第二章 线性规划: 基本理论与方法
3
第三章 线性规划：应用及扩展
maximize 200x + 60y + 206z
subject to 3x + y + 5z ≤ 8000000
5x + y + 3z ≤ 5000000
x, y, z ≥ 0, 且 x, y, z 是整数.
忽略掉整性要求后，调用 Matlab 中的 linprog.m 函数求解，得最优解 x = 0, y = 500000, z = 1500000，自动满足整性要求.
(x)(∇ri
(x))T
2A(x)T A(x).
1.6 考虑向量值函数 f (x) : Rn → Rm ，设 f 的每个分量函数 fi(x) 在 x′ 都可微. 写出 f 在 x′ 的Taylor展式，请用 A(x)T 表示 ∇f (x)T (= [∇f1(x), · · · , ∇fm(x)]).
最优化方法信赖域方法
最优化方法信赖域方法Trusted Domain Method of Optimization Methods一、概述信赖域（Trusted Domain）法是一种针对多目标最优化问题的优化方法，属于启发式优化技术，又被称为受信域法（Credible Domain）法或者受信域增强法（Credible Domain Enhancement）。
它由A.K.Chentsov在1980年提出，目前已经在工业优化、控制优化、混合模糊优化等领域有广泛的应用。
信赖域法使多目标最优化问题中的搜索变得更加有效和快捷，可以很好地处理多目标最优化问题中的非凸性和高维问题，使最优解更容易被获取。
二、原理信赖域方法优化的原理是：在解空间中划分子空间，在每个子空间中进行最优优化，同时进行领域大小的优化，以找到最优解。
（1）划分的子空间划分的子空间由一组不可分割的解空间，即称为“信赖域（Trusted Domain）”确定，有一种收敛性的在同一信赖域上的解空间集合，该信赖域中必须包含一个或多个最优解点。
（2）之分的子空间有效性在信赖域中，有一种收敛性的解空间，该解空间必须包含一个或多个最优解点，且此处解的收敛性可以满足要求。
由此可以看出，划分的子空间有效的充分利用解空间，能够使对最优解的搜索效率更高，更快地找到最优解。
（3）领域大小的优化在划分解空间时，信赖域方法重点考虑领域大小的优化，以缩小搜索空间大小，并引导搜索过程朝最优解的方向发展。
三、应用1.工业优化信赖域方法已经在工业优化领域得到应用，使多目标工业优化问题中的搜索更加有效和快捷，可以很好地处理多目标最优化问题中的非凸性和高维问题，使最优解更容易被获取。
2.控制优化由于信赖域方法能够有效地处理多目标非凸性和高维问题，因此已经在控制优化中得到应用，用于设计准确性好的控制系统。
3.混合模糊优化信赖域方法在混合模糊优化领域也有应用，可以用来解决特殊类型的模糊控制优化问题，来有效地提高优化中的效率和准确性。