信赖域方法

N k
对二次模型：
q k xk g k f xk g k
2
1 2 T g k Gk g k 2
精确线搜索下 k
c k
gk
T k
2
g gk s k g k T gk . Cauchy步为： g k Gk g k k c gk , 若 sk k g k k , 取 sk gk 若 skc k g k k , 再计算牛顿步 skN Gk1 g k ,

gk
4


c s k s s sk c k

ˆ N k

0,1
ˆ c 使得 sk k , 解二次方程 s c s N s k k k
c k


2
2k
0.340 得 0.867. 因此 sk s 0.867 s s 0.669 0.660 所以 xk 1 xk sk 0.331
ˆ x N 称为双折线． 把 xk C.P. N k 1
在双折线情形下：
k xk g g k k ˆ c N xk 1 xk sk sk skc 1 x G k k gk ˆ N 其中 sk skN , ,1, skc k s k , s k
Step6: 产生 Bk 1 , 校正 qk , 令 k k 1, 转 Step2 注： 参数建议取：
1 0.01,2 0.75 , 1 0.5, 2 2, 0 1
信赖域子问题
如果令信赖域的半径 k 在区间 0, 内连续 变化， 则问题(1)的解 sk 在空间 R n 中形成一条光 k 滑的连续曲线， 记为 op . 此时， 问题(1)等价于 k 在信赖域内在最优曲线 op 上确定一点使二次函 数 qk s 取极小， 即： min qk s
信赖域方法
信赖域方法
信赖域方法是求解最优化问题的另一类有效 方法． 其最初的设计思想可追溯至Levenberg 和 对Gauss－Newton法的修 Marquart
正． 线搜索方法是把一个复杂的最优化问题转化 成一系列简单的一维寻优问题． 信赖域方法是把 最优化问题转化为一系列相对简单的局部寻优 问题．
(3) 利用了二次模型来求修正量， 使得目标函数 的下降比线性搜索方法更有效．
(4) 由于步长受到使Taylor展开式有效的信赖 域的限制， 故方法又称为有限步长法．
根据模型函数 qk s 对目标函数 f x 的拟合程度 来调整信赖域半径 k . 对于问题(1)的解 sk , 定义比值：
c k ˆ N k


s k , s k
c k
ˆ N k
g G g g G g
T k k k T k 1 k k
gk
4
.
一般取 0.8 0.2 .
例1： 设 f x x x x , 在当前点 xk 1, 1 , 1 k , 试用双折线法求 xk 1.
Ared k f xk f xk sk rk P red k qk 0 qk sk
信赖域半径的选择
它衡量模型函数 qk s 与目标函数 f x 的一致性 程度．
注：(1) rk 越接近于１， 表明模型函数与目标 函数的一致性程度越好， 可以增大 k 以扩大 信赖域． (2) rk 0 不接近于１， 可以保持 k 不变． (3) rk 接近于零或取负值， 表明模型函数与目标 函数的一致性程度不好， 可以减小 k 以缩小 信赖域．
k s.t s op , s k 由于最优曲线的确定需要计算矩阵Bk 的所有 特征值和特征向量， 相当费时．
折线法基本思想
折线法在于用低维空间内满足一定要求的 折线， 记为 k , 代替最优曲线． 通过求解：
min qk s
2
s.t s k , s k 得问题(1)的近似解 sk .
信赖域方法的模型子问题
1 T min qk s f k g s s Bk s 2
T k
1
s.t
s k
2 是 Hesse s x x , g f x , B f xk 的近似 其中 k k k k 阵 为信赖域半径． 0
k
注：(1) 这种方法既具有牛顿法的快速局部收 敛性， 又具有理想的总体收敛性． (2) 不要求目标函数的Hesse阵是正定的．
4 1 2 1 2 2
T
14 T T 解： xk 1, 1 , g k 6, 2 , Gk 2
3 s G g k ,1 7 2 gk 40 6 0.469 c sk T g k 2 0 . 156 g k Gk g k 512
折线法算法原理(1970)
连接Cauchy点(由最速下降法产生的极小点C.P.)
和牛顿点(即由牛顿法产生的极小点 x ）, 其连线 与信赖域的边界的交点取为 xk 1. 显然, xk 1 xk k .
N k 1
当牛顿步 s 的长度 skN k 时， xk 1 就取为 xkN1.
g Gk g k
.
T k
若 skN k , 取 sk skN Gk1 g k , 否则取 sk s s s ,
c k N k c k
其中 由方程 skc skN skc k 得到．
综上：
k xk g g k k xk 1 xk skc skN skc x G 1 g k k k skc k
N k 1 k T
2
由于 s k , 计算 s , 有：
c k
ˆ N k
40 2 T 0.684 T 1 g k Gk g k g k Gk g k 32 512 7 0.8 0.2 0.747 0.320 ˆ N N sk sk 0.747 ˆ 由于 skN 0.813 k , 故取双折线步长为：
基本思想
牛顿法的基本思想是在迭代点 xk 附近用二次 1 T T 函数逼近 f x qk s f k g k s s Gk s, 并以qk s 的 2 的极小点 sk 修正 xk , 得到： xk 1 xk sk . 以上方法只能保证算法的局部收敛性， 为了建 立总体收敛性算法， 我们采用了线搜索技术． 虽然 这种策略是成功的， 但它有一个缺点， 即没有进一 步利用二次模型．
注： (1) 求解(2)的一个突出特点在于：近似折线

k
一经确定， 对于给定的 k , 无需再解任何线性
方程组， 即能相当有效的确定问题(1)的近似解．
k 的折线时， (2) 构造近似最优曲线 op 一般应满足 下面基本要求： 当点 x 从 xk 出发沿着折线前进时:
(P1) 点x 到 xk 的距离单调增； (P2) 函数值 qk s 严格单调降； 性质(P1)确保对任意给定的 k , 折线上的近似 解惟一． 性质(P2)确保在折线上所确定的近似解 sk 能 满足收敛性定理的条件．
Step1: 给出x0 R n , 信赖域半径的上界 , 0 0, , 0,0 1 2 1,0 1 1 2 , k 0. Step2: 如果 g k , 停止． Step3: 求解子问题(1)得到 sk . Step4: 计算 f xk sk 和 rk , 令： rk 1 xk k 附近用二次 1 T T 函数逼近 f x qk s f k g k s s Gk s, 并以qk s 的 2 的极小点 sk 修正 xk , 得到： xk 1 xk sk . 以上方法只能保证算法的局部收敛性， 为了建 立总体收敛性算法， 我们采用了线搜索技术． 虽然 这种策略是成功的， 但它有一个缺点， 即没有进一 步利用二次模型． 信赖域方法是另一种新的保证 算法总体收敛的方法．
xk 1 xk others
信赖域算法
Step5: 校正信赖域半径，令：
k 1 0, 1 k k 1 1 k , k rk 1 rk [1 , 2 )
k 1 k , min 2 k , rk 2


skc k , skN k skc k , skN k
双折线法 (1979)
让信赖域迭代中产生的点偏向牛顿方向， ˆ 点连接起来， 于是把Cauchy点和牛顿方向上 N 的 并将这条连线与信赖域边界的交点取为 xk 1.
N x C . P . x 折线 k k 1 称为单折线．
ˆ N k c k