一种基于锥模型的非单调拟牛顿信赖域方法
【国家自然科学基金】_非单调算法_基金支持热词逐年推荐_【万方软件创新助手】_20140802

53 p*(τ )阵 54 lanczos方法
1 1
53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69
2011年 科研热词 全局收敛性 非单调线搜索 非单调技术 无约束最优化 信赖域方法 非线性方程组 非单调 超线性收敛性 算法 收敛性 共轭梯度法 全局收敛 信赖域算法 预估-校正算法 音圈电机 非线性映射 非线性互补问题 非单调自适应信赖域 非单调线搜索技术 非单调线性互补问题 非单调激励函数 非单调步长规则 非单调信赖域方法 非单调armijo线性搜索 锥模型 超线性 谱梯度方法 谱共轭梯度 记忆模型 自适应 缺失值填充 线搜索 线性收敛速度 约束最优化 稀疏 神经网络 直接搜索 目标函数 测试函数 求解 梯度路径 最小计数概要 无约束优化 新算法 数值实验 搜索规则 拟牛顿算法 序列二次规划 并行最优化 并行变量分配算法 小波混沌神经网络 对角 推荐指数 8 7 4 3 3 2 2 2 2 2 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2012年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52
推荐指数 7 6 5 3 3 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52
第8讲信赖域方法

对于二次模型函数 ,定义其柯西点: 对于二次模型函数(2),定义其柯西点 二次模型函数
s c = −τ k k ∆k gk , gk
其中, 其中
T 1, if g k Bk g k ≤ 0; gk 3 τk = min ∆ g T B g ,1 , or. k k k k
7
5.信赖域算法 .信赖域算法 Step1. 给 出 初 始 点 x0 , 信 赖 域 半 径 的 上 界 ∆ , ∆ 0 ∈ ( 0, ∆ ) , 0 ≤ ε ,
0 < η1 ≤ η 2 < 1, 0 < γ 1 ≤ 1 < γ 2 , k := 0 .
Step2. 如果 g k ≤ ε ,停止 停止. 停止 Step3. (近似 求解子问题 得到 sk . 近似)求解子问题 近似 求解子问题(2),得到 Step4. 计算 f ( xk + sk ) 和 rk .令 令
xk + sk , if rk ≥ η1 . xk +1 = or. xk ,
Step5.校正信赖域半径 令 校正信赖域半径.令 校正信赖域半径
∆ k +1 ∈ ∆ k , min {γ 2 ∆ k , ∆}
∆ k +1 ∈ ( 0, γ 1∆ k ] ∆ k +1 ∈ [γ 1∆ k , ∆ k ]
if rk < η1; if rk ∈ [η1 ,η2 ) ;
if rk ≥ η 2 .
8
5.信赖域算法 .信赖域算法 Step6. 产生 Bk +1 ,校正 q( k ) ,令 k := k + 1, 转 Step 2. 很成功迭代: 很成功迭代 成功迭代: 成功迭代 不成功迭代: 不成功迭代 算法参数选择建议: 算法参数选择建议
解无约束优化的非单调自适应信赖域算法

解无约束优化的非单调自适应信赖域算法曾刘拴【摘要】受文献[14]的启发,针对无约束优化问题提出了一个基于二次模型的非单调信赖域算法;算法结合自适应技术,避免信赖域半径更新的盲目性;并引入新的非单调技术,利用非单调Armijo线搜索得到步长,进而产生新的迭代点;在文献[14]减少一个假设条件的情况下,证明了该算法的全局收敛性,数值实验表明了算法的有效性.【期刊名称】《重庆工商大学学报(自然科学版)》【年(卷),期】2013(030)011【总页数】7页(P55-61)【关键词】无约束规划;非单调信赖域算法;自适应方法;滤子;全局收敛性【作者】曾刘拴【作者单位】重庆大学数学与统计学院,重庆401331【正文语种】中文【中图分类】O221.20 引言本文考虑无约束最优化问题:其中,f(x):Rn→R二阶连续可微且有下界。
信赖域方法是一种迭代方法,在每次迭代中,试探步dk可通过求解下面的子问题得到:其中 d=xk+1-xk,gk=∇f(xk),对称阵Bk∈Rn×n是∇2 f(xk)或其近似,Δk>0 是信赖域半径,‖.‖是向量范数或由它导出的矩阵范数。
由式(2)求得的试探步d是否被接受,取决于两个下降量的比值,即,其k中Aredk=f(xk)-f(xk+dk)表示实际下降量,Predk=φk(0)-φk(dk)表示预测下降量。
无约束信赖域方法的收敛结果是由Powell[1]首次得到的,后经许多学者的研究,信赖域方法得到了很好地发展,已经成为优化算法两大分支之一。
2000年,Conn等人出版了关于信赖域方法的专著[2]。
近年来,非单调线搜索技术得到广泛应用,此方法是Grippo等[3]首次提出的,因其具有较好的数值效果而得到了广泛应用。
关于非单调技术的研究主要有文献[4-6]等。
2008年,Mo和Gu[7]提出了一种较为简单的非单调技术,即:并将此技术运用到信赖域方法中,获得了较好的数值效果。
自适应方法是由Sartenear[8]首次提出的,此方法可以避免信赖域半径更新的盲目性。
基于非单调线搜索的无记忆拟牛顿法的全局收敛性

S k
() 1 1
— Pk “’ 白
格二次外插计算 / 并令 : c ,
: A:互 , = 并转到步 2 。
证 我 们用 反证 法 来证 明这 一 定理 。 设存 在一 个 常 假
为方便下面 的讨论 , 我们定义
数 c 0 使得 2 , >
)f :茎 ’ I
1预 备 引理
IIc I 。
由( 式 和 引理 1 3 )
S I N E & E G N E I G( T R C E C D T O CE C N I E R N NA U AL S I N E E I I N、
文章 编 号 : 6 3 1 4 2 0 ) 3 0 0 — 2 1 7 — 5 9( 0 8 0 — 0 7 0
基 于非 单调线搜 索的无记 忆拟 牛顿法 的全局收敛性
+ 1 + , A
1
线性搜索() 5 式推广 出来的曲率条件。当 M= , O时, O= p 该
搜 索对 应 于 Woe 搜 索 。 l线 f
d;一H露I ;一B g k- 2 - b > k
ll- d= &.
算法 1 N 一 ( M 线搜索实现步骤) )以为搜索方 向, 。 , = 一 步 1 给定初始值, < l 21 < , 是一个非 : 0 < ’ l 1 p A 负整数 。 : ) : 1 0 = 以< 。计 算最大指标 )使其满 ,
的研 究相 对较 少 。本 文借 鉴 文 献 [ 的思 路 , 虑 另外 一 1 】 考 种 非单 调 线 搜 索 的无 记忆 拟 牛顿 法 ,并 分 析 其 收敛 性 。
p
0
一
A
令 P= a{ ^ }若 -8, 转 步 4 m p , x l > l 则 。
两种非单调信赖域算法的数值比较研究

功迭代步满足 P ≥叼 > , 。 0 所以它也是满足单调下降性质的算法. 但研究表明当目标函数的非线性性态较强, 如著名的 R s bok函数的等值线出现弯 曲峡谷 (u e a o aes 的情况时 , oe r n c cr dnr w vly) v r l 单调算法 的表现往往并 不理想 , 搜索步长会非常小 , 收敛缓慢. 为此 ,96年 ,.Gi o等人 开创性地提 出了非单调线搜索牛顿 18 L rp p
0 引言
考 虑无 约束最 优化 问题
mn ) i
ER
() 1
其 中 )尺一 R是 二次 连续 可微 函数. 赖域 方法 是求 解该 类 问题 的 一种 有效 而 强适 的迭 代 方法 , : 信 近几 十 年来受 到广泛 关 注. 如今 信赖 域方 法作 为一种 较成 熟 的数值 方 法也 成 为 了标 准 的最 优 化教 科 书 中讲 授 的重
2 1 年 1 月 01 1
南 京 晓 庄 学 院 学 报
J OURN AL OF NAN I AOZ JNG XI HUA NG UNI ERST V IYNO . 01 V2 l o 6 . 第 6期
一种非单调L—BFGS方法及其全局收敛性

一种非单调L—BFGS方法及其全局收敛性作者:邹舒周群艳来源:《江苏理工学院学报》2014年第06期关键词:有限内存BFGS;非单调;全局收敛性中图分类号:O241文献标识码:A文章编号:2095-7394(2014)06-0001-040引言考虑非线性无约束最优化问题min1x∈Rnf(x),(1)其中f:RnR二次连续可微。
拟牛顿法是求解问题(1)的最有效的方法之一。
线搜索拟牛顿法最基本的迭代格式[1]是xk+1=xk-αkHkgk, k=0,1,2,…。
其中x0给定,αk是由某种线搜索方法计算得到的步长,gk=f(xk),Hk∈Rn×n是当前迭代点xk处Hesse阵的逆的近似,满足拟牛顿方程Hk+1yk=sk,其中sk=xk+1-xk,yk=gk+1-gk。
通常Hk可借助拟牛顿公式校正得到,比如BFGS公式:Hk+1=VTkHkVk+ρksTksk,其中,ρk=11yTksk,Vk=I-ρkyksTk。
在过去的几十年中,BFGS拟牛顿算法被广泛应用于非线性最优化,其全局与局部收敛性得到了论证。
然而,当n较大时,不可能存储以及校正一个n阶的方阵。
对于大规模无约束优化问题,有限内存BFGS(L-BFGS)算法更受青睐。
L-BFGS法是在BFGS法的基础上改变得到的。
若在第k步,已经存储了m对最近的(si,yi),i=k-m+1,L,K。
选取Hesse阵2f(xk+1)的初始逆矩阵的近似H(0)k+1,用BFGS公式校正H(0)k+1^1m=min(m,k)次,就得到2f(xk+1)的逆矩阵的近似Hk+1。
故L-BFGS法中的Hk+1为[2]:Hk+1=(VTK…VTk-^1m+1)H(0)k+1(VTk-^1m+1…VTk)+ρk-^1m+1(VTk-1…VTk-^1m+2)sk-^1m+1sTk-^1m+1(Vk-^1m+2…Vk-1)+…+ρksksTk。
(2)L-BFGS法最主要的优点是不需要明显地存储n阶方阵Hk,只需存储第k步的向量Hkgk,这可以通过文献[1]中提出的双循环算法计算得到。
简单界约束非光滑方程组的非单调信赖域方法
1 算 法
与 简单界 约束 非光 滑方程 组 ( . ) 应 的优化 问题 为 01对
mi ( s t ∈X, n h ) .. (. ) 1 1
・
其 中 h — R, ( : h )= I )I / . I H( I 2 在迭 代点 , 。 记 = ( ) g h ) , , = ( ,
re = a ) ∑ Jp , )一 ( + △. , a d mx ( ,  ̄ ()) hx s ) r { k( 一 , ( )
其中r k anj 1 } n )=r /+ , , ( i M≥0 是整数, ≥A≥Op= ,, m 一 , A :1 ) A , 01…, () 1 ∑ , 是成功迭
许 多实 际问题 , 非线性 互 补问题 , 子约束 变分 不等 式 问题 , 线性 约束 最优 化 问题 的 K T问题 , 如 盒 非 K 以及
一
些相 关 问题 都 可 以变 形 为问题 ( . ) 求 解. 光 滑方 程 组 实 际上 对 这些 问题 提供 了一个 一 般 框 架 , 得 0 1来 非 使 近 年来 , [ , 5 分 别 提 出了非光 滑牛 顿法 、 文 12,] 光滑 牛顿 法 和拟牛顿 法 , [ 1 提 出了仿 射 尺度 不精 确广 文 1] 义牛顿 算法 . 适 当假 设 条件下 , 些方法 具有 全局 收敛 性和 局部 超线 性 收敛 速度 . [ ] 出了非 单 调投 影 在 这 文 8提
考虑下 述简 单界约 束 非光滑 方程 组
H( )=0, ∈X.
一
(. ) 0 1
其中, X=[, ]={ zM ∈R l ≤ ≤M , ≤ ≤n z 1 }
集 上.
<l<M <+ ( ≤i ) 函数 H: R 一 R 1 ≤n , U 定 义 在开
无约束优化的一类新的非单调信赖域算法
无约束优化的一类新的非单调信赖域算法王剑平;吕毅斌;张晓鹏【期刊名称】《科学技术与工程》【年(卷),期】2012(20)14【摘要】When the selected initial search point is near to the valley, the optimal solution searched by the existing trust region algorithms may only be the locally optimal solution. These issues are addressed and proposed a new nonmonotone trust region algorithm of unconstrained optimization, which can slack the correction conditions of the trust region radius based on the existing nonmonotone trust region algorithm and therefore enlarge the radius of trust region such that the point may jump out of the valley. This may lead to the globally optimal solution. In addition , it is proved that the algorithmpossesses the global convergence the under certain conditions. Finally, some numerical tests are made to illustrate the effectiveness of the algorithms.%当选取的初始搜索点处于峡谷附近时,利用现有的信赖域算法将搜索到的最优解可能是局部最优解.针对此问题提出了无约束优化的一类新的非单调信赖域算法.该算法是在现有的非单调信赖域算法的基础上通过放宽信赖域半径的校正条件,从而放大信赖域半径,即而可能跳出峡谷.使搜索到最优解可能是全局最优解.在一定的条件下,证明了此算法的全局收敛性,并通过数值实验验证了算法的有效性.【总页数】4页(P3291-3294)【作者】王剑平;吕毅斌;张晓鹏【作者单位】昆明理工大学理学院,昆明650500;昆明理工大学理学院,昆明650500;昆明理工大学理学院,昆明650500【正文语种】中文【中图分类】O224【相关文献】1.一类新的带非单调线搜索的信赖域算法 [J], 曾宪廷2.无约束优化问题的一类带线搜索的非单调信赖域算法 [J], 王春梅3.一类新的带线搜索的自适应非单调信赖域算法 [J], 赵绚;王希云4.一类新的带线搜索的非单调自适应信赖域算法 [J], 景书杰;苗荣5.一种无约束优化的新非单调自适应信赖域算法 [J], 邢治业因版权原因,仅展示原文概要,查看原文内容请购买。
最优化方法 信赖域算法
算法概述
二 三 四
信 赖 域 算 法
算法思想 算法流程 算法收敛性
五
子模型求解
一、方法概述
信赖域算法概述
线搜索方法是把一个复杂的最优化问题转化成一系列简 单的一维寻优问题。方法的核心思想是先寻找“理想” 的下降方向,然后在确定的方向上确定长度。
信赖域方法是把最优化问题转化为一系列相对简单的局 部寻优问题。方法能够对局部的所有方向进行“搜索”, 进而同时确定“局部最好”的前进方向及长度。
k . sk ,
定义比值:
给定信赖域方法模型子问题的解
f xk f xk sk Ared k rk qk 0 qk sk Pred k
它衡量模型函数
qk s 与目标函数 f x 的一致性程度。
二、算法思想
f xk f xk sk Ared k rk qk 0 qk sk Pred k
三、算法流程
信赖域方法流程 步骤1: 给出
x0 R n , 信赖域半径的上界 , 0 0, , 0, 0 1 2 1, 0 1 1 2 , k 0.
g k , 停止. 求解子问题得到 sk .
如果
T k
步骤2: 步骤3:
1 T min qk s f k g s s Gk s 2
s.t
s k
步骤4:
计算
f xk sk 和 rk , 令:
xk sk xk rk 1 others
xk 1
四、算法流程
步骤5: 校正信赖域半径,令:
k 1 0, 1 k
rk 越接近于1, 表明模型函数 qk ( s )与目标函数 f ( x )
基于非单调技术的ODE型算法
21 0 2年 3月
海 南 大 学 学 报 自 然 科 学 版
NATURAL C趣 lCE J S N OURNAL OF HAI NAN UNI VERS TY I
VOI3 . O NO. 1
Mg . 01 r2 2
文 章 编 号 :04—12 (0 2 0 — 0 6— 4 10 79 21) 1 01 0
第1 期
张
军等 : 基于非单调技术的 O E型算法 D
参 考文献 :
[ ]B O B G SM .Sm fci ehd r nos ando t zt nbsdo e o t no s m d a 1 R WN A A, I G C o ee et em tos o cnt ie pi ai ae nt l i f yt so o i r f v f u r mi o h s uo s e f rn y d f e tl q ao s[ ] O t T er p l18 ,2 2 1— 2 . ie ni u tn J . pi hoyA p,9 9 6 :1 2 4 fr a e i m.
步骤 2 计算 g , I ≤ 停止. 若 l l gl
步骤 3 若 ( k ) 定 , 步骤 4, h B +I 正 转 否则 , 求最小 正整 数 m , 得 2 +I 使 一 hB 正定 , h 记 = -k n ih.
步骤 4 求 解下 面线性 方程组 获得试 探 步 d .
由式 (6 1 )得
2
, , .
≥芝
,
(6 1)
)一
≥
,
(7 1)
则存 在正 常数 c=p / ( +1h ) ( + c ( )一 + c … o 2M / o )一 1≥ ㈧ 2≥ ,
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
信 赖 域 方 法。 讨 论 了锥 模 型 信 赖域 子 问题 中参 数 ’ 在 不 同情 况 下 的 选 取 , 明 了利 用 所 构 造 的参 数 , 证
,
在一定条件下 , 尤其是 当目标 函数值 非单调 时, 校正公式 中 +仍保持正定性。 数值 实验表明算法是 关键词 : 信赖域 ; 锥模型 ; 拟牛顿 ; 非单调技术
>
丢 , 中 参 p p兰 ( ( + , 时 取 的 数 = +I I + 、一 一 ) 一
一
丽I+ ) 一
, 因此 P不再是 ( , )中的 O1
某一常数 , 而是根 据当前迭代 点 的信 息来确定 。 并证 明了 当 ( )>0时 , 函数 值单 调 或满足 一定 条件 函数
文章 编号 :6 3— 0 7 2 1 )2— 1 2— 6 17 2 5 (0 1 0 0 4 0
一
种 基 于 锥 模 型 的 非 单 调 拟 牛 顿信 赖 域 方 法
王 玉琳 , 王希 云
( 太原科技 大学应 用科 学 学院 , 太原 0 0 2 ) 3 0 4
摘 要 : 非 单调 技 术 与锥 模 型 拟 牛 顿信 赖 域 方 法 相 结合 , 出 了一 种 基 于锥模 型 的 非 单 调 拟 牛 顿 将 提
化简 式 ( ) 5 得 的二次 方程 :
( g s)一2 + ) +g+ =0 ( 一 。 s 令 可 = + ) 一( ) g + . 一 g ( s)
() 6
若 可 ≥ o 方程有 根 : : ,
_ 二
兰
() 7
值非单 调时 , 校正公 式 中的
是对称 正定 的。 文算法 的收敛性 可参考 文献 [ ]中的定 N 3 1数值实 验表 本 4 .;
明本文 提出的算法 除个别 函数 外 , 结果优 于算法 5 1 和算 法 5 1一 其 中算法 5 1 和 5 1一 分 测试 .卜 . ( . .
若 ( ) g )≠。 则式( ) gs ( , 7 与式( ) 8 等价 :
. _ kS 二 +k g l
() 8
由式 ( ) m 3,
。一
+
则 s 2 一+ T ) 式8带 上 得 s + +, ( 人式: : 把 )
第3 2卷
第 2期
太
原
科
技
大
学
学
报
V 13 N . o.2 o 2
A r2 1 p. 0 1
2 1 年 4月 0 1
J U N LO A Y A N V R IY O CE C N E H O O Y O R A FT I U N U I E ST F S IN E A D T C N L G
证。
因此 , 文献 [ — ]的基础上提 出了一种 基于锥模 型 的非单调拟 牛顿信 赖域方法 , 论 了锥模 型信赖 域 在 23 讨
,, 一 , 、2
子问 参数 在不同 题中 情况下的选取。 特别当 +一 g (Ts 0 0 )一( )g )< , )> , + ( 半 竽
收稿 日期 :000 -1 2 1-90 基 金 项 目 : 西 省 自然 科 学 基金 (0 8 10 3 山 20 0 1 1 )
,6+ : ) ( s 1 T
() 1
作 者 简 介 : 玉琳 (9 6一) 女 , 士 研 究 生 , 王 18 , 硕 主要 研 究 方 向最优 化 理 论 及 其 应用 。
() 3
令" Y k=1+6 :s + ≠0 易证明上述插值条件可转化为如下等价条件: ,
B + ^= g+ g 五s 五 一 矗一y ( ) g b+ () 4
() 5
2 + =y  ̄, ( ) ( 1+s 一 + ) T g
=1+6 l ≠0 TS +^
第3 2卷第 2期 令 5 川 一 , 值条 件 : = 插
王玉琳 , : 种基 于锥模 型 的非单调 拟 牛顿信 赖域方 法 等 一
13 4
m ( ): + 0
m ( = 一s)
m ( ) =g. 0 J- +
, 将本 文算法 1 取代 文献 [ ] 2 算法 5 1 . 和文 献 [ ]算法 5 1 。 3 . )
1
的构 造
设 对应 的函数值为 , 度值 为 g 梯
用 来逼近原 函数 的锥 函数 …如下 :
n + = + i )= — ( —
中图 分类 号 : 2 12 O 2 . 文 献标 志 码 : A
有效的。
D v o …于 18 ai n d 90年提 出了锥模 型方 法 , 模 型 比二 次模 型 更加 一 般 , 其 能够 充 分 利用 当前 点 的迭 代 信
息, 更好 地逼 近非二次性 强 、 曲率 变化 剧烈 的 函数 ; 文献 [ . ] 出 了锥模 型拟 牛 顿信 赖 域 方法 , 中文献 23 提 其 [] 2 提出 了确定 b , B 中参数 的选 取方法 , 明了当 + ) T ) T )>0时 + 的正定性 ; 证 一 一( s ( + , 文 献 [] 3 在文献 [ ] 2 的基础 上 , 研究 了当 ( 一 ) + 一( s) g+ T ( T s)<0时 的构造 , 证 明 日 正定性 时 , 但
仅证明了 + ) 一(T )g+ 一 。 s ( l)>0的情况, +一 一( ( s)<0的情况并未证明, Ts 对 ) s)g+ 且
此算法是 单调 的。 当 + ) T ) Ts)<0 函数 值非单 调时 , 校正公式 中 +的正定性难 以保 一 一( s ( + 且 则