信赖域算法---非线性优化问题
信赖域算法非线性优化问题课件
非ห้องสมุดไป่ตู้性优化问题的求解方法
总结词
非线性优化问题的求解方法主要包括梯度法、牛顿法、 拟牛顿法、共轭梯度法等。此外，还有一些启发式算 法如模拟退火、遗传算法等也被广泛应用于求解非线 性优化问题。
详细描述
梯度法是最早用于求解非线性优化问题的方法之一， 其基本思想是沿着目标函数的负梯度方向搜索。牛顿 法基于泰勒级数展开，构造一个二次模型逼近目标函 数，并在此基础上求解极小值。拟牛顿法是牛顿法的 改进，通过构造一个正定的拟牛顿矩阵来逼近海森矩 阵。共轭梯度法结合了梯度法和牛顿法的思想，在每 一步迭代中沿着当前搜索方向的前一方向共轭的方向 进行搜索。
可解释性与透明度
研究如何提高信赖域算法的可解释性和透明度，使其在关键领域（如 医疗、金融等）得到更广泛的应用。
信赖域算法的挑战和机遇
挑战
非线性、非凸、大规模、多模态等复杂优化问题对信赖域算法提出了更高的要求。同时，算法的稳定性和收敛速 度也是需要克服的难题。
机遇
随着计算能力的提升和算法理论的不断发展，信赖域算法有望在更多领域发挥重要作用。例如，在数据科学、机 器学习、人工智能、控制系统等领域，信赖域算法具有广阔的应用前景。同时，与其他先进技术的结合也为信赖 域算法的发展提供了新的机遇。
信赖域算法的未来发展
深度学习与机器学习集成
探索将信赖域算法与深度学习、机器学习等先进技术相结合，以解决 复杂、高维的非线性优化问题。
智能优化
结合人工智能和优化算法，开发能够自适应学习和进化的智能优化系 统。
强化学习与优化算法结合
利用强化学习中的智能体与环境交互学习的特点，与信赖域算法结合， 实现更高效的优化。
• 可以处理约束优化问题。
信赖域算法的优缺点
一般非线性约束优化问题的信赖域法
一般非线性约束优化问题的信赖域法夏红卫;文传军【摘要】通过引进松弛变量和极小化增广Lagrange函数的方法,将等式约束的非线性优化问题推广到不等式约束和一般约束的情形,同时将滤子技巧和信赖域法相结合,提出一种求解非线性约束优化问题的信赖域新算法,扩大了算法的适用范围,提高了算法的计算效率,并通过数值试验说明算法的有效性.%By introducing the slack variables and minimizing the augmented Lagrange functions, the equality con-strained nonlinear optimization are extended to the inequality constraints and the general constraint. At the same time the filter technique and trust region method are combined, a new algorithm for nonlinear constrained optimi-zation problems with trust region algorithm is proposed, which the scope of application of the algorithm is ex-panded and computational efficiency of this algorithm is improved. The numerical experiment shows that the method is quite efficient.【期刊名称】《江西师范大学学报（自然科学版）》【年(卷),期】2012(036)003【总页数】4页(P253-256)【关键词】一般非线性约束;信赖域法;滤子技巧;Matlab程序【作者】夏红卫;文传军【作者单位】常州工学院理学院,江苏常州213022;常州工学院理学院,江苏常州213022【正文语种】中文【中图分类】O224.2考虑如下等式和不等式约束的非线性优化问题:问题(1)在经济、工程技术、国防、管理及自动化等领域有着广泛应用, 因此求解问题(1)具有十分重要的现实意义. 但目前为止还没有特别有效的方法直接得到最优解, 人们普遍采用迭代的方法求解:首先选择1个初始点, 利用当前点的相关信息, 产生下一个迭代点, 一步一步地逼近最优解. 这就是求解问题(1)的迭代算法. 利用迭代法求解最优化问题的方法一般有: 一种是利用目标函数和约束函数构造增广目标函数, 借此将约束最优化问题转化为无约束最优化问题, 然后利用求解无约束优化问题的方法求得新目标函数的局部最优解或者稳定点, 如罚函数法和乘子法等[1]. 另一种是在可行域内使目标函数下降的迭代点法, 如可行点法[2]. 此外, 近些年来形成的序列 2次规划算法和信赖域法也引起了人们极大的关注. 尤其是信赖域法, 它和线搜索法并列为目前求解非线性优化问题的2类主要数值方法.信赖域法思想新颖、算法可靠、具有很强的收敛性.它不仅能较快地解决良态问题, 而且也能有效地求解病态的优化问题. 因此信赖域法成为近20年来非线性优化领域的一个十分重要的研究方向[3-5]. 本文在等式约束的非线性优化问题的信赖域法[6]基础上,将等式约束推广到不等式约束和一般约束的情况,同时将滤子技巧和信赖域法相结合, 扩大了算法的适用范围, 提高了算法的计算效率, 借助 Matlab工具, 进行了数值试验, 从而说明算法的有效性.前面已经讨论了等式约束的非线性优化问题的信赖域法. 下面先讨论不等式约束的非线性优化问题的方法, 把求解等式约束的非线性优化问题的方法推广到不等式约束的情况, 其基本思想是先引进松弛变量, 把不等式约束转化为等式约束, 然后利用最优性条件消去松弛变量.先考虑如下的不等式约束优化问题:构造增广Lagrange函数如下:一般求解非负约束的松弛变量的方法是内点法,即用对数罚函数来代替不等式约束[7-9]. 本文使用另一种方法, 保持不等式约束不变, 而用极小化相应的增广Lagrange函数来代替等式约束, 即对一个给定的 x, (2)式中的目标函数对每一个松弛变量 is是凸 2次函数, 很容易找到每一个 is的最优值:将上面的关系式代入(2)式中, 得到一个关于 x的无约束最小化问题:这样通过极小化(3)式的2次近似来计算尝试步.第k次迭代的子问题为关于Lagrange乘子的修正, 与等式约束的情况相同, 但要求所有的乘子对不等式约束是非负的,因此当约束不在有效集中时, 就取那些乘子为0. 这样得到下面的Lagrange乘子的修正公式:与等式约束问题相同, 也使用滤子技巧, 只是将其中 ()h x的定义修正为根据上面的讨论, 提出求解一般非线性约束优化问题的信赖域滤子算法.算法1步0: 初始化.步1: 步长计算.求解(4)式得到尝试步 ();k d步2: 终止性检验.用Matlab语言编写了新算法的程序, 并进行了数值试验, 算法中的参数如下:测试问题全部取自于CUTEr集, HS10表示该测试问题集的第10个问题, 下同. 为了检验新算法的有效性, 还运行了基于最小化增广Lagrange函数的著名的软件包LANCELOT[11]. 计算了相同的问题,并比较它们的结果, “n”, “m”分别表示测试问题和约束条件的维数, ","f c和","g A分别表示函数值和梯度值的迭代次数. 计算结果列于表1.从表1可以看出, 新算法的计算效率较高.【相关文献】[1] 倪勤. 最优化方法与程序设计 [M]. 北京: 科学出版社, 2009.[2] Lawrence C T, Tits A L. A computationally efficient feasible se-quential quadratic programming algorithm [J]. SIAM Journal on Optimization, 2001, 11(4): 1092-1118. [3] Yuan Yaxiang. A review of trust region algorithms for optimization [C]// Ball J M, Hunt J C R. ICM99: Proceedings of the 4th International Congress on Industial and applied mathematics.Edinburgh: Oxford University Press, 2000: 271-282.[4] Powell M J D. Convergence properties of a class of minimization algorithms[C]//Mangassarian O L, Meyer R R, Robinson S M.Nonlinear Programming. New York: Academic Press, 1975: 1-27.[5] 夏红卫, 陈荣军. 简单界约束非线性方程组的滤子信赖域法[J]. 江西师范大学学报: 自然科学版, 2009, 33(6): 661-664.[6] 夏红卫, 陈荣军. 一类等式约束非线性优化问题的信赖域新算法 [J]. 数学的实践和认识, 2010, 40(20): 131-137.[7] Chen Lifeng, Goldfarb D. Interior-point l2-penalty methods for nonlinear programming with strong global convergence properties [J]. Math Programming, 2006, 108(1): 1-36. [8] Conn A R, Gould N I M, Orban D, et al. A primal-dual trust region algorithm for non-convex nonlinear programming [J]. Math Programming, 2000, 87(2): 215-249.[9] Fletcher R, Leyffer S. Nonlinear programming without a penalty function [J]. Math Programming, 2002, 91(2): 239-269.[10] Conn A R, Gould N I M, Toint P L. Trust-region methods [M].Philadephia: SIAM, 2000.[11] Conn A R, Gould N I M, Toint P L. Lancelot: a fortran package for large-scale nonlinear optimization [M]. New York: Springer,1992.。
Matlab中的非线性优化与全局优化
Matlab中的非线性优化与全局优化引言在科学与工程领域中，我们经常需要寻找某个问题的最优解。
其中，非线性优化和全局优化是两个常见的优化问题。
Matlab作为一种强大的数值计算工具，提供了丰富的优化函数，能够帮助我们有效地解决这些问题。
本文将介绍Matlab中的非线性优化和全局优化的基本概念、常用方法以及应用实例。
一、非线性优化非线性优化是指优化问题中目标函数和约束条件存在非线性关系的情况。
在Matlab中，可以使用fmincon函数来求解非线性优化问题。
此函数采用基于梯度的优化算法，如信赖域方法、内点方法等。
1.1 目标函数和约束条件在非线性优化中，我们需要定义一个目标函数和一组约束条件。
目标函数是我们要最小化（或最大化）的函数，通常是一个关于自变量的非线性函数。
约束条件是一组等式或不等式，限制了自变量的取值范围。
1.2 优化方法在使用fmincon函数时，我们需要提供目标函数、初始点、约束条件等参数。
其中，目标函数可以是Matlab中已有的函数，也可以是用户自定义的函数。
初始点表示优化算法的起始点，通常可以通过试探法来选择。
约束条件可以是等式约束或不等式约束。
根据约束条件的类型，我们可以选择使用不同的优化算法。
1.3 实例分析为了更好地理解非线性优化的应用，我们以经典的罗森布洛克函数为例。
罗森布洛克函数是一个多峰函数，在全局优化中经常被用来检验算法的性能。
我们可以使用Matlab中的fmincon函数对该函数进行最小化。
首先，我们定义罗森布洛克函数的目标函数和约束条件：```matlabfunction [f, c] = rosenbrock(x)f = 100 * (x(2) - x(1)^2)^2 + (1 - x(1))^2;c = x(1) + x(2) - 3;end```然后，我们使用fmincon函数来计算罗森布洛克函数的最小值：```matlabx0 = [0; 0]; % 初始点A = []; b = []; % 不等式约束Aeq = []; beq = []; % 等式约束lb = []; ub = []; % 变量上下界nonlcon = @rosenbrock; % 目标函数和约束条件options = optimoptions('fmincon', 'Algorithm', 'sqp');[x, fval] = fmincon(@(x) x(1)*x(2), x0, A, b, Aeq, beq, lb, ub, nonlcon, options);disp(['最小值：', num2str(fval)]);disp(['解：', num2str(x)]);```以上代码中，我们定义了初始点x0和约束条件，然后使用fmincon函数计算最小值。
信赖域算法 参数解释
信赖域算法参数解释信赖域算法（Trust Region Method）是一种非线性优化算法，用于求解无约束非线性优化问题。
该算法通过构建一个信赖域模型来逐步逼近最优解。
下面我将对信赖域算法的参数进行逐一解释。
1. 信赖域半径（Trust Region Radius）: 信赖域半径是信赖域算法的一个关键参数，用来控制当前信赖域模型的有效范围。
信赖域算法通过在该信赖域内进行迭代计算来逐步逼近最优解。
信赖域半径通常用一个正数来表示，代表了当前信赖域的半径大小。
2. 模型准则函数（Model Objective Function）: 模型准则函数是信赖域算法中的一个重要参数，用于评价信赖域模型与原始优化问题之间的拟合程度。
常见的模型准则函数包括二次模型、三次模型等，其中二次模型是最常用的。
模型准则函数的选择会直接影响算法的收敛性和准确性。
3. 模型的预测质量（Model Prediction Quality）: 模型的预测质量是衡量当前信赖域模型在给定信赖域半径内的拟合程度和预测能力。
通常采用实际函数值和模型函数值之间的差异来评估。
4. 信赖域约束比率（Trust Region Constraint Ratio）: 信赖域约束比率是一个用于控制信赖域半径变化的参数。
当信赖域内的拟合程度较好时，可适当增大信赖域半径；当拟合程度较差时，应缩小信赖域半径。
信赖域约束比率通常取值在(0,1)之间。
5. 信赖域更新策略（Trust Region Update Strategy）: 信赖域更新策略用于根据不同的计算情况来更新信赖域半径。
常见的信赖域更新策略包括成功步长比例、信赖域半径调整因子等。
更新策略的选择会影响到算法的收敛性和稳定性。
6. 模型剪裁准则（Model Truncation Criterion）: 模型剪裁准则用于判断当前信赖域模型是否拟合程度足够好，是否需要继续进行迭代计算。
常见的剪裁准则有曲率条件和信赖域约束条件等。
界约束非线性方程组的信赖域法
信赖域法是一种迭代方法，用于求解非线性方程组。
它是以特定初值作为起点，沿着一个信赖域（trust-region）内的迭代，最终达到收敛的解或最小值的近似值的方法。
信赖域法的基本思想是，每次迭代都会得到一个新的解，然后检查该解是否与上一次迭代的解在某个信赖域内，如果超出信赖域，则修正步长；如果在信赖域内，则更新解，并改变信赖域的大小，使得信赖域大小逐渐增加，以达到收敛的效果。
信赖域法可以用于求解非线性方程组。
它可以确保每次迭代都能得到更优的解，并且可以在可控范围内调整步长，从而控制收敛的速率。
同时，它也可以确保迭代解处于可靠的区域，从而避免计算结果出现大的误差。
因此，信赖域法可以很好地应用于求解具有边界约束的非线性方程组。
它可以有效地控制迭代的步长，确保方程组的解处于可靠的范围，从而保证迭代的准确性。
非线性方程组的求解方法及其应用
非线性方程组的求解方法及其应用非线性方程组是数学中一类非常重要的问题，其中每个方程都不是线性的。
与线性方程组不同，非线性方程组的求解通常需要借助于数值方法。
本文将讨论一些常见的非线性方程组求解方法，并介绍它们在实际应用中的一些应用。
1. 牛顿法牛顿法是一种非常常见的非线性方程组求解方法。
该方法基于牛顿迭代法原理，将非线性方程组转化为一系列的线性问题。
牛顿法的基本思想是：通过不断地使用一阶导数和二阶导数的信息来逼近方程组的解。
具体地说，在每一轮迭代中，求解一个方程组：$$F(x^{k})+J(x^{k})\Delta x^{k} =0$$其中$F(x)$表示非线性方程组，$x^k$表示第$k$轮迭代的解，$J(x^k)$表示$F(x)$在$x^k$处的雅可比矩阵，$\Delta x^k$表示下降方向，满足$\|\Delta x^k\|\rightarrow 0$。
值得注意的是，牛顿法在每轮迭代中都需要求解一次雅可比矩阵，这需要大量的计算资源。
因此，在实际应用中，牛顿法通常只适用于相对较小的方程组。
2. 信赖域方法相比于牛顿法，信赖域方法更具有通用性。
信赖域方法的基本思想是：在每轮迭代中，通过构造二次模型来逼近目标函数，并在一个信赖域内搜索下降方向。
具体地说，我们在每轮迭代中将非线性方程组$F(x)$在$x^k$处转化为二次模型：$$m_k(\Delta x)=F(x^k)+\nabla F(x^k)^\top \Deltax+\frac{1}{2}\Delta x^\top B_k\Delta x$$其中，$\nabla F(x^k)$是$F(x)$在$x^k$处的梯度，$B_k$是二阶导数信息。
在这里我们假设$B_k$为正定矩阵。
显然，我们希望在$m_k(\Delta x)$的取值范围内找到一个适当的$\Delta x$，使得$m_k(\Delta x)$最小。
因此，我们需要设定一个信赖域半径$\Delta_k$，并在$B_k$所定义的椭圆范围内查找最优的$\Delta x$。
第8讲信赖域方法
对于二次模型函数 ，定义其柯西点: 对于二次模型函数(2)，定义其柯西点 二次模型函数
s c = −τ k k ∆k gk , gk
其中, 其中
T 1, if g k Bk g k ≤ 0; gk 3 τk = min ∆ g T B g ,1 , or. k k k k
7
5．信赖域算法 ．信赖域算法 Step1. 给 出 初 始 点 x0 ， 信 赖 域 半 径 的 上 界 ∆ , ∆ 0 ∈ ( 0, ∆ ) , 0 ≤ ε ,
0 < η1 ≤ η 2 < 1, 0 < γ 1 ≤ 1 < γ 2 , k := 0 .
Step2. 如果 g k ≤ ε ,停止 停止. 停止 Step3. (近似 求解子问题 得到 sk . 近似)求解子问题 近似 求解子问题(2),得到 Step4. 计算 f ( xk + sk ) 和 rk .令 令
xk + sk , if rk ≥ η1 . xk +1 = or. xk ,
Step5.校正信赖域半径 令 校正信赖域半径.令 校正信赖域半径
∆ k +1 ∈ ∆ k , min {γ 2 ∆ k , ∆}
∆ k +1 ∈ ( 0, γ 1∆ k ] ∆ k +1 ∈ [γ 1∆ k , ∆ k ]
if rk < η1; if rk ∈ [η1 ,η2 ) ;
if rk ≥ η 2 .
8
5．信赖域算法 ．信赖域算法 Step6. 产生 Bk +1 ，校正 q( k ) ，令 k := k + 1, 转 Step 2. 很成功迭代: 很成功迭代 成功迭代: 成功迭代 不成功迭代: 不成功迭代 算法参数选择建议: 算法参数选择建议
非线性最优化的信赖域算法研究的开题报告
非线性最优化的信赖域算法研究的开题报告1. 研究背景非线性最优化问题在实际应用中很常见，如优化机器学习、控制理论、工程设计等。
最优化算法一般分为两类：基于梯度的方法和基于二次型的方法。
前者可以快速收敛，但容易陷入局部最优解，而后者可以保证全局收敛但计算成本高。
因此，信赖域算法兼具了两种方法的优点。
信赖域算法是一种针对非线性最优化问题的迭代算法，每次迭代通过解一个二次型子问题来获取搜索方向和步长。
2. 研究目的本文旨在研究信赖域算法的优化方法，重点探讨在信赖域半径的控制过程中，如何有效地选择合适的半径大小，同时提高算法的迭代效率和稳定性。
最终目的是设计出一种高效、准确的信赖域算法，在实际应用中得到更好的效果。
3. 研究内容本文将围绕以下内容展开研究：（1）信赖域模型的建立及求解方法（2）信赖域半径大小的选择方法（3）优化算法的收敛性分析（4）算法实验及结果分析4. 研究方法本文将采用分析与实验相结合的方法进行研究。
首先，基于理论分析和文献调研，建立信赖域模型并提出一种有效的信赖域半径大小选择方法。
然后，运用数值实验对所提出的优化算法进行测试，比较其在不同测试数据集上的表现与效率，并通过实验结果进一步改进算法设计。
5. 预期成果本文拟达到以下预期成果：（1）建立适用于非线性最优化问题的信赖域模型（2）提出一种优化的信赖域半径大小选择方法（3）分析算法的收敛性和有效性（4）设计出一个高效、准确的信赖域算法6. 参考文献[1] Conn A. R., Gould N. I. M., & Toint P. L. Trust region methods[M]. SIAM, 2000.[2] Nocedal J & Wright Stephen J. Numerical optimization[M]. Springer Science & Business Media, 2006.[3] Byrd R. H., Nocedal J., & Schnabel R. B. Representations of quasi-Newton matrices and their use in limited memory methods[J]. Mathematical Programming, 1994, 63(4): 129-156.[4] Lin L., & Moré J. J. Nonlinear trust-region algorithms for mixed-integer nonlinear programming[J]. Optimization methods and software, 2019, 34(1): 126-143.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
xk sk , if •rk 1 xk 1 . or xk Step5. 校正信赖域半径，令
k 1 （0， 1 k ) k 1 （ 1 k , k ) if rk 1，转步骤3； if rk [1 , 2 )，转步骤6； if rk 2，转步骤6.
机械最优化设计课程
THU DAE
机械最优化设计作业
—信赖域方法
THU DAE
1
机械最优化设计课程
THU DAE
1.信赖域方法的综述
信赖域法和线性搜索方法是求解非线性优化问题的两 类主要的数值方法。信赖域法也是一种迭代算法，即从给 定的初始解出发，通过逐步迭代，不断改进，直到获得满 意的近似最优解为止。 特点：思想新颖，具有可靠性、有效性和很强的收敛 性。与线性搜索方法相比，信赖域方法直接通过模型求解 得到试探步长，而不是先确定搜索方向，再寻找步长。 线搜索方向可以看成是信赖域半径充分大时的信赖域 步；而信赖域方法得出的信赖步可看成是将二次逼近模型 加上一个惩罚项之后所导致的线搜索方向。
T
.
10
机械最优化设计课程
N 折线x1 C.P. xTHU k 1称为单折线。 DAE
解信赖域子问题
k gk （ 1 ） s k时，sk ( k 1时Cauchy 点）； gk 2
c k c （2） sk k时，再计算牛顿步 skN：
2.1 如果 skN 2.2 如果 skN
1 1 0.01， 2 0.75， 1 0.5， 2 2， 0 1，或者 0 g0 . 10
8
机械最优化设计课程
THU DAE
解信赖域子问题
信赖域方法在每步迭代中求解下列形式的子问题：
1 T (k) T min q ( s) f ( xk ) g k s s Bk s （2） 2 s.t. s 2 k f ( xk )为目标函数， s x xk , gk f ( xk ) Rn , Bk 其中， k为信赖域半径， S为待求 2 f ( xk ) Rnn或者其近似， 变量。当 k 变化时，S的解形成一条空间曲线，称为最优 曲线。 Powell[1970]给出了求解（2）的单折线法，当Bk 可逆时。 用连接初始点、S0及S1 的单折线近似最优曲线，在折线上 * 取点 S * 使得 S k 作为（2）的解Sk 。
2 2
k k
12
机械最优化设计课程
THU DAE
数值实验
min f ( x) 100( x2 x12 )2 (1 x1 )2
选（1.2,1 ）为初始点，与其他方 法做对比：
方法
信赖域 共轭方向 变尺度
迭代次数
8 16 32
函数值误差 最优点误差
1.2*e^(-13) 9.4*e^(-9) 9.4*e^(-9) 7.8*e^(-7) 1.5*e^(-5) 1.5*e^(-5)
13
机械最优化设计课程
THU DAE
14
机械最优化设计课程
THU DAE
对步长接收准则的讨论
单调 非单调
15
2
机械最优化设计课程
THU DAE
基本思想
在每次迭代中给出一个信赖域，这个信赖域一般是当 前迭代点 的一个小邻域。然后在这个邻域内求解一个子问 题，得到试探步长（trial step） ，接着用某一评价函数来决 定是否接受该试探步长以及决定下一次迭代的信赖域。 如果试探步长被接受，则： xk 1 xk sk ， 否则， xk 1 xk 。 新的信赖域的大小取决于试探步长的好坏，粗略地说，如 果试探步长较好，在下一步信赖域扩大或保持不变，否则 下一步减小信赖域。
9
机械最优化设计课程
THU DAE
解信赖域子问题
其中s1是Cauchy点（由最速下降法产生 的极小点）； s2是牛顿点 （由牛顿方法产生的极 小点xkN1）。
c s1 sk k g k , s2 skN Bk1 g k , k
gT gk k g k Bk g k
3
机械最优化设计课程
THU DAE
算法模型
设当前点 xk 的邻域定义为：
k x R, x xk k
（ 1 ）
其中， k 称为信赖域半径。 利用二次逼近，构造如下信赖域子问题： 1 T (k) T min q ( s) f ( xk ) g k s s Bk s （2） 2 s.t. s 2 k 其中，f ( xk )为目标函数， s x xk , gk f ( xk ) Rn , Bk
7
k 1 [ k , min{ 2 k , }]
机械最优化设计课程
THU DAE
信赖域算法
Step6. 令k=k+1,转Step2.
0 ， 0 1 2 1,0 1 1 2 , k 0.
很成功迭代：rk 2，k 1 k ，信赖域扩大； ; 成功迭代： rk [1 ,2 )，信赖域维持不变 不成功迭代：rk 1 ，信赖域缩小。 算法参数选择：
6
机械最优化设计课程
THU DAE
信赖域算法
Step1. 给出初始点 x0 ，信赖域半径的上界 ，0 （0， ）， 0 ， 0 1 2 1,0 1 1 2 , k 0. Step2. 计算 g k ，如果 gk ，停止；否则，计算Bk 1 。 Step3. （近似）求解子问题（2），得到sk 。 Step4. 计算 f ( xk sk )和rk ，令
定义比值：
Aredk rk . Pr edk
它衡量了二次模型与目标函数的逼近程度 rk越接近于1， 表明接近程度越好。因此用它来确定下次迭代的信赖域半 径。
5
机械最优化设计课程
THU DAE
信赖域半径的选择
（1）rk 越接近于1，表明接近程度越好，这时可以增大 k 以扩大信赖域； （2）rk >0但是不接近于1，保持 k 不变； （3）如果 rk 接近于0，减小 k ，缩小信赖域。 或者其他 k 的选择方法（后面介绍）。
2 f ( xk ) Rnn或者其近似。
4
机械最优化设计课程
THU DAE
算法模型
设sk 是信赖域子问题（2）的解，定义目标函数第k步 的真实下降量为： Aredk f ( xk ) - f ( xk sk )
(k) 称二次模型函数 q (s) 的下降量为预测下降量：
Predk q(k) (0) - q(k) (sk )
2 2
k，则sk skN；
c c k，则sk sk ( skN sk ),
其中，为方程：
c c sk ( skN sk ) k的解。
11
机械最优化设计课程
THU DAE
解信赖域子问题
综上所述： k gk c x ， 当 s k k k g k 2 c c c xk 1 xk sk ( skN sk ),当 sk k 且 skN 1 c N x B g ， 当 s 且 s k k k k k k