非线性方程组的求解(汇编)
非线性方程组的求解方法及其应用
非线性方程组的求解方法及其应用非线性方程组是数学中一类非常重要的问题，其中每个方程都不是线性的。
与线性方程组不同，非线性方程组的求解通常需要借助于数值方法。
本文将讨论一些常见的非线性方程组求解方法，并介绍它们在实际应用中的一些应用。
1. 牛顿法牛顿法是一种非常常见的非线性方程组求解方法。
该方法基于牛顿迭代法原理，将非线性方程组转化为一系列的线性问题。
牛顿法的基本思想是：通过不断地使用一阶导数和二阶导数的信息来逼近方程组的解。
具体地说，在每一轮迭代中，求解一个方程组：$$F(x^{k})+J(x^{k})\Delta x^{k} =0$$其中$F(x)$表示非线性方程组，$x^k$表示第$k$轮迭代的解，$J(x^k)$表示$F(x)$在$x^k$处的雅可比矩阵，$\Delta x^k$表示下降方向，满足$\|\Delta x^k\|\rightarrow 0$。
值得注意的是，牛顿法在每轮迭代中都需要求解一次雅可比矩阵，这需要大量的计算资源。
因此，在实际应用中，牛顿法通常只适用于相对较小的方程组。
2. 信赖域方法相比于牛顿法，信赖域方法更具有通用性。
信赖域方法的基本思想是：在每轮迭代中，通过构造二次模型来逼近目标函数，并在一个信赖域内搜索下降方向。
具体地说，我们在每轮迭代中将非线性方程组$F(x)$在$x^k$处转化为二次模型：$$m_k(\Delta x)=F(x^k)+\nabla F(x^k)^\top \Deltax+\frac{1}{2}\Delta x^\top B_k\Delta x$$其中，$\nabla F(x^k)$是$F(x)$在$x^k$处的梯度，$B_k$是二阶导数信息。
在这里我们假设$B_k$为正定矩阵。
显然，我们希望在$m_k(\Delta x)$的取值范围内找到一个适当的$\Delta x$，使得$m_k(\Delta x)$最小。
因此，我们需要设定一个信赖域半径$\Delta_k$，并在$B_k$所定义的椭圆范围内查找最优的$\Delta x$。
非线性方程组的解法
非线性方程组的解法
基本思路：
分段线性化方法，将荷载划分成很多小步，逐 步施加
具体操作方法：
显式求解法（增量法） 隐式求解法（迭代法）
清华大学研究生课程——《钢筋混凝土有限元》
清华大学研究生课程——《钢筋混凝土有限元》
显式求解法
将荷载分成若干小步，逐步施加 认为在每个小步中，结构是线性的，同 一荷载步的刚度矩阵相同 不同荷载步的刚度矩阵可以不同 用一系列的折线去近似曲线
某次迭代位移改变量 同级荷载节点总位移 < 误差容限
能量收敛标准
一般以某次迭代的应变能增量为分析对 象，以同级荷载作用下总应变能为参考 标准
某次迭代应变能改变量 同级荷载总应变能 < 误差容限
一般使用无穷范数
清华大学研究生课程——《钢筋混凝土有限元》
清华大学研究生课程——《钢筋混凝土有限元》
注意事项
修正的欧拉折线法(Mid-point Method)
P K2 K1 Pn Pn-1
单元刚度矩阵
已知应力，应变，应变增量
[K n−1 ]
根据当前应力应变求切线刚度矩阵 求中点应力 {σ n '} = {σ n−1 } + [K n−1 ] {dε n }
2
根据中点应力和应变 {σ n '}， {ε n−1 } + n 求此时 2 的切线刚度矩阵 [K n−1 ']
判断对象
力收敛标准 位移收敛标准 能量收敛标准
范数
无穷范数 一范数 二范数
V
V
V
∞
= max Vi
= ∑ Vi
=
判断标准
相对误差 绝对误差
1
范数
无穷范数 一范数 二范数
第十章非线性方程及非线性方程组解法
例5 设
f1 ( x, y ) x 2 y 2 5 0 f 2 ( x, y ) ( x 1) y (3x 1) 0 用牛顿法求( x0 , y0 ) (1 ,1)附近的解
解：先计算出偏微商矩阵
f1 x f 2 x f1 2y y 2 x f 2 y 3 x 1 y
第十章 非线性方程及非线性方程组解法
在许多实际问题中常常会遇到求解非线性方程
或非线性方程组的问题。
例如，求n次代数方程
an x n an1 x n1 a1 x a0 0
的根，或求超越方程。
x
e
sin(
X
2
)0
的根，这些都可以表示为求f(x)=0的根，或称为 求函数f(x)的零点。
x 2 x1
x1 x0
f ( x0 )
f ( x0 )
再把 x1 作为节点，利用泰勒展式，令f ( x1 ) 0，
f ( x1 )
f ( x1 )
如此下去，得到牛顿法的迭代序列
x n 1 x n f ( xn ) f ( x n )
牛顿法的几何意义 切线方程：y f ( x0 ) f ( x0 )(x x.0 )
(10-24）
只要系数矩阵的行列式
f1 ( x0 , y0 ) x J f 2 ( x0 , y0 ) x f1 ( x0 , y0 ) y 0 f 2 ( x0 , y0 ) y
则方程组（10—24）的解可以写成
x1 x0 1 J0 1 y1 y0 J0 f1 ( x0 , y0 ) y f 2 ( x0 , y0 ) y f1 ( x0 , y0 ) f 2 ( x0 . y0 ) f1 ( x0 , y0 ) f 2 ( x0 , y0 ) f1 ( x0 . y0 ) x f 2 ( x0 , y0 ) x
第六章 非线性方程(组)的求解
* * 又当 n 充 分 大[ 以 a ,b 后 ] ， (x ,x ), 于是 m 为偶数 n n 时， x [ a ,b ],f (x ) 0 ,不 变 号 了 ！ n n
2）二分法线性收敛，收敛因子为1/2。
* x x n 1 1 * 1 * x x ( x a ) ( x x ), . n n 1 n 1 n 1 * 2 2 x x2 n 1
f (x) m(x x*)m1h(x) h(x) g(x) 1 (x x*)g(x),h(x*) 0, m f (x) (x) x x 1 (x-x* )g(x) / h(x), f (x) m (x*) 1 1 , (x*) 1 1 1 , m m 牛顿迭代线性收敛，且 随 m的增加收敛性越来越差 。 重根时的改进：
或
定理一的条件太强，不便于实际应用。下面给出一个局部 收敛定理。
由迭代（ 6 -1 -1 ） 产产生的 x 均收 数 敛收敛 n * 1 x x x x n n n 1 1 L n L * 或 x x x x n 1 L1 0
* * * 定理二 :如果 (x ) 连续 (x ， ) L 1, 则 x N (x ， 0 δ )
关于初值的问题： 一般来说采用试探法，但对于一些实际问题初值的选择并 不困难，它是明确的。
关于重根的问题：
* 设 x 是 f( x ) 的 m 重零 m 点 1) , 此 （时 * m * f( x ) ( x x ) g ( x ), g ( x ) 0 , 1 * m 1 * f ( x ) m ( x x ) [ g ( x ) ( x x ) g ( x )], m
称算法（6-1-1）为牛顿迭代法。 f (x) 证明：令 (x) x ,则 xN (x*), f (x) 0 x (x) f (x) (x) f *) 0 (x) 1 f ( x ), ( x ,牛顿迭代收敛 2 [ f (x)] () * * 又 xn1 x (xn) (x ) (xn x*)2; 2 xn1 x* () c,至少二阶收敛。 2 2 (x x*)
非线性方程(组)的解法
lnim(bn
an )
lim
n
2n1
(b
a)
0
lim
n
an
lim
n
bn
x
取
x
cn
1 2
(an
bn
)为
x 的近似解。
7
二分法
迭代终止准则
an - bn
即
x - cn
bn an 2
2
8
2.2一般迭代法
2.2.1 迭代法及收敛性
对于 f (x) 0 有时可以写成 x (x) 形式 如： x3 x 1 0 x 3 x 1
12
例题
例2.2.1 试用迭代法求方程 f (x) x3 x 1 0
在区间(1，2)内的实根。 解：由 x 3 x 1建立迭代关系
xk1 3 xk 1 k=0,1,2,3…… 计算结果如下:
13
例题
精确到小数点后五位
x 1.32472 1 105
2
14
例题 但如果由x x3 1建立迭代公式
xk1 xk3 1 k 1,2,...
仍取 x0 1.5，则有 x1 2.375 ，x2 12.39 显 然结果越来越大，{xk }是发散序列
15
2.3 Newton迭代法
设x*是方程f (x) = 0的根， 又x0 为x* 附近的一个值，
将f (x) 在x0 附近做泰勒展式：
f (x)
二分法
用二分法(将区间对平分)求解。
令
a1
a, b1
b, c1
1 2
(a1
b1 )
若 f (a1) f (c1) 0，则[a1, c1] 为有根区间，否 则 [c1,b1]为有根区间
非线性代数方程(组)的解法
06
应用举例与算法实现
应用举例
经济学
非线性方程组在经济学中广泛应用于描述市场均衡、消费者行为等问题。例如，求解供需平衡价格时，可以通过构建 非线性方程组来表示供给和需求函数，进而求解市场均衡价格。
工程学
在机械、电子等工程领域，非线性方程组常用于描述系统的动态行为。例如，在控制系统中，通过建立非线性状态方 程来描述系统的状态变化，可以求解系统的稳定性、响应特性等问题。
拟牛顿法是对牛顿法的改进，通过近 似计算雅可比矩阵或其逆矩阵来减少 计算量。常见的拟牛顿法有BFGS方 法、DFP方法等。程序设计时，需要 实现拟牛顿法的迭代过程，包括选择 合适的拟牛顿公式、更新近似矩阵等 步骤。
信赖域方法
信赖域方法是一种全局收敛的非线性 方程组求解算法，其基本思想是在每 次迭代中构造一个信赖域，然后在该 区域内寻找使目标函数充分下降的试 探步。程序设计时，需要实现信赖域 方法的迭代过程，包括构造信赖域、 求解子问题、更新信赖域半径等步骤 。
04
解析解法分离变量法源自01 适用于可将方程中的变量分离为两个或多个独立 函数的情况。
02 通过将方程两边同时积分，得到各变量的通解。 03 需要注意积分常数的确定，以及解的合理性验证。
行波法
01
适用于可化为行波形式的非线性方程。
02
通过引入行波变换，将原方程化为关于行波参数的常微分方 程。
03
步骤
1. 选定适当的坐标轴，将方程的变量表 示为坐标轴上的点。
等倾线法
定义：等倾线法是一种通过绘 制等倾线（即斜率相等的线） ，从而找出方程解的方法。
步骤
1. 将方程转化为斜率形式， 即 y' = f(x, y)。
3. 通过观察等倾线的交点、 切线等性质，可以判断方程 的解的存在性、唯一性等。
非线性方程组的解法
所以 f ( x) m(x x*)m1 g(x) (x x*)m g(x)
xk 1 xk
f (xk ) f (xk )
xk
m( xk
( xk x*)m g( xk ) x*)m1 g( xk ) ( xk x*)m g( xk )
xk
xk 1 xk (xk ) (xk 1 ) ( )( xk xk 1 ) 由于|( x)| L
xk 1 xk L xk xk1
xk1 x * L xk x * L xk1 x * (xk1 xk )
L xk1 x * L(xk1 xk )
本节主要研究单根区间上的求解方法
2
简单迭代法(基本迭代法)
将非线性方程(1)化为一个同解方程
x (x) 并且假设 (x)为连续函数
--------(2)
任取一个初值 x0 , 代入(2)的右端,得
x1 ( x0 )
继续
x2 ( x1 )
xk 1 ( xk )
(k 0,1,2, )
1 1 m
m 2时,1 1 0 m
由定义1
该迭代法对 m( 2)重根是线性收敛的
例4. 设f (a) 0,且f (a) 0,证明迭代法
xk 1
xk
f (xk ) f (xk )
至少是平方收敛的
19
注意例4与例3的迭代法是相同的,两例有何区别?
证明:
令
(x)
x1 3
x0 1 2
3 1 0.7937 2
x2
3
x1 1 3 2
1.7937 2
非线性方程组的解法
非线性方程组的解法
非线性方程组的解法包括：
（1）近似法。
近似法是根据所给非线性方程组，使用一定的数值方法，建立非线性方程组结果的拟合曲线，以此求解非线性方程组的常用方法，目前有贝塔、拉格朗日近似法和微分近似法等。
（2）多元分割法。
多元分割法根据非线性方程组的参数和变量空间，
将整个运算范围分割成多余小区间，利用各区间中只含有一个未知变
量的简单方程组，将非线性方程组转换成多个一元方程组，再用一次法、弦截法和二分法等算法求解，最终得出整个非线性方程组的解。
（3）迭代映射法。
迭代映射法是通过给定一个初始值，然后利用迭代，反复运算，最终达到收敛点的一种方法，主要包括牛顿法、收敛法、
弦截法、松弛法和隐函数法等。
（4）最小二乘法。
最小二乘法是将非线性方程组表示为残差函数，然
后求解残差函数最小值，获得未知变量的最优解，常用于数值分析中。
（5）特征法。
特征法是采用将非线性方程组表示为线性方程组特征值
和它们关于某一特征量的关系式，利用梯度下降法，最小化残差函数，求解非线性方程组的方法。
以上是非线性方程组的解法的简单综述，它们在一定程度上增加了解决非线性方程组的效率，但并非所有情况都能使用以上求解方法。
正确使用相应的求解方法就可以有效的求解非线性方程组，以便更好的解决实际问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
非线性方程组的求解摘要：非线性方程组求解是数学教学中，数值分析课程的一个重要组成部分，作为一门学科，其研究对象是非线性方程组。
求解非线性方程组主要有两种方法：一种是传统的数学方法，如牛顿法、梯度法、共轭方向法、混沌法、BFGS 法、单纯形法等。
传统数值方法的优点是计算精度高，缺点是对初始迭代值具有敏感性，同时传统数值方法还会遇到计算函数的导数和矩阵求逆的问题，对于某些导数不存在或是导数难求的方程，传统数值方法具有一定局限性。
另一种方法是进化算法，如遗传算法、粒子群算法、人工鱼群算法、差分进化算法等。
进化算法的优点是对函数本身没有要求，不需求导，计算速度快，但是精度不高。
关键字：非线性方程组、牛顿法、BFGS 法、记忆梯度法、Memetic 算法1： 三种牛顿法：Newton 法、简化Newton 法、修改的Newton 法【1-3】求解非线性方程组的Newton 法是一个最基本而且十分重要的方法, 目前使用的很多有效的迭代法都是以Newton 法为基础, 或由它派生而来。
n 个变量n 个方程的非线性方程组, 其一般形式如下:⎪⎪⎩⎪⎪⎨⎧===0),...,(...0),...,(0),...,(21212211n n n n x x x f x x x f x x x f （1）式(1)中,),...,(21n i x x x f ( i=1, ⋯, n) 是定义在n 维Euclid 空间Rn 中开域 D 上 的实值函数。
若用向量记号，令：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n x x x ...X 21,⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡====)(...)()(0),...,(...0),..,(0)...,()(2121212,211X f X f X f x x x f x x x f x x x f X F nn n n n则方程组（1）也可表示为：0)(=X F（2） 其中：X ∈R n ,F ∶R n →R 0, F(X) ∈R n , R n 为赋值空间。
一般地， 若在包含的某邻域D 内, 按某种近似意义,用线性函数:k k k b X A +=)X (l （3）近似地代替向量值函数F(X),此处A k 是n 阶矩阵，则可将线性方程组:k k k b X A +=)X (l （4）的解作为非线性方程组( 2) 的近似解。
1.1 Newton 法[1]Newton 法的迭代公式为：,...2,1,0k )-F(X )X )((X F'X X X k k k k k 1k =⎩⎨⎧=∆∆+=+ (5）其中k 1k k X -X X +=∆.1.2 简化Newton 法[1]尽管Newton 法具有较高的收敛速度，但在每一步迭代中，要计算n 个函数值f ，以及n 2个导数值f ′形成Jacobi 矩阵)('k X f ，而且要求)('k X f 的逆阵或者解一个n 阶线性方程组，计算量很大。
为了减少计算量，在上述Newton 法中对一切k=0,1,2,...,取)('k X f 为.)('X f ，于是迭代公式修改为：[]...2,1,0),X ()X ('X X k 1k k 1k =-=-+k f f (6) 式( 5) 即为简化的Newton 法。
该方法能使计算量大为减少，但却大大降低了收敛速度。
简化的Newton 法的算法与Newton 法的算法区别就在于只由给定的初始近似值计算一次)('X f ，以后在每一次迭代过程中不再计算)('k X f ，保持初始计算值。
1.3 修正的Newton 法[2]吸取Newton 法收敛快与简化的Newton 法工作量省的优点，文献【2】把m 步简化的Newton 步合并成一次Newton 步。
则可以得到下列迭代程序:⎪⎭⎪⎬⎫=-==+--m ,k 1k 1j ,k 1k j ,k j k ,k k ,0X X )X (f )X ('f X X X X (7)式中: j=1, 2, ⋯, m, k=0, 1, 2, ⋯, 该式称为修正的Newton 法。
通过分析Newton 法、简化的Newton 法和修正Newton 法的原理, 并通过对算例的分析比较，我们可知: Newton 法(5)式具有较高的收敛速度，但计算量大，在每一步迭代中，要计算n 个函数值f ，以及n2个导数值f'形成Jacobi 矩阵)('k X f ，而且要求)('k X f 的逆阵或者解一个n 阶线性方程组；简化的Newton 法( 6) 式，它用迭代初值X 0来计算)('k X f ，并在每个迭代步中保持不变，它能使每步迭代过程的计算量大为减少，但大大降低了收敛速度。
修正Newton 法(7)与Newton 法(5)相比，在每步迭代过程中增加计算n 个函数值，并不增加求逆次数，然而收敛速度提高了。
2： BFGS 法【4-6】非线性方程组一般形式为:方程组（1）将其转化为一个全局优化问题。
构造能量函数：）（）（n ni i x x x X X f X ,...,),(2112==Φ∑=求非线性方程组解的问题就转化为求解能量函数极小值的问题。
即给定一个充分小的实常数ε，搜索）（**2*1*,...,X n x x x =使得εφ<）（*X 则X *即是非线性方程组（1）对应的近似解。
2.1 BFGS 查分算法【4】文献【4】将传统的BFGS 算法和查分算法有机融合，用来求解非线性方程组，效果显著，可以较为广泛地应用于非线性方程组的求解。
BFGS 方法是由Broyden 、Fletcher 、Goldfarb 和Shanno 等人在1970年提出的。
它是一个拟牛顿方法，具有二次终止性、整体收敛性和超线性收敛性，且算法所产生的搜索方向是共轭的。
BFGS 方法是一个有效的局部算法，用来求解极小值的。
例如方程组⎪⎪⎩⎪⎪⎨⎧===nn n n n A x x x f A x x x f A x x x f ),...,(...),...,(),...,(2122121211 （8） 可将它够着适应度函数∑=-=n i i i A x f X F 1|)(|)( (9)那么求非线性方程组（8）的根问题就转化成了求适应度函数）（X F 最小值的优化问题。
这就是它最基本的思想。
DE 算法(差分进化算法)（文献【5】）具有良好的全局搜索能力，并具有对初始值、参数选择不敏感、鲁棒性强、原理简单、容易操作等优点，是一种较好的全局优化方法。
但在优化后期DE 算法的收敛速度明显变慢，而且搜索结果仅获得满意解域而不是精确解。
为了克服这些缺点，该文在DE 算法的进化后期阶段引入BFGS 方法，利用BFGS 方法的整体收敛性和超收敛性来加快收敛速度。
BFGS 方法属于局部算法，其优化结果的优劣在很大程度上取决于初始值的选取，为此可以利用具有全局搜索能力的DE 算法提供给BFGS 方法良好的初始值。
2.2 改进的BFGS 变尺度法【4】对于高维的大型问题（维数大于100），变尺度法由于收敛快、效果好，被认为是最好的优化方法之一。
其中BFGS 法的数值稳定性较好，是最成功的一种变尺度法。
BFGS 法中有2个非常关键的环节：求函数的偏导数和一维探索。
这2个环节的算法精度对最后结果的精度影响很大。
2.2.1 改进的遗传算法【7】遗传算法的优越性主要表现在：算法具有固有的并行性，通过对种群的遗传处理可处理大量的模式，并且容易并行实现。
(a) 选择复制操作采用保优操作与比例复制相结合, 即最优秀的个体被无条件保留下来,其余的以正比于个体适配值的概率来选择相应的个体。
(b) 交叉操作采用保优操作与算数交叉结合,即最优秀的个体被无条件保留下来，其余的以交叉概率进行算数交叉。
算数交叉的方式为:122211)1(,)1(X X X X X X αααα-+=-+= (10) 式中21,1,0X X ）；（∈α为父代个体；X 1,X 2为后代个体。
（c ）变异操作采用保优操作与扰动变异结合,即最优秀的个体被无条件保留下来，其余的以变异概率进行扰动变异。
扰动变异的方式为ηξ+=X X '。
式中ξ为满足正态分布的随机扰动；η为尺度参数; X 为父代个体; X'为后代个体。
2.3 混合优化【7】改进的BFGS 方法是一种非常有效而且收敛速度很快的局部搜索算法，而改进的遗传算法实现并行搜索，有非常强的全局搜索的能力。
文献【7】将2种方法混合起来，实现了并行与串行，全局与局部的融合，极大地提高了优化性能、优化效率和鲁棒性.。
尤其对于高维复杂函数效果非常好。
混合法的步骤为:(1)给定算法参数，初始化种群。
(2)评价当前种群中各个体。
（3)判断算法收敛准则是否满足。
若满足则输出搜索结果，否则转(4)。
(4)执行改进的遗传算法的选择复制操作。
（5)执行改进的遗传算法的交叉操作。
（6)执行改进的遗传算法的变异操作。
(7)以当前种群中各个个体作为改进的BFGS 方法的初始解，分别用改进的BFGS 方法进行搜索得到新的个体，将这些新的个体组成新的种群，转（2）。
3： 记忆梯度法[8-10]考虑非线性方程组n R x x F ∈=,0)( ， （11）其中n n R R F →:是非线性映射。
定义T n x F x F x F x F ))(),...(),(()(21=，其雅可比矩阵J(X)。
记忆梯度法(文献【8-9】)是求解无约束优化问题非常有效的方法，该方法在每步迭代时不需计算和存储矩阵，结构简单，因而适于求解大型优化问题。
算法的基本思想是: 首先将非线性方程组问题(12)转化为一个无约束极小化问题n R x x f ∈),(min , (12) 其中2)(21)(x F x f =。
这里.采用二范数，然后利用记忆梯度法求解问题(13)。
因为f( x) ≥ 0。
所以如果x* 是无约束优化问题(12)的最优解，那么x * 必是非线性方程组(11) 的近似最优解。
设f(X)的梯度为g(x)，则g(x)=▽f(x)=J(x)F(x).求解无约束优化问题的记忆梯度法应用于求解非线性方程组，给出了一类新的求解非线性方程组的记忆梯度算法，并分析了算法的全局收敛性。
该算法无需求雅克比矩阵的逆矩阵，所以具有更广泛的应用性。
此外，算法在迭代过程中也无需每一步都计算F(X) 的雅克比矩阵，大大减少了算法的计算量，节省了运算时间。
与牛顿法相比，记忆梯度法更适于求解大规模非线性方程组。
4： 基于Memetic 算法的非线性方程组求解算法【11-12】Memetic 算法是建立在模拟文化进化基础上的优化算法，它实质上是一种基于种群的全局搜索和基于个体的局部启发式搜索的结合体。