第二章 迭代法得一般原理
迭代法的基本原理
迭代法的基本原理
迭代法的基本原理：
①通过反复逼近方式逐步缩小解与当前估计值之间差距直至满足精度要求；
②数值分析中解决非线性方程组优化问题等领域广泛应用此类算法框架；
③简单固定点迭代情形下构造收缩映射使得序列极限收敛于根所在位置；
④Newton-Raphson方法利用函数及其导数信息构建二次逼近快速找到解；
⑤求解线性系统时Jacobi Gauss-Seidel SOR等迭代格式根据矩阵特性选取；
⑥每次迭代更新未知数估计值直至相邻两次结果差异小于预设阈值停止；
⑦实践中需关注收敛速度稳定性以及如何选择初始猜测值影响最终效果；
⑧例子如求平方根时令x(n+1) = (x(n) + a / x(n)) / 2迭代直至收敛；
⑨迭代次数过多可能导致数值不稳定需引入松弛因子加速收敛抑制振荡；
⑩现代算法设计中常结合预处理技术改进条件数提升迭代法整体性能；
⑪并行计算环境下研究分布式迭代机制成为当前研究热点之一；
⑫随着应用领域拓展迭代法理论与实践将继续深化发展。
第二章 迭代法的一般原理
第二章 迭代法的一般原理非线性方程组无论从理论上还是计算方法上，都比线性方程组复杂得多。
一般的非线性方程组很难求出解析解，往往只能求出其数值解，且往往只能借助于迭代法。
本章我们将讨论迭代法的一般原理、迭代法的一般构造及迭代收敛速度的衡量标准。
2-1 迭代法与不动点定理设n n R R D →⊂:f ，考虑方程()0=x f (2-1)若存在D *∈x ，使()0=*x f ，则称*x 为方程(2-1) 的解。
用迭代法求解(2-1) ，先将(2-1)化为等价的方程()x g x = (2-2)这里映象n n R R D →⊂:g 。
方程(2-2)的解*x (即()**x g x =)称为映象g 的不动点。
因此用迭代法解方程(2-1)，就是求(2-2)中映象g 的不动点。
这样以及g 是否存在不动点自然就是我们关心的问题。
定理2-1 若n n R R D →⊂:g 为有界闭集D D ⊂0上的严格非膨胀映象，()00D D ⊂g ，则g 在0D 内有唯一不动点。
证 唯一性 设g 在0D 内至少有两个不动点1x ，2x ，则()()2121x x x g x g x x 21-≤-=-α 因1<α，所以由上式推得21x x =。
唯一性得证。
记()()x g x x -=ϕ，由g 及泛数的连续性可知1:R R D n →⊂ϕ连续。
因0D 为有界闭集，故ϕ在0D 上有最小值。
设0D *∈x 为最小点，即()()x g x x -=∈min 0D x *ϕ则*x 为g 的不动点。
因为若不然，则有()**x g x ≠，再由g 严格非膨胀，可得()()()()()***x g g x g x g -=ϕ()()***x x g x ϕ=-<这与*x 为ϕ的最小点相矛盾，故*x 为g 的不动点。
注 定理中0D 的有界闭性、g 的压缩性和g 映0D 入自身，此3个条件缺一不可。
例如，()xx x g 1+=在[)+∞=,D 10上严格非膨胀，但它在0D 中却没有不动点。
迭代法的应用
迭代法的应用迭代法，又称递归法或回代法，是一种数学计算方法，通过逐步逼近的方式寻找方程的解。
迭代法广泛应用于各个领域，包括数学、计算机科学、物理学和工程学等等。
本文将介绍迭代法的基本原理，并探讨其在不同领域中的应用。
一、迭代法的基本原理迭代法的基本原理是通过逐步逼近的方式解决问题。
具体而言，迭代法使用一个初始值作为起点，然后通过一定的计算规则不断更新这个值，直到满足特定的条件为止。
这个过程可以理解为在数轴上不断靠近目标点的过程。
迭代法的核心在于不断重复更新值的操作，直到找到满足精度要求的解。
二、迭代法在数学中的应用1. 方程求解：迭代法广泛应用于方程求解中。
例如，使用牛顿迭代法可以求解非线性方程，通过不断迭代计算，逐步逼近方程的解。
迭代法不仅可以解决简单的方程，还可以应用于更复杂的方程组，如线性方程组和常微分方程等。
2. 数值积分：在数值方法中，迭代法也经常用于数值积分的计算。
通过将积分区间划分为多个小区间，利用迭代法逼近每个小区间的积分值，最后将这些积分值相加得到整个区间的积分近似值。
这种方法可以提高计算的精度和效率。
三、迭代法在计算机科学中的应用1. 数值优化：在计算机科学中，迭代法被广泛应用于数值优化问题。
例如，通过不断迭代调整参数的值，可以优化机器学习算法中的模型参数，使得模型在给定数据集上的表现达到最佳。
2. 图像处理：迭代法也可以应用于图像处理领域。
例如，通过不断迭代计算，可以对图像进行降噪、边缘检测和图像增强等操作。
迭代法能够逐步改进图像的质量，提高图像处理的效果。
四、迭代法在物理学和工程学中的应用1. 计算流体力学：在计算流体力学中，迭代法被广泛应用于求解流体动力学方程。
通过将流体域离散成网格，利用迭代法逐步求解每个网格点上的流体状态，可以模拟流体在不同条件下的行为，如风洞实验和飞行器设计等。
2. 结构分析：在工程学中，迭代法也可以用于结构分析和设计中。
通过不断迭代更新结构的参数，可以实现结构的优化和调整。
2.2 迭代法
x k +1 = 3 x k + 1
计算结果如下: 计算结果如下:
k=0,1,2,3…….
计算方法
k 0 1 2 3 4
xk
1.5 1.35721 1.33086 1.32588 1.32494
k 5 6 7 8
xk
1.32476 1.32473 1.32Байду номын сангаас72 1.32472
精确到小数点后五位
x = 1.32472
′( x* ) = ϕ ′′( x* ) = L = ϕ ( p−1) ( x* ) = 0, ϕ ( p ) ( x* ) ≠ 0 ϕ 邻域是p阶收敛的。 则迭代过程在 x * 邻域是p阶收敛的。
证: 由于 ϕ ′( x * ) = 0 * ′( x* ) < 1 , 即在 x 邻域 ϕ ϕ ( xk ) 在 x * 处 有局部收敛性, 所以 xk+1 = ϕ( xk ) 有局部收敛性, 将 泰勒展开
计算方法
一、迭代法的基本思想: 迭代法的基本思想: 为求解非线性方程f(x)=0的根，先将其写成便于 的根， 为求解非线性方程 的根 迭代的等价方程
x = ϕ ( x)
的连续函数。 其中ϕ ( x ) 为x的连续函数。 的连续函数
(2.3)
计算方法
即如果数 α 使 f(x)=0, 则也有 α = ϕ (α ) , 反之, 反之, 若α = ϕ (α ) ,则也有 f (α ) = 0 的右端, 任取一个初值 x ,代入式 x = ϕ ( x ) 的右端, 得到 0
ϕ ′( x ) ≤ L < 1
计算方法
则对于任意的初始值 x0 ∈ S ，由迭代公式 收敛于方程的根。 产生的数列 { xn } 收敛于方程的根。 （这时称迭代法在 α 的S邻域具有局部收敛性。） 邻域具有局部收敛性。）
2.2 迭代法的一般形式与收敛性定理
a11 a12 a a 21 22 an1 an 2
a1n x1 b1 x b a2 n 2 2 ann xn bn
Ax=b
怎样设计迭代格 式? Ax=b x=Hx+f
kk 1 ， ， k
lim k lim
k k k
k
k
lim
k
1 k
k 1
0.
x 是线性方程组Ax=b的解
x* Hx* g
x
k 1
*
Hx
k
f
0 引理2.1：迭代法对任何初始近似 x 均收敛的 充分必要条件是 H k 0 k
即
A=D-L-U
a11 a 21 A a n1 0 a L 21 a n1
a12 a22 an 2
a1n a2 n ann 0
a11 D
a22
ann
0 an 2
设aii0 (i=1,2,,n)，并将A写成三部分
0 a11 a 21 0 a 22 A a n 1 ,1 a n 1 , 2 0 a nn a n 2 a n , n 1 a n1 0 a12 a1,n1 a1n 0 a 2 , n 1 a 2 n 0 a n 1, n 0 D LU. 0
H k 0 k 的充要条件是 ( H ) 1 引理2.2：
定理2.4：迭代法对任何初始近似均收敛的充分 必要条件是迭代矩阵H的谱半径 ( H ) 1
数值分析2 迭代法
§2简单迭代法——不动点迭代(iterate)迭代法是数值计算中的一类典型方法，被用于数值计算的各方面中。
一、简单迭代法设方程f(x)=0 (3)在[a,b]区间内有一个根*x ，把(3)式写成一个等价的隐式方程x=g(x) (4)方程的根*x 代入(4)中，则有)(**=x g x (5)称*x 为ｇ的不动点（在映射ｇ下，象保持不变的点），方程求根的问题就转化为求(5)式的不动点的问题。
由于方程(4)是隐式的，无法直接得出它的根。
可采用一种逐步显式化的过程来逐次逼近，即从某个[a,b]内的猜测值0x 出发，将其代入(4)式右端，可求得)(01x g x =再以1x 为猜测值，进一步得到)(12x g x =重复上述过程，用递推关系——简单迭代公式求得序列}{k x 。
如果当k →∞时*→x x k ,}{k x 就是逼近不动点的近似解序列，称为迭代序列。
称(6)式为迭代格式，g(x)为迭代函数，而用迭代格式(6)求得方程不动点的方法，称为简单迭代法，当*∞→=x x k k lim 时，称为迭代收敛。
构造迭代函数g(x)的方法：(1)=x a x x -+2，或更一般地，对某个)(,02a x c x x c -+=≠；(2)x a x /=； (3))(21xa x x +=。
取a=3,0x =2及根*x =1.732051，给出三种情形的数值计算结果见表表 032=-x 的迭代例子问题：如何构造g(x)，才能使迭代序列}{k x 一定收敛于不动点？误差怎样估计？通常通过对迭代序列}{k x 的收敛性进行分析，找出g(x)应满足的条件，从而建立一个一般理论，可解决上述问题。
二、迭代法的收敛性设迭代格式为),2,1,0()(1 ==+k x g x k k而且序列}{k x 收敛于不动点*x ，即∞→→-*k x x k (0时）因而有)3,2,1(1 =-≤-*-*k xx x x k k (7)由于),(),)((11*-*-*∈-'=-x x x x g x x k k k ξξ当g(x)满足中值定理条件时有),(),)((11*-*-*∈-'=-x x x x g x x k k k ξξ (8)注意到(8)式中只要1)(<<'L g ξ时，(7)式成立.经过上述分析知道,迭代序列的收敛性与g(x)的构造相关,只要再保证迭代值全落在[a,b]内，便得：假定迭代函数g(x)满足条件(1) 映内性：对任意x ∈[a,b]时，有a ≤g(x) ≤b ；(2) 压缩性：g(x)在[a,b]上可导，且存在正数Ｌ<1，使对任意 x ∈[a,b]，有L x g <')( （9）则迭代格式)(1k k x g x =+对于任意初值0x ∈[a,b]均收敛于方程x=g(x)的根，并有误差估计式011x x LL x x kk --≤-*（10）证明 ：收敛性是显然的。
2.2 迭代法
首先用归纳假设证明如下不等式
| x* xk | Lk | x* x1 |
38
当k=1时 x x1 L x x0 ，已证成立。
k 1 x x L x x0 成立，可得 假设 k 1
不动点迭代的几何解释 y=f(x)=x y=g(x)
38
不动点判定定理
设g是一连续函数，且 { pn } 是由不动点迭代 n 0
生成的序列。若 lim pn p ，则p是g(x)的不动点
n
pn 1 p pn p ，则 lim 证：lim n n
g ( p ) g (lim pn ) lim g( pn ) lim pn1 p
1 1 x xk x k 1 x k ( x k ) ( x k 1 ) 1 L 1 L L Lk x k x k 1 x1 x0 1 L 1 L
L越小，收敛越快
38
不动点迭代的图形解释
一般来说从 f ( x ) 0 , 构造 ( x )不止一种，有的
38
由介值定理，存在 x [a , b] 使 f ( x ) 0
即
x ( x ).
②设方程 x ( x ) 还有一根 , 即 a (a ). 则由微分中值定理有
x ( x ) ( ) ( )( x ) L x
x4 2x 2 x 3 0 x 2 ( x)
x 4 1
x 3 ( x) x4 2x2 3
(其中第二式 x4 2 x 2 1=x 4 )
东南大学-数值分析-第二章-牛顿迭代法
东南大学-数值分析-第二章-牛顿迭代法第二章非线性方程的解法某某某某（学号）某某某某（姓名）算法与程序题目见教材P56上机题目20。
一、算法原理根据题目的要求，是关于用牛顿迭代法法求解方程f(某)0的通用算法。
该法是一种通过斜率迭代的算法，其速度比二分法和简单迭代法都要快。
其简单原理如下：设fC2[a,b],且存在数p[a,b],满足f(p)0。
如果f(p)0,则存在一个数0,对任意初始值p0[p,p],使得由如下定义的迭代序列{pk}k0收敛到p：pkg(pk1)pk1f(pk1),其中k1,2,f(pk1)(1)对于函数f(某)某3/3某=0，则其递推规则是32pkpk21,其中k1,2,3pk1-3(2)定义序列{pk}则序列{pk}也可表示为limpk某现简要证明：k0，k0收敛到某，某对于f(某)某3/3某，得f'(某)某2-1，写出牛顿迭代公式f(某)某3/3某g(某)某某2f(某)某-1(3)该公式可化简为2某3g(某)23某3(4)二、流程图题目要求于用牛顿迭代法法求解方程f(某)0的通用算法。
其计算过程主要第二章非线性方程的解法用到迭代g(某)某f(某)，图流程图1所示。
f(某)输入各参数k=1迭代pkg(pk1)pk1f(pk1),其中k1,2,f(pk1)Tbreak计算各误差误差在允许范围之内Fk=k+1k三、计算代码核心代码1)p1=……;2)if(err程序1：Newton.m%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %Decription:牛顿迭代法%Author:panyunqiang%Veroin:1.0%Date:2022-9-21%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%f unction[p0,err,k,y]=Newton(p0,delta,epilon,ma某N)%input-p0itheinitialappro某imationtoazerooff%-deltaithetoleranceforp0%-epilonithetoleranceforthefunctionvaluey%-ma某Nithema某iumnumberofiteration%output-p0itheNewtonappro某imationtoazero%-erritheerroretimateforp0东南大学《数值分析》上机练习——算法与程序设计实验报告%-kithenumberofiteration%-yithefunctionvaluef(p0)fork=1:ma 某N%%递归p1=2某p0^3/(3某p0^2-3);%%计算误差err=ab(p1-p0);relerr=2某err/(ab(p1)+delta);p0=p1;%%当前求出的根的函数值y=p0^3/3-p0;%%判断if(err程序2：Newton_Step.m%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%Decription:寻找题目中关于牛顿迭代法收敛的尽可能大的delta%搜索步进为tep=10^(-6),即精确到小数点后六位%Author:panyunqiang%Veroin:1.0%Date:2022-9-21%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %formatlongtep=10^(-6);delta=10^-8;epilon=10^-8;ma某N=1000;p=0.6;[p0,err,k,y]=Newton(p,delta,epilon,ma某N);while((ab(p0)<=epilon)&(p0~=NaN))p=p+tep;[p0,err,k,y]=Newton(p,delta,epilon,ma某N);endp-tep四、计算结果及分析a)运行程序Newton_Step.m，获得Newton局部收敛于某2=0的初始值的范围=0.774596，六位有效数字。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章迭代法得一般原理
非线性方程组无论从理论上还就是计算方法上,都比线性方程组复杂得多。
一般得非线性方程组很难求出解析解,往往只能求出其数值解,且往往只能借助于迭代法。
本章我们将讨论迭代法得一般原理、迭代法得一般构造及迭代收敛速度得衡量标准。
2-1 迭代法与不动点定理
设,考虑方程
(2-1) 若存在,使,则称为方程(2-1) 得解。
用迭代法求解(2-1) ,先将(2-1)化为等价得方程
(2-2) 这里映象。
方程(2-2)得解(即)称为映象g得不动点。
因此用迭代法解方程(2-1),就就是求(2-2)中映象g得不动点。
这样以及g就是否存在不动点自然就就是我们关心得问题。
定理2-1若为有界闭集上得严格非膨胀映象,,则g在内有唯一不动点。
证唯一性设g在内至少有两个不动点,,则
因,所以由上式推得。
唯一性得证。
记,由g及泛数得连续性可知连续。
因为有界闭集,故ϕ在上有最小值。
设为最小点,即
则为g得不动点。
因为若不然,则有,再由g严格非膨胀,可得
这与为ϕ得最小点相矛盾,故为g得不动点。
注定理中得有界闭性、g得压缩性与g映入自身,此3个条件缺一不可。
例如,在上严格非膨胀,但它在中却没有不动点。
下面我们介绍在应用上非常广泛得不动点定理。
定理2-2 (Brouwer不动点定理)设在有解闭凸集上连续,且,则g在至少有一个不动点。
本定理在一维情形下叙述为: 则f在中至少有一个不动点。
几何解释见图2-1。
2-2 迭代格式得构造
前一节我们谈到,用迭代法求解方程(2-1),就是先将这个方程化为等价得方程(2-2),然后求映象g 得不动点,通常(也就是最简单得情形)构造如下迭代序列:
, (2-3)
我们希望这个迭代序列收敛到g 得不动点,亦即方程得解。
如果g 就是压缩得,可望迭代序列收敛。
图2-2展示了一维迭代收敛得一种情形。
对于(2-3)
f 与。
如果
g 不依赖于迭代步k 只依赖于,k ,则迭代形式可表示为
(2-4) 并称之为,这时得迭代为多步迭代。
例如,则迭代可写为 (2-5)
称这种迭代为m 步迭代。
类似地有m 步非定常迭代。
通常称g 或为迭代函数。
用不同得方法构造得迭代函数可得到不同得得到法。
设,如果一个迭代法得到得序列则称得到序列就是适定得,适定性就是迭代法得起码要求。
若就是方程(2-1)得解,且序列满足
则称迭代序列收敛于。
定义2-1 设,就是方程得一个解。
若存在得一个邻域,使对任何初始值(对于m 步迭代法,初值为 ),迭代序列总就是适定得且收敛于,则称就是迭代序列得吸引点。
不少迭代法都就是设法使迭代函数g 就是压缩得,这时迭代序列得吸引点恰就是g 得不动点。
有时候也可使g 具有某种单调性,构成单调单调法。
2-3 迭代法得收敛性与收敛阶
前面谈到,一个迭代法,当其产生得迭代序列在适定与收敛时才有意义。
单步迭代格式(2-3)在实际中被采用得最多,这里,我们不加证明地给出三个与(2-3)格式有关得收敛性定理。
定理2-4 设就是方程得解,。
若存在一个开球S = 与常数,使得对一切,有
x
021(x ) 图2-2 迭代序列收敛
(2-7) 则对任意,就是迭代序列(2-3)得一个吸引点。
定理2-5 (Ostrowski) 设映象有一不动点,且在处F-可导,得谱半径(即特征值得最大模)
(2-9) 则存在开球,对任意初值,就是迭代序列得一个吸引点。
定理2-4与2-5都就是指出迭代在解得小球中即解得充分小得邻域中收敛,这种收敛称为局部收敛,也就就是说在已知方程(2-1)得解存在得情况下讨论得。
如果在不知道方程(2-1)得解就是否存在得情况下,只根据迭代初始近似满足得条件就能证明迭代序列收敛到方程得解,就称这种迭代法具有半局部收敛性。
局部收敛性与半局部收敛性都要求初始近似充分接近解,这给实际计算带来很大得不便。
如果一个迭代法对求解域D中任一点作为近似,迭代序列都能收敛到所求方程得解,这种收敛称为大范围收敛,这种收敛对实际计算很有意义。
对于定理2-5中得g若就是仿射得,即,,则条件(2-9) 变为,它就是用迭代法解线性方程组得收敛得充分必要条件,而对非线性方程组而言,条件(2-9) 仅为迭代(2-3)局部收敛得充分条件,这就是线性与非线性得不同之处。
下面我们给出一个非常实用得判断迭代全局收敛得定理。
定理2-6设
这里,,()为常数,映象具有一阶连续偏导数,。
若存在常数满足
(2-10) 这里为得第i个分量函数,则迭代序列(2-3)对于任意初始近似收敛于g得不动点,并且有估计
对于一个迭代法,除了考虑其收敛性,研究其收敛速度对实际计算也就是十分重要得。
为了衡量收敛速度,我们这里引入收敛阶得概念。
定义2-2 设迭代序列收敛到,如果存在及常数,使得当时有
(2-13) 则称序列至少p阶收敛。
当时(这时必须有),称序列至少线性收敛。
特别地,当,称序列至少平方收敛。
如果“一收敛序列至少就是p阶收敛得”这一结论对都成立,而对都不成立,则称这个序列得收敛阶就是。