修正Newton法求解函数
非线性方程组的求解(汇编)
非线性方程组的求解摘要：非线性方程组求解是数学教学中，数值分析课程的一个重要组成部分，作为一门学科，其研究对象是非线性方程组。
求解非线性方程组主要有两种方法：一种是传统的数学方法，如牛顿法、梯度法、共轭方向法、混沌法、BFGS 法、单纯形法等。
传统数值方法的优点是计算精度高，缺点是对初始迭代值具有敏感性，同时传统数值方法还会遇到计算函数的导数和矩阵求逆的问题，对于某些导数不存在或是导数难求的方程，传统数值方法具有一定局限性。
另一种方法是进化算法，如遗传算法、粒子群算法、人工鱼群算法、差分进化算法等。
进化算法的优点是对函数本身没有要求，不需求导，计算速度快，但是精度不高。
关键字：非线性方程组、牛顿法、BFGS 法、记忆梯度法、Memetic 算法1： 三种牛顿法：Newton 法、简化Newton 法、修改的Newton 法【1-3】求解非线性方程组的Newton 法是一个最基本而且十分重要的方法, 目前使用的很多有效的迭代法都是以Newton 法为基础, 或由它派生而来。
n 个变量n 个方程的非线性方程组, 其一般形式如下:⎪⎪⎩⎪⎪⎨⎧===0),...,(...0),...,(0),...,(21212211n n n n x x x f x x x f x x x f （1）式(1)中,),...,(21n i x x x f ( i=1, ⋯, n) 是定义在n 维Euclid 空间Rn 中开域 D 上 的实值函数。
若用向量记号，令：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n x x x ...X 21,⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡====)(...)()(0),...,(...0),..,(0)...,()(2121212,211X f X f X f x x x f x x x f x x x f X F nn n n n则方程组（1）也可表示为：0)(=X F（2） 其中：X ∈R n ,F ∶R n →R 0, F(X) ∈R n , R n 为赋值空间。
非线性方程组的求解
非线性方程组的求解摘要：非线性方程组求解是数学教学中，数值分析课程的一个重要组成部分，作为一门学科，其研究对象是非线性方程组。
求解非线性方程组主要有两种方法：一种是传统的数学方法，如牛顿法、梯度法、共轭方向法、混沌法、BFGS 法、单纯形法等。
传统数值方法的优点是计算精度高，缺点是对初始迭代值具有敏感性，同时传统数值方法还会遇到计算函数的导数和矩阵求逆的问题，对于某些导数不存在或是导数难求的方程，传统数值方法具有一定局限性。
另一种方法是进化算法，如遗传算法、粒子群算法、人工鱼群算法、差分进化算法等。
进化算法的优点是对函数本身没有要求，不需求导，计算速度快，但是精度不高。
关键字：非线性方程组、牛顿法、BFGS 法、记忆梯度法、Memetic 算法1： 三种牛顿法：Newton 法、简化Newton 法、修改的Newton 法【1-3】 求解非线性方程组的Newton 法是一个最基本而且十分重要的方法, 目前使用的很多有效的迭代法都是以Newton 法为基础, 或由它派生而来。
n 个变量n 个方程的非线性方程组, 其一般形式如下:⎪⎪⎩⎪⎪⎨⎧===0),...,(...0),...,(0),...,(21212211n n n n x x x f x x x f x x x f （1）式(1)中,),...,(21n i x x x f ( i=1, ⋯, n) 是定义在n 维Euclid 空间Rn 中开域 D 上 的实值函数。
若用向量记号，令：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n x x x ...X 21,⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡====)(...)()(0),...,(...0),..,(0)...,()(2121212,211X f X f X f x x x f x x x f x x x f X F nn n n n则方程组（1）也可表示为：0)(=X F（2） 其中：X ∈R n ,F ∶R n →R 0, F(X) ∈R n , R n 为赋值空间。
Newton法
实验名称 Newton 法及修正Newton 法一、 实验目的：Newton 法及修正Newton 法二、 实验要求：理解Newton 法及修正Newton 法算法的思想，利用计算机编写出此算法的程序。
三、 实验学时数：2学时四、 实验类别：基础实验五、 实验内容：1)、 用Newton 法求解2122212141060)(min x x x x x x x f -++--=，初始点[]01.0,0,00==εT X2)、 用Newton 法求解10)1(2)1(4)(min 212221+++-++=x x x x x f ，初始点[]01.0,0,00==εT X六、 实验报告a) 实验程序流程图b)主要模块代码#include<math.h>#include<stdio.h># define eps 0.01double f (double coe[], double x[]) //返回待求函数的函数值{returncoe[0]*pow(x[0],2)+coe[1]*pow(x[1],2)+coe[2]*x[0]*x[1]+coe[3]*x[0]+coe[4]*x[1]+coe[5] ;}void grads (double coe[], double x[],double grads_x[]) //求解函数的梯度{grads_x[0] = 2*coe[0]*x[0]+coe[2]*x[1]+coe[3];grads_x[1] = 2*coe[1]*x[1]+coe[2]*x[0]+coe[4];}void H (double coe[], double h[])//求解海赛矩阵{h[0] = 2.0*coe[0];h[1] = coe[2];h[2] = coe[2];h[3] = 2.0*coe[1];}void inverseH (double h[], double inverseh[])//求解海赛矩阵的逆矩阵{double deter;deter = h[0]*h[3]-h[1]*h[2];inverseh[0] = h[3]/deter;inverseh[1] = -h[1]/deter;inverseh[2] = -h[2]/deter;inverseh[3] = h[0]/deter;}void main()//主函数{double coe[6] = {1,1,-1,-10,-4,60},x[2] = {0 , 0},grads_x[2],h[4],inverseh[4],fx = 0;grads(coe, x, grads_x);//求梯度while(sqrt(pow(grads_x[0],2)+pow(grads_x[1],2))-eps>0){H(coe, h);//求海赛矩阵inverseH(h, inverseh);//海赛矩阵求逆x[0] = x[0]-(inverseh[0]*grads_x[0]+inverseh[1]*grads_x[1]);x[1] = x[1]-(inverseh[2]*grads_x[0]+inverseh[3]*grads_x[1]);grads(coe, x, grads_x);}fx = f(coe, x);printf("最优解为：");for(int i=0;i<2;i++){printf("\n%f\n",x[i]);}printf("\n最优值为：");printf("\nfx=%f \n",fx);}c)实例计算结果d)收获体会用Newton法求解，只经一轮迭代就得到最优解。
用Matlab编写二分法和Newton迭代法求解非线性函数
⽤Matlab编写⼆分法和Newton迭代法求解⾮线性函数1、⼆分法原理：若f的值在C[a, b]中，且f (a) · f (b) < 0，则f在 (a, b) 上必有⼀根。
实现算法流程：2、Newton迭代法迭代公式：⼏何意义：3、求解问题⽤Newton法和⼆分法求的解。
4、代码实现1 clear;close;clc2 a=0;b=1;%根区间3 e=10^(-6);%根的容许误差4 [X , N]=dichotomy(e,a,b);%⼆分法5 p0=0.5;%初始值6 N=15;%迭代次数7 [X1]=Newdon(p0,e,N);%Newton迭代法89 function [X , N]=dichotomy(deta,a,b)10 % 函数dichotomy:⼆分法11 %输⼊值：12 %fun:⽅程函数13 %deta:根的容许误差14 %有根区间：[a,b]15 %输出值16 %X:求解到的⽅程的根17 %N:总的迭代次数18 N=1+fix(log2((b-a)/deta));%由公式7.2求得,取整数|X_N-X*|<=(b-a)/2^N<deta,求N19 n=1;20 f1=myfunction(a);21 f2=myfunction(b);22if (f1*f2>0)23 disp('根不在输⼊的区间⾥，请重新输⼊区间');24else25while n <= N26 x=(a+b)/2;27if myfunction(a)*myfunction(x)>028 a=x;29else30 b=x;31 end32 n=n+1;33 end34 X=x;35 fprintf('第%d次⼆分法求出的⽅程的根:\n',N);36 fprintf('X=\n');37 disp(X);38 end39 end4041 function [P]=Newdon(p0,TOL,N)42 %求⽅程组的解43 %输⼊参数44 %初始值：p045 %误差容限:TOL46 %最⼤迭代次数:N47 %输出参数：48 %⽅程近似解：p49 %或失败信息“Method failed”50 format long;51 n=1;%初始迭代次数52 syms x;53while n<=N54if abs(subs(diff(myfunction(x)),x,p0))<TOL55 P=p0;56break;57else58if subs(diff(myfunction(x),2),x,p0)==059 disp('Method failed');60break;61else62 p=p0-myfunction(p0)/subs(diff(myfunction(x)),x,p0);63 p=eval(p);%将exp的值转为⼩数值64if(abs(p-p0)<TOL)65 P=p;66break;67else68 p0=p;69 end70 end71 end72 n=n+1;73 end74 % P=vpa(P,10);%将分数转为⼩数并保留8位⼩数75 fprintf('第%d次NeWton迭代法求出的⽅程的根:\n',N);76 fprintf('P=\n');77 disp(P);78 end7980 function f=myfunction(x)81 f=x*exp(x)-1;82 end5、求解结果。
第二节_牛顿迭代法
2 3 xk
2 f ( x) 3 x
k 0,1, 2,
4、牛顿迭代法的局部收敛性定理 设 x* 为方程 f (x) = 0的根，在包含x*的某个开区间内 f ( x) 连 B ( x *) [ x , x ]， f ( x ) 0 续，且 ，则存在 x* 的邻域 使得任取初值 x0 B ( x*)，由牛顿迭代法产生的序列xk 以不 低于二阶的收敛速度收敛于x*.
标即为 xk 1 。 y
( x0 , f ( x0 ))
x* x2 x x0 1
x
例2.5：写出求 a (a 0) 的牛顿迭代格式；写出求 a (a 0) 的牛顿迭代格式,要求公式中既无开方运算，又无除法运算。
2 f ( x ) x a 0 (a 0) 的正根 f ( x) 2x 解： 等价于求方程
f ( x ) f ( x0 ) f ( x0 )( x x0 ) f ( ) ( x x 0 ) 2 ， 2!
在 x0 和 x 之间
* 取 x x ，可将 (x* x0)2 看成高阶小量，则有：
0 f ( x*) f ( x0 ) f ( x0 )( x * x0 )
lim x n 注意到ξn 在xn 及x*之间,及 n
x n1 x* x n x*
2
x*
,故
f" ( n ) f " ( x* ) * 2 f ' ( xn ) 2 f' ( x )
0(二阶收敛)若 f "( x* ) 0 0(大于二阶收敛)若 f "( x* ) 0
Newton迭代公式是一种特殊的不动点迭代,其 迭代函数为: f ( x) ( x) x f '( x )
牛顿力学高速运动修正式的两种推导方法
牛顿力学高速运动修正式的两种推导方法李丽萍方法一李映华在其所著《物理学的几个重大理论问题》一书中，首次从经典理论推出下述牛顿力学高速运动修正式。
（参阅李映华：《物理学的几个重大理论问题》第31-35页）：e VA = （1）1 + a e V上式中：A——电场力对带粒子做的功；e——粒子电荷；V——加速电压；a为常数。
是移动电荷在移动始点势能的倒数。
势能为f r，设为Uo，则a =1/Uo，故式（1）可改变为：e VA = (1a)1+（1/Uo）e Vm e C2设电子在原子核外的最大势能f r = Uo= ，代入上式，得 2e VA =m e C21 + ( 1 / ) e V2即：e VA =1 + ( 1 / m e C2 ) 2 e V (1b)上式中：分母分子分别乘以 m e C 2 ，得：m e C 2 e VA = （1c ） m e C 2+2 e V这就是，从（1）式中考虑了电场力作用速度C 后引出的又一形式的牛顿力学高速运动表达式。
我们从（1 c ）式中，代入A = m e υ2/2 ，推出电子速度υ和其它物理量的关系，得：m e υ2 m e C 2 e V =2 m e C 2 +2 e V整理后，得：（2）（2a ）方法二电子在电场力作用下的运动，是一种波粒相互作用。
电磁波─作为电磁场载体，我们称它为真空物质，对电子的作用速度为c 。
随着eVc m eV e c222+=υeV c m eVc e 22222+=υ电子在电场力作用下获得速度υ后，真空物质对电子作用的相对速度随c -υ而递减。
当电子获得的速度υ→c 时，真空物质对对电子作用相对速度c →0。
故电子能达到的最大速度υ只能趋近c 。
传统计算公式忽略了这一情况。
所以在考虑电场力对电子相互作用时必须引入“功量递减系数”。
这个系数可由（c 2-υ2）/c 2表示。
因此，牛顿力学在考虑波粒作用这一特征时，描述电场力对电子做功的计算应作如下修正：A = eV （c 2-υ2）/c 2 （3）上式中，A 为电场力对电子做的功，e 为电子电荷，V 为加速电压，c 为光速，υ为电子得到的速度。
改进的Newton法解决二次优化问题
最优化理论与算法实验报告(三)实验名称 改进的Newton 法解决二次优化问题 实验时间姓名专业班级学号成绩一、实验目的和内容实验目的：通过实验, 让学生掌握改进的Newton 法解决优化问题的具体实现, 同时对于具体的问题设计, 让学生根据在实验中出现的数值计算结果,. 理解改进的Newton 法的基本思想. 实验内容：(问题同实验二) 请采用改进的Newton 法求解2221212min ()33n x f x x x x x ∈=+-终止的准则610k g -≤, 分别用如下不同的初时结点进行迭代. 1. ()0 1.5,1.5Tx =, 2. ()02,4Tx =-, 3. ()00,3Tx =二、相关背景知识介绍一、Goldstein —Price (1967) 修正方案:当k G 非正定时, 采用最速下降方向k g -替代牛顿方向. 若进一步将搜索方向与负梯度方向的角度准则结合起来, 则有if cos , elseN Nk k k k k d d g d g η⎧-≥⎪=⎨-⎪⎩其中: 1N k k k d G g -=-,二、Goldfeld (1966) 修正方案若k G 非不正定, 则用k k k G G v I =+来修正k G . 通过适当选取0k v >, 可以使k G 正定. 三、代码牛顿改进算法代码：function re=New(x,Gk,var,n) e=10^n; xk=x;gk=fgk(@f,xk,1); t=[1;0]; k=0;while(norm(gk)>e)mGk=subs(Gk,var,xk);if((t'*mGk*t)>0)[L U]=lu(mGk);dk=U\(L\-gk);xk=xk+dk;gk=fgk(@f,xk,1);k=k+1;elsee=diag(mGk);f1=min(diag(mGk));f1=0.01-f1;E=eye(length(e));mGk=mGk+f1.*E;[L U]=lu(mGk);dk=U\(L\-gk);xk=xk+dk;gk=fgk(@f,xk,1);k=k+1;endend计算梯度的函数：function gk=fgk(f,xk,h)if(h==1)t=f(xk);xk(1)=xk(1)+1;gk(1,1)=f(xk)-txk(1)=xk(1)-1;xk(2)=xk(2)+1;gk(2,1)=f(xk)-t;end初始化函数：syms x1 x2var=[x1,x2];f=3*x1^2+3*x2^2-x1^2*x2;A=jacobian(f,var);e=jacobian(A,var);Gk=e;n=-12;x=[0;0];目标函数：function r=f(x)r=3*x(1)^2+3*x(2)^2-x(1)^2*x(2)四、数值结果X=[-2；4] K=2 Xk=[-4.8087;3.0196]X=[1.5;1.5] K=12 Xk=[-0.5;-0.4583]五、计算结果的分析与New法相互比较，在X=[1.5;1.5]处的迭代次数并未下降，反倒是在鞍点X=[-2；4]处的迭代次数减少了不少，可视为将鞍面做了一个稍稍的倾斜，加快了下降速度。
最优化：最速下降法和Newton法
定理 3.1.1 设假设 2.4.1的条件成立 , 那么采用精确搜索 , 或 Armijo搜索或 Wolfe- P owell搜索的最速下降法产生 的迭 代序列{xk }满足 lim || f ( xk ) || 0
k
由前面的例子看到, 最速下降法的收敛速度至多是线性的, 具体 见下面的两个定理.
第一节
最速下降法
最古老的优化方法，十九世纪中叶由Cauchy提出
1、 思想 ：每次沿负梯度方向进行搜索
●
x*
xk 1
等值线(面)
●
xk
●
f ( xk )
负梯度方向也称为最速下降方向：
事实上，对任意p R n 且 || p || , 由Cauchy - Schwarz 不等式得 f ( xk ) T P - || f ( xk ) || || P || - || f ( xk ) || - f ( xk ) - f ( xk ) 当取p 时等号成立，即 p 是下列问题 || f ( xk ) || || f ( xk ) || 的解 min f ( xk ) T P
从上面的例子看到, 对于简单的二元二次函数极小化问题， 最速下降法在有限次迭代并没有求出其精确最优解, 但能 以较慢的速度无限接近最优解.
事实上，上面的例子刻画了最速下降法的所有收 敛特征
3、 最速下降法的收敛性 全局收敛性
由于最速下降法的搜索方向与负梯度方向一致, 即 k 0, 且 || f ( xk ) || || d k || 所以, 由定理2.4.1 - 2.4.3, 我们很容易得到最速下降算法的全 局收敛性.
2
max 其中 , 且max 和min分别是 f ( x * )的最大和最小特征值 . min