现代优化计算方法

有一类基于牛顿法的算法不需要求二阶导数，此类方法称为拟牛顿算法（或正切法），在算法中的Hessian矩阵用近似值进行修正，修正值被看成梯度的函数。
1）BFGS（Boryden、Fletcher、Goldfarb、Shanno）算法
在公开发表的研究成果中，拟牛顿算法应用最为成功的有Boryden、Fletcher、Goldfarb和Shanno修正算法，合称为BFGS算法。该算法虽然收敛所需要的步长通常较少，但在每次迭代过程中所需要的计算量和存储空间比变梯度算法都要大，对近似Hessian矩阵必须进行存储，其大小为n×n，这里n为网络的连接权值和阈值的数量。所以对于规模很大的网络用RPROP算法或任何一种变梯度算法可能好些；而对于规模较小的网络则用BFGS算法可能更有效。
西安理工大学
研究生课程论文/研究报告
课程名称：现代优化计算方法
课程代号：030219
*******
论文/研究报告题目：前馈神经网络的分阶段学习法综述
完成日期：2011年8月1 5日
学科：Байду номын сангаас
学号：**********
*****
成绩：
前向神经元网络的分阶段学习法综述
1引言
人工神经网络（Artificial Neural Networks，NN）系统从20世纪40年代末诞生至今仅短短半个多世纪，但由于他具有信息的分布存储、并行处理以及自学习能力等优点，已经在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。
BP网络可看作是从输入到输出的高度非线性映射，即:f : ，其本质，从输入 ∈ 到输出 ∈ 可存在某一映射g(*)，使g( )= (i=1,2…N)，要求出映射f，使得在某种意义下(通常在最小二乘意义下)，f是g的最佳逼近,神经网络对简单的非线性函数进行数次复合，可近似表达复杂的函数，它的存在性问题可由Kommog-orow定理及BP定理给出。BP网络的学习规则通常采用的是1949年心理学家Hebb提出的Hebb学习规则。
第二个阶段是对权值和阈值进行修改，从最后一层向前计算各权值和阈值对误差的影响（梯度），从而对权值和阈值进行修改。
以上两个过程反复交替，知道达到收敛为止。由于误差逐层往回传递，以修正层与层之间的权值和阈值，所以该算法为误差反向传播（back propagation）算法，这种误差反向学习算法可以推广到有若干个中间层的多层网络，因此该多层网络常称之为BP网络。标准的BP算法是一种梯度下降学习算法，其权值的修正是沿着误差性能函数梯度的反方向进行的。以下针对标准BP算法说明具体解析步骤：
BP神经元的传输函数目前广为采用的是Sigmoid函数，简称S型函数，即取神经元的输出为
（2-1）
Sigmoid函数的图像如图2.2。
S型函数具有以下一些良好的特性：（1）当I较小时，也有一定的O值相对应，即输人到神经元的信号比较弱时，神经元也有输出，这样不丢失信号较小的信息；（2）当I较大时，输出趋于常数，不会出现“溢出”现象；（3）具有良好的微分特性，即有
在动量BP算法中，学习率是一个常数，在整个训练过程中保持不变，学习算法的性能对于学习率的选择非常敏感，学习率过大，算法可能震荡而不稳定；学习率过小，则收敛速度慢，训练时间长。而在训练前，要选择最佳的学习率是不现实的。事实上，可以在训练的过程中，使学习率随之变化，而使算法沿着误差性能曲面进行修正。
自适应调整学习率的梯度下降算法，在训练的过程中，力图使算法稳定，而同时又使学习的步长尽量大，学习率则是根据局部误差曲面做出相应的调整。当误差以减小的方式趋于目标时，说明修正方向正确，可使步长增加，因此学习率乘以增量因子 ,使学习率增加；而当误差增加超过事先设定的值时，说明修正过头，应减小步长，因此学习率乘以减量因子 ，使学习率减小，同时舍去使误差增加的前一步修正过程，即当E(k+1)＜E(k)，α（k+1）= α（k）（2-13）；当E(k+1)＞(k)，α（k+1）= α（k）（2-14）；
自1974年，Werbos提出BP学习理论，1982年学者Rumeehart提出BP算法以来，反向传播学习算法( Back- PropagationA妙rithm)是目前最为广泛、最具影响的人工神经网络(Artificial Neural Network)学习算法之一。基于误差反向传播（Error Back Propagation）算法的多层前馈网络（Multiple-Layer Feedforward Network）（简称BP网络）和它的变化形式，体现了人工神经网络的最精华部分。
（3）弹性算法（Resilient Back-PROPagation,RPROP）
多层BP网络的隐层一般采用传输函数sigmoid，它把一个取值范围为无穷大的输入变量，压缩到一个取值范围有限的输出变量中。函数sigmoid具有这样的特性：当输入变量的取值很大时，其斜率趋于零，这样在采用最速下降BP算法训练传输函数为sigmoid的多层网络时就带来一个问题，尽管权值和阈值离其最佳值相差甚远，但此时梯度的幅度非常小，导致权值和阈值的修正量也很小，这样就是训练的时间变得很长。
RPROP算法的目的是消除梯度幅度的不利影响，所以在权值的修正时，仅仅用到偏导的符号，而其幅值却不影响权值的修正，权值大小的改变取决于与幅度无关的修正值。当两次迭代的梯度方向相同时，可使权值和阈值的修正值乘以一个增量因子，使其修正值增加；当两次迭代的梯度方向相反时，可使权值和阈值的修正值乘以一个减量因子，使其修正值减小；当梯度方向为零时，权值和阈值的修正值不变；当权值的修正值发生震荡时，其修正值将会减小。如果权值在相同的梯度方向上连续被修正，则其幅度必将增加，从而克服了梯度幅度偏导的不利影响，即
（4）变梯度算法（Conjugate Gradient Backpropagation,CGBP）
最速下降BP算法是沿着梯度最陡下降方向修正权值的，虽然误差函数沿着梯度的最陡下降方向进行修正，误差减小的速度是最快的，但收敛的速度不一定是最快的。在变梯度算法中，沿着变化的方向进行搜索，使其收敛速度比最陡下降方向的收敛速度更快。
（2-2）.
而BP神经元的输出层函数一般为线性函数，采用线性函数可以使输出值取任意值。
2.2 BP网络的学习
在确定了BP网络结构后，要通过输入输出样本集对网络进行训练，亦即对网络的阈值和权值进行学习和修正，以使网络实现给定的输入输出映射关系。
BP网络的学习过程主要分为两个阶段：
第一个阶段是输入已知学习样本，通过设置的网络结构和前一次迭代的权值和阈值，从网络的第一层向后计算各神经元的输出。
类似于牛顿法，LM算法用上述近似Hessian矩阵按下式进行修正：x(k+1)=x(k)-[ ] e (2-21),当系数μ为0时，上式即为牛顿法；当系数μ的值很大时，上式变为步长较小的梯度下降法。牛顿法逼近最小误差的速度更快、更精确，因此应尽可能使算法接近于牛顿法，在每一步成功的迭代后（误差性能减小），使μ减小；仅在进行尝试性迭代后的误差性能增加的情况下，才使μ增加。这样，该算法每一步迭代的误差性能总是减小的。
BP网络主要用于：（1）函数逼近，用输入矢量和相应的输出矢量训练一个网络逼近一个函数；（2）模式识别，用一个特定的输出矢量将它与输入矢量联系起来；（3）分类，把输入矢量以所定义的合适方式进行分类；（4）数据压缩，减少输出矢量维数以便于传输或贮存。
2 BP算法的分析
2.1BP网络结构
图2.1
多层BP网络不仅有输入节点、输出节点，而且有一层或多层隐节点，如图2.1所示。
Δx(k+1)=Δx(k+1).sign(g(k))=
Δx(k). .sign(g(k (当连续两次迭代的梯度方向相同时)（2-15）
Δx(k). .sign(g(k)(当连续两次迭代的梯度方向相反时)（2-16）
Δx(k)（当g(k=0)时）（2-17）
式中，g(k)为第k次迭代的梯度；Δx(k)为权值或阈值第k次迭代的幅度修正值，其初始值Δx(0)是用户设置的；增量因子 和减量因子 也是用户设定的。
（1）初始化：给权值 、 和阈值 、 赋予(-1, 1)之间的随机值。
（2）随机取一对样本对网络进行训练
（3）计算中间层的输入/出：
输入： ，输出： （2-3）
（4）计算输出层的输入/出
输入： ，输出： （2-4）
（5）计算输出层的一般误差
（2-5）
（6）计算中间层的一般误差
（2-6）
（7）修改输出层的权值和阈值
在动量BP算法中，可以采用较大的学习率，而不会造成学习过程的发散，因为当修正过量时，该算法总是可以使修正量减小，以保持修正方向向着收敛的方向进行；另一方面，动量BP算法总是加速同一梯度方向的修正量。以上两个方面表明，在保证算法稳定的同时，动量BP算法收敛速率较快，学习时间较短。
（2）学习率可变的BP算法（Variable Learning Rate Backpropagation, VLBP）
（2-7）
（2-8）
（8）修正隐层的权值和阈值
（2-9）
（2-10）
（9）取下一对样本返回（3）开始训练，直到m个样本训练结束
（10）判断全局误差是否小于预定值，否则，回到（2）重新进行训练，直
到满足要求或达到预定训练次数，停止训练。
3 标准BP算法存在的问题及BP算法的改进算法
标准的BP算法存在着易形成局部极小值,训练陷入瘫痪和收敛速度很慢的问题,从而影响了它的实际使用。为此,人们在标准BP算法的基础上进行了许多有益的改进,改进方法主要有两类:一是基于标准梯度下降的改进方法如附加动量的BP算法、自适应学习率调整法、弹性BP算法等;二是基于标准数值优化的改进算法如共轭梯度法、拟牛顿法和Levenberg -Marquardt(LM)法等。
2）OSS（One Step Secant）算法
由于BFGS算法在每次迭代时比变梯度算法需要更多的存储空间和计算量，所以对于正切近似法减少其存储量和计算量是必要的。OSS算法试图解决变梯度算法和拟牛顿法之间的矛盾，该算法不必存储全部Hessian矩阵，它假定每一次迭代时，前一次迭代的Hessian矩阵具有一致性，这样做的另一个优点是，在新的搜索方向进行计算时不必计算矩阵的逆。该算法每次迭代所需的存储量和计算量介于梯度算法和完全拟牛顿算法之间。