BP算法实例要点
BP神经网络步骤及应用实例
1、数据归一化2、数据分类，主要包括打乱数据顺序，抽取正常训练用数据、变量数据、测试数据3、建立神经网络，包括设置多少层网络（一般3层以内既可以，每层的节点数（具体节点数，尚无科学的模型和公式方法确定，可采用试凑法，但输出层的节点数应和需要输出的量个数相等），设置隐含层的传输函数等。
关于网络具体建立使用方法，在后几节的例子中将会说到。
4、指定训练参数进行训练，这步非常重要，在例子中，将详细进行说明5、完成训练后，就可以调用训练结果，输入测试数据，进行测试6、数据进行反归一化7、误差分析、结果预测或分类，作图等数据归一化问题归一化的意义：首先说一下，在工程应用领域中，应用BP网络的好坏最关键的仍然是输入特征选择和训练样本集的准备，若样本集代表性差、矛盾样本多、数据归一化存在问题，那么，使用多复杂的综合算法、多精致的网络结构，建立起来的模型预测效果不会多好。
若想取得实际有价值的应用效果，从最基础的数据整理工作做起吧，会少走弯路的。
归一化是为了加快训练网络的收敛性，具体做法是：1 把数变为（0，1）之间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。
2 把有量纲表达式变为无量纲表达式归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 + jωL/R) ，复数部分变成了纯数量了，没有量纲。
另外，微波之中也就是电路分析、信号系统、电磁波传输等，有很多运算都可以如此处理，既保证了运算的便捷，又能凸现出物理量的本质含义。
神经网络归一化方法：由于采集的各数据单位不一致，因而须对数据进行[-1,1]归一化处理，归一化方法主要有如下几种，供大家参考：1、线性函数转换，表达式如下：复制内容到剪贴板代码:y=(x-MinVal ue)/(MaxVal ue-MinVal ue)说明：x、y分别为转换前、后的值，MaxVal ue、MinVal ue分别为样本的最大值和最小值。
bp使用方法
bp使用方法
BP（Back Propagation）是一种常用的神经网络训练算法，用于训练多层感知器（MLP）等神经网络。
以下是BP的用方法：
1.初始化神经网络：首先，需要初始化一个神经网络，包括输入层、隐藏层和输出层。
每个层包含一定数量的神经元，每个神经元都通过权重与其他神经元相连。
权重初始化为随机值。
2.前向传播：输入数据通过输入层进入神经网络，然后依次经过隐藏层和输出层，最终得到输出结果。
在前向传播过程中，每个神经元将输入值与其权重相乘，加上偏置项，然后通过激活函数得到输出值。
3.计算误差：根据实际标签和神经网络的输出结果，计算误差。
误差是实际标签与输出结果之间的差异，通常使用平方误差或交叉熵误差等函数计算。
4.反向传播：根据计算出的误差，通过反向传播算法更新神经网络的权重。
反向传播算法将误差从输出层逐层反向传播到输入层，并根据梯度下降法更新权重。
5.迭代训练：重复步骤2-4多次，直到神经网络的输出结果收敛或达到预设的训练轮数。
在每次迭代中，权重都会被更新以减小误差。
6.测试与预测：训练完成后，可以使用测试数据对神经网络进行测试或进行预测。
将测试数据输入神经网络，得到输出结果，并根据输出结果进行评估和比较。
BP算法是一种监督学习算法，需要使用已知标签的数据进行训练。
在训练过程中，需要注意选择合适的激活函数、学习率和迭代次数等参数，以获得最佳的训练效果。
同时，为了避免过拟合和欠拟合等问题，可以使用正则化、Dropout 等技术来优化神经网络的性能。
BP算法代码实现
BP算法代码实现BP算法（Backpropagation Algorithm）是一种常用的神经网络训练算法，它主要用于监督式学习任务中的模型训练。
BP算法的核心思想是通过反向传播来更新神经网络的权重和偏差，以使得神经网络的输出逼近目标输出。
在反向传播的过程中，通过求解梯度来更新每个连接权重和偏置的值，从而最小化损失函数。
以下是BP算法的代码实现示例：```pythonimport numpy as npclass NeuralNetwork:def __init__(self, layers):yers = layersself.weights = []self.biases = []self.activations = []#初始化权重和偏置for i in range(1, len(layers)):self.weights.append(np.random.randn(layers[i], layers[i-1])) self.biases.append(np.random.randn(layers[i]))def sigmoid(self, z):return 1 / (1 + np.exp(-z))def sigmoid_derivative(self, z):return self.sigmoid(z) * (1 - self.sigmoid(z))def forward_propagate(self, X):self.activations = []activation = X#前向传播计算每一层的激活值for w, b in zip(self.weights, self.biases):z = np.dot(w, activation) + bactivation = self.sigmoid(z)self.activations.append(activation)return activationdef backward_propagate(self, X, y, output):deltas = [None] * len(yers)deltas[-1] = output - y#反向传播计算每一层的误差（梯度）for i in reversed(range(len(yers)-1)):delta = np.dot(self.weights[i].T, deltas[i+1]) * self.sigmoid_derivative(self.activations[i])deltas[i] = delta#更新权重和偏置for i in range(len(yers)-1):self.weights[i] -= 0.1 * np.dot(deltas[i+1],self.activations[i].T)self.biases[i] -= 0.1 * np.sum(deltas[i+1], axis=1)def train(self, X, y, epochs):for epoch in range(epochs):output = self.forward_propagate(X)self.backward_propagate(X, y, output)def predict(self, X):output = self.forward_propagate(X)return np.round(output)```上述代码使用numpy实现了一个简单的多层神经网络，支持任意层数和任意神经元个数的构建。
BP神经网络实例分析
j1
a1(i)f(u1(i))=
1 1exp(u1(i))
i 1,2
同理，输出神经元
3
u2 (1) w2 (1, j)a1 ( j) j 1
1 a2 (1) 1 exp( u2 (1))
(3) 训练输出单元的权值
PS：利用输出层各神经元的误差项 2(1)和隐含层 各神经元的输出来修正权值。
PS：利用隐含层各神经元的误差项 各神经元的输入来修正权值。
1(p1)(i)
和输入层
1 (p 1 )(i)f'[u 1(i)]2 (p 1 )(1 )W 2 (p 1 )(1 ,i)
a 1(iቤተ መጻሕፍቲ ባይዱ1 [a 1(i)]2 (p 1 )(1 )W 2 (p 1 )(1 ,i)
W 1 ( p 1 ) ( i ,j ) W 1 ( p ) ( i ,j ) 1 ( p 1 ) ( i ) a 0 ( p 1 ) ( j )
取激励函数
f
(x)
1 1ex
则 f'(x)(1 ee xx)2f(x)1 [f(x)]
2 ( 1 ) (t( 1 ) a 2 ( 1 )f') (u 2 ( 1 ))
( t ( 1 ) a 2 ( 1 ) e ) u x 2 ( 1 ) / p 1 ) ( e ( u x 2 ( 1 )2 p )) (
二、具体训练步骤如下：
令p=0，p为样本编号 (1) 网络初始化
给各连接权值分别赋一个区间（0，1）内的随机数，设定
误差函数E，给定计算精度值 和最大学习次数M。
W 1 w w 1 1((1 2,,1 1 ))
w 1(1,2) w 1(2,2)
w 1(1,3) w 1(2,3)
BP算法
成像场景网格划分
以条带SAR为例，网格划分示意图如下：
方 位 向 测绘带宽度 网格点
距离向
将成像区域场景划分为网格状，获得网格点坐标值。 网格大小选取原则：与距离向和方位向分辨率相当或略小
获取网格点回波数据
基本思路：
根据雷达与网格点距离获得相对于参考点的时延长度，在时域回波数据中找到 对应回波数据。 难点：雷达与网格点距离所对应的回波数据与实际回波采样点的数据几乎不会 重合，无法直接从实际回波数据中获得其对应网格点的值。
从方位向起始点开始
计算当前方位向上，雷达与所有网格 点的距离并计算所有网格点相对于最 近距离参考点的延迟时间t 利用每一网格点的延迟时间t ，通 过插值计算所对应的回波值，与上 一方位向该网格点的回波值叠加
下一网格点
下一方位向
否
每个网格点是否全部遍历 是 所有方位向是否全部遍历 是 得到成像场景区域图像 否
m m m 1
m 0.5
通过插值方法获取网格点回波数据
sinc插值：插值精度高，插值精度随着插值核点数的增多而增高 sinc插值公式：
s( m m ) s( m i )sin c[( m m ) ( m i )]
i
例：8点sinc插值
m m
src ( ) A exp{ j 4 f 0 R ( ) / c}
式中，A表示幅度，f0为载频，R(η)为雷达与点目 标之间的距离，c为电磁波波速。 BP算法处理流程在此基础上执行。
BP算法主要步骤： 以条带SAR为例
以最近距离为参考点进行 距离向压缩后的回波数据
对成像场景划分网格 获得所有网格点坐标
方 位 向 测绘带宽度 方 位 向
采样点 雷达位置 R(t)
bp算法例题
bp算法例题
以下是BP算法的一些例题:
1. 最小生成树:
设网络有n个节点,有m条边,求网络中最小的生成树。
步骤:
- 设BP机初始状态为全0,初始权重为0
- 从根节点开始遍历网络,每次更新当前节点的最小权重向量,同时记录当前节点的前缀和
- 对于每个相邻节点,计算它的最小权重向量与当前节点的最小权重向量的商,得到当前节点的权重向量
- 根据权重向量更新生成树
- 重复步骤直到生成树为空
2. 最短路径问题:
设网络有n个节点,有m条边,求网络中从任意一个节点到另一个节点的最短路径。
步骤:
- 设BP机初始状态为全0,初始权重为0
- 从任何节点开始遍历网络,每次更新当前节点的最小权重向量,记录当前节点的前缀和
- 计算从当前节点到另一个节点的最短路径
- 根据最短路径更新权重向量,并返回最短路径
3. 最小费用最大流问题:
设网络有n个节点,有m条边,求网络中从任意一个节点去往另一个节点的最小费用最大流。
步骤:
- 设BP机初始状态为全0,初始权重为0
- 从任何节点开始遍历网络,每次更新当前节点的最小权重向量,记录当前节点的前缀和
- 计算从当前节点去往另一个节点的最小费用最大流
- 根据最小费用最大流更新权重向量,并返回最小费用最大流
这些例题只是BP算法的一些典型应用,实际上BP算法还可以用于解决其他类型的问题,例如网络拓扑优化、约束优化等。
BP神经网络详解与实例
(Artificial Neural Netwroks -----ANN)
-----HZAU 数模基地
引言
❖ 利用机器模仿人类的智能是长期以来人们认识自 然、改造自然和认识自身的理想。
❖ 研究ANN目的： ❖ （1）探索和模拟人的感觉、思维和行为的规律，
设计具有人类智能的计算机系统。 ❖ （2）探讨人脑的智能活动，用物化了的智能来
二、神经元与神经网络
❖ 大脑可视作为1000多亿神经元组成的神经网络
• 图3 神经元的解剖图
❖ 神经元的信息传递和处理是一种电化学活 动．树突由于电化学作用接受外界的刺激；通 过胞体内的活动体现为轴突电位，当轴突电位 达到一定的值则形成神经脉冲或动作电位；再 通过轴突末梢传递给其它的神经元．从控制论 的观点来看；这一过程可以看作一个多输入单 输出非线性系统的动态过程
输出层LC
W11 Wi1
Wij
Wiq Wpq W
… b1 Vn1
Vh1 V11
V1i bi Vhi
… Vni
V1p bp Vhp Vnp
隐含层LB V
… a1
… ah
an 输入层LA
a1k
a
k h
a
k n
基本BP网络的拓扑结构
ANN类型与功能
一般而言, ANN与经典计算方法相比并非优越, 只有当常规 方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤 其对问题的机理不甚了解或不能用数学模型表示的系统,如故障 诊断、特征提取和预测等问题,ANN往往是最有利的工具。另 一方面, ANN对处理大量原始数据而不能用规则或公式描述的 问题, 表现出极大的灵活性和自适应性。
i 1
（p=1,…,P）
bp使用方法
bp使用方法BP（反向传播算法）是一种用于训练神经网络的算法。
它通过反向传播误差来调整神经网络中的权重和偏差，以使其能够更好地逼近目标函数。
BP算法是一种有监督学习算法，它需要有标记的训练集作为输入，并且可以通过梯度下降法来最小化目标函数的误差。
BP算法的基本思想是在神经网络中，从输入层到输出层的正向传播过程中，通过计算网络的输出值与目标值之间的差异（即误差），然后将这个误差反向传播到网络的每一层，在每一层中调整权重和偏差，以最小化误差。
这个反向传播的过程将误差逐层传递，使得网络的每一层都能对误差进行一定程度的“贡献”，并根据这个贡献来调整自己的权重和偏差。
具体来说，BP算法可以分为以下几个步骤：1. 初始化网络：首先需要确定神经网络的结构，包括输入层、隐藏层和输出层的神经元个数，以及每层之间的连接权重和偏差。
这些权重和偏差可以初始化为随机值。
2. 前向传播：将输入样本送入网络，按照从输入层到输出层的顺序，逐层计算每个神经元的输出值。
具体计算的方法是将输入值和各个连接的权重相乘，然后将结果求和，并通过一个非线性激活函数（如Sigmoid函数）进行映射得到最终的输出值。
3. 计算误差：将网络的输出值与目标值进行比较，计算误差。
常用的误差函数有均方误差函数（Mean Squared Error，MSE）和交叉熵函数（Cross Entropy），可以根据具体问题选择合适的误差函数。
4. 反向传播：从输出层开始，根据误差对权重和偏差进行调整。
首先计算输出层神经元的误差，然后根据误差和激活函数的导数计算输出层的敏感度（即对权重的影响），并根据敏感度和学习率更新输出层的权重和偏差。
5. 更新隐藏层权重：同样地，根据输出层的敏感度，计算隐藏层的敏感度，并更新隐藏层的权重和偏差。
隐藏层的敏感度可以通过将输出层的敏感度按权重加权求和得到。
6. 重复步骤4和5：重复执行步骤4和5，将误差逐层传播，更新每一层的权重和偏差，直到达到训练的停止条件（如达到最大迭代次数或误差降至某个阈值）。
神经网络原理及BP网络应用实例
神经网络原理及BP网络应用实例摘要：本文主要对神经网络原理进行系统地概述,再列举BP网络在曲线逼近中的应用。
神经网络是一门发展十分迅速的交叉学科，它是由大量的处理单元组成非线性的大规模自适应动力系统。
神经网络具有分布式存储、并行处理、高容错能力以及良好的自学习、自适应、联想等特点。
随着计算机的发展，目前已经提出了多种训练算法和网络模型，其中应用最广泛的是前馈型神经网络。
本文将介绍人工神经网络的基本概念、基本原理、BP神经网络、自适应竞争神经网络以及神经网络的应用改进方法。
关键字：神经网络；收敛速度；BP网络；改进方法The principle of neural network and the applicationexamples of BP networkAbstract：Neural network is a cross discipline which now developing very rapidly, it is the nonlinearity adaptive power system which made up by abundant of the processing units . The neural network has features such as distributed storage, parallel processing, high tolerance and good self-learning, adaptive, associate, etc. Currently various training algorithm and network model have been proposed , which the most widely used type is Feedforward neural network model. Feedforward neural network training type used in most of the method is back-propagation (BP) algorithm. This paper will introduces the basic concepts, basic principles, BP neural network, adaptive competitive neural network and the application of artificial neural network.Keywords：neural network，convergence speed，BP neural network，improving method1 神经网络概述1.1 生物神经元模型人脑是由大量的神经细胞组合而成的，它们之间相互连接。
神经网络BP算法案例
的记录是被我们所忽略的。
所有满足最小支持度3的1项频繁集如下 （其中巧克力、 香蕉、葡萄的支持度为1，不满足条件）
支持度
销售内容
3
4 4 5 7
冰淇淋
咖啡 果酱 牛奶 面包
所有满足最小支持度3的2项频繁集 如下 ：
支持度 3 销售内容 面包 咖啡 面包 冰淇淋 面包 牛奶 面包 果酱
递 归 执 行
的，比如在一个超市中会存在这样的概念 层次：蒙牛牌牛奶是牛奶，伊利牌牛奶是 牛奶，王子牌饼干是饼干，康师傅牌饼干 是饼干等。
• 可以用有向无环图 (directed acyclic graph ) 表示概念层次，如下：
从有向无环图 (directed acyclic graph )可以 看出—— 如果我们只是在数据基本层发掘关系， ｛蒙牛牌牛奶，王子牌饼干｝，｛蒙牛牌牛 奶，康师傅牌饼干｝，｛伊利牌牛奶，王子 牌饼干｝，｛伊利牌牛奶，康师傅牌饼干｝ 都不符合最小支持度。不过如果我们上升一 个层级，可能会发现｛牛奶，饼干｝ 的关 联规则是有一定支持度的。这样我们就可以 在较高的概念层次上发现关联规则。
w14 4 w46 6 5 w35
. . ..
w34
w56
. . .
3
图1 两层前馈神经网络
2
神经网络BP算法案例
• 首先算出单元4、5、6的输入、输出，具体结果见 表1，然后计算4、5、6的误差，见表2；NT中每条 有向加权边的新权重、每个隐藏层与输出层单元 的新偏置见表3。
图2 两层前馈神经网络
W35
0.2+0.9×(-0.0065)×1=0.194
0.1+0.9×0.1311=0.218 0.2+0.9×(-0.0065)=0.194
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多个隐藏层BP 网络模型
对一般多层前馈网模型如图所示。
图3.3 多层BP 网络结构
设有h 个隐层，按前馈顺序各隐层节点数为m 1,m 2,…,m h ；各隐层输出为y 1,y 2,…,y h ；各层权值矩阵分别为W 1，W 2，…，W h ,W h+1，则，各层权值调整计算公式为： 输出层
h j k k k k h j h k h jk y o o o d y w )1()(11--==∆++ηηδ
l k m j h ,,2,1;,,2,1,0 ==
第h 隐层
1
111)1()(-+=--==∆∑h i
h j h j h jk o k l
k h i
h j
h ij
y y y w y
w δηηδ
按上述规律逐层类推，可得到第一隐层权值调整计算公式为
p q q qr r m r p q
pq
x y y w x w
)1()(1
1221
1
12
-==∆∑=δηηδ
1,,2,1;,,2,1,0m q n p ==
三层前馈网的BP 学习算法也可写成向量形式： 对输出层
T T o ][y δW η=∆
式中 T m j y y y y y ][210 =y , T o l o k o
o o ][21δδδδ =δ
对于隐层
T T y ][X δV η=∆
式中 T n i o x x x x x ][21 =X , T y m y j y y y ][21δδδδ =δ
看出，BP 算法中，各层权值调整公式形式上都是一样的，均由3个因素决定，学习率η，本层输出的误差信号δ及本层输入信号Y （或X ）。
其中输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差，而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。
反传过程可以简述为：
d 与o 比较得到输出层误差信号o δ→计算输出层权值调整量ΔW ；o δ通过隐层各节点反
传→计算各隐层权值的调整量ΔV.
例 采用BP 网络映射下图曲线规律。
设计BP 网络结构如下：
权系数随机选取为：w 12=0.2,w 13=0.3,w 14=0.4,w 15=0.5, w 26=0.5,w 36=0.2,w 46=0.1,w 56=0.4。
取学习率η=1。
按图中曲线确定学习样本数据如下表(每0.05取一学习数据，共80对)
第一次学习，输入11x =0.0000(1节点第1次学习)，5000.01
6=d ，计算2、3、4、5单
元状态i net :
0000.00000.01111=∙==i i i w x w net i =2,3,4,5
计算2、3、4、5各隐层单元输出i y (i =2,3,4,5)
5.0)1/(1)(1=+==-i net i i e net f y
计算输出层单元6的状态值6net 及输出值16y
[]6.05.05.05.05.04.01.02.05.066-=⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎣⎡==i T Y W net
6457.0)1/(1)1/(16.0166=+=+=--e e y net
反推确定第二层权系数变化：
0333.0)6457.01)(6457.05.0(6457.0)1)(
(1616161606-=--=--=y y d y i δ 106066i i i i y w w ηδ+= 5,4,3,2=i
第一次反传修正的输出层权为：
⎥⎥⎥⎥
⎦⎤
⎢⎢⎢
⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-∙+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=3833.00833.01833.04833.05.05.05.05.0)0333.0(14.01.02.05.06W
反推第一层权系数修正：
)1(1
1060611i i i i i y y w -=δδ 5,4,3,2=i 1
1
11011x w w i i i ηδ+= []T
i W 5.04.03.02.01=
第二次学习，0500.021=x ，5250.02
6=d
211x w net i i = 5,4,3,2=i
5025.0]1/[1]1/[1)0500.02.0()(222
112=+=+=⨯--e e y x w
5037.0]1/[1]1/[1)0500.03.0()
(22
113=+=+=⨯--e e
y x w
5050.0]1/[1)0500.04.0(24=+=⨯-e y
5062.025=y
计算6单元状态6net ：
[]5713.05062.05050.05037.05025.03833
.00833.01833.04833.066=⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎣⎡==i T Y W net 6390.0)1/(1)(5713.062
6=+==-e net f y
按表中数据依次训练学习，学习次数足够高时，可能达到学习目的，实现权值成熟。
一般网络学习训练次数很高，采用手工计算是不可能的，需要用计算机程序求解。
3.4.3 BP 算法的程序实现
前面推导的BP 网络算法是BP 算法基础，称标准BP 算法。
目前神经网络的实现仍以软件编程为主。
现以如图的三层BP 网络为例，说明标准BP 算法的编程步骤：
图3.2 三层BP 网络结构
T l k o o o o O ][21 =——输出层输出向量；
][21m j V V V V V =—— 输入层到隐层间的权值矩阵； j V —— 隐层第j 个神经元对应的权列向量；
][21l k W W W W W =—— 隐层到输出层间的权值矩阵；
k W ——输出层第k 个神经元对应的权列向量； d=T l k d d d d ][21 —— 网络期望输出向量。
程序可用一般高级语言编写，如Ｃ等，但考虑方便，最好采用ＭＡＴＬＡＢ语言，特别是ＭＡＴＬＡＢ环境中开发了工具箱（Toolboxes),其中神经网络开发工具（Neural Network)提供很丰富的手段来完成ＢＰ等ＡＮＮ设计与分析。
Neural Network中提供了网络初始化函数用语构建基本网络，可自动生成权值，提供各种转移函数，提供各种训练或学习方法与手段，并实现仿真运算，监视网络训练误差等。
BP网络的训练，可概括归纳为输入已知数据，权值初始化，训练网络三大步。
用神经网络工具箱训练BP网络，权值初始化和训练网络都可调用BP网络的相应工具函数。
调用时，用户只需要将这些工具函数视为黑箱，知道输入什么得到什么即可，不必考虑工具函数内部究竟如何。
ＢＰ网络的一些重要函数和功能(与版本有关)如表3.1。
基本神经元模型：
传递函数 (转移函数)：
线性传递函数purelin(s)即y=s；对数S型传递函数logsig(s)，即y=1/(1+e-s）；双曲正切S型传递函数tansig (s)即=tansigs，即y= (1-e-s)／(1+e-s）曲线。
3.4.4 多层前馈网络的主要能力
多层前馈网络是目前应用最多的神经网络，这主要归结于基于BP算法的多层前馈网络具有一些重要能力：
（1）非线性映射能力
………………………..
（2）泛化能力
…………………………………..
（3）容错能力
……………………………..
3.4.5 误差曲面与BP算法的局限性
3.5标准BP算法的改进
标准BP算法在应用中暴露出一些缺陷：
（1）易形成局部极小而得不到全局最优；
（2）训练次数多，学习效率低，收敛速度慢；（3）隐节点选取缺乏理论指导；
（4）训练时学习新样本有遗忘旧样本的趋势。
针对上述问题，国内外已提出一些有效的改进算法。
3.5.1增加动量项（惯性调整算法） △W(t)=ηδX+α△W(t-1)
α-动量系数，取（0，1）。
大都0.9左右 3.5.2自适应调整学习率
设一初始学习率，训练一批次权值调整后，看总误差E,若E ↑，则 η=βη β＜1 若E ↓ 则
η=φη φ＞1 实现合理步长调整。
3.5.3引入陡度因子
λ
/11net e O -+=
λ——陡度因子
采用压缩激活函数来改变误差函数，从而改变误差曲面的效果。
n e t
e
O -+=11。