BP神经网络学习参数优化研究

关键词: BP 神经网络; 快速收敛; BP 参数设计
中图分类号: TP317.4
文献标识码: B
Abstract: summing up the setting method of the basic parameters ,which can fast converge and avoid local mininum points in traning a BP neural ing VC++6.0 to realize the method. Key words: BP neural network; fast converge; BP parameter design
但并不保证使 ∆E 的全局的解最小, 可能是一个局部极小解。
所以现在对 BP 的优化研究主要集中如何避免学习中的局部最
小解和如何加快学习速度上。
3.2 BP 神经网络的网络参数的设计
设计内容包括网络各层之间的权值、各节点的阈值的初始
化值,学习参数及其调整参数的确定,以及动量项因子大小的
确定。
1.网络初始化参数的确定
表 4-1
创 设定学习速率参数的初值 η = 0.5。
学习速率参数的调整系数 α 、β 的确定: 学习过程中可以
新 采用下式来调整学习参数: η = αη α > 1 ψ =ψ ∆E<
由以上表格我们可以得到一个规律, 就是当 α×β<=1 的时 候,训练过程都不会产生发散,收敛的很好,可以看出最终的网络
误差函数的获得也称为“前向传播运算”(如图 4-2),其主要
目的是得到网络的实际输出与教师信号之间的总误差。
(2) 反向传播运算 根据得到的总误差误差对各个层之间的权值进行修改,修 改法则采用梯度法,修正值为:
络的实际输出与期望输出(教师信号)的误差,然后利用这个前向 传播误差做一次反向传播运算, 修改网络各层的权值与节点的
2 BP 神经网络 的结构与 数学描 述
BP 神经网络利用多层结构实现输入向量空间到输出向量
ÁÂÃÄÁÂÂÁÁÂ 空间的非线性映射,并利用误差梯度下降法做为网络的学习算
法实现有实际输出向期望输出的逼近,最终达到网络的自适应。
ÂÃÁÃÁÂ 图1三层BP神经网络的结构
BP 神经网络的结构模型一般由输入层、隐含层(中间层)、 输出层构成(图 1)。BP 神经网络的学习算法本质上是利用现有
ÂÁÃÂÁÂ 的标准数据做一次前向传播运算(如图1实线箭头所示)得到网
阈值,就这样不断的进行反复的前向和反向传播运算,直到网络 的实际输出和期望输出之间的误差在某个范围内, 才结束其学 习过程。BP 神经网络的数学模型和学习方法的原理和推导方 法见文献
现在对 BP 网络的研究主要集中在如何使学习过程收敛快 和如何避免局部最小点上。本文就是讨论在现有的学习算法(本 文采用的算法是变步长与加动量项法)下,在学习过程中通过如 何设置基础参数来加快学习的过程,并总结出一些规律。
技 术 创 新
3 基 于 BP 神 经 网 络 的 字 符 特 征 分 类
器的设计
3.1 BP 的学习算法
(1) 前向传播运算
BP 学习算法属于 δ 学习律, 是一种有教师的学习算法,设
输入学习样本为 p 个: x , x ,....., x , 已知与其对应的教师值 为: t ,t ,.....,t 。学习算法就是将实际输出 y1, y2 ,....., y p 与 t1, t2,....., t p 的误差来修改其连接权核阈值,使得实际输出与教
Madison, Wisconsin, 1998, July, 296-304
[4]高新波.模糊聚类分析及其应用,西安:西安电子科技大学出版
社,2004
[5]叶海军.模糊聚类分析技术及其应用研究[硕士学位论文].安
徽:合肥工业大学,2006
[6]范九伦.模糊聚类新算法与聚类有效性问题研究[博士学位论
[8]张东民,廖文和.基于实值编码遗传算法的起重机伸缩臂结构
优化.南京航空航天大学学报,2004,36(2).
[9]张涤,基于文化算法的聚类分析研究[硕士学位论文].四川:西
南交通大学,2005
[10]孟凡荣,煤矿安全监测监控数据知识发现方法的研究[博士
论文].江苏:中国矿业大学,2008
[11]王旅,彭宏,胡劲松,梁华芳.模糊聚类在种群遗传分化分析中
技 识调整变量变化步长及变化方向, 以及区域的限制可以使收敛 速度加快。
术 4 结论
创
本文提出了一种新的模型来表示煤矿安全监测数据的多
元性,结合了语义和数据的表达方式,可将这些具有不同含义的
新 数值型数据分别看作本体中各监测位置概念的不同特征或属 性, 从而实现煤矿安全监测监控数据的多源特性与多维特性的
本文采用对权值和阈值的初始化采用一个可以产生(-1,1)
范围内的随机数的函数。
2.网络学习算法与参数的确定
技
采用变步长和加动量项的学习算法; 由于不可能一开始就
知道 BP 网络的最佳学习参数, 而只能根据经验先设定一个初
术 值然后在学习过程中不断调整。本文就是采用这种方法的。
一般地,学习速率参数的初始值在(0,1)这个区间选择,故可
Techniques, Second Edition[M]. Beijing:China Machine Press,2006
[3]Lin. D. An Information-Theoretic Definition of Similarity[C]. Fif－
teenth International Conference on Machine Learning (ICML'98),
无缝结合,提出了 SDFCM 算法,并利用文化算法进行求解约束、
知识引导,达到有效的聚类结果,很好的分离高危数据。
参考文献
[1]Guarino N,Formal Ontology and Information Systems[M],Amster－
dam:IOS Press,1998:3-15
[2]Jiawei Han, Micheline Kamber. Data Mining Concepts and
1 引言
BP (Back Propagation)神经网络是一种神经网络学习算法。 其由输入层、中间层、输出层组成的阶层型神经网络,中间层可 扩展为多层。相邻层之间各神经元进行全连接,而每层各神经元 之间无连接,网络按有教师示教的方式进行学习,当一对学习模 式提供给网络后,各神经元获得网络的输入响应产生连接权值 (Weight)。然后按减小希望输出与实际输出误差的方向,从输出 层经各中间层逐层修正各连接权,回到输入层。此过程反复交 替进行,直至网络的全局误差趋向给定的极小值,即完成学习的 过程。
表 4-2
基于这个类,构建 BP 学习的软件。为了使网络的学习更有
灵活性, 该软件提供三层 BP 神经网络的所有参数的输入接口,
可以动态的改变网络的学习和结构参数, 以达到最佳的训练效
果;并且,还支持对原有网络参数的再训练和网络参数的保存及
对网络的预测。操作界面如下:
图 2 神经网络训练器界面
- 200 - 360元 / 年 邮局订阅号：82-946
的应用[J].微计算机信息,2006,1-3:172-174
作 者 简 介 :郭晶(1985-10),女,江苏南通人,硕士生,主要研究领域
值的修改量。
由上面的利用网络最终总误差而对权值进行相应修改的
运算称为“反向传播运算”(如图 4-2)。
由上式可以推算出网络学习的总误差的变化,如下式:
∆E=Biblioteka −η∑ =∑
(
∂ε ∂w
)
≤0
由上式可以看出,梯度法可以使总误差向减少的方向变化,
直到 ∆E = 0 为止。这种学习方法可以能够得到一个稳定的解,
η = βη β < 1 ψ = 0 ∆E>
总误差小于 0.014,并且可以发现随着 α×β 的增大,训练总误差
动量因子项系数 ψ 的确定,系统初定为 ψ =0.9,但可以自 也越大, 但在最接近 1 的这个比例关系上总误差达到最小为
由调整。
0.01143。故而如果令 α×β<=1 那能否得到更加理想的学习速率
实验环境为:AMD Sempron (tm) Processor 2800+,1.61GHz, 512MB 内存。
以下是从实验中得到的数据: 表格中:η 表示学习速率、α 表示学习速率的调整参数(>1)、 β 表示学习速率的调整参数(<1)、ψ 表示权值调整中的动量因子 项系数、E 总网络最终的学习总误差、C 表示网络学习次数、T 表 示网络学习时间、α×β 表示两个速率调整系数的比例关系。 学习速率系数(η)、动量项因子系数(ψ)保持不变,由实验测 定以下数据:
文].西安:电子科技大学,1998
[7]Robert R G. An introduction to cultural algorithms. In:Proceed－
ings of the 3th Annual Conference Evolution Programming.Singa－
pore:World Scientific Publishing,1994.131~139
∆w
=
−
∑ =
η
∂ε ∂w
∑ ε = 1
−
(t
−y ) =E
2=
林仕高: 学生
其中 η 为学习步长, w 各个层之间的权值, ∆w 为该权
《PLC 技术应用 200 例》
邮局订阅号：82-946 360 元 / 年 - 199 -
ÁÁÂÃÁÁ软件天地
《微计算机信息》(测控自动化 )2010 年第 26 卷第 6-1 期