小波函数在BP神经网络中的应用

1
1.1
煤炭产业发展历程及混合所有制经济改革重要性分析
煤炭产业发展历程分析 煤炭产业在我国的经济发展以及社会发展中所起到的作用是很大
的，而在煤炭的产权结构层面的发展也经历了几个重要阶段。从计划 经济时期的发展过程中来看， 国家对于煤矿实施了统一化的计划管理， 而煤矿则是全民所有制。为能够将煤炭企业以及智能在生产中的积极 性充分调动，十一届三中全会之后就对管理的自主权有了扩大，在投
图 1 Morlet 小波 图 2 Mexihat 小波
理论研究
232
关煤炭产业混合所有制经济改革探析
贾庆云 （中国国电集团内蒙古锡林河煤化工有限责任公司 , 内蒙古 锡林郭勒 026321）
摘 要 : 我国当前正处在全面改革的深化阶段，在这一过程中的诸多领域都进行了改革发展，党的十八届三中全会通过的《决定》中对积极发 展混合所有制经济、推动国有企业完善现代企业制度、支持非公有制经济健康发展等方面作出了全面部署。由此可看出，煤炭产业实行的混合 所有制改革在当前的社会发展背景下已经成为必然。煤炭产业是我国发展中的重要经济支撑力量，而混合所有制经济的改革则是对这一领域的 可持续发展有着推动作用，只有将煤炭产业的发展得到了优化，才能够真正促进其健康长久的发展。本文主要就我国煤炭产业发展的重要历程 以及混合所有制经济改革重要性加以阐述，然后就煤炭产业混合所有制经济改革困境以及改革原则加以分析，最后探究煤炭产业混合所有制经 济改革的优化策略。 关键词 : 煤炭产业；混合所有制经济；改革 DOI:10.16640/ki.37-1222/t.2015.23.205
（1） 时，称 为一个基本小波或母小波。将母函数经伸缩和平移后得
Φ a ,b (t ) =
1 a
（2） 其中 a 为伸缩因子，b 为平移因子。Ö (t ) 只在原点附近才有明显的起伏， 而在远离原点的地方会迅速向零衰减，所以被称为“小波” [4]。 小波函数不是唯一存在的，所有满足小波条件的函数都可以作为小波函 数。在应用中常用的有 Morlet 小波、Mexihat 小波和 Gaussian 小波。Morlet 小 波是高斯包络下的单频率复正弦函数，其函数表达式如式（3），波形如图 1 所示。Mexihat 小波是高斯函数的二阶导数，其函数表达式如式（4），波形 如图 2 所示。Gaussian 函数可以构成一个小波系列，可以证明高斯函数的各 阶导数均满足小波函数的容许性条件，都是小波。其二阶导数就是 Mexihat 小波，Gaussian 函数的六阶导数表达式如式（5），波形如图 3 所示。 （3） （4） （5）
Φ
t −b a
a ,b ∈ R ; a ≠ 0
图4
WNN 模型
网络训练过程基于误差逆传播思想，按梯度下降方向调整权值 w 及小波 参数 a，b。输入层、隐含层及输出层的神经元个数分别为 m，n，N 个，于 是在 t 时刻 [7]：
n m y i (t ) = f ∑ wij Φ a ,b ∑ w jk x k (t ) k =0 j =0 i = (1,2 ,… , N ), f (t ) =
4 结论
小波神经网络是结合小波变换理论与人工神经网络的思想而构成的 一种神经网络模型，它结合了小波变换良好的时频局域化性质及神经网络 的自学习功能，具有较强的逼近能力和容错能力，具有广泛的应用前景。 参考文献： [1][ 美 ] 哈根（Hagan,M.T.）等著 , 戴葵等译 . 神经网络设计 [M]. 北京： 机械工业出版社 ,2002(09). [2] 杨晓帆，陈延槐 . 人工神经网络固有的优点和缺点 [J]. 计算机科学， 1994,21(02). [3] 奉前清，杨宗凯 . 实用小波分析 [M]. 西安 : 西安电子科技大学出版社， 2000. [4] 冉启文 . 小波变换与傅立叶变换理论及应用 [M]. 哈尔滨 : 哈尔滨工业大 学出版社 ,2001. [5]Zhang Qinghua，Benveniste. A wavelet network[J]. IEEE trans on Neural Networks，1992,3(6)：889-898 [6] 虞和济 , 陈长征 , 张省等著 . 基于神经网络的智能诊断 [M]. 北京 : 冶金 工业出版社 ,2000. [7]Z.Chen, T.J.Feng, and Q.C.Meng. The Application of Wavelet Neural Network in Time Series Prediction and System Modeling Based on Multiresolution Learning. IEEE Conference on Systems, Man, and Cybernetics, Vol.1,1999:425-430 基金项目：2014 年度河北省高等学校科学技术研究项目（Z2014037） 作者简介：吕宏丽（1974 -），女，甘肃宁县人，硕士，教授。
2
1 1 + e −t
（6）
1 N ∑ ( yi (t ) − d i ) 2 i =i （7） 其中，xk 为输入向量，yi 为输出向量，di 为目标向量，E 为误差函数， wjk 为输入层到隐含层的权值，wij 为隐含层到输出层的权值，a 和 b 为隐含层 的伸缩和平移参数。 在网络的权值和阈值随机确定后，进行网络前向传播的计算，在经过误差 计算以及逆传播计算后，若不满足终止条件，则需要利用式（8）~（11）对 网络的参数进行调整，反复训练，直到满足终止条件为止。 （8） E=
图 3 6 阶 Gaussian 小波
3 小波神经网络
小波神经网络是在小波分析与神经网络发展的基础上提出的一种前馈型 网络 [5]。根据结构形式的不同，可分为两类 [6]：松散型结构和紧致型结构， 目前国内外大部分学者几乎都在采用紧致型结构进行研究。紧致型 WNN 的 基本思想是将常规神经网络的隐含层的激励函数用小波函数代替，相应的输 入层到隐含层的权值及阈值分别由小波函数的伸缩系数和平移系数代替，通 过仿射变换建立起小波变换与网络参数之间的联系。结构图如图 4 所示。
2
小波变换
小波变换属于时频分析的一种，是对傅立叶分析进行的一种推广。一维 小波变换具有多分辨率分析的特点，而且在时频两域都具有表征信号局部特 征的能力，是一种窗口大小固定不变但其形状可改变，时间窗和频率窗都可 以改变的时频局部化分析方法，被誉为分析信号的显微镜 [3]。
ˆ (ù ) 满足允许条件 ˆ (ù ) ，当 Ö 定义：设 Ö (t ) � ¸ L2 (R ) ，其傅立叶变换为 Ö
图 5 Morlet WNN 与 BP 的拟合波形 图 6 比较
Mexihat WNN 与 BP 的拟合 波形比较
图 7 Gaussian WNN 与 BP 的拟合波形比较
1 引言
作为人工智能的一个分支， 神经网络以其自组织、 自学习、 自适应的能力， 被广泛应用于模式识别、信号处理、自动控制、决策科学等领域 [1]。其中 BP （Back Propagation）神经网络是目前应用较为广泛的神经网络模型。 从数学理论上已证明，BP 神经网络具有实现任何复杂非线性映射的能 力，能以任意精度逼近任何非线性连续函数 [2]。但是它也有明显的缺陷，从 数学角度看，BP 算法是一种局部搜索的优化方法，算法很有可能陷入局部 极值使训练失败。而小波变换通过尺度伸缩和平移对信号进行多尺度分析， 能有效提取信号的局部信息，可以很好的解决 BP 神经网络的这一缺陷。因 此将小波理论与神经网络相结合，取长补短，可以发挥各自的优势。小波神 经网络（Wavelet Neural Network,WNN）最早是由法国著名的信息科学研究机 构 IRISA 的 Qinghua Zhang 博士等人于 1992 年提出的，目前已经成为使用广 泛的人工智能分析方法。
（9）
对比图 5~ 图 7 可以看出，三种 WNN 网络其函数的逼近能力都优于 BP 神经网络，所选取的小波函数中 Morlet 小波构成的 WNN 网络其函数逼近效 果最佳。
（10） （11） 其中，η 为学习系数。 将 WNN 和 BP 神 经 网 络 分 别 用 于 函 数 拟 合 应 用 中， 如 拟 合 函 数 。图 5 是选取 Morlet 小波作为激励函数的 WNN 与 BP 神经网络 的拟合波形，图 6 是选取 Mexihat 小波作为激励函数的 WNN 与 BP 神经网络 的拟合波形，图 7 是选取 Gaussian 函数的六阶导数作为激励函数的 WNN 与 BP 神经网络的拟合波形。
0 引言
对于当前我国的煤炭产业的发展，要能够从多方面分析，将其和 时代的发展步伐相一致，并要能够对混合所有制经济改革和煤炭产业 发展之间的关系理清。将两者的结合要能够从多方面进行强化，制定 相适应的改革方案，如此才能够将混合所有制经济改革作用在煤炭产 业发展中呈现出良好效果。也只有将改革的目标以及内涵和途径得以 明确化，才能真正促进煤炭产业的良性发展。
231
理论研究
小波函数在 BP 神经网络中的应用
吕宏丽 （唐山学院信息工程系 , 河北 唐山 063000）
摘 要：小波 BP 神经网络是由小波分析理论与神经网络理论结合而成的神经网络，兼具小波分析良好的时频局部化性质和 BP 神经网络的自学 习功能。本文针对紧致型小波 BP 神经网络结构，选取了三种不同的小波函数作为激励函数，在函数拟合应用中与 BP 神经网络进行对比，体现 出小波 BP 神经网络收敛精度高的特点。 关键词：小波神经网络；函数拟合；激励函数 DOI:10.16640/ki.37-1222/t.2015.23.204