小波神经网络研究进展及展望_陈哲
综 述
小波神经网络研究进展及展望
陈 哲 冯天瑾
(青岛海洋大学电子工程系,青岛,266003)摘 要 关于小波分析与人工神经网络结合的研究,近些年来已成为信号处理学科的热点之一,已有大量的研究成果见诸各种学术刊物和会议论文。小波变换具有良好的时频局部性质,神经网络则具有自学习功能和良好
的容错能力,小波神经网络(W NN )由于较好地结合了两者的优点而具有强大的优势。作者较系统地综述了小
波神经网络的研究进展,讨论了小波神经网络的主要模型和算法,并就其存在的一些问题,应用与发展趋势进
行了探讨。
关键词 神经网络;小波分析;小波神经网络
中图法分类号 T P 911.7
小波自80年代提出以来,理论和应用都得到了巨大的发展,小波分析的出现被认为是傅立叶分析的突破性进展[1～3]。多层感知器(M ultila yer Perceptr on,M L P)是一种广泛应用的神经网络模型,实践证明M L P 具有较好的空间映射能力和推广能力。目前,神经网络的理论研究日趋深入,其重要发展方向之一,就是注重与小波、混沌、模糊集等非线性科学理论相结合。小波变换具有时频局部特性和变焦特性,而神经网络具有自学习、自适应、鲁棒性、容错性和推广能力,如何把两者的优势结合起来,一直是人们关注的问题。一种方法是用小波分析对信号进行预处理,即以小波空间作为模式识别的特征空间。通过将小波基与信号的内积进行加权和来实现信号的特征提取,然后将提取的特征向量送入神经网络处理;另一种即所谓的小波神经网络(W av elet neura l netw or k,W NN )或小波网络,把小波变换与神经网络有机地结合起来,充分继承了两者的优点。小波与前馈神经网络的结合是小波网络的主要研究方向,也是本文着重讨论的内容。小波还可以与其它类型的神经网络相结合:例如用Koho nen 网络对信号做自适应小波分解[4],RBF 网络与小波的结合[5]等。1 小波神经网络
小波神经网络可看作是以小波函数为基底的一种函数连接型网络,也可以认为是径向基函数(Radial ba-sis functio n,RBF)网络的推广,但它又具有与一般前馈网络和RBF 网络所不同的特点,在神经网络研究领域中具有巨大的潜力。现就其主要模型和算法综述如下。
1.1小波网络基本模型 Pati 和Krish napra sad [6]最早研究了神经网络与小波变换的联系,提出了离散仿射小波网络模型。其思想是将离散小波变换引入神经网络模型,通过对Sig moid 函数的平移伸缩构成L 2(R )中的仿射框架,进而构造小波神经网络。1992年Zhang Qing hua 和Benv eniste [7]明确提出了小波网络的概念和算法。其思想是用小波元代替了神经元,即用已定位的小波函数代替S ig modi 函数作激活函数,通过仿射变换建立起小波变换与网络系数之间的联接,并应用于函数逼近。随后Szu 等[8]又提出了基于连续小波变换的两种自适应小波神经网络模型。一种用于信号表示,偏重于函数逼近;另一种偏重于选取合适的小波做特征提取,其实质是在小波特征空间中寻找一组最佳的小波基,因不涉及重构问题,小波的正交性要求不是很苛刻,
第29卷 第4期
1999年10月 青岛海洋大学学报J OU RN AL OF OCE AN UVIVE RSI TY OF Q INGDAO 29(4):663～668
Oct.,1999
国家自然科学基金课题(69675005)资助
收稿日期:1998-09-23;修订日期:1999-05-11
陈 哲,男,1976年6月出生,硕士生。
664青 岛 海 洋 大 学 学 报1999年
但提取信号的小波特征中应融入必要的不变性量并应具有鲁棒性。Baskshi和Stepha no po lo us[9]采用正交小波函数作为神经元的激活函数,提出了正交多分辨小波神经网络。依据多分辨率分析理论,把尺度函数和小波函数共同包含在网络中,并采用逐级学习的方法来训练网络。即先在粗分辨率下(尺度函数)对信号进行逼近,而后由粗到细逐渐增加结点(小波函数)。因正交小波基具有良好的时-频分辨性能,当信号剧烈突变时,网络可增加分辨尺度来保证逼近的精度。此外,由于各函数基的相互正交性,训练过程中添加、删除网络结点不影响已训练好的网络权值,可使网络学习的时间大大缩短。Zha ng Jun等[11]研究了Boubez等人[10]的工作,提出另一种正交小波基神经网络,选用正交且具有类紧支特性的尺度函数对函数进行逼近。文章给出确定隐层单元数的算法,还对WN N与M L P和RBF网络进行了性能比较。
1.2小波网络的推广和改进 小波网络的概念和模型提出以后,引起了广大学者的兴趣和研究,并对其模型和算法进行了若干改进。焦李成等[12]在前人的基础上提出了多变量函数估计小波网络;沈雪勤等[13,14]针对神经元个数过多、网络学习收敛速度较慢的问题,在时频分析基础上引入了能量密度的概念,提出了基于能量密度的小波网络模型;最近,高协平和张钹[15,16]针对小波网络高维映射学习的维数灾问题分析指出:对定义在有限区间上能量有限信号的学习采用L2R上的小波多尺度结构是不理想的,其重新定义L2[0,1]上的多尺度分析,提出一种区间小波网络模型,并通过理论与模拟实例证明区间小波网络性能有明显的优势;焦李成[17]和李衍达[18]等人研究了小波网络与模糊逻辑的结合,用隶属函数表示权重值,构造了模糊权值、模糊输出的模糊小波网络模型;何振亚等[19]构造了一种自适应时延小波网络,用一个超小波进行逼近存在不同时延的信号,并给出了基于时间竞争的学习算法;文献[20]提出了一种小波神经网络的推广模型,网络中的激励函数和连接权重都取为非线性函数。训练前馈神经网络常用的方法是BP算法,但BP算法普遍存在收敛速度慢的缺点。Zhang Qingh ua首次提出小波网络模型时使用了随机梯度算法;Szu则使用了共轭梯度算法;姚骏等[21]提出基于离散小波的改进学习算法。近年来,又出现了各种小波网络模型的算法研究,例如模糊小波网络的区间学习算法[17]、正交最小二乘算法[22]等。关于代价函数的选择:最小均方误差是最常用的标准,此外还可以考虑选用其他的标准,如最小错分误差标准[23]、正交最小二乘标准[24]。
1.3其它问题讨论 小波神经网络的研究除了模型和算法的研究外,还有许多值得探讨的问题,例如小波网络的分类和构造;小波基函数的选择;小波网络与其他网络的性能比较等。
1.3.1小波网络的分类
①按小波基函数和学习参数的选取,可分为
·连续小波网络 来源于连续小波变换的定义,其特点是基函数的定位不局限于有限离散值,冗余度高,展开式不唯一,无法固定小波参数与函数之间的对应关系,具有类似BP网络的非线性优化问题,但小波分析理论有助于网络的初始化并指导学习过程,使网络有较快的收敛速度。
·离散仿射小波网络 来源于离散仿射小波变换的反演方程,其理论基础是小波框架,但紧框架下的小波基不一定是正交基,可能不具有紧支特性,代表了一定的估值冗余。该模型物理概念清楚、实现方便,因此应用较广。
·离散正交小波网络 基函数为L2(R)中的正交小波函数基,主要理论依据是Daubechies[25]的紧支撑正交小波及M alla t[26]的多分辨率分析,正交小波网络由于其基函数的正交性,对函数的逼近更有效,但正交基构造及网络学习算法较复杂,网络抗干扰能力较差。
②按小波基在网络中的作用不同,可分为:
·激活函数型小波网络 小波函数在网络中代替了传统的Sig moid函数,激活函数为小波函数集,即用小波元代替了原来神经元的非线性特性。
·权重型小波网络 小波函数集在网络中充当若干组权重值,输入信号是信号与小波的内积。此外,还可以是上述两种类型的综合,如选取不同的小波基在网络中分别充当激活函数和权重函数。
③按小波的维数不同,可分为:
·一维小波网络 建立在L2(R)域中一维小波变换基础上,理论研究比较成熟,应用也较多。已经证明,小波神经网络在逼近单变量函数时是渐近最优的逼近器[27]。
·多维小波网络 在一维基础上利用直积定义多维母波,或利用张量积构造多维正交多分辨率分析,并在此基础上可构造多维小波网络。关于构造多维小波框架的理论可参考文献[28]。有一点要说明的是,多维
小波一般都具有方向性,但神经网络应用中对小波的方向性没有要求,因此可以用一个各向同性的函数通过平移伸缩产生多维小波框架。
1.3.2小波网络的构造 小波神经网络的构造是一个重要的问题。Zhang qinghua [29]用回归分析给出了构造小波网络的方法。Pati 和Krishnaprasad [6]给出了小波网络综合的两种方法,系统地定义了网络的结构,提前确定了网络中的部分权重值,从而简化了网络的训练问题。文献[30,31]也提出一种小波基函数网络结构设计的“分解-综合”方法,有效地减少了构造小波网络所需的小波基元。
1.3.3小波函数的选择 构造小波网络时选择
什么类型的小波函数,根据不同情况选择合适的小波基函差分方程求解[33],还可以选择几个sig moid 函数的线性组合作为小波函数;正交小波网络的小波基一般选择Daubechies 构造的具有紧支撑的正交小波。
1.4W N N 与RBF 和M L P 的比较 RBF 网络是一种特殊的三层前向神经网络,它用一组具有紧支集但往往是非正交的基函数来逼近函数;而W N N 是RBF 网络的推广,它用小波斜交或正交基来逼近函数,网络结点具有更小的冗余度。M L P 基函数一般为Sigmoid(e )函数,e L 2,因而Sig moid 函数难以找到函数f ∈L 2所对应的反演公式,也难以保证非线性系统的唯一解。M L P 的基函数相互不正交,权重的学习往往出现峡谷形误差曲面,学习收剑速度慢。W N N 的基函数是正交或近正交小波基,权重之间相关冗余度很小,对某一权重训练不会影响其它权重,因而收剑速度快。M L P 的学习算法常常忽视了许多包含在训练数据中的先验知识,因而忽略了权重初始化中潜在的简化问题,而W NN 的训练数据的预处理将导致训练问题的凸性,使在选择权重时更具指导性。此外,Sig mo id 函数不满足框架条件,但三个Sig moid 函数的线性组合得到的带限小波函数却可以满足,因此WN N 可以近似等效为三个M LP 的组合,其估值能力近似是M L P 的三倍。理论分析和实验均表明:小波神经网络具有逼近能力强、收剑速度快、网络参数(隐层结点数和权重)的选取有理论依据、有效避免了局部最小值等优点。当然,小波神经网络也有不足之处:小波网络的构造比较复杂;相比M L P 和RBF 网络而言,小波网络的运算复杂度增加了。而且高维小波网络的映射学习时容易产生“维数灾”问题,即随着网络的输入维数增加,网络所需训练样本呈指数增长,网络的收敛速度大大下降。这两点可考虑通过借助光学或V L SI 技术,实现小波网络的并行高速运算而解决。
2 应用与展望
小波神经网络最初应用于函数逼近和语音识别,随后应用领域逐渐推广到非参数估计、天气预报、系统辩识、图象压缩等各个方面。详细资料可参考文献[34～40]。总体而言,小波网络的理论研究还处于初始阶段,迄今还存在许多有待解决的问题。
(1)小波网络的新模型及其学习算法。近年来有学者研究了紧支非正交小波网络[41]、小波与联想记忆神经网络的结合[42]、多分辨分析与神经网络的结合[43],局域自适应小波网络[44]、自适应结构小波网络[45]等新模型。目前神经网络的研究正逐步深入,由单纯的神经计算转向计算智能并结合脑科学的研究向生物智能方向发展,小波网络的研究也应该考虑与其他智能技术的结合,如小波网络与模糊逻辑的结合[46]、小波包模糊聚类网络[47];小波网络算法与遗传算法和进化计算的结合研究[48]等。另外,文献还[11]建议考虑小波包神经网络、P PR 小波网络。
(2)小波网络的收敛性、鲁棒性、推广能力、计算复杂度等问题的理论研究,如文献[11,30,49]所涉及。
(3)离散小波网络中进行离散小波变换的小波族从理论上讲应该是无穷多个,实际应用中只能选取其中的有限个。如何合理地对离散小波族进行截断操作?
(4)如何有效地解决构造离散正交小波网络的算法复杂性问题?如何有效解决多维输入情况下出现的“维数灾”问题,可否考虑把多维输入分解降维由多个子网络解决,形成一个类似“神经树”的小波网络?
(5)如何把输入信号特征与尺度、平移甚至旋转等不变量结合起来再输入小波网络训练,以避免过大的训练集,可否考虑进行主成分分析压缩输入数据的特征维数?如何在学习过程中融入经验知识,加快学习过程?6654期陈 哲,等:小波神经网络研究进展及展望
666青 岛 海 洋 大 学 学 报1999年
(6)小波基函数的选择。如何针对实际应用不同情况选取小波基?小波基应选取相同类型还是不同类型?选取的数目和标准是什么?
(7)W N N硬件实现。神经网络的光学实现是当前神经网络的研究热点之一。Szu等人[50]构造了一种小波神经网络“光学耳蜗”模型;文献[51]提出了一种基于并行神经计算机结构的W N N模型,V L SI技术的实现无疑将进一步促进小波网络的推广和应用。
综上所述,小波神经网络由于把神经网络的自学习特性和小波的局部特性结合起来,具有自适应分辨性和良好的容错能力,因此特别适合应用在函数逼近、系统辩识、数据压缩等领域。但是,小波网络也还有待改进。例如在高维数据处理方面小波神经网络的研究还很少,这是由于多维小波理论构造比较复杂所决定的。所以小波网络的发展还取决于小波理论的进一步研究。智能研究的实践表明,单纯依赖某种理论和技术是不现实的。因此今后小波神经网络的研究应注意结合吸收模糊、分形、混沌、进化计算等交叉学科的研究成果,以开拓小波神经网络研究的更为广阔的前景。
参考文献
1 M eyer Y.W av elet:Algorith ms and Applications.Philadelphia,PA:SIAM Press,1993
2 Ch ui C K.An In troduction to Wavelets.New York:Acad emic Press,1992
3 Dau bechies I.Ten Lectures on Wavelets.Philadelphia,PA:SIAM Press,1992
4 Cheng Q M,et al.The application of neu ral n etw ork to w av elet d ecomposition of s urface EM G signal.Beijing: Proc of I J CNN'92.(1),1992.889～892
5 M ukherjee S and Nayar S K.Au tomatic gen eration of RBF netwo rk s using w avelets.Pattern Recognition.1996, 29(8):1369～1383
6 Pati Y C and Krishnaprasad P S.Analysis and syn th esis of feedforw ard neural netw ork using dis crete affine w av elet.IEEE trans on NN,1993,4(1):73～75
7 Zhang Qinghua and Benvenis te A.Wavelet netw orks.IEEE trans on NN,1992,3(6):889～898
8 Szu H,et al.Neural netw ork adaptive w avelets for sig nal representation and classification.Optical Engineering.
1992,31(9):1907～1916
9 Bas kshi B R and S teph anopoulous G.W ave-net:a multiresolution,hierarchical neural netw ork with localized learning.Amer Ins t Ch em Eng J,1993,39(1):57～81
10 Boubez T and Peskin R L.W av elet neural netw orks and recep tive field partitioning.San Francisco:Proc of I JCNN'93.(3),1993.1544～1549
11 Zhang Jun,et al.W avelet neural n etw orks for function learning.IEE E trans on SP,1995,43(6):1485～1497 12 石卓尔,焦李成,等.子波神经网络.西安:中国神经网络1993年学术大会论文集(上),1993.85～96
13 丁宇新,沈雪勤,等.基于能量密度的小波神经网络.计算机学报,1997,20(9):832～838
14 沈雪勤,等.能量密度在正交小波神经网络中的应用.1997年中国神经计算科学大会论文集.南京:CCNS'97 (FG),1997.613～616
15 高协平,张 钹.区间小波神经网络(Ⅰ)——理论与实现.软件学报,1998,9(3):217～221
16 高协平,张 钹.区间小波神经网络(Ⅱ)——性质与模拟.软件学报,1998,9(4):246～250
17 王 岭,焦李成.区间估计的FW NN及其区间学习算法.电子学报,1998,26(4):41～45
18 Zhang Liang J ie,Li Yanda.W avelet based fuz zy neural netw orks.Taiw an:Proc of IS ANN'94,1994
19 何振亚,等.用于信号逼近的自适应时延小波小波神经网络.电子科学学刊,1998,20(5):604～610
20 陈维荣,等.一种形式神经元的统一模型.南京:1997年中国神经计算科学大会论文集CCN S'97(一),1997.78～81
21 姚 骏,等.基于离散小波变换的小波网络学习算法及其在心电信号识别中的应用.南京:CCNS'97(二), 1997.605～608
22 徐晓霞,等.基于正交最小二乘的小波神经网络.电子学报,1998,26(10):115～117
23 Telfer B,Szu H,et al.Implementing the minim um-misclassification-error energ y function for target recognition.
Proc of I JCNN,1992,1:214～219
24 Chen S,et al.Orth og onal leas t s quares learning algorithm for radial basis fu nction network s.IE EE Trans on NN,1991,2(2):302～309
25 Dau bechies I.Orth onormal bas es of compactly suppo rted w av https://www.360docs.net/doc/716615368.html,m on Pure Appl M ath.1988,41(7):
909～996
26 M allat S G .A th eory for mu ltires olution signal decomposition :th e w avelet repres en tation .IEEE Trans on PA-
M I ,1989,11(7):674
～69327 Kreinovich V and Sirisaeng taksin O ,et al .W av elet neural netwo rk s are as ymptotically op timal app roximators fo r
functions of on e variable .Florida :Proc of IE EE ICNN '94.(1),1994.299
～30428 Kugarajah T and Z h ang Qinghua.M ultidimentional w av elet fram es.IEEE Trans on NN,1995,6(6):1552～
1556
29 Zhang Qinghua.Reg ress or selection and w avelet netw ork construction.INRIA Tech nical Report.No.709,199330 张邦礼,李银国,等.小波神经网络的构造及其算法的鲁棒性分析.重庆大学学报,1995,18(6):88～95
31 李银国,张邦礼,等.小波神经网络及其结构设计方法.模式识别与人工智能,1997,9(3):197～205
32 吴耀军,等.B 样条小波神经网络.模式识别与人工智能,1996,9(3):228～233
33 水鹏朗,保 铮,焦李成.一种基于子波神经网络的多尺度差分方程求解新方法.电子科学学刊,1997,19(6):
733～737
34 Zhang Qingh https://www.360docs.net/doc/716615368.html,ing w avelet netw ork in nonparametric estimation.IEE E Trans on NN,1997,8(2):227～23635 Song Xianyu,et al .Adap tive W avelet n eural netw ork for pattern recognition.Nan j ing :Proc of IEEE
ICNNS P '95,1995.386～389
36 柳振宇,等.基于不变矩和子波神经网络的图象识别.武汉:神经网络及应用—'94最新进展,1994.552～55537 李向武,韦 岗.小波神经网络的动态系统辨识方法及应用.控制理论与应用,1998,15(4):494～500
38 金 龙,等.基于小波神经网络的长期预报研究.南京:CCN S '97(二),1997.617～620
39 李建平,等.基于小波变换和神经网络的图象压缩.成都:神经网络理论与应用研究'96,1996.436～430
40 Liu W ei,et al.Th e compression of IR s pectra by using w av elet neural netwo rk:Chines e Science Bulletin.1997,
10:822～825
41 Yamak aw a T,et al.W av elet n eural netw ork s employing ov er-com plete number of com pactly s upported
nonorthogonal wavelets and th eir application.Orlando :Proc of IEEE ICNN '94.(2),1994.1391～1396
42 丁哨卫,等.基于自组织联想小波神经网络的QRS 聚类方法.中国科学技术大学学报,1998,28(3):310～31543 黄凤岗,等.一种用于自适应的小波神经网络.电子学报,1998,26(8):143～145
44 张艳宁,焦李成,等.用于船舶噪声分类的局域自适应子波神经网络分类器.系统工程与电子技术,1998,(6):21
～25
45 Qiao Y,et al.Time-frequency w av elet n etw orks w ith s tructure adaptation.Beijing :Proc of ICON IP'95.(1),
1995.36～39
46 Qian W ,et al.Wavelet-based neu ral n etw ork with fu zzy-logic adaptivity for nuclear imag e res toration.Proc of
IEE E .1996,84(10):1458
～147347 赵纪元,等.小波包模糊聚类网络研究及应用.西安交通大学学报,1998,32(2):15～19
48 Yao S ,et al .Optimization of w avelet neural netw ork using ev olutionary programming .Beijing :
Proc of
ICONIP '95.(1),1995.313～31649 Delyon B ,et al .Accuracy analysis for w av elet approximations .IEE E Trans on NN ,1995,6(2):332～34850 Szu H,et al.W av elet transforms and neural netw orks for com pres sion and recognition.Neu ral Netw orks,1996,
9(4):695～708
51 He Shichun ,He Zh enya.A parallel neurocom puter architecture fo r w avelet netw orks.Nanjing:
Proc of ICNNS P '95.(1),1995.174～177
52 焦李成.神经网络的应用与实现.西安:西安电子科技大学出版社,1995.215～2526674期陈 哲,等:小波神经网络研究进展及展望
668青 岛 海 洋 大 学 学 报1999年
Research Developments and Prospects of
Wavelet N eural Networks
Chen Zhe Feng Tianjin
(Electrical Engineering Department,Ocean University of Qingdao,Qingdao,266003)
Abstract Wavelet neural netw orks(WNN)hav e attracted m uch attentio n recently, and a co nsiderable number of theory a nd applica tio n achiev em ents hav e appeared in v a rious publicatio ns.Wav elet transform has the exceptional pro perty of tem po ral-frequen-cy localiza tion,w hereas neural netw o rks hav e ex cellent characteristics of self-lea rning and fault-tolerance.By combining their g ood m erits,W NN hav e show n m ore pow erful co mpetence.The adv ances a nd dev elopments of this field are review ed in this pa per.
WNN,including its main models a nd alg orithms,a re stressed pa rticula rly.Some co n-cerns a nd applica tions abo ut W NN a re also introduced.Finally w e discuss the research trend and the prospects.
Key words neural netwo rks;w av elet a nalysis;wav elet neural netw orks(WNN)
海 洋 人 物
卢伯克,J.W.(Sir John William Lubbock,1803-03-26～1865-06-20) 英国数学家、天文学家。经营银行业。毕业于剑桥大学。主要成就是,提示出慧星、行星轨道的一般的测定方法。在潮汐学上,从事潮汐预报研究。应用拉普拉斯概率论处理大量潮汐观测资料;任伦敦皇家协会副会长期间,促成英国海军在各重要港口验潮;提出由于视差和赤纬所引起的潮汐差值;根据长期观测资料修正了以前发表的关于伦敦和利物浦港的潮汐预报值,由于其精确度高,一直沿用到第二次世界大战;在计算技术高超的德兴(Dessiou)的协助下,以伦敦船坞19年(白道升交点沿黄道西退运动周期约18.6年)的观测资料为依据,科学地制作了公开的潮汐表。但是卢伯克不赞成拉普拉斯用调和波动的合成来研究潮汐。由于成就显著,被封为爵士。主著有《日月食和掩星计算初探》(1835)、《关于月球理论和行星的摄动》(1836)、《潮汐初探》(Elementary Treatise on the Tides,1839)。
(刘安国)
小波神经网络的时间序列预测-短时交通流量预测
%% 清空环境变量 clc clear %% 网络参数配置 load traffic_flux input output input_test output_test M=size(input,2); %输入节点个数 N=size(output,2); %输出节点个数 n=6; %隐形节点个数 lr1=0.01; %学习概率 lr2=0.001; %学习概率 maxgen=100; %迭代次数 %权值初始化 Wjk=randn(n,M);Wjk_1=Wjk;Wjk_2=Wjk_1; Wij=randn(N,n);Wij_1=Wij;Wij_2=Wij_1; a=randn(1,n);a_1=a;a_2=a_1; b=randn(1,n);b_1=b;b_2=b_1; %节点初始化 y=zeros(1,N); net=zeros(1,n); net_ab=zeros(1,n); %权值学习增量初始化 d_Wjk=zeros(n,M); d_Wij=zeros(N,n); d_a=zeros(1,n);
d_b=zeros(1,n); %% 输入输出数据归一化 [inputn,inputps]=mapminmax(input'); [outputn,outputps]=mapminmax(output'); inputn=inputn'; outputn=outputn'; %% 网络训练 for i=1:maxgen %误差累计 error(i)=0; % 循环训练 for kk=1:size(input,1) x=inputn(kk,:); yqw=outputn(kk,:); for j=1:n for k=1:M net(j)=net(j)+Wjk(j,k)*x(k); net_ab(j)=(net(j)-b(j))/a(j); end temp=mymorlet(net_ab(j)); for k=1:N y=y+Wij(k,j)*temp; %小波函数 end end
(完整版)小波神经网络的时间预测
基于小波神经网络的短时交通流预测 摘要 将小波神经网络的时间序列预测理论应用于短时交通流量的预测。通过小波分解与重构获取交通流量数据中的低频近似部分和高频随机部分, 然后在分析各种模型的优、劣的基础上, 选取较有效的模型或模型结合方式, 建立了交通流量预测模型。最后, 利用实测交通流量数据对模型仿真, 结果表明该模型可以有效地提高短时交通流量预测的精度。 关键词: 小波变换 交通流预测 神经网络 1.背景 众所周知, 道路交通系统是一个有人参与的、时变的、复杂的非线性大系统, 它的显著特点之一就是具有高度的不确定性(人为的和自然的影响)。这种不确定性给短时交通流量预测带来了极大的困难。这也就是短时交通流量预测相对于中长期预测更复杂的原因所在。在交通流量预测方面,小波分析不是一个完全陌生的工具，但是仍然处于探索性的应用阶段。实际上,这种方法在计算机网络的流量的预测中有着广泛的应用。与计算机网络一样,车流也表现出复杂的习性。所以可以把它的应用推广类比到交通流量的预测中来。小波分析有着与生俱来的解决非稳定时间序列的能力, 所以常常被单独用来解决常规时间序列模型中的问题。 2.小波理论 小波分析是针对傅里叶变换的不足发展而来的，傅里叶变换是信号处理领域里最为广泛的一种分析手段，然而他有一个严重的不足，就是变换抛弃了时间信息，变换结果无法判断某个信号发生的时间。小波是一种长度有限，平均值为0的波形，它的特点包括： （1）时域都具有紧支集或近似紧支集； （2）直流分量为0； 小波变换是指把某一基本小波函数ψ(t)平移b 后，再在不同尺度a 下与待分析的信号x(t)做内积。 dt a b t t x a b a WT x )()(1),(-=?*ψ??==?*)(),()()(,,t t x dt t t x b a b a ψψ （2 — 1） 等效的时域表达式为 dt a b x a b a WT x ωωψωj e )()(1),(-=?* a > 0 (2 — 2) 3.小波神经网络 小波神经网络是小波分析理论与神经网络理论相结合的产物，把小波基函数作为隐含层节点的传递函数，信号前向传播的同时误差反向传播的神经网络。 图一中1x ，2x ，....k x 是小波神经网络的输入参数，1y ，2y ....，m y 是小波神经网络的预测输出。
小波神经网络程序
这是一个小波神经网络程序,作者judyever %参考<青岛海洋大学学报> 2001年第1期一种基于BP算法学习的小波神经网络%% %step1--------网络初始化------------------------------------------- clc; clear all; %设定期望的误差最小值 err_goal=0.001; %设定最大循环次数 max_epoch=50; %设定修正权值的学习速率0.01-0.7 lr=0.7; epoch=0; x=0:0.01:0.3;%输入时间序列 d=sin(8*pi*x)+sin(16*pi*x);%目标输出序列 M=size(x,2);%输入节点的个数 N=M;%输出节点的个数 n=10;%隐形节点的个数 %这个地方需要改进，由于实际上隐形节点的个数可以通过小波的时频分析确定 Wjk=randn(n,M); Wij=randn(N,n); % a=randn(1,n); a=1:1:n; b=randn(1,n); % stepa=0.2*(x(M)-x(1)); % a=stepa(n-1)+stepa; % step=(x(M)-x(1))/n; % b=x(1)+step:step:x(1)+n*step; % y=zeros(1,N);%输出节点初始化 y=zeros(1,N);%输出节点初始化 net=zeros(1,n);%隐形节点初始化 net_ab=zeros(1,n);%隐形节点初始化 %step2--------对网络进行训练------------------------------------------- for i=1:1:N for j=1:1:n for k=1:1:M net(j)=net(j)+Wjk(j,k)*x(k); net_ab(j)=(net(j)-b(j))/a(j); end y(i)=y(i)+Wij(i,j)*mymorlet(net_ab(j)); %mymorlet是judyever编写的小波函数，以后可以扩展成输入不同的小波名字即可 % y(i)=mysigmoid(2,y(i)); end
小波神经网络
clc clear %% 训练数据预测数据提取及归一化 %下载四类语音信号 load data1 c1 load data2 c2 load data3 c3 load data4 c4 %四个特征信号矩阵合成一个矩阵 data(1:250,:)=c1(251:500,:); data(251:500,:)=c2(251:500,:); data(501:750,:)=c3(251:500,:); data(751:1000,:)=c4(251:500,:); %从1到2000间随机排序 % k=rand(1,1000); % [m,n]=sort(k); %输入输出数据 input=data(:,2:11); output1 =data(:,1); %把输出从1维变成4维 output=zeros(1000,4); for i=1:1000 switch output1(i) case 1 output(i,:)=[1 0 0 0]; case 2 output(i,:)=[0 1 0 0]; case 3 output(i,:)=[0 0 1 0]; case 4 output(i,:)=[0 0 0 1]; end end %随机提取1500个样本为训练样本，500个样本为预测样本% input_train=input(n(1:250),:)'; % output_train=output(n(1:250),:)'; input=input(1:250,:); output=output(1:250,:);
% input_test=input(1501:2000,:)'; % output_test=output(1501:2000,:)'; M=size(input,2); %输入节点个数 N=size(output,2); %输出节点个数 n=10; %隐形节点个数 lr1=0.0001; %学习概率 lr2=0.0001; %学习概率 maxgen=1000; %迭代次数 %权值初始化 Wjk=randn(n,M);Wjk_1=Wjk;Wjk_2=Wjk_1; Wij=randn(N,n);Wij_1=Wij;Wij_2=Wij_1; a=randn(1,n);a_1=a;a_2=a_1; b=randn(1,n);b_1=b;b_2=b_1; %节点初始化 y=zeros(1,N); net=zeros(1,n); net_ab=zeros(1,n); %权值学习增量初始化 d_Wjk=zeros(n,M); d_Wij=zeros(N,n); d_a=zeros(1,n); d_b=zeros(1,n); %% 输入输出数据归一化 [inputn,inputps]=mapminmax(input'); [outputn,outputps]=mapminmax(output'); inputn=inputn'; outputn=outputn'; error=zeros(1,maxgen); %% 网络训练 for i=1:maxgen %误差累计 error(i)=0; % 循环训练 for kk=1:size(input,1) x=inputn(kk,:); yqw=outputn(kk,:);
小波神经网络及其应用
小波神经网络及其应用 This model paper was revised by the Standardization Office on December 10, 2020
小波神经网络及其应用 32 陆宇颖 摘要：小波神经网络是将小波理论和神经网络理论结合起来的一种神经网络，它避免了BP 神经网络结构设计的盲目性和局部最优等非线性优化问题，大大简化了训练，具有较强的函数学习能力和推广能力及广阔的应用前景。首先阐明了小波变换和多分辨分析理论，然后介绍小波神经网络数学模型和应用概况。 1.研究背景与意义 人工神经网络是基于生物神经系统研究而建立的模型，它具有大规模并行处理和分布式存储各类图像信息的功能，有很强的容错性、联想和记忆能力，因而被广泛地应用于故障诊断、模式识别、联想记忆、复杂优化、图像处理以及计算机领域。但是，人工神经网络模型建立的物理解释，网络激活函数采用的全局性函数，网络收敛性的保证，网络节点数的经验性确定等问题尚有待进一步探讨和改善。 小波理论自 Morlet 提出以来，由于小波函数具有良好的局部化性质，已经广泛渗透到各个领域。小波变换方法是一种窗口大小固定但其形状可以改变, 时间窗和频率窗都可以改变的时频局部化分析方法, 由于在低频部分具有较高的频率分辨率和较低的时间分辨率, 在高频部分具有较高的时间分辨率和较低的频率分辨率, 所以被誉为数学显微镜。正是这种特性, 使小波变换具有对信号的自适应性。基于多分辨分析的小波变换由于具有时频局部化特性而成为了信号处理的有效工具。实际应用时常采用Ｍａｌｌａｔ快速算法，利用正交小波基将信号分解到不同尺度上。实现过程如同重复使用一组高通和低通滤波器把信号分解到不同的频带上，高通滤波器产生信号的高频细节分量，低通滤波器产生信号
小波神经网络及其应用
小波神经网络及其应用 1014202032 陆宇颖 摘要：小波神经网络是将小波理论和神经网络理论结合起来的一种神经网络，它避免了BP 神经网络结构设计的盲目性和局部最优等非线性优化问题，大大简化了训练，具有较强的函数学习能力和推广能力及广阔的应用前景。首先阐明了小波变换和多分辨分析理论，然后介绍小波神经网络数学模型和应用概况。 1.研究背景与意义 人工神经网络是基于生物神经系统研究而建立的模型，它具有大规模并行处理和分布式存储各类图像信息的功能，有很强的容错性、联想和记忆能力，因而被广泛地应用于故障诊断、模式识别、联想记忆、复杂优化、图像处理以及计算机领域。但是，人工神经网络模型建立的物理解释，网络激活函数采用的全局性函数，网络收敛性的保证，网络节点数的经验性确定等问题尚有待进一步探讨和改善。 小波理论自 Morlet 提出以来，由于小波函数具有良好的局部化性质，已经广泛渗透到各个领域。小波变换方法是一种窗口大小固定但其形状可以改变, 时间窗和频率窗都可以改变的时频局部化分析方法, 由于在低频部分具有较高的频率分辨率和较低的时间分辨率, 在高频部分具有较高的时间分辨率和较低的频率分辨率, 所以被誉为数学显微镜。正是这种特性, 使小波变换具有对信号的自适应性。基于多分辨分析的小波变换由于具有时频局部化特性而成为了信号处理的有效工具。实际应用时常采用Ｍａｌｌａｔ快速算法，利用正交小波基将信号分解到不同尺度上。实现过程如同重复使用一组高通和低通滤波器把信号分解到不同的频带上，高通滤波器产生信号的高频细节分量，低通滤波器产生信号的低频近似分量。每分解一次信号的采样频率降低一倍，近似分量还可以通过高通滤波和低通滤波进一步地分解，得到下一层次上的两个分解分量。 而小波神经网络（Wavelet Neural Network, WNN）正是在近年来小波分析研究获得突破的基础上提出的一种人工神经网络。它是基于小波分析理论以及小波变换所构造的一种分层的、多分辨率的新型人工神经网络模型，即用非线性小波基取代了通常的非线性Sigmoid 函数，其信号表述是通过将所选取的小波基进行线性叠加来表现的。 小波神经网络这方面的早期工作大约开始于1992 年,主要研究者是Zhang Q、Harold H S 和焦李成等。其中,焦李成在其代表作《神经网络的应用与实现》中从理论上对小波神经网络进行了较为详细的论述。近年来,人们在小波神经网络的理论和应用方面都开展了不少研究工作。 小波神经网络具有以下特点。首先，小波基元及整个网络结构的确定有可靠的理论根据，可避免BP 神经网络等结构设计上的盲目性；其次，网络权系数线性分布和学习目标函数的凸性，使网络训练过程从根本上避免了局部最优等非线性优化问题；第三，有较强的函数学习能力和推广能力。 2.数学模型与小波工具 2.1 小波变换及多分辨分析 L R（或更广泛的Hilbert 空间）中，选择一个母小波函数（又称为基本在函数空间2() ，使其满足允许条件： 小波函数）()x
浅谈基于小波分析的神经网络
浅谈基于小波分析的神经网络 摘要：基于小波分析的神经网络在我们的日常生产中有着重要的作用，尤其是在故障检测中，正因为有了它的存在，使得我们能更好的对一些机器内部微小的部件进行检测。在一定程度上，避免了人工检测工作量大且准确度不高的情况，降低了检验的成本，减少了因零件损坏而带来的损失，为工业的生产提供了极大的帮助。 关键词：小波分析，神经网络，故障诊断 随着科学的进步与时代的发展，神经网络正慢慢的运用到我们的日常生活与生产之中。从1943年人们首次提出了人工神经网络这一概念至今，神经网络已经与越来越多的其他技术结合了起来，例如，结合神经元的混沌属性提出混沌神经网络，应用于组合优化的问题中，与粗集理论结合，应用于对数据的分类处理，与分形理论结合，应用于图形识别、图像编码、图像压缩等，与小波分析结合，应用于机械设备的故障检测中。以下是我对基于小波分析的神经网络的见解。 一、概述 小波分析即小波变换，是1981年Morlet首先提出的，经过发展后成为了一门学科，小波分析对低频信号在频域和高频信号在时域里有着较好的分辨率。而神经网络特有的对非线性适应性信息处理能力，当它与小波分析相结合后，使得它们能在对高压电网的信号处理，机械故障的检测等方面发挥了重要的作用。
二、小波神经网络的算法 小波神经网络的算法大体的思路是这样的，小波神经网络的核心是隐层神经元的激活函数小波基函数（Morlet ）进行非线性映射，信号通路只进行前向传递，待分类信号进行前向传递的同时，误差信号进行反向的传递。输出层的传递函数为S 函数，小波函数的拓扑结构如下所示： 小波函数的修正公式如下： (k 1)(k)*E mc ωωη ωω?+=++? （1） a(k 1)(k)*E a mc a a η?+=++? （2） b(k 1)(k)*E b mc b b η ?+=++? （3） 误差函数如下： 211 1(y yt )2N M n n m m n m E N ===-∑∑ （4） 输入层 隐含层 输出层
小波神经网络及其应用
小波神经网络及其应用 陆宇颖 摘要：小波神经网络是将小波理论和神经网络理论结合起来的一种神经网络，它避免了BP 神经网络结构设计的盲目性和局部最优等非线性优化问题，大大简化了训练，具有较强的函数学习能力和推广能力及广阔的应用前景。首先阐明了小波变换和多分辨分析理论，然后介绍小波神经网络数学模型和应用概况。 1. 研究背景与意义 人工神经网络是基于生物神经系统研究而建立的模型，它具有大规模并行处理和分布式存储各类图像信息的功能，有很强的容错性、联想和记忆能力，因而被广泛地应用于故障诊断、模式识别、联想记忆、复杂优化、图像处理以及计算机领域。但是，人工神经网络模型建立的物理解释，网络激活函数采用的全局性函数，网络收敛 即 ,焦李神经网络2. 2.1()x ，使式中为的Fourier 变换。对作伸缩、平移变换得到小波基函数系 对任意2()()f x L R ∈,其连续小波变换定义为： 反演公式为： 在实际应用中，特别是计算机实现中，往往要把上述的连续小波及其变换离散化，通常采用二进制离散，即 令2,2m m a b k ==，则 二进小波一定是一个允许小波，且是一个正交小波基。考虑一个连续的、平方可积的函数 2()()f x L R ∈在分辨率2m 下的逼近()m f x ，由多分辨分析理论可知：
()x Φ是尺度函数，对其作伸缩、平移变换得到()mk x Φ。 Mallat 同时证明了函数()f x 在2m 和12m -分辨率下的信息差别（即细节）()m D f x ，可以通过将函数() f x 在一小波正交基上分解而获得，从而定义了一种完全而且正交的多分辨率描述，即小波描述。 ()mk x ψ就是式（5）定义的二进小波，则()f x 在12m -分辨率下的逼近式为： Mallat 并指出，对于任意一个函数 2()()f x L R ∈可以在一组正交小波基上展开： 式（11）是一个平方可积函数的小波分解，提供了小波神经网络设计的理论框架。 .. 12(,)x x ο 则有2.2 （ψ(f x 式（Lk a 与式 （17i c i 则有： 即(21)=f Ac 式（20）的最小二乘解为： +A 被称为A 的伪逆矩阵。且 如果样本i x 均匀分布，(1,2,...,)θ=i i n 是正交基， 则T A A 是一个?n n 单位矩阵，且
2021年小波神经网络及其应用
小波神经网络及其应用 欧阳光明（2021.03.07） 1014202032 陆宇颖 摘要：小波神经网络是将小波理论和神经网络理论结合起来的一种神经网络，它避免了BP 神经网络结构设计的盲目性和局部最优等非线性优化问题，大大简化了训练，具有较强的函数学习能力和推广能力及广阔的应用前景。首先阐明了小波变换和多分辨分析理论，然后介绍小波神经网络数学模型和应用概况。 1.研究背景与意义 人工神经网络是基于生物神经系统研究而建立的模型，它具有大规模并行处理和分布式存储各类图像信息的功能，有很强的容错性、联想和记忆能力，因而被广泛地应用于故障诊断、模式识别、联想记忆、复杂优化、图像处理以及计算机领域。但是，人工神经网络模型建立的物理解释，网络激活函数采用的全局性函数，网络收敛性的保证，网络节点数的经验性确定等问题尚有待进一步探讨和改善。 小波理论自Morlet 提出以来，由于小波函数具有良好的局部化性质，已经广泛渗透到各个领域。小波变换方法是一种窗口大小固定但其形状可以改变, 时间窗和频率窗都可以改变的时频局部化分析方法, 由于在低频部分具有较高的频率分辨率和较低的时间分辨率, 在高频部分具有较高的时间分辨率和较低的频率分辨率, 所
以被誉为数学显微镜。正是这种特性, 使小波变换具有对信号的自适应性。基于多分辨分析的小波变换由于具有时频局部化特性而成为了信号处理的有效工具。实际应用时常采用Ｍａｌｌａｔ快速算法，利用正交小波基将信号分解到不同尺度上。实现过程如同重复使用一组高通和低通滤波器把信号分解到不同的频带上，高通滤波器产生信号的高频细节分量，低通滤波器产生信号的低频近似分量。每分解一次信号的采样频率降低一倍，近似分量还可以通过高通滤波和低通滤波进一步地分解，得到下一层次上的两个分解分量。 而小波神经网络（Wavelet Neural Network, WNN）正是在近年来小波分析研究获得突破的基础上提出的一种人工神经网络。它是基于小波分析理论以及小波变换所构造的一种分层的、多分辨率的新型人工神经网络模型，即用非线性小波基取代了通常的非线性Sigmoid 函数，其信号表述是通过将所选取的小波基进行线性叠加来表现的。 小波神经网络这方面的早期工作大约开始于1992 年,主要研究者是Zhang Q、Harold H S 和焦李成等。其中,焦李成在其代表作《神经网络的应用与实现》中从理论上对小波神经网络进行了较为详细的论述。近年来,人们在小波神经网络的理论和应用方面都开展了不少研究工作。 小波神经网络具有以下特点。首先，小波基元及整个网络结构的确定有可靠的理论根据，可避免BP 神经网络等结构设计上的盲目性；其次，网络权系数线性分布和学习目标函数的凸性，使网络
小波神经网络研究进展及展望_陈哲
综 述 小波神经网络研究进展及展望 陈 哲 冯天瑾 (青岛海洋大学电子工程系,青岛,266003)摘 要 关于小波分析与人工神经网络结合的研究,近些年来已成为信号处理学科的热点之一,已有大量的研究成果见诸各种学术刊物和会议论文。小波变换具有良好的时频局部性质,神经网络则具有自学习功能和良好 的容错能力,小波神经网络(W NN )由于较好地结合了两者的优点而具有强大的优势。作者较系统地综述了小 波神经网络的研究进展,讨论了小波神经网络的主要模型和算法,并就其存在的一些问题,应用与发展趋势进 行了探讨。 关键词 神经网络;小波分析;小波神经网络 中图法分类号 T P 911.7 小波自80年代提出以来,理论和应用都得到了巨大的发展,小波分析的出现被认为是傅立叶分析的突破性进展[1～3]。多层感知器(M ultila yer Perceptr on,M L P)是一种广泛应用的神经网络模型,实践证明M L P 具有较好的空间映射能力和推广能力。目前,神经网络的理论研究日趋深入,其重要发展方向之一,就是注重与小波、混沌、模糊集等非线性科学理论相结合。小波变换具有时频局部特性和变焦特性,而神经网络具有自学习、自适应、鲁棒性、容错性和推广能力,如何把两者的优势结合起来,一直是人们关注的问题。一种方法是用小波分析对信号进行预处理,即以小波空间作为模式识别的特征空间。通过将小波基与信号的内积进行加权和来实现信号的特征提取,然后将提取的特征向量送入神经网络处理;另一种即所谓的小波神经网络(W av elet neura l netw or k,W NN )或小波网络,把小波变换与神经网络有机地结合起来,充分继承了两者的优点。小波与前馈神经网络的结合是小波网络的主要研究方向,也是本文着重讨论的内容。小波还可以与其它类型的神经网络相结合:例如用Koho nen 网络对信号做自适应小波分解[4],RBF 网络与小波的结合[5]等。1 小波神经网络 小波神经网络可看作是以小波函数为基底的一种函数连接型网络,也可以认为是径向基函数(Radial ba-sis functio n,RBF)网络的推广,但它又具有与一般前馈网络和RBF 网络所不同的特点,在神经网络研究领域中具有巨大的潜力。现就其主要模型和算法综述如下。 1.1小波网络基本模型 Pati 和Krish napra sad [6]最早研究了神经网络与小波变换的联系,提出了离散仿射小波网络模型。其思想是将离散小波变换引入神经网络模型,通过对Sig moid 函数的平移伸缩构成L 2(R )中的仿射框架,进而构造小波神经网络。1992年Zhang Qing hua 和Benv eniste [7]明确提出了小波网络的概念和算法。其思想是用小波元代替了神经元,即用已定位的小波函数代替S ig modi 函数作激活函数,通过仿射变换建立起小波变换与网络系数之间的联接,并应用于函数逼近。随后Szu 等[8]又提出了基于连续小波变换的两种自适应小波神经网络模型。一种用于信号表示,偏重于函数逼近;另一种偏重于选取合适的小波做特征提取,其实质是在小波特征空间中寻找一组最佳的小波基,因不涉及重构问题,小波的正交性要求不是很苛刻, 第29卷 第4期 1999年10月 青岛海洋大学学报J OU RN AL OF OCE AN UVIVE RSI TY OF Q INGDAO 29(4):663～668 Oct.,1999 国家自然科学基金课题(69675005)资助 收稿日期:1998-09-23;修订日期:1999-05-11 陈 哲,男,1976年6月出生,硕士生。
小波神经网络预测的代码1
clc; clear all; %设定期望的误差最小值 err_goal=0.01; %设定最大循环次数 max_epoch=50; %设定修正权值的学习速率0.01-0.7 lr=0.7; epoch=0; x=0:0.01:0.3;%输入时间序列 %d=sin(8*pi*x)+sin(4*pi*x)+5*sin(pi*x);% d=[1 2 3 4 5 6 7 8 9 10 9 8 7 6 5 4 3 2 1 2 3 4 5 6 7 8 9 10 9 8 7];%目标输出序列M=size(x,2);%输入节点的个数 N=M;%输出节点的个数 n=10;%隐形节点的个数 %这个地方需要改进，由于实际上隐形节点的个数可以通过小波的时频分析确定 Wjk=randn(n,M); Wij=randn(N,n); % a=randn(1,n); a=1:1:n; b=randn(1,n); % stepa=0.2*(x(M)-x(1)); % a=stepa:1n-1)+stepa; % step=(x(M)-x(1))/n; % b=x(1)+step:step:x(1)+n*step; % y=zeros(1,N);%输出节点初始化 y=zeros(1,N);%输出节点初始化 net=zeros(1,n);%隐形节点初始化 net_ab=zeros(1,n);%隐形节点初始化 %step2--------对网络进行训练------------------------------------------- for i=1:1:N for j=1:1:n for k=1:1:M net(j)=net(j)+Wjk(j,k)*x(k); net_ab(j)=(net(j)-b(j))/a(j); end y(i)=y(i)+Wij(i,j)*mymorlet(net_ab(j)); %mymorlet是judyever编写的小波函数，以后可以扩展成输入不同的小波名字即可 % y(i)=mysigmoid(2,y(i)); end end
用小波神经网络来对时间序列进行预测
/* Note:Your choice is C IDE */ #include"stdio.h" void main() { }/*用小波神经网络来对时间序列进行预测 */ /*%File name : nprogram.m %Description : This file reads the data from %its source into their respective matrices prior to % performing wavelet decomposition. %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %Clear command screen and variables */ clc; clear; /*%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % user desired resolution level (Tested: resolution = 2 is best)*/ level = menu('Enter desired resolution level: ', '1',... '2 (Select this for testing)', '3', '4'); switch level case 1, resolution = 1; case 2, resolution = 2; case 3, resolution = 3; case 4, resolution = 4; end msg = ['Resolution level to be used is ', num2str(resolution)]; disp(msg); /*%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % user desired amount of data to use */ data = menu('Choose amount of data to use: ', '1 day', '2 days', '3 days', '4 days',... '5 days', '6 days', '1 week (Select this for testing)'); switch data case 1, dataPoints = 48; /*%1 day = 48 points */ case 2, dataPoints = 96; /* %2 days = 96 points */ case 3, dataPoints = 144; /*%3 days = 144 points */ case 4, dataPoints = 192; /*%4 days = 192 points */ case 5, dataPoints = 240; /* %5 days = 240 points */
神经网络技术综述
神经网络技术综述 1引言 人工神经网络(Artificial Neural Network，ANN)简称为神经网络〔NN)，是由大量的神经处理单元广泛地相互连接而形成的复杂网络，它是从微观结构和功能上对人脑的简化、抽象和模拟。它具有大规模并行模拟处理、连续时间动力学和网络全局等特点，可以大大提高工作速度。信息的存储体现在神经元之间连接的分布上神经网络有很强的自适应和学习能力、鲁棒性和容错能力，从而可以替代复杂的传统算法，使信号处理更接近于人类的思维活动。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。 早在本世纪四十年代，人们己经开始了人工神经网络的研究工作。1943年，心理学家McCulloch和数学家Pitts一起提出了神经元模型(MP模型)，神经网络科学的研究从此开始。1957年，Rosenblatt设计出感知器，第一次把神经网络的研究付诸工程实现。我国关于神经网络的研究起步于八十年代后期，1989年10月在北京召开了一个非正式的神经网络会议。 1987年6月在美国圣地亚哥召开了第一届世界神经网络会议，标志着神经网络在世界范围内形成高潮。美国国防部预研计划管理局于1988年11月开始一项投资达数亿美元的发展神经网络及其应用研究的计划，并将基于神经网络的自动目标识别、声纳信号处理、语音识别、地震勘探信号处理等作为为研究的重中之重，并认为这些是最有前景并能取得重大突破的应用领域。目前，我国实施的有关自然科学基金重大项目也将基于神经网络的智能信号处理作为重点研究内容。日本、法国、加拿大等国家也制订了相应计划发展神经网络，并将神经网络在信号处理的应用研究作为重点研究方向。