BP神经网络函数逼近论文
BP神经网络逼近非线性函数
应用BP 神经网络逼近非线性函一、实验要求1、逼近的非线性函数选取为y=sin(x 1)+cos(x 2) ，其中有两个自变量即x1,x2,一个因变量即y。
2、逼近误差<5% ，即：应用测试数据对网络进行测试时，神经网络的输出与期望值的最大误差的绝对值小于期望值的5% 。
3、学习方法为经典的BP 算法或改进形式的BP 算法，鼓励采用改进形式的BP 算法。
4、不允许采用matlab 中现有的关于神经网络建立、学习、仿真的任何函数及命令。
二、实验基本原理2.1神经网络概述BP 神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传播，误差反向传播。
在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层。
每一层的神经元状态只影响下一层神经元状态。
如果输出层得不到期望输出，则转入反向传播，根据预判误差调整网络权值和阈值，从而使BP 神经网络预测输出不断逼近期望输出。
BP 神经网络的拓扑结构如图所示。
2.2BP 神经网络训练步骤BP 神经网络预测前首先要训练网络，通过训练使网络具有联想记忆和预测能力。
BP 神经网络的训练过程包括以下几个步骤。
步骤 1 ：网络初始化。
根据系统输入输出序列(X,Y) 确定网络输入层节点数n 、隐含层节点数l、输出层节点数m ，初始化输入层、隐含层和输出层神经元之间的连接权值ωij，ωjk ，初始化隐含层阈值a，输出层阈值 b ，给定学习速率和神经元激励函数。
步骤 2 ：隐含层输出计算。
根据输入变量X，输入层和隐含层间连接权值ω ij 以及隐含层阈值a，计算隐含层输出H 。
2.3 附加动量法经典 BP 神经网络采用梯度修正法作为权值和阈值的学习算法， 从网络预测误差的负梯 度方向修正权值和阈值， 没有考虑以前经验的积累，学习过程收敛缓慢。
对于这个问题，可 以采用附加动量法来解决，带附加动量的算法学习公式为(k) (k 1) (k) a (k 1) (k 2)式中，ω (k)，ω(k-1) ，ω(k-2)分别为 k ，k-1，k-2 时刻的权值； a 为动量学习率，一般取值 为 0.95 。
BP神经网络研究综述【文献综述】
文献综述电气工程及自动化BP神经网络研究综述摘要：现代信息化技术的发展，神经网络的应用范围越来越广，尤其基于BP算法的神经网络在预测以及识别方面有很多优势。
本文对前人有关BP神经网络用于识别和预测方面的应用进行归纳和总结，并且提出几点思考方向以作为以后研究此类问题的思路。
关键词：神经网络；数字字母识别；神经网络的脑式智能信息处理特征与能力使其应用领域日益扩大，潜力日趋明显。
作为一种新型智能信息处理系统，其应用贯穿信息的获取、传输、接收与加工各个环节。
具有大家所熟悉的模式识别功能，静态识别例如有手写字的识别等，动态识别有语音识别等，现在市场上这些产品已经有很多。
本文查阅了中国期刊网几年来的相关文献包括相关英文文献，就是对前人在BP神经网络上的应用成果进行分析说明，综述如下：（一）B P神经网络的基本原理BP网络是一种按误差逆向传播算法训练的多层前馈网络它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阀值，使网络的误差平方最小。
BP网络能学习和存贮大量的输入- 输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程.BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)，如图上图。
其基本思想是通过调节网络的权值和阈值使网络输出层的误差平方和达到最小，也就是使输出值尽可能接近期望值。
（二）对BP网络算法的应用领域的优势和其它神经网络相比，BP神经网络具有模式顺向传播，误差逆向传播，记忆训练，学习收敛的特点，主要用于：（1）函数逼近：用输入向量和相应的输出向量训练一个网络以逼近一个函数；（2）模式识别：用一个待定的输出向量将它与输入向量联系起来；（3）数据压缩：减少输出向量维数以便于传输或存储；（4）分类：把输入向量所定义的合适方式进行分类；]9[BP网络实质上实现了一个从输入到输出的映射功能，，而数学理论已证明它具有实现任何复杂非线性映射的功能。
BP神经网络以及径向基网络的研究RBF毕业论文
Chen等人提出的正交最小二乘（Orthogonal Least Squares,OLS）算法，每次选择对网络输出影响最大的输入数据作为隐节点的中心，逐个加入RBF网络中，直到适当的网络构造出来为止[23]。这种方法不存在数值病态问题，简单高效，但是选择出来的网络结构不一定是最简单的。Chen又提出了正则化正交最小二乘（Regularized orthogonal least squares, ROLS），把OLS方法和正则化方法相结合，可以训练出网络结构简单泛化、性能优越的RBF网络[24]。Mao使用OLS消除隐层各单元响应的相关性[25]，从而每个RBF隐层神经元的分类能力可以分别估计，此方法选择的网络结构简洁，而且隐节点的中心具有很强的分类能力。
2006年，Barreto等人提出了RBF网络基因正交最小二乘算法[39]，这个算法在同一层次上混合了正交最小二乘算法和基因算法，吸收了两原始算法的长处，训练出来的RBF网络比仅试用正交最小二乘算法训练出来的网络的泛化性能要优越，而且计算复杂度小于标准遗传算法。
（7）离群点
1995年Sánchez提出了一种针对离群点的RBF网络的鲁棒学习算法[40]，用定标鲁棒代价函数(Scaled Robust Loss Function，SRLF)代替通常学习算法使用的平方代价函数，然后使用共轭梯度法完成非线性优化过程，但这种算法不能自动选择隐节点的中心。1999年Chien-Cheng等提出了一种新的鲁棒RBF神经网络[41]，具有高效的学习速率，合理的网络结构，可以用于拟合常数值函数，并且对离群点具有鲁棒性。1999年，刘妹琴等提出了一种结合改进遗传算法的RBF网络鲁棒学习算法[42]，可以提高RBF网络的泛化性能，消除噪声影响，揭示训练数据的潜在规律，但是该算法的复杂度比较高。
防止BP神经网络训练函数进入局部误差振荡缺陷的一种方法
网络权 值矩 阵 函数 反 向误差 传递 优 化过 程仿 真 ：ｎ ｔｔ ｉ（，； ｅ ｒ ｎｐｔ ＝ａ ）
Ａ＝ｉ ｎ ｔ ） ｓ ｍ（ ｅ， ； ｐ
网络权值矩阵函数优化结果质量检测 ：【 ｂ ］ｐｓ ｅ（ ，； ｍ，ｒ ｏｔ ｇ ｔ ，＝ ｒ Ａ ） 通过上述 Ｂ Ｐ神经网络权值矩阵函数 的误差传递优化如 图 ３结果来 看 ，在 Ｂ Ｐ网络权值矩阵函数训练优化过程中，权值矩阵函数训练传递 误差 稳定 时 ， 练梯 度 函数 （ｒｄｅ ｔ 管达 到 了 ＭＡ Ｌ 训 ｇａ ｉｎ） 尽 Ｔ ＡＢ软件 规定 的 最 小梯 度（ ｎ ｇａ ｉｎ） 求 ， 时 网络误 差 的标 准 方差 为 ８ ．５７ 但 ｍｉ＿ ｒｄｅ ｔ 要 此 ３８ ９ ， 未能达到 ＭＡ Ｌ Ｂ软件 Ｂ ＴＡ Ｐ神经 网络工具箱训练函数默认规定 的误差 标准方差值小于 ５ 要求 ， 明 Ｂ 说 Ｐ神经网络权值矩阵函数结果已进入局 部误差最小或误差振荡缺陷点 ， 网络训练失败。 在从 图 ４网络权值矩阵 函数优化结果质量检测来看 ， 网络训练所获的网络权值矩阵函数或传递 函数 ， 由输入样本集计算所得的输 出结果 与实际输出无关 （ 图中实线部 分一 输出值均为 ８ ３１５ ， ８ ． ） 而实际上 ， ２ 网络的检测 目 标值为线性关系 （ 图中虚线部分 ） ，曲线相差很大 ，证 明所得到网络权值矩阵函数结果
维普资讯
第２ 卷 第 ３ ０ 期
２０ ０ ７年 ６月
四川Ｊ． 学院学报 （自 ＥＹ － － 然科 学版 ）
Ｊ ＯＵＲＮＡＬ ＯＦ Ｓ ＣＨＵＡＮ Ｉ ＵＮＩ ＶＥＲＳ Ｔ ＯＦ Ｉ Ｙ
、０ ．２ＯＮＯ．３ ，１
BP神经网络及深度学习研究-综述(最新整理)
BP神经网络及深度学习研究摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。
BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。
本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。
关键词：BP神经网络、算法分析、应用1 引言人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。
人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。
人工神经网络最有吸引力的特点就是它的学习能力。
因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理论研究及应用研究。
最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。
因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用[1]人工神经网络模型对问题进行研究优化解决。
人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。
现在分别介绍人工神经元模型及人工神经网络模型。
1.1 人工神经元模型仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络[2]。
人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W. Pitts在分析总结神经元基本特性的基础上首先提出的MP模型。
(采用BP神经网络完成非线性函数的逼近)神经网络
控制系统仿真与模型处理设计报告（采用BP神经网络完成非线性函数的逼近）1、题目要求：（1）确定一种神经网络、网络结构参数和学习算法。
（2）选择适当的训练样本和检验样本，给出选取方法。
（3）训练网络使学习目标误差函数达到0.01，写出学习结束后的网络各参数，并绘制学习之前、第100次学习和学习结束后各期望输出曲线、实际输出曲线。
绘制网络训练过程的目标误差函数曲线。
（4）验证网络的泛化能力，给出网络的泛化误差。
绘制网络检验样本的期望输出曲线和网络输出曲线。
（5）分别改变神经网络的中间节点个数、改变网络的层数、改变学习算法进行比较实验，讨论系统的逼近情况，给出你自己的结论和看法。
2、设计方案：在MATLAB中建立M文件下输入如下命令：x=[0:0.01:1];y=2.2*power(x-0.25,2)+sin(5*pi*x);plot(x,y)xlabel('x');ylabel('y');title('非线性函数');得到如下图形，即所给的非线性函数曲线图：构造一个1-7-1的BP神经网络，第一层为输入层，节点个数为1；第二层为隐层，节点个数为7；变换函数选正切s型函数(tansig)；第三层为输出层，节点个数为1，输出层神经元传递函数为purelin函数。
并且选Levenberg-Marquardt算法(trainlm)为BP网络的学习算法。
对于该初始网络，我们选用sim()函数观察网络输出。
继续在M函数中如下输入。
net=newff(minmax(x),[1,7,1],{'tansig','tansig','purelin'},'trainlm'); y1=sim(net,x);figure;plot(x,y,'b',x,y1,'r')title('期望输出与实际输出比较');xlabel('t');则得到以下所示训练的BP网络期望输出与实际输出曲线比较：应用函数train()对网络进行训练之前，需要预先设置训练参数。
神经网络在函数逼近中的应用
二 基于BP神经网络逼近函数 基于BP神经网络逼近函数
步骤1：假设频率参数k=1，绘制要逼近的非线性 步骤1：假设频率参数k=1，绘制要逼近的非线性 函数的曲线。函数的曲线如图1 函数的曲线。函数的曲线如图1所示 k=1; p=[p=[-1:.05:8]; t=1+sin(k*pi/4*p); plot（ plot（p，t，'-')； ')； title('要逼近的非线性函数'); title('要逼近的非线性函数'); xlabel('时间'); xlabel('时间'); ylabel('非线性函数'); ylabel('非线性函数');
图3 训练过程 从以上结果可以看出，网络训练速度很快，很 快就达到了要求的精度0.001。 快就达到了要求的精度0.001。
步骤4 步骤4： 网络测试 对于训练好的网络进行仿真： y2=sim(net,p); figure; plot(p,t,'plot(p,t,'-',p,y1,':',p,y2, '--') '--') title('训练后网络的输出结果'); title('训练后网络的输出结果'); xlabel('时间'); xlabel('时间'); ylabel('仿真输出'); ylabel('仿真输出'); 绘制网络输出曲线，并与原始非线性函数曲线以 及未训练网络的输出结果曲线相比较，比较出来 的结果如图4 的结果如图4所示。
BP网络在函数逼近中的应用 BP网络在函数逼近中的应用
数值优化改进的BP神经网络逼近性能对比研究
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｉ ｎ ｄ ｕ ｓ ｔ ｒ ｙ，Ｂ ｏ ｈ ａ ｉ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ。 Ｊ ｉ ｎ ｚ ｈ ｏ ｕ １ ２ １ ０ １ ３， Ｃｈ ｉ ｎ ａ ）
数值 逼近是 指 给定一 组数 据 ， 用 数 学分析 的方法来 分 析这组 数据 ， 常用 的数学分 析 方法有 多项 式 拟合 和 插 值运 算 。 由于人 工神经 元 网络 （ Ａ ｒ ｔ ｉ ｉ ｆ ｃ ｉ ａ ｌ Ｎ ｅ ｕ ｒ ａ ｌ Ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ， Ａ Ｎ Ｎ） 具有 很 强 的非 线性 映射 能 力 、 自学 习性 和 容错性 ， 所 以， 近些 年来采 用 Ａ Ｎ Ｎ对 非线 性 函数进 行逼 近成 为该 领域 的一 个研究 热 点 ， 其 优越 性 可在数 据 本
境下， 每种 数值优 化 差法逼 近 的可行性 。
关 键词 ： 数 值优化 ；Ｂ Ｐ神 经 网络 ； 逼 近性 能 ； 对 比研 究 中图分 类号 ： Ｔ Ｐ ３ ９ １ ． ９ 文献标 识码 ： Ａ 文章 编号 ： １ ０ ０ ２ － ４ ０ ２ ６ （ ２ ０ １ ４） ０ １ － ０ ０ ６ ８ － ０ ５
山东科学
ＳＨＡＮＤＯＮＧ ＳＣＩ ＥＮＣＥ
第２ ７ 卷
第１期
２ ０ １ ４年 ２月出版
ＶＯ Ｉ ． ２ ７ ＮＯ． １ Ｆ ｅ ｂ． ２ ０１ ４
Ｄ ＯＩ ： １ ０ ． ３ ９ ７ ６ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ０ ０ ２— ４ ０ ２ ６ ． ２ ０ １ ４ ． ０ １ ． ０ ｌ ２
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 指数（对数）函数的神经网络逼近...................................................9 3 . 指数（对数）函数逼近区间的确定......................................................9 4. BP 网络设计基础.....................................................................................9 4.1 输入输出量的选择.........................................................................9 4.2 隐含层节点数设计.........................................................................9 4.3 改进的 BP 算法.............................................................................10 5． BP 神经网络逼近对指数（对数）函数...............................................10 5.1 传统 BP 神经网络逼近一元指数和对数函数.............................10 5.2 利用改进的 BP 神经网络逼近指数函数和对数函数.................13 5.2.1 利用改进的 BP 神经网络逼近一元和二元指数函数....... 13 5.2.2 利用改进的 BP 神经网络逼近一元和二元对数函数....... 16
指数型（对数型）函数的改进 BP 神经网络逼近
陈曦
西南大学数学与统计学院，重庆 400715
摘要： BP（Back-Propagation）网络的职能是对非线性可微分函数进行权值训练，是一种 多层前馈网络，它采用最小均方差的学习方式，应用广泛。大量应用于模式识别、函数逼近、 数据压缩以及分类。本文利用改进的 BP 神经网络分别对一元和二元（三元及以上可以用类 似的方法获得）的指数函数以及对数函数进行了逼近，在经过大量实验的前提下，最终将隐 含层神经元的个数确定为 11 个，并得到了很好的 matlab 仿真效果，大于 0.99 的这样一个 拟合值的可决系数更是从数值上增强了说服力。从结果上看，改进的 BP 神经网络能够很好 地逼近指数函数和对数函数，所以这样的实验研究也为对其它的非线性函数的逼近提供了参 考的价值。 关键词：BP 神经网络；函数逼近；指数函数；对数函数
Approximation of exponential and logarithmic functions
Using improved BP neural network
Xi Chen
School of Mathematics and Statistics, Southwest University Chongqing, 400715
Abstract:BP is a forward broadcasting multiply-layer-network that trains the weight of the differentiable nonlinear functions by adopting the method of minimum mean square error. It is widely used in pattern recognition, approximation of function, data compression and classification. This paper has separately conducted the approximation process in exponential and logarithmic functions with one variable and two variables by utilizing the improved BP (for functions with 3 or more variables, similar method can be employed). Basing on many experiments, the paper has fixed the number of nerve cells as 11 and obtained a good simulation effect of metlab. Besides, the fitted value — the coefficient of determination which is higher than 0.99 makes it more convincing. In conclusion, the improved BP is a very useful tool of approximating the exponential and logarithmic functions and therefore, this research throws light upon other researches about the approximation of nonlinear functions. Key words: BP neural network, approximation of functions, exponential functions, logarithmic functio
第一章 引言
1． 背景介绍
在学习计算数学和在解决一些实际问题的过程中，经常需要用到利用一些 较为简单的函数去逼近较为复杂的函数，然后再利用这些简单的逼近函数来对问 题进行分析。人工神经网络是指由大量人工神经元互连而成的非线性自适应动力 系统，是一种旨在模仿人脑结构及其功能的人工信息处理系统。在众多的神经网 络中，BP （Back-Propagation）神经网络是一种多层前馈网络，全称反向传播神 经网络，它是有导师的学习，是最优化算法中梯度下降法在多层前馈网络中的应 用。由于这种类型的神经网络构造简单，且能够有效地解决非线性目标函数的逼 近问题，因此被大量应用于模式识别、系统辨识、信号处理和自动控制等学科和 领域中。对于 BP 神经网络，由 Kolmogorov 定理可知，一个三层的前向网络足 以完成任意的 n 维到 m 维的映射。也就是说，选用一个隐层的 BP 神经网络便可 以满足非线性目标函数逼近的要求。因此三层感知器（单隐层感知器）的应用最 为普遍，其中所谓的三层包括了输入层、隐层和输出层。该神经网络每一层都定 义有转移函数。转移函数的不同主导了神经元的各种不同的数学模型，转移函数 可以是线性和非线性的。可实际上，三层前馈网络并不一定是最好的，一般还要 使用更多层的 BP 神经网络，其原因是用三层 BP 神经网络来实现往往需要大量 的隐含层节点，而使用更多层的 BP 神经网络来实现可以减少隐含层的数目。不 过在网络的输入和输出层节点确定过后就存在着解决隐含层节点数目的问题，遗 憾的是对于这类问题不存在一个固定的通法来作为理论指导，这就还要等待各方 的努力。当然，用 BP 神经网络对比较常见的简单连续函数 指数函数和对 数函数也是能够较为容易的进行逼近。
本科毕业论文（设计）
题 目 指数型（对数型）函数的改进 BP 神经网络逼近
学
院
专
业
年
级
ห้องสมุดไป่ตู้
学
号
姓
名
指导教师
成
绩
数学与统计学院 数学与应用数学
2008 级 22200831 4011
陈曦 王建军
2012 年 4 月 16 日
目录
第一章 引言...........................................................................................................1 1． 背景介绍..................................................................................................1 2. BP 神经网络介绍.....................................................................................1 2.1 BP 网络模型....................................................................................1 2.2 BP 网络的主要能力：....................................................................2 2.3 BP 学习算法....................................................................................3 2.3.1 信号的正向传播................................................................................ 3 2.3.2 BP 学习算法的误差反向传播与权值阈值更新增量...............3 2.3.3 网络权值阈值跟新公式.................................................................. 4 2．4 BP 网络的局限..............................................................................5 2.4.1 局部极小点..................................................................................... 5 2.4.2 学习/收敛速度慢.......................................................................... 6 2.5 标准 BP 算法的改进.......................................................................6 2.5.1 增加动量项的 BP 学习算法....................................................... 6 2.5.2 可变学习率的 BP 算法.................................................................7 2.5.3 弹性 BP 学习算法.......................................................................... 7 2.5.4 LM 算法............................................................................................. 8