基于BP神经网络的非线性函数拟合——技术报告
BP神经网络逼近非线性函数
应用BP 神经网络逼近非线性函一、实验要求1、逼近的非线性函数选取为y=sin(x 1)+cos(x 2) ，其中有两个自变量即x1,x2,一个因变量即y。
2、逼近误差<5% ，即：应用测试数据对网络进行测试时，神经网络的输出与期望值的最大误差的绝对值小于期望值的5% 。
3、学习方法为经典的BP 算法或改进形式的BP 算法，鼓励采用改进形式的BP 算法。
4、不允许采用matlab 中现有的关于神经网络建立、学习、仿真的任何函数及命令。
二、实验基本原理2.1神经网络概述BP 神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传播，误差反向传播。
在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层。
每一层的神经元状态只影响下一层神经元状态。
如果输出层得不到期望输出，则转入反向传播，根据预判误差调整网络权值和阈值，从而使BP 神经网络预测输出不断逼近期望输出。
BP 神经网络的拓扑结构如图所示。
2.2BP 神经网络训练步骤BP 神经网络预测前首先要训练网络，通过训练使网络具有联想记忆和预测能力。
BP 神经网络的训练过程包括以下几个步骤。
步骤 1 ：网络初始化。
根据系统输入输出序列(X,Y) 确定网络输入层节点数n 、隐含层节点数l、输出层节点数m ，初始化输入层、隐含层和输出层神经元之间的连接权值ωij，ωjk ，初始化隐含层阈值a，输出层阈值 b ，给定学习速率和神经元激励函数。
步骤 2 ：隐含层输出计算。
根据输入变量X，输入层和隐含层间连接权值ω ij 以及隐含层阈值a，计算隐含层输出H 。
2.3 附加动量法经典 BP 神经网络采用梯度修正法作为权值和阈值的学习算法， 从网络预测误差的负梯 度方向修正权值和阈值， 没有考虑以前经验的积累，学习过程收敛缓慢。
对于这个问题，可 以采用附加动量法来解决，带附加动量的算法学习公式为(k) (k 1) (k) a (k 1) (k 2)式中，ω (k)，ω(k-1) ，ω(k-2)分别为 k ，k-1，k-2 时刻的权值； a 为动量学习率，一般取值 为 0.95 。
基于BP神经网络的非线性函数拟合系统实验分析与结果
基于BP神经网络的非线性函数拟合系统实验分析与结果前几章已经完成了实验的数据准备并做好了相关理论研究，有了一定的理论基础。
本章将通过MATLAB软件搭建拟合模型，完成BP神经网络的训练和预测工作，并对最后的模型根据评价指标进行评价。
4.1 实验平台的搭建本实验的MATLAB软件版本为2018a，CPU I5 9300H，操作系统Windows-64位，显卡GTX 1050Ti 3G。
搭建步骤如下：（1）新建工程打开MATLAB，点击主页，选择新建→工程→空白工程，如图4-1所示。
图4-1 新建工程（2）新建M程序文件点击主页，选择‘新建脚本’，然后点击保存并对文件重命名为‘data.m’，如图4-2所示。
图4-2 新建M程序文件完成上述流程，表明程序运行环境搭建完毕，通过在程序文件里面编写程序完成实验内容。
4.2 数据归一化数据处理是数据拟合、预测和分类的关键步骤，对实验精度有很大影响。
本实验的数据是2个输入一个输出。
在进行BP 网络训练之前，由于每一项输入指标量化标准各不相同，不利于直接进行训练。
并且由于输入数据的单位不一样，有些数据的范围差别很大，导致神经网络收敛慢，训练时间长。
所以在此之前，对样本输入进行归一化处理。
4.2.1 最大-最小归一化最大-最小归一化是将Data 经过公式映射在固定的范围内，具体公式如下：min max minx-x y x x =- （4.1） 最大-最小归一化可以将数据各个特征映射在一定范围，消除量纲对数据特征的影响，不改变数据分布，加快模型的训练学习。
4.2.2 Z -Score 归一化Z -Score 归一化是将原始数据进行标准化，其中方差为a ，均值为b ，具体公式如下：x-b y a= （4.2） Z -Score 归一化可以将离群点的数据规范化，改变原有数据分布，减少离群点数据对模型的影响。
根据非线性函数的特点，本实验选择最大-最小归一化方法，并将数据归一化在[-1,1]之间。
人工智能实验报告-BP神经网络算法的简单实现[参照]
![人工智能实验报告-BP神经网络算法的简单实现[参照]](https://img.taocdn.com/s3/m/23d1cd32cdbff121dd36a32d7375a417866fc1dc.png)
人工神经网络是一种模仿人脑结构及其功能的信息处理系统，能提高人们对信息处理的智能化水平。
它是一门新兴的边缘和交叉学科，它在理论、模型、算法等方面比起以前有了较大的发展，但至今无根本性的突破，还有很多空白点需要努力探索和研究。
1人工神经网络研究背景神经网络的研究包括神经网络基本理论、网络学习算法、网络模型以及网络应用等方面。
其中比较热门的一个课题就是神经网络学习算法的研究。
近年来己研究出许多与神经网络模型相对应的神经网络学习算法，这些算法大致可以分为三类：有监督学习、无监督学习和增强学习。
在理论上和实际应用中都比较成熟的算法有以下三种：(1) 误差反向传播算法(Back Propagation，简称BP 算法)；(2) 模拟退火算法；(3) 竞争学习算法。
目前为止，在训练多层前向神经网络的算法中，BP 算法是最有影响的算法之一。
但这种算法存在不少缺点，诸如收敛速度比较慢，或者只求得了局部极小点等等。
因此，近年来，国外许多专家对网络算法进行深入研究，提出了许多改进的方法。
主要有：(1) 增加动量法：在网络权值的调整公式中增加一动量项，该动量项对某一时刻的调整起阻尼作用。
它可以在误差曲面出现骤然起伏时，减小振荡的趋势，提高网络训练速度；(2) 自适应调节学习率：在训练中自适应地改变学习率，使其该大时增大，该小时减小。
使用动态学习率，从而加快算法的收敛速度；(3) 引入陡度因子：为了提高BP 算法的收敛速度，在权值调整进入误差曲面的平坦区时，引入陡度因子，设法压缩神经元的净输入，使权值调整脱离平坦区。
此外，很多国内的学者也做了不少有关网络算法改进方面的研究，并把改进的算法运用到实际中，取得了一定的成果：(1) 王晓敏等提出了一种基于改进的差分进化算法，利用差分进化算法的全局寻优能力，能够快速地得到BP 神经网络的权值，提高算法的速度；(2) 董国君等提出了一种基于随机退火机制的竞争层神经网络学习算法，该算法将竞争层神经网络的串行迭代模式改为随机优化模式，通过采用退火技术避免网络收敛到能量函数的局部极小点，从而得到全局最优值；(3) 赵青提出一种分层遗传算法与BP 算法相结合的前馈神经网络学习算法。
基于BP神经网络的函数拟合算法研究
基于BP神经网络的函数拟合算法研究[摘要] 人工神经网络（Artificial Neural Network，ANN）是智能领域的研究热点，目前已经成功地应用到信号处理、模式识别、机器控制、专家系统等领域中。
在神经网络技术中，BP神经网络因具有结构、学习算法简单等特点，近年来得到广泛的关注，相关技术已经在预测、分类等领域中实现产业化。
本文针对经典的函数拟合问题，以BP神经网络为工具，力求分析BP神经网络隐含层神经元数目对网络性能以及函数拟合效果的影响。
通过Matlab的仿真实验结果表明，BP神经网络作为高效的计算智能工具，是实现复杂函数拟合的有效工具。
[关键字]人工神经网络；BP神经网络；函数拟合Function Fitting Based on BP Neural Network[Abstract] Artificial neural network is a hot topic in the field of intelligent，it has been successfully applied to the field of signal processing, pattern recognition, machine control, expert systems, etc.In the neural network technology, BP neural network due to having a structure learning algorithm and simple, it is widespread concern in recent years, related technologies have been forecasting, classification and other areas of industrialization. In this paper, a function for fitting the classic problems with BP neural network as a tool to seek to analyze the number of BP neural network hidden layer neuron impact on network performance and function fitting effect. Matlab simulation results show that, BP neural network as an efficient computational intelligence tools, is an effective tool to achieve complex function fitting[Keywords] Artificial neural networks; BP neural network; Function fitting1 引言 (1)1.1 研究意义 (1)1.2研究现状 (1)1.2.1函数拟合的工具及方法 (2)1.2.2 神经网络的发展现状 (3)1.3 本文研究内容 (3)1.4 本文的组织结构 (4)2 人工神经网络简介 (5)2.1人工神经网络特性 (5)2.2 人工神经网络的特点 (6)2.3人工神经网络的基本特性和结构 (6)2.4 人工神经网络的主要学习算法 (8)2.5 BP神经网络结构 (9)2.6 BP神经网络训练方法 (11)3 基于BP神经网络的函数拟合算法设计与实现 (14)3.1面向函数拟合的BP网络结构 (14)3.1.1 函数问题的提出 (14)3.1.2 建立BP神经网络 (15)3.1.3 网络仿真 (15)3.1.4 网络测试 (16)3.2 实验及其结果分析 (18)3.2.1 设置实验参数 (18)3.2.2 实验结果分析 (19)4 结论 (24)5 致谢语 (25)[参考文献] (26)1.1 研究意义函数拟合在数值计算中有着十分广泛的应用。
基于BP神经网络的非线性函数拟合
基于BP神经网络的非线性函数拟合张宝堃;张宝一【期刊名称】《电脑知识与技术》【年(卷),期】2012(000)027【摘要】This paper introduces the features and algorithm theorem of BP neural network, and deduces the update rules of the network weight based on a given BP neural network. According to several problems of BP neural network, suggestions are pro⁃vided for these problems. Applicability of BP neural network for nonlinear function approximation is verified by simulations, and the accuracy can be guaranteed.% 该文介绍了神经网络领域中BP神经网络的特点及其算法原理,对BP网络权值的修正规则进行了推导,并对BP网络存在的问题提出了几点改进,在此基础上对一组非线性函数的采样数据进行拟合。
实验结果表明,BP神经网络能保证拟合误差在很小的范围之内,说明了其拟合的有效性。
【总页数】5页(P6579-6583)【作者】张宝堃;张宝一【作者单位】北京中核东方控制系统工程有限公司,北京 100076;斯比泰电子深圳有限公司,广东深圳 518004【正文语种】中文【中图分类】TP18【相关文献】1.基于BP神经网络对非线性函数拟合 [J], 吴琼2.思维进化算法在BP神经网络拟合非线性函数中的应用研究 [J], 刘俊3.基于新的改进粒子群算法的BP神经网络在拟合非线性函数中的应用 [J], 林宇锋;邓洪敏;史兴宇4.遗传算法优化BP神经网络非线性函数拟合的研究 [J], 康彩丽5.思维进化算法优化BP神经网络在非线性函数拟合中的应用 [J], 王永亮因版权原因，仅展示原文概要，查看原文内容请购买。
基于BP神经网络的非线性函数拟合——程序设计说明
基于BP神经网络的非线性函数拟合——程序设计说明程序设计说明：1.确定网络结构首先，需要确定BP神经网络的结构，包括输入层、隐藏层和输出层的节点数。
输入层的节点数由样本的特征数确定，隐藏层的节点数可以通过试验确定，输出层的节点数则由问题的要求确定。
2.初始化网络参数初始化网络的权值和偏置，可以使用随机数生成，初始值不能太大或太小。
权值和偏置的初始值会对模型的训练效果产生影响，一般可以根据问题的复杂程度来选择。
3.前向传播通过前向传播，将样本数据输入到神经网络中，并计算每个神经元的激活值。
激活函数可以选择Sigmoid函数或者ReLU函数等非线性函数。
4.计算误差5.反向传播通过反向传播，将误差从输出层向输入层传播，更新网络的权值和偏置。
反向传播的过程可以使用梯度下降法来更新网络参数。
6.训练网络7.测试网络使用未参与训练的样本数据测试网络的泛化能力，计算测试误差。
如果测试误差较小，说明网络能够较好地拟合非线性函数。
8.参数调优根据训练误差和测试误差结果，可以调整网络的参数，如学习率、隐藏层节点数等，以提高网络的训练效果和泛化能力。
9.反复训练和测试网络根据需要，反复进行训练和测试的过程，直至网络的训练误差和测试误差均满足要求。
这是一个基于BP神经网络的非线性函数拟合的程序设计说明，通过实现以上步骤，可以有效地进行非线性函数的拟合和预测。
在具体实现中，可以使用Python等编程语言和相应的神经网络框架，如TensorFlow、PyTorch等，来简化程序的编写和调试过程。
同时，为了提高程序的性能和效率，可以使用并行计算和GPU加速等技术。
BP神经网络的非线性系统建模
BP神经网络的非线性系统建模BP神经网络的非线性系统建模一、题目拟合的非线性函数为：y=x12+x22二、模型建立BP神经网络构建根据拟合非线性函数特点确定BP神经网络结构，由于该非线性函数有两个输入参数，一个输出参数，所以BP神经网络结构为2—5—1，即输入层有2个节点，隐含层有5个节点，输出层有1个节点。
从非线性函数中随机得到2000组输入输出数据，从中随机选择1900组作为训练数据，用于网络训练，100组作为测试数据，用于测试网络的拟合性能。
利用Matlab中工具箱函数。
三、Matlab实现3.1数据选择和归一化从输入输出数据中随机选取1900组数据作为网络训练数据，100组数据作为网络测试数据，并对训练数据进行归一化处理。
%%清空环境变量clcclear%%训练数据预测数据提取及归一化%下载输入输出数据load data input output%从1到2000间随机排序k=rand(1,2000);[m,n]=sort(k);%找出训练数据和预测数据input_train=input(n(1:1900),:)';output_train=output(n(1:1900));input_test=input(n(1901:2000),:)';output_test=output(n(1901:2000));%选连样本输入输出数据归一化[inputn,inputps]=mapminmax(input_train);[outputn,outputps]=mapminmax(output_train);3.2BP神经网络训练用训练数据训练BP神经网络，使网络对非线性函数输出具有预测能力。
%%BP网络训练%%初始化网络结构net=newff(inputn,outputn,5);net.trainParam.epochs=100;net.trainParam.lr=0.1;net.trainParam.goal=0.00004;%网络训练net=train(net,inputn,outputn);3.3BP神经网络预测%%BP网络预测%预测数据归一化inputn_test=mapminmax('apply',input_test,inputps); %网络预测输出an=sim(net,inputn_test);%网络输出反归一化BPoutput=mapminmax('reverse',an,outputps); %%结果分析figure(1)plot(BPoutput,':og')hold onplot(output_test,'-*');legend('预测输出','期望输出')title('BP网络预测输出','fontsize',12)ylabel('函数输出','fontsize',12)xlabel('样本','fontsize',12)%预测误差error=BPoutput-output_test;figure(2)plot(error,'-*')title('BP网络预测误差','fontsize',12)ylabel('误差','fontsize',12)xlabel('样本','fontsize',12)figure(3)plot((output_test-BPoutput)./BPoutput,'-*');title('神经网络预测误差百分比')errorsum=sum(abs(error))四、结果分析用训练好的BP 神经网络预测函数输出，预测结果如图1所示。
基于BP神经网络的非线性函数拟合
基于BP神经网络的非线性函数拟合摘要：本文建立BP神经网络对一个多输入多输出系统的二元非线性函数进行拟合，仿真实验表明：在样本数据充足且不含噪声的情况下，训练的精度越高，逼近的效果越好；数据不充足且不含噪声时，训练精度的高低在一定范围内对于网络性能没有决定性的影响，网络性能主要取决于初始化；不管训练数据是否充足，若含有噪声，训练精度过高会使网络泛化能力降低。
0引言作为当前应用最为广泛的一种人工神经网络，BP网络在函数逼近、模式识别、数据压缩、智能控制等领域有着非常广泛的应用。
BP网络由大量简单处理单元广泛互联而成，是一种对非线性函数进行权值训练的多层映射网络，结构简单，工作状态稳定，具有优良的非线性映射能力，理论上它能够以任意精度逼近任意非线性函数。
BP神经网络通过学习能够存储大量输入输出样本中蕴含的映射关系，只需提供足够的样本模式对BP网络进行训练，而无需事先了解数学方程。
本文采用BP神经网络解决下列函数拟合问题。
函数逼近：设计一个神经网络拟合下列多输入多输出函数：y1=2+x11.5-1.5sin(3x2); y2=x2sin(x1)+x1cos(x2); 1< x1, x2<5 产生200个数据，其中100个用来训练网络，另外100个用于网络模型的测试。
1BP神经网络结构和算法一个典型的3层BP神经网络结构如图1所示，包括输入层、隐含层和输出层。
各层神经元之间无反馈连接，各层内神经元之间无任何连接。
其中隐含层的状态影响输入输出之间的关系，及通过改变隐含层的权系数，就可以改变整个多层神经网络的性能。
BP 神经网络的学习过程由正向传播和反向传播组成。
在正向传播中，输入的样本从输入层经过隐含层之后，传向输出层，在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。
在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。
反向传播过程中，误差信号从输出层向输入层传播，并对每个隐含层的各个神经元的权系数进行修改，使误差不断减少，直至达到精度要求。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2. 基于梯度下降算法的 BP 神经网络
2.1 技术现状
BP 神经网络即采用误差反向传播算法的网络，是一种至今仍然 最为流行的前馈型神经网络模型。BP 神经网络有很强的非线性映射 能力，它能学习和存贮大量输入-输出模式映射关系，而无需事先了 解描述这种映射关系的数学方程。 只要能提供足够多的样本模式对供 给网络进行学习训练，它便能完成由 n 维输入空间到 m 维输出空间 的非线性映射。 BP 学习算法属于误差修正型学习，其关键在于根据误差修正输 出层和隐含层的连接权值。 其学习的基本实现方法是基于最小平方误 差准则和梯度下降优化方法来确定权值调整法则。
图 2-1 基于梯度下降算法的 BP 网络实现流程
BP 神经网络构建根据拟合非线性函数特点确定 BP 神经网络结 构。隐含层节点数的选择是关键，如果隐含层节点数太少，BP 神经 网络不能建立复杂的映射关系，网络预测误差较大。但是如果节点数 过多，网络学习时间增加，并且可能出现“过拟合”现象。可以根据 经验公式 C2 C1 C3 a (a 为 1～10 的常数)确定。 由于该非线性函数 有两个输入参数，一个输出参数，所以 BP 神经网络结构为 2—5—1， 即输入层有 2 个节点，隐含层有 5 个节点，输出层有 1 个节点。 BP 神经网络训练用非线性函数输入输出数据训练神经网络，使 训练后的网络能够预测非线性函数输出。本报告采集了 2000 组输入 输出数据，其中 1900 组作为训练数据，用于网络训练，100 组作为 测试数据，用于测试网络的拟合性能。 神经网络预测用训练好的网络预测函数输出， 并对预测结果进行 分析。
I
1. 问题定义
在工程应用中经常会遇到一些复杂的非线性系统， 这些系统状态 方程复杂，难以用数学方法准确建模。在这种情况下，可以建立 BP （Back-Propagation）神经网络表达这些非线性系统。应用 BP 神经网 络解决非线性映射问题，把未知系统看成是一个黑箱，首先用系统输 入输出数据训练 BP 神经网络，使网络能够表达未知函数，然后就可 以用训练好的 BP 神经网络预测系统输出。
i 1 n
2.3.2 数据选择和归一化
根据非线性函数方程随机得到该函数 2000 组输入输出数据，将 其中 1900 组存储在 data\OLearning.txt 文件中作为网络训练数据， 100
3
组存储在 data\OExaming.txt 文件中作为网络测试数据。 由于 Logistic-S 型激活函数的输出为[0,1]，所以需要对数据进行 归一化处理。 本报告中数据的归一化和反归一化采用最简单的线性函 数转换，表达式形式为 y=(x-MinValue)/(MaxValue-MinValue)。x、y 分别为转换前、后的值，MaxValue、MinValue 分别为样本的最大值 和最小值。
2
2.3MFC 编程实现
根据 BP 神经网络理论，在 Visual Studio 2008 开发软件中利用 C++编程语言实现基于 BP 神经网络的非线性拟合算法。
2.3.1BP 神经网络各项函数选择
隐含层和输出层函数的选择对 BP 神经网络预测精度有较大的影 响。在本报告所实现的 BP 网络中，除输入层神经元以外，其他层神 经元的整合函数均采用加权求和函数， 激活函数均为非线性可微函数 Logistic—S 型函数。 加和求和函数： g ( X ) wi xi
i 1 n
Logistic—S 型函数： f ( )
1 1 e
输出误差度量为平方误差，输出误差被认为是 w 以为自变量的函 数，单个输入数据对应的误差表示为 e( w)
1 n (di yi ) 2 2 i 1
根据梯度下降法确定的权值调整法则如下： 输出层的权值调整法则： wji wji x ji yi (1 yi )( yi di ) 隐含层的权值调整法则：wk j wk j xk j y 'j (1 y 'j ) w ji yi (1 yi )( yi di )
பைடு நூலகம்
1
2.2 模型建立
基于梯度下降算法的 BP 神经网络的非线性函数拟合实现流程可 以分为 BP 神经网络构建、 BP 神经网络训练和 BP 神经网络预测三步， 如图 2-1 所示。
BP神经网络构建 系统建模 构建合适的 BP神经网络 BP神经网络训练 系统建模 构建合适的 BP神经网络 N
训练结束
BP神经网络预测 Y 测试数据 BP神经网络 预测
4
训练目标 lacept=0.80 即当一次迭代训练中所有训练数据拟合 成功率达到 80%以上时停止学习，认为 BP 网络已达到训练 目标。
2.3.4 基于梯度下降算法的 BP 神经网络预测
BP 网络的学习过程需要正向传播和反向传播，但是网络经训练 以后用于实际计算时，则只需正向传播，不需要再进行反向传播。 依次读取测试数据文件 OExaming.txt 中每组数据， 输入训练好的 BP 神经网络预测非线性函数输出，并生成相应的测试报告文件
BPExamingResult.txt。
基于 BP 神经网络的非线性函数拟合
技术报告文档
学院：计算机学院 专业：计算机科学与技术专业 姓名：张王成 学号：2120111220 邮箱：zhangwagncheng0816@ 日期：2011 年 12 月 31 日
目录
1. 问题定义 ....................................................................................... 1 2. 基于梯度下降算法的 BP 神经网络 ............................................... 1 2.1 技术现状 ........................................................................................ 1 2.2 模型建立 ........................................................................................ 2 2.3MFC 编程实现 ................................................................................. 3 2.3.1BP 神经网络各项函数选择 ....................................................... 3 2.3.2 数据选择和归一化 ................................................................... 3 2.3.3 基于梯度下降算法的 BP 神经网络训练 ................................. 4 2.3.4 基于梯度下降算法的 BP 神经网络预测 ................................. 5 2.4 实验结果 ........................................................................................ 5 3. 基于遗传优化算法的 BP 神经网络 ............................................... 5 3.1 技术现状 ........................................................................................ 6 3.1.1 遗传算法原理 .......................................................................... 6 3.1.2 遗传算法的基本要素 ............................................................... 7 3.2 模型建立 ........................................................................................ 7 3.3 遗传优化算法编程实现 ................................................................. 9 3.3.1 遗传算法原理具体实现 ........................................................... 9 3.3.2 遗传算法编程实现 ................................................................. 11 3.4 实验结果 ...................................................................................... 12 4. 基于粒子群优化算法的 BP 神经网络 .......................................... 12 4.1 技术现状 ...................................................................................... 13 4.2 模型建立 ...................................................................................... 14 4.3PSO 算法编程实现 ........................................................................ 16 4.4 实验结果 ...................................................................................... 17 5. 结论 ............................................................................................. 18 6. 参考文献 ..................................................................................... 18