人工神经网络技术

[21]金以葱，《过程控制》，1998. 1，清华大学出版社出版 [22]严太山，《神经网络BP算法及其在工业测量中的应用》2001，广西 师 范大学硕士学位论文 [23]Zheng-she liu.QR methods of 0(N) Complexeity in Adaptive Parameter Estimating[J].IEEE Trans. on Signal Proeessing, 2005, 156-159. [24]Texas Instrument s.TMS320x281x Boot ROM Reference Guide (Rev.B) [M].SPRU095, 2003. [25] Texas Instruments.C28x IQ-Math Library仁M].SPRC078, 2003. [26]张文修.遗传算法的数学基础[M].西安:西安交通大学出版社，2000. [27] Z.米凯利维兹.演化程序一遗传算法和数据编码的结合「M].北京:科 学出版社，2000. [28]玄光男.遗传算发与工程设计「M].北京:科学出版社，2006. [29]Beaufay F. Transform-domain adaptive filters:An analytical approach[J].IEEE Trans. Signal Processing, 2005, 43 (2):422一425. [30]Marcello L. R. De Campos. A new Quasi-Newton adaptive filtering algorithm[J].IEEE Trans. on Circuits and Systems-II Analog and Digital Signal Processing, 2002, 44(11):924一928.
神经网络的学习
②无导师学习 无导师学习包括强化学习和无监督学习。强化学习是 模仿生物在“试探—评价”的环境中获得知识，改进行动 方案以适应环境的特点，具有向环境学习已增长知识的能 力。在无监督学习中没有外部导师或评价系统来统观学习 过程，而是提供一个关于网络学习表示方法质量的测量尺 度，根据该尺度将网络的自由参数最优化。一旦网络与输 入数据的统计规律性达成一致，就能够形成内部表示方法 来为输入特征编码，并由此自动得出新的类别。
1 f ( x) 1 e ax
其中 a 为S型函数的斜率参数，通过改变参数 a，可以得到 不同斜率下的S型函数。
神经网络的学习
学习功能是神经网络最主要的特征之一，神经网络的学习 也称为训练，指的是通过神经网络所在环境的刺激作用调 整神经网络的自由参数，使神经网络以一种新的方式对外 部环境做出反应的一个过程。能够从环境中学习和在学习 中提高自身性能是神经网络的最有意义的性质。 学习算法是指针对学习问题的明确规则集合。学习类型是 由参数变化发生的形式决定的，不同的学习算法对神经元 权值调整的表达式有所不同。没有一种独特的学习算法用 于设计所有的神经网络。选择或设计学习算法时还需要考 虑神经网络的结构即神经网络与外界环境相连的形式。
神经网络工具箱
⑦训练结果和数据导出 在图形用户窗口主界面点击Export按钮，弹出如图所示结 果导出界面。
神经网络工具箱
在命令行键入如下命令可以得到如图所示的逼近曲线。 Plot（bpnet_outputs_sim）
以上仿真结果表明，一个隐含层仅有10个神经元的BP网络 就可以很好的拟合一个余弦函数。
④网络的初始化 在神经网络创建完成之后，网络的权值和阀值已自动进行 了初始化。在网络结构显示界面中，可直接点击Weights 标签，对当前网络进行权和阀值参数的显示和编辑。
神经网络工具箱
⑤神经网络的训练 在网络结构显示界面中点击Train标签进入网络训练界面。
神经网络工具箱
⑥仿真（网络的检验） 在网络结构显示界面中点击Simulate进入仿真界面。定义 检验样本数据t：t=-1:0.02:1;
[12]邱忠文《玻璃器皿模具号的计算机视觉识别》广西师范大学硕士学 位论文，2000年 [13]孙增沂等《智能控制理论与技术》，1997.4清华大学出版社广西科 学技术出版社 [14]王科俊、王克成著《神经网络建模、预报与控制》，1996年12月第1 版，哈尔滨工业大学出版社 [15]庄镇泉、王煦法、王东‘生编著《神经网络与神经计算机》，1992 年12月第1版，科学出版社 [16]袁曾任编著，《人工神经元网络及其应用》，1999年10月第1版，清 华大学出版社 [17]曾洛亚，《模糊神经网络的应用与研究》，2000年，广西师范大学 硕士学位论文 [18]丛爽编著，《面向MATLAB工具箱的神经网络理论与应用》，1998年 11月第1版，中国科学技术大学出版社 [19]徐勇、荆涛等译，《神经网络模式识别及其实现》，1999年6月第， 子工业出版社版 [20]徐庐生主编，《微机神经网络》，19%年10月第1版，中国医药科技 出版社
人工神经网络技术
内容
人工神经网络概述
神经网络基本数学模型
神经网络的学习 BP网络与BP学习算法
神经网络工具箱
人工神经网络概述
人工神经网络（Artificial Neural Network, ANN），也称为 神经网络（Neural Network, NN），是由大量处理单元广 泛互联而成的网络，是对人脑的抽象、简化和模拟，反映 人脑的基本特征。人工神经网络的研究是从人脑的生理结 构出发来研究人的智能行为，模拟人脑信息处理的功能。 它是植根于神经系统、数学、统计学、物理学、计算机科 学及工程等学科的一种技术。
神经网络工具箱
神经网络工具箱是在MATLAB环境下所开发出来的众多工 具箱之一，它是以人工神经网络理论为基础，用MATLAB 语言构造出典型神经网络的激活函数，如S型、线性、竞 争层、饱和线性等激活函数，使设计者对所选定网络输出 的计算变成对激活函数的调用。另外，根据各种典型的网 络学习算法，加上网络的训练过程，用MATLAB编写出各 种网络设计与训练的子程序，网络的设计者则可以根据自 己的需要去调用工具箱中有关神经网络的设计学习程序， 使自己能够从繁琐的编程中解脱出来，集中精力去思考和 解决所关注的问题。
神经网络工具箱
在MATLAB的命令窗口键入“nntool”命令，即可进入下图 所示的图形用户窗口界面（GUI）。
神经网络工具箱
示例 利用神经网络工具箱设计一个三层BP网络，使其以较高 的精度逼近余弦曲线。基本过程如下： ①定义神经网络的训练样本数据（输入矢量和目标矢量） %训练样本集：200个[-1,+1]区间随机数 x=rands(1,200); %与x对应的目标矢量，即与x对应的真实余弦值 y=cos(pi*x); %建立样本数据文件 save data x y;
BP网络与BP学习算法
BP网络是一种前向多层网络，是基于误差反向传播算法 的有导师网络。BP网络通常有一个或多个隐层，隐层中 的神经元均采用S型激活函数，输出层神经元采用线性传 递函数。
x1
x2 … xn 输入层 隐藏层 输出层 … … …
o1
o2
…
…
… om
BP网络与BP学习算法
BP算法是一种有导师的学习算法，这种算法通常采用梯度 下降法。BP算法解决了多层前向网络的学习问题，促进了 神经网络的发展。 如图所示为多层前向网络的一部分，其中有两种信号，一 是实线表示的工作信号，工作信号正向传播；二是用虚线 表示的误差信号，误差信号反向传播。
神经网络工具箱
②导入训练样本数据 在工作空间或文件中生成所需的数据，然后点击Import按 钮将数据导入。
神经网络工具箱
③创建神经网络 在图形窗口主界面中 点击“New Network”， 进入创建神经网络界 面。在该界面中进行 对神经网络的名称、 类型、结构和训练函 数等参数的设置。
神经网络工具箱
参考文献
[1]孙增沂、张再兴、邓志东 《智能控制理论与技术》，1997.4 清华 大学出版社 [2]杨汝清等《智能控制工程》2001上海交通大学出版社 [3]刘金琨《先进PID控制及其Matlab仿真》2003.1，电子工业出版社 [4]张义忠、冯振声《基于神经网络的复杂电子装备故障诊断系统的仿真 研究》，第17卷第4期，2000年7月:39-42，计算机仿真 [5]袁曾任编著《人工神经元网络及其应用》，清华大学出版社，1999年 10月第1版 [6] R.C.Eberhart and R.VJ. bobbins, Newal Network Pc tools, Academic Press,1990 [7]张立明著，《人工神经网络的模型及其应用》，1993年7月第1版，复 旦大学出版社版 [8]王强，《工业产品的计算机视觉识别与检测算法研究》，2000年，北 京航空航天大学博士学位论文， [9]中国科技大学生物医学工程跨系委员会编《神经网络及其应用》， 1992 中国科技大学出版社 [10]《人工神经网络原理一入门与应用》，1995年10月第1版，北京航空 航天大学出版社 [11]罗晓曙编著《人工神经网络理论与应用》广西师范大学出版社
1，若x 0 f ( x) 0，若x 0
该函数通常称为阶跃函数。此外，符号函数Sgn（t）也常 常作为神经元的激励函数。 ②分段线性函数
1，若x 1 f ( x) x，若 1 x 1 1，若x 1
神经网络基本数学模型
③S型函数 S型函数即Sigmoid函数。它是人工神经网络中最常用的 激励函数。S型函数定义如下：
xj
ij

i
(.)
yi
...
xN
iN
神经网络基本数学模型
对于网络中的第i个神经元，接受多个其他神经元的输入信 号 x j ( j 1,2, N ) ，各连接强度以实系数 ij 表示，即第j个神 经元对第i个神经元作用的权值。利用某种运算把输入信号 的作用结合起来，给出他们的总效果，称为净输入，以 I i 表示，净输入的表达式有多种类型，最简单的一种形式是 线性加权求和，即：