浅谈BP人工神经网络概要

２００８年第２２期（总第５００期）

学理论

ＸＵＥＬＩＬＵＮ

Ｎｏ．２２，２００８

Ｇｅｎｅｒａｌ．Ｎｏ．５００

浅谈ＢＰ人工神经网络

柴燕茹马岩

（哈尔滨商业大学

管理学院，哈尔滨

１５００２８）

摘要：人工神经网络有很多模型，但是目前应用最广泛的、基本思想最直观、最容易理解的是前馈神经网络

中的误差逆传播学习算法（ErrorBackPropagation）,简称为BP神经网络。它是前馈神经网络中的核心部分，也是最精华的部分。

关键词：神经元；神经网络；局限性

文献标志码：A文章编号：1002—2589（2008）22—39—02中图分类号：

Q983+.6

一、人工神经网络的基本原理

人工神经网络或称作连接模型（Ｃｏｎｎｅｃｔｆｏｎｉｓｔ－Ｍｏｄｅｌ），是对人脑或自然神经网络（ＮａｔｕｒａｌＮｅｕｒａｌＮｅｔ－ｗｏｒｋ）若干基本特性的抽象和模拟。人工神经网络以大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现某个方

参照生物神经元网络发展起来的人工神经网络现面的功能。

已有许多种类型，但它们中的神经元结构是基本相同的。

（一）生物神经元的结构与功能

１．生物神经元的结构。生物神经元有一条轴突和若干树突，它通过轴突与其它细胞的树突相连接。树突是脑神经元的输入器，轴突则是信息传递的通道。生物神经元有兴奋和抑制两种状态，每一个神经元都是在与之相连的兴奋性突触和抑制性突触共同作用下活动的。它本身的兴奋和抑制作用又对其他神经元产生作用。当神经元接受到大量的兴奋性突触传来的信息时，信息被综合处理后神经元膜电位升高，超过一定阈值时，神经元被激活，细胞体产生

但神经元没有接收到信息或者接收到信息经综输出信息。

合后没能超过阈值，神经元则处于抑制状态。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个全强度的输出脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称

而且突触把经过一个神为被触发。学习发生在突触附近，

经元轴突的脉冲转化为下一个神经元的兴奋或抑制。

２．生物神经元的功能。第一，空间整合功能。神经元对于同一时间通过不同突触传入的神经冲动具有空间整合功能，两种功能相互结合，具有时空整合的输入信息处理功能；第二，兴奋与抑制状态。神经元具有两种常规工作状态，首先是兴奋：当传入冲动的时空整合结果使得细胞膜电位升高，并超过被称为动作电位的阈值时，细胞进入兴奋状态，产生神经冲动，由轴突输出，用“１”表示；其次是抑制：当输入没有达到阈值时，细胞进入抑制状态，

“０”表示；第三，学习、遗忘和疲劳。由无神经冲动输出，用

于结构可塑性，突触的传递作用有增强，减弱和饱和，所以细胞具有相应的学习功能，遗忘或疲劳效应（饱和效应）。可见，神经元并不是简单的双稳态逻辑元件，而是超级的微型生物信息处理机和控制机。

（二）人工神经元的组成和分类

人工神经元的组成。人工神经元就是根据生物神经元

可以把神结构而设计出来的。根据神经元的特性和功能，

经元抽象为一个简单的数学模型。它有四个基本要素：ａ．一组连接，连接强度由各连接上的权值表示，权值为正表示

可以求出各输入单激活，为负表示抑制。ｂ．一个求和单元，

元的加权和。ｃ．一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（通常限制在Ｏ和１之前或－１到＋ｌ之间）。ｄ．阈值。ｅ．元的输入信号，性组合结果，

称为连接权，

是

和是神经的线

是激励函数，ｙ是神经元的输出

。

激励函数有以下几种类型：

（Ｉ）跃阶函数。跃阶函数是经典的Ｍ－Ｐ模型采用的激励函数类型。该模型对模式分类的问题特别有效，其函数

表达式为：

（ＩＩ）线性函数。线性函数类似于一个放大系数为１的放大器，跟踪输入信号的变化。线性激励函数与输入的激发总量成正比，可作为信息跟随装置，

其函数表达式为：

（ＩＩＩ）ｓｉｇｍｏｉｄ函数Ｓｉｇｍｏｉｄ

函数表达式为：

其中ａ为可控制斜率参数，其值为大于０的数。Ｓｉｇｍｏｉｄ激励函数或称Ｓ型函数是把输入信号锁定在０和１之间的值，在后面要讲到的ＢＰ网络，Ｓ型函数是主要激励函数。

二、ＢＰ神经网络模型的建立

ＢＰ神经网络是人工神经网络的一个典型模型，全称是反向传播模型（Ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ），是一种多层感知器结构，由若干层神经元组成，网络不仅有输入层节点，输出层

基金项目：本文由黑龙江省科技攻关计划项目GJ06D201、黑龙江省研究生创新科研项目YJSCX2008-192HLJ提供资助。

作者简介：柴燕茹（1982-），女，硕士研究生，主要从事技术经济及管理研究。·３９·

２００８年第２２期

（总第５００期）学理论ＸＵＥＬＩＬＵＮＮｏ．２２，２００８Ｇｅｎｅｒａｌ．Ｎｏ．５００

法可以通过以下具体过程实现：（１）建立网络模型，初始化网络及学习参数；（２）提供训练模式，选实例作学习训练样本；训练网络，直到满足学习要求；（３）前向传播过程，对给定训练模式输入，计算网络的输出模式，并与期望模

式比较，若误差不能满足精度要求，则误差反向传播，否则转到（２）；（４）反向传播过程。

总之，ＢＰ算法是一个很有效的算法，它把一组样本的输入、输出问题变成一个非线性优化问题，并使用了优化问题中最普遍的梯度下降法，用迭代运算求解权相应于学习记忆问题，加入隐含层节点是优化问题的可调参数增加，从而可以得到更精确的解。如果把这种神经网络看成是一个从输入到输出的映射，则这个映射是一个高度非线性的映射。

神经网络的学习过程是一个反复迭代的过程，由正向传播和反向传播组成。其算法的基本思想是根据网络输出层的误差，从输出层开始，反过来调整网络的权值和阈值，

对一定的样本进行这样的最后使得输出的均方误差最小。

“学习”后，网络所持的权值便是网络通过自适应学习得到的正确的内部表示。这是将待识别样本的特征数据输入训练好的网络，网络就可以对样本的属性进行自动推理、识别。

三、ＢＰ人工神经网络的局限性

ＢＰ网络只是一个非线性映射，ＢＰ算法的网络误差曲面有很多全局最小的解；存在平坦区，对于不同的映射范围各不相同；存在不少局部最小点，在某些初值的条件下，算法的结果会陷入局部最小；ＢＰ算法的收敛速度较慢，且网络隐层节点个数的选取尚缺少统一而完整的理论（即没有很好的解析式来表示）。

参考文献：

[1]刘春平.神经网络的应用与发展[J].电子工艺技术，2005（26）.

[2]魏海坤.神经网络结构设计的理论与方法[M].北京:国防工业出版社，2005.

[3]杨建刚.人工神经网络实用教程[M].杭州：浙江大学出版社，2001.

[4]阎平凡.人工神经网络与模拟进化计算[M].北京：清华大学出版社，2005.

[5]韩力群.人工神经网络理论、设计及应用[M].北京：化学工业出版社，2002. （责任编辑／石银）

·４０·