神经网络模型

神经网络模型一、神经网络模型简介1.1 概述人工神经网络(Artificial Neural Network, ANN)，亦称为神经网络(Neural Network, NN)，是由大量处理单元(神经元, Neurons)广泛互联而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。

人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能。

它是根植于神经科学、数学、统计学、物理学、计算机科学等学科的一种技术。

其应用领域包括:建模、时间序列分析、预测、模式识别和控制等，并在不断的拓展。

图1 人工神经元示意图人类大脑皮层中大约包含100亿个神经元，60万亿个神经突触以及它们的连接体。

神经元之间通过相互连接形成错综复杂而又灵活多变的神经网络系统。

其中，神经元是这个系统中最基本的单元，它主要由细胞体、树突、轴突和突触组成，它的工作原理如图1所示。

人工神经元是近似模拟生物神经元的数学模型，是人工神经网络的基本处理单元，同时也是一个多输入单输出的非线性元件(见下图2所示)。

每一连接都有突触连接强度，用一个连接权值来表示，即将产生的信号通过连接强度放大，人工神经元接收到与其相连的所有神经元的输出的加权累积，加权总和与神经元的网值相比较，若它大于网值，人工神经元被激活。

当它被激活时，信号被传送到与其相连的更高一级神经元。

图2 人工神经元模型示意图1.2 神经网络的特点(1)具有高速信息处理的能力人工神经网络是由大量的神经元广泛互连而成的系统，并行处理能力很强，因此具有高速信息处理的能力。

(2)知识存储容量大在人工神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。

它分散地表示和存储于整个网络内的各神经元及其连线上。

每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。

只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。

(3)具有很强的不确定性信息处理能力由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的对不确定性信息的处理能力。

即使输入信息不完全、不准确或模糊不清，人工神经网络仍然能够联想思维存在于记忆中的事物的完整图像。

只要输入的模式接近于训练样本，系统就能给出正确的推理结论。

(4)具有很强的健壮性正是因为人工神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如:专家系统等，具有另一个显著的优点:健壮性。

生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。

最有力的证明是，当一个人的大脑因意外事故受轻微损伤之后，并不会失去原有事物的全部记忆。

神经网络也有类似的情况。

因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。

(5)一种具有高度非线性的系统人工神经网络同现行的计算机不同，是一种非线性的处理单元。

只有当人工神经元对所有的输入信号的综合处理结果超过某一阀值后才输出一个信号。

因此人工神经网络是一种具有高度非线性的系统。

它突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大飞跃。

二、神经网络的数学模型目前，已发展了几十种神经网络模型，主要类型有：连接型神经网络模型，如Hopficld模型、Feldmann模型等；玻尔兹曼机模型，如Hinton模型等；多层感知器模型如Rumelhart模型等；自组织网络模型如Kohonen模型等；径向基函数模型等。

这些模型大多数处于理论阶段，开发并投入实际计算使用的模型屈指可数。

下面主要介绍数据挖掘工具SAS、SPSS和Clementine支持的最重要的两类模型：基于BP算法的多层感知机神经网络模型和径向基函数神经网络模型。

2.1 基于BP算法的多层感知器(MLP)神经网络模型在众多神经网络模型中，前馈型神经网络是人工神经网络中应用最为广泛的一种网络类型，而这其中应用最广泛的是多层感知器(Multilayer Perceptron, MLP)神经网络。

多层感知机神经网络的研究始于20 世纪50 年代，但一直进展不大。

直到1985 年，Rumelhart 等提出了误差反向传递学习算法(Error Back Propagation, BP算法)，实现了Minsky的多层网络设想。

BP算法有输入层节点、输出层节点，还可有一个或多个隐含层节点。

对于输入信号，要先向前传播到隐含层节点，经作用函数后，再把隐节点的输出信号传播到输出节点，最后给出输出结果。

图3基于BP算法的多层感知器神经网络模型BP算法的学习过程由正向传播和反向传播组成。

在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。

每一层神经元的状态只影响下一层神经元的状态。

如果输出层得不到期望的输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号最小。

节点作用的激励函数通常选取S型(Sigmoid)函数，如式中Q为调整激励函数形式的Sigmoid参数。

图4 S型(Sigmoid)函数曲线设含有n 个节点的任意网络，各节点之特性为Sigmoid型参数。

为简便起见，指定网络只有一个输出y，任一节点i的输出为O i，并设有N个样本(x k,y k)(k=1,2,3,…,N)，对某一输入X k，网络输出为y k节点i的输出为O ik，节点j的输入为:并将误差函数定义为：其中ŷk为网络实际输出，定义E k=(y k-ŷk)2，如果有M层，而第M 层仅含输出节点，第1 层为输入节点，则BP算法为：第 1 步，选取初始权值W；第 2 步，重复以下循环过程直至收敛：a. 对于k=1到Na) 计算O ik，net jk和ŷk的值(正向过程)；b) 对各层从M到2反向计算(反向过程)；b. 对同一节点j∈M，由上面两个公式计算δjk；第 3 步，修正权值：从上述BP算法可以看出，BP模型把一组样本的I/O问题变为一个非线性优化问题，它使用的是优化中最普通的梯度下降法，也可以使用其它方法。

如果把神经网络看成输入到输出的映射，则这个映射是一个高度非线性映射。

设计一个神经网络专家系统重点在于模型的构成和学习算法的选择。

一般来说，结构是根据所研究领域及要解决的问题确定的。

通过对所研究问题的大量历史资料数据的分析及目前的神经网络理论发展水平，建立合适的模型，并针对所选的模型采用相应的学习算法，在网络学习过程中，不断地调整网络参数，直到输出结果满足要求。

2.2 径向基函数(RBF)神经网络模型前馈型神经网络是人工神经网络中应用最为广泛的一种网络类型，目前，基于BP算法的多层感知器神经网络在各个领域中得到较多的应用，但是BP 神经网络学习过程的收敛与初值密切有关，并且学习过程还可能出现局部收敛，这是实际应用中难点。

径向基函数(Radial Basis Function, RBF)神经网络为一种性能良好的前馈型人工神经网络，它是基于人脑的神经元细胞对外界反应的局部性而提出的，是一种新颖有效的前馈式神经网络，具有较高的运算速度。

特别是它的较强的非线性映射能力，能以任意精度全局逼近一个非线性函数，使其在很多领域得到了广泛应用。

RBF神经网络通常具有三层的网络结构，包括输入层、隐含层、输出层，网络模型的拓扑结构也如图3所示。

图3基于BP算法的多层感知器神经网络模型在RBF神经网络中，隐含层节点通过基函数执行一种非线性变化，将输入空间映射到一个新的空间，输出层节点则在该新的空间实现线性加权组合。

RBF神经网络中最常用的基函数是高斯函数，即对于任意的输入向量X∈R N (R N为输入样本集)，它定义为式中R i(x)为隐含层第i 个单元的输出，X 为N 维输入向量，C i为隐含层第i 个单元高斯函数的中心点，σi为第i 个隐节点的归一化参数，即该隐节点的宽度，N r为隐含层节点数。

图5 用期望值及方差作为参数表示的高斯函数曲线径向基函数神经网络的隐含神经元的输出函数被定义为具有径向对称的基函数(即径向基函数)，而基函数的中心向量被定义为网络输入层到隐含层的连接权向量。

这个特点使得隐含层对输入样本有一个聚类的作用。

其中中心向量为类均值，它的个数代表聚类的类数。

这样，由于基函数对输入激励产生一个局部化的响应，仅当输入落在输入空间的一个很小的指定区域时，隐含单元才作出有意义的非零响应。

RBF神经网络中的学习方法，由于RBF神经网络中待确定的参数有两类：基函数中心点、宽度以及网络的权值。

因此，网络的学习过程分为两步：首先确定基函数中心点和宽度，其次是权值学习。

RBF网络学习，整个训练过程分为非监督学习和监督学习两个阶段。

非监督学习阶段采用K-means 聚类方法对训练样本的输入量进行聚类，找出聚类中心C i 及σ参数，然后进行监督学习阶段。

由于当C i 及σi确定之后，RBF 网络从输入到输出就成了一个线性方程组，因此监督学习阶段可以采用最小二乘法求解网络的输出权值w i。

即用有监督学习算法调整隐含层到输出层的权重，算法步骤如下：(1) 用最小、最大规范化方法，使属性归一到网络的处理范围；(2) 用径向基函数计算中间层的输出Y h；(3) 输出层第j 个神经单元的输出结果根据公式：计算。

式中Yhi是隐含层第i 个神经元的输出值；Wji是隐含层第i 个神经元至输出层第j个神经元的权重系数；函数f取Sigmoid函数形式，即f(x)=1/(1+exp(-x/x0))。

(4) 采用公式ΔY j=Y j(1-Y j)(d j-Y j)计算输出层误差，d j是第j个神经元的期望输出，Y j是隐含层第j 个神经元的实际输出值。

对权重系数进行调整，公式是ΔW=α·ΔY j(1-Y j)(d j-Y j)，W´j=W j+ΔW式中α是学习速率。

三、神经网络模型的优缺点、用途、训练样本选取3.1 优缺点神经网络模型的优点有以下方面：1) 很强的非线性映射拟合能力：神经网络实质上实现了一个从输入到输出的映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任何非线性连续函数，这使得其特别适合于求解内部机制复杂的问题。

2) 高度的自学习、自适应能力和记忆能力：神经网络在训练时，能够通过学习自动提取输出、输出数据间的“合理规则”，并自适应的将学习内容记忆于网络的权值中。

3) 泛化能力：所谓泛化能力是指在设计模式分类器时，即要考虑网络在保证对所需分类对象进行正确分类，还要关心网络在经过训练后，能否对未见过的模式或有噪声污染的模式，进行正确的分类。

也即神经网络具有将学习成果应用于新知识的能力。

4) 容错能力：BP神经网络在其局部的或者部分的神经元受到破坏后对全局的训练结果不会造成很大的影响，也就是说即使系统在受到局部损伤时还是可以正常工作的。