神经网络的基本机理和结构

神经网络的基本机理和结构
神经网络的基本组成单元是神经元，在数学上的神经元模型是和在生物学上的神经细胞对应的。

或者说，人工神经网络理论是用神经元这种抽象的数学模型来描述客观世界的生物细胞的。

很明显，生物的神经细胞是神经网络理论诞生和形成的物质基础和源泉。

这样，神经元的数学描述就必须以生物神经细胞的客观行为特性为依据。

因此，了解生物神经细胞的行为特性就是一件十分重要而必须的事了。

神经网络的拓朴结构也是以生物学解剖中神经细胞互连的方式为依据的。

对神经细胞相互作用情况的揭露也是十分重要的。

神经元是神经网络基本元素。

只有了解神经元才能认识神经网络的本质。

在这一节介绍神经元的生物学解副，信息的处理与传递方式，工作功能以及其数学模型。

一、神经元的生物学解剖
在人体内，神经元的结构形式并非是完全相同的；但是，无论结构形式如何，神经元都是由一些基本的成份组成的。

神经元的生物学解剖可以用图1—1所示的结构表示。

从图中可以看出：神经元是由细胞体，树突和轴突三部分组成。

1．细胞体
细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质网状结构等，它是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程。

神经元也即是整个细胞，整个细胞的最外层称为细胞膜。

2．树突
细胞体的伸延部分产生的分枝称为树突，树突是接受从其它神经元传人的信息的入口。

3．轴突
细胞体突起的最长的外伸管状纤维称为轴突。

轴突最长可达1米以上。

轴突是把神经元兴奋的信息传出到其它神经元的出口。

突触，是一个神经元与另一个神经元之间相联系并进行信息传送的结构。

突触如图1—2所示。

它由突触前成分，突触间隙和突触后成分组成。

突触前成分是一·个神经元的轴突末梢。

突触间隙是突触前成分与后成分之间的距离空间，间隙一般为200—300Å。

突触后成分可以是细胞体，树突或轴突。

突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此联系是通过突触这种结构接口的。

有时．也把突触看作是神经元之间的连接。

目前，根据神经生理学的研究，已经发现神经元及其问的突触起码有不同的4种行为。

神经元的4种生物行为有：
(1)能处于抑制或兴奋状态；
(2)能产生爆发和平台两种情况；
(3)能产生抑制后的反冲；
(4)具有适应性。

突触的4种生物行为有：
(1)能进行信息综合；
(2)能产生渐次变化的传送；
(3)有电接触和化学接触等多种连接方式；
(4)会产生延时激发。

目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模拟，其它行为尚未考虑。

所以，神经网络的研究只是处于起步的初级阶段，后边还有大量的工作等人们去探讨和研究。

目前，神经网络的研究已向人们展示了其美好的前景；只要按阶段不断取得进展，神经元和突触的其它行为是完全可以实现人工模拟的。

二、神经元的信息处理与传递
1．神经元的兴奋与抑制
人工神经网络对神经元的兴奋与抑制进行模拟，故而首先应了解神经元的兴奋与抑制状态。

一个神经元的兴奋和抑制两种状态是由细胞膜内外之间不同的电位差来表征的。

在抑制状态，细胞膜内外之间有内负外正的电位差，这个电位差大约在-50—-100mv之间。

在兴奋状态，则产生内正外负的相反电位差，这时表现为约60—100mv的电脉冲。

细胞膜内外的电位差是由膜内外的离子浓度不同导致的。

细胞的兴奋电脉冲宽度一般大约为1ms。

神经元的兴奋过程电位变化如图1—3所示。

图1-3.神经元的兴奋过程电位变化
2．神经元的信息传递及阀值特性
对神经细脑的研究结果表明：神经元的电脉冲几乎可以不衰减地沿着轴突传送到其它神经元去。

由神经元传出的电脉冲信号通过轴突，首先到达轴突末梢，这时则使其中的囊泡产生变化从而释放神经递质，这种神经递质通过突触的间隙而进入到另一个神经元的树突中。

树突上的受体能够接受神经递质从而去改变膜向离子的通透性．使膜外内离子浓度差产生变化；进而使电位产生变化。

显然，信息就从一个神经元传送到另一个神经元中。

当神经元接受来自其它神经元的信息时，膜电位在开始时是按时间连续渐渐变化的。

当膜电位变化经超出一个定值时，才产生突变上升的脉冲，这个脉冲接着沿轴突进行传递。

神经元这种膜电位高达一定阀值才产生脉冲传送的特性称阀值特性。

这种阀值特性从图1—3中也可以看出。

神经元的信息传递除了有阀值特性之外，还有两个特点。

一个是单向性传递，即只能从前一级神经元的轴突末梢传向后一级神经元的树突或细胞体，不能反之。

另一个是延时性传递．信息通过突触传递，通常会产生0.5—1ms的延时。

3．神经元的信息综合特性
神经元对来自其它神经元的信息有时空综合特性。

在神经网络结构上，大量不同的神经元的轴突末梢可以到达同一个神经元的树突并形成大量突触。

来源不同的突触所释放的神经递质都可以对同一个神经元的膜电位变化产生作用。

因此，在树突上，神经元可以对不同来源的输入信息进行综合。

这就是神经元对信息的空间综合特性。

对于来自同一个突触的信息，神经元可以对于不同时间传人的信息进行综合。

故神经元对信息有时间综合特性。

4．神经元、突触的D/A、A/D特性
从神经元轴突上传递的信息是等幅、恒宽、编码的离散电脉冲信号，故而是一个数字量。

但在突触中神经递质的释放和树突中膜电位的变化是连续的。

故而，这时说明突触有D/A功能。

在神经元的树突膜电位高过一定阀值时，则又变成电脉冲方式由轴突传送出去。

故而，这个过程说明神经元有A/D功能。

很明显，信息通过一个神经元传递时，神经元对信息执行了D/A、A/D转换过程。

从上面可知，神经元对信息的处理和传递有阀值，D/A、A/D和综合等一系列特性和功能。

三、神经元的数学模型
从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。

根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。

工程上用的人工神经元模型如图1—4所示。

图1—4 神经元的数学模型
在图1—4中，X1，X2，……，Xn是神经元的输入，即是来自前级n个神经元的轴突的信息A是i神经元的阎值；Wi1，Wi2……，Win分别是i神经元对X1，X2，……，Xn的权系数，也即突触的传递效率；Yi是i神经元的输出；f[·]是激发函数，它决定i神经元受到输人X1，X2，……，Xn的共同刺激达到阀值时以何种方式输出。

从图1—4的神经元模型，可以得到神经元的数学模型表达式：
(1-1)
图1-5.典型激发函数
对于激发函数f[·]有多种形式，其中最常见的有阶跃型、线性型和S型三种形式，这三种形式如图1—5所示。

为了表达方便；令：
(1-2)
则式(1-1)可写成下式：
Yi=F[Ui] ；(1-3)
显然，对于阶跃型激发涵数有：
(1-4)
对于线性型激发函数，有：
f(Ui)=Ku；(1-5)
对于S型激发函数，有：
(1-6)
对于阶跃型激发函数，它的输出是电位脉冲，故而这种激发函数的神经元称离散输出模型。

对于线性激发函数，它的输出是随输入的激发总量成正比的；故这种神经元称线性连续型模型。

对于用s型激发函数，它的输出是非线性的；故这种神经元称非线性连续型模型。

上面所叙述的是最广泛应用而且人们最熟悉的神经元数学模型；也是历史最长的神经元模型。

近若干年来，随着神经网络理论的发展，出现了不少新颖的神经元数学模型，这些模型包括逻辑神经元模型，模糊神经元模型等，并且渐渐也受到人们的关注和重视。