人工神经网络算法(基础精讲).ppt

1， 若x 0 sgn（x）= f (x) -1，若x 0
17
1.6激活函数
2.S型激活函数
神经元的状态与输入级之间的关系是在（0,1）内连续取值的单 调可微函数，称为S型函数。
单极性S型函数：
f
(x)
1 1 ex
双极性S型函数：
f(x)12ex 1=11 eexx
18
1.6激活函数 3.分段线性激活函数
4
1.1人工神经网络发展简史
最早的研究可以追溯到20世纪40年代。1943年，心理学家 McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一 模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工 神经网络的研究时代，就由此开始了。
1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的 学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工 神经网络的学习还遵循这一规则。
分段线性激活函数的定义为：
1，若x 0 f (x) x，若 1 x 1
1，若x 0
19
1.6激活函数
4.概率型激活函数
概率型激活函数的神经元模型输入和输出的关系是不确定的， 需要一种随机函数来描述输出状态为1或为0的概率，设神经元输出 （状态）为1的概率为：
n
o f wjxj
j0
其中， W0=-Ɵ ； x0元的模型具有以下特点：
①神经元是一个多输入、单输出单元。
②它具有非线性的输入、输出特性。
③它具有可塑性，反应在新突触的产生和现有的神经突触的调整上 ，其塑性变化的部分主要是权值w的变化，这相当于生物神经元的 突出部分的变化，对于激发状态，w取正直，对于抑制状态，w取负 值。
人工神经网络
二〇一五年十二月
目录
2
一、人工神经网络的 基本概念
3
一、人工神经网络的 基本概念
人工神经网络（Artificial Neural Network，即ANN）可以概 括的定义为：
由大量具有适应性的处理元素（神经元）组成的广泛并行互联 网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交 互反应，是模拟人工智能的一条重要途径。人工神经网络与人脑相 似性主要表现在：
④神经元的输出和响应是个输入值的综合作用的结果。
⑤兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞进入兴奋 状态，产生神经冲动；当膜电位低于阈值时，细胞进入抑制状态。
14
1.6激活函数
神经元的描述有多种，其区别在于采用了不同的激活函数，不 同的激活函数决定神经元的不同输出特性，常用的激活函数有如下 几种类型：
突触结构示意图
1.3生物神经元的信息处理机理
电脉冲
输 入
树 突
细胞体 形成 轴突
突
输
触
出
信息处理
传输
图 12.2 生物神经元功能模型
神经元的兴奋与抑制
当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位 的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时， 为抑制状态，不产生神经冲动。
9
1.4生物神经元的特点 生物神经元的特点：
阈值特性
单向性传递
延时性传递
生物神经元的特点
1.5人工神经元模型
神经元模型
从神经元的特性和功能可以知道，神经元相当于一个多输入单 输出的信息处理单元，而且，它对信息的处理是非线性的，人工神 经元的模型如图所示：
神经元的n个输入 对应的连接权值
阈值
激活函数
15
1.6激活函数 1.阈值型激活函数
阈值型激活函数是最简单的，前面提到的M-P模型就属于这一类 。其输出状态取二值（1、0或+1、-1），分别代表神经元的兴奋和 抑制。 当f（x）取0或1时，
1，若x0 f (x) 0，若x0
16
1.6激活函数
当f（x）取1或-1时，f（x）为下图所示的sgn（符号）函数
①神经网络获取的知识是从外界环境学习得来的； ②各神经元的连接权，即突触权值，用于储存获取的知识。
神经元是神经网络的基本处理单元，它是神经网络的设计基础 。神经元是以生物的神经系统的神经细胞为基础的生物模型。在人 们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元 数学化，从而产生了神经元数学模型。因此，要了解人工神经模型 就必须先了解生物神经元模型。
1982年，美国加州工学院物理学家Hopfield提出了离散的神经网 络模型，标志着神经网络的研究又进入了一个新高潮。1984年， Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的 新途径。
1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。BP算法是目前最为重要、应 用最广的人工神经网络算法之一。
1957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一 次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神 经网络研究的第一次高潮。
5
1.1人工神经网络发展简史
20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以 为数字计算机可以解决人工智能、专家系统、模式识别问题，而放 松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神 经网络的研究进入了低潮。
net= w i x i
输出
11
1.5人工神经元模型
上面的神经元模型可以用一个数学表达式进行抽象与概括，从 而得到神经元的数学模型：
n
o f w jx j
j1
w x 神经元的网络输入记为net，即
n
net=
jj
j1
12
1.5人工神经元模型
有时为了方便起见，常把-Ɵ也看成是恒等于1的输入X0 的权 值，这时上面的数学模型可以写成：
6
1.2生物神经元结构 生物神经元结构
（1）细胞体: 细胞核、细胞质和细胞膜。 （2）树突：胞体短而多分枝的突起。相当于神经元的输入端。 （3）轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神 经末稍传出神经冲动。
7
1.2生物神经元结构
（4）突触：神经元间的连接接口，每个神经元约有1万～10万个突 触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联 接，实现信息的传递。由于突触的信息传递特性是可变的，形成了 神经元间联接的柔性，称为结构的可塑性。