ch7_4 数据挖掘算法--神经网络

正向传播：当给定网络一组输入模式时，BP网络 将依次对这组输入模式中的每个输入模式按如下 方式进行学习：把输入模式从输入层传到隐含层 单元，经隐含层单元逐层处理后，产生一个输出 模式传至输出层，这一过程称为正向传播。 反向传播：如果经正向传播在输出层没有得到所 期望的输出模式，则转为误差反向传播过程，即 把误差信号沿原连接路径返回，并通过修改各层 神经元的连接权值，使误差信号为最小。 重复正向传播和反向传播过程，直至得到所期望 的输出模式为止。
神经网络




神经网络由许多基本单元构成，这些基本单元模 仿了人脑的神经元。 如果将多个基本单元以适当的方式连接起来，就 构成了神经网络。基本单元之间的连接相当于人 脑中神经元的连接。基本单元之间的连接方式有 多种，从而形成了多种神经网络。 神经网络可以模仿人的头脑，通过向一个训练数 据集学习和应用所学知识来生成分类和预测的模 式。 在数据没有任何明显模式的情况下，这种方法很 有效。
1 0 f(σ)
σ
图 阈值型神经元的输入／输出特性
阈值型神经元是一种最简单的人工神经元，也就 是我们前面提到的M-P模型。这种二值型神经元， 其输出状态取值1或0，分别代表神经元的兴奋和 抑制状态。某一时刻，神经元的状态由功能函数f 来决定。 当激活值σ＞0时，即神经元输入的加权总和超过 给定的阈值时，该神经元被激活，进入兴奋状态， 其状态f(σ)为1；
1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作 用的； 5）一个神经元接受的信号的累积效果决定该神经 元的状态； 6) 每个神பைடு நூலகம்元可以有一个“阈值”。

图 一个典型的三层神经网络结构
x0 x1 xn
w0
- mk

w1
wn
f
Activation function
output y
Input weight weighted sum vector xvector w
For Example y sign(
w x
i 0 i
n
i
mk )
x0 x1 xn
w0
w1 wn
- mk





输入层 节点的数据与训练样本的非类别属性数目对应， 通常一个连续属性对应一个输入层单元，一个p值 离散属性对应p个输入层单元； 输出层 节点的数据与训练样本的类别数目对应； 隐藏层 层数及隐藏层节点的数目目前尚无理论指导，凭 经验选取。 但是，至今也没有一个明确的理论来指导我们如何确 定每个隐含层的节点数和网络的层数。在实践中通常 用试错法。
•BP神经网络是一种具有三层或三层以上结构的神 经网络，包括输入层、隐层和输出层。层与层之间 多采用全互连方式，但同一层的节点之间不存在相 互连接。
图 BP神经网络模型
BP网络的各层之间具有不同的功能：
•
输入层节点上的神经元接受外部环境的输入模式， 并由它传递给相连隐层上的各个神经元。 隐层是神经元网络的内部处理层，这些神经元在 网络内部构成中间层，由于它们不直接与外部输 入、输出打交道，故称隐层。人工神经网络所具 有的模式变换能力主要体现在隐层的神经元上。 输出层用于产生神经网络的输出模式。
否则，当激活值σ＜0时，即神经元输入的加权总 和不超过给定的阈值时，该神经元不被激活，其 状态f(σ)为0。
（2）分段线性强饱和型（Linear Saturation） 这种模型又称为伪线性，其输入／输出之间在一 定范围内满足线性关系，一直延续到输出为最大 值1为止。但当达到最大值后，输出就不再增大。 如图所示。
σ
S型神经元的输入／输出特性
（4）子阈累积型（Subthreshold Summation） 这种类型的作用函数也是一个非线性函数，当产 生的激活值超过T值时，该神经元被激活产生一个 反响。在线性范围内，系统的反响是线性的，如 图所示。
f(σ)
1
0
T
σ
图 子阈累积型神经元的输入／输出特性

神经元模型的六个基本特征：
f(σ)
1
σ
0 图
线性饱和型神经元的输入／输出特性
（3）S型（Sibmoid） 这是一种连续的神经元模型，其输出函数也是一 个有最大输出值的非线性函数，其输出值是在某 个范围内连续取值的，输入输出特性常用指数、 对数或双曲正切等S型函数表示。它反映的是神经 元的饱和特性，如图所示。
f(σ) 1
0 图
•
•

向后传播方法

通过迭代地处理一组训练样本，将每个样本的网 络预测与实际指导的类标号比较，进行学习。对 于每个训练样本，修改权，使得网络预测和实际 类之间的均方误差最小。这种修改“后向”进行。 即由输出层，经由每个隐藏层，到第一个隐藏层。 一般地，权将最终收敛，学习过程停止。
反向传播算法的速度使得神经网络成为一个实际 的工具，正是因为反向传播算法的有效性，才使 得80年代中期，对神经网络的强烈兴趣复苏。
多层前馈神经网络

最流行的神经网络算法是20世纪80年代提出 的后向传播算法。 这种算法是在多层前馈神经网络基础上运行 的。

输入层
隐藏层
输出层

前馈神经网络是分层网络模型，具有一个输入层、一 个输出层，输入层和输出层之间有一个或多个隐藏层。 每个层具有若干个单元，前一层单元与后一层单元之 间通过有向加权边相连。
1 1 e
I j
I j wijOi j
i
BP网络
• •
•
BP算法是目前应用最广泛的一种人工神经网络模型。 1986年，Rumelhart和 McCelland提出了误差后向传播 （Error Back Propagation）算法，通常称为后向传播 或反向传播算法，简称BP算法，标志着BP算法的产 生， 成功地解决了多层网络中隐含层神经元连接权值 的学习问题。 基本的BP算法采用有监督学习方式，基于梯度下降算 法，极小化误差函数。其主要思想是将学习过程分为 信号正向传播过程和误差后向传播过程两个阶段。
f
Activation function
output y
Input weight weighted sum vector xvector w
在实践中发现logistic函数（s形函数） 效果最好。
Output vector
Output nodes
Oj
Hidden nodes wij Input nodes Input vector: xi
BP算法权值的修正量

BP算法基于梯度下降算法。在梯度下降算法中， 权值的修正量正比于误差函数E(W)对W的负梯度， 即： W (t+1)= W (t) +ΔW (t)
E W Wt W
BP学习原理


工作信号正向传播/前向传播 误差信号反向传播/后向传播




网络学习：是指按照某种学习规则选取新的W’， 使E(W’)≤E(W)，即使E(W)对应的误差曲面上的 点总是向山下移动，最终移到最深的谷底（全局 最小）。若曲面有多个谷底，移动的过程可能陷 入局部极小。 移动步长：也称学习率，步长较小时移动轨迹较 慢且平滑，易陷入局部极小；步长较大时移动速 度快，可能跳过局部极小，也可能跳过全局最小 点，易产生振荡。一般情况下，开始时取较大步 长，后期取较小步长。 梯度下降算法：如果移动是在误差曲面最陡的方 向，或梯度下降的方向上进行，这样下山的速度 快，称作最速梯度下降法。
第七章

数据挖掘算法——人工神经网络


人工神经网络（Artificial Neural Network，简称 ANN）是指由简单计算单元组成的广泛并行互联 的网络，能够模拟生物神经系统的结构和功能。 组成神经网络的单个神经元的结构简单，功能有 限，但是，由大量神经元构成的网络系统可以实 现强大的功能。 人工神经网络在模式识别、计算机视觉、智能控 制、信号处理、语音识别、知识处理、机器学习、 数据挖掘等领域有着广泛的应用前景。
红
紫
番茄 绿 茄子 圆
黄瓜
长
x0 x1 xn
w0
w1 wn
- mk

f
Activation function
output y
Input weight weighted sum vector xvector w

一个隐藏或输出单元j:

j的输入是来自前一层的输出；这些输出与对应的权相乘， 形成加权和；加权和加到与单元j相连的阈值（偏置）上； 一个非线性的激活函数作用于净输入
人工神经网络的学习方式



死记式学习：网络连接权值根据特殊记忆模式设计而 成，其值不变。在网络输入相关模式时，唤起对记忆 模式的回忆，对输入模式进行相应处理。 有监督学习：网络将实际输出和教师指定的输出加以 比较，得到在一定范数意义下的误差，由误差函数决 定连接权值的调整，目的是使误差函数达到最小值。 无监督学习：网络的学习是自我调整的过程，不存在 教师示教来指示网络输出是否正确。 有监督与无监督的混合学习：混合学习过程首先采用 无监督学习抽取输入模式的特征，然后利用有监督学 习方式对其进行处理，形成输入输出的某种映射。
x1 ω1
x2
xn
ω2
θ ωn y
图 M-P神经元模型
在图中，x1，x2，…，xn表示某一神经元的n个输入； ωi表示第i个输入的连接强度，称为连接权值，正数 权值表示兴奋性输入，负数权值表示抑制性输入；θ 为神经元兴奋时的阈值，当神经元输入的加权和大 于θ时，神经元处于兴奋状态；y为神经元的输出。 可以看出，人工神经元是一个具有多输入，单输出 的非线性器件。 M-P神经元模型的输入是 ∑ωi* xi (i=1,2,……,n) 输出是 y=f(σ)=f(∑ωi*xi –θ) 其中f 称之为神经元功能函数或作用函数。