人工神经网络
人工智能控制技术课件：神经网络控制
例如，在听觉系统中，神经细胞和纤维是按照其最敏感的频率分
布而排列的。为此，柯赫仑（Kohonen）认为，神经网络在接受外
界输入时，将会分成不同的区域，不同的区域对不同的模式具有
不同的响应特征，即不同的神经元以最佳方式响应不同性质的信
号激励，从而形成一种拓扑意义上的有序图。这种有序图也称之
,
,
⋯
,
)
若 输 入 向 量 X= ( 1
， 权 值 向 量
2
W=(1 , 2 , ⋯ , ) ，定义网络神经元期望输出 与
实际输出 的偏差E为：
E= −
PERCEPTRON学习规则
感知器采用符号函数作为转移函数，当实际输出符合期
望时，不对权值进行调整，否则按照下式对其权值进行
单神经元网络
对生物神经元的结构和功能进行抽象和
模拟，从数学角度抽象模拟得到单神经
元模型，其中 是神经元的输入信号，
表示一个神经元同时接收多个外部刺激；
是每个输入所对应的权重，它对应
于每个输入特征，表示其重要程度；
是神经元的内部状态； 是外部输入信
号； 是一个阈值（Threshold）或称为
第三代神经网络：
2006年，辛顿（Geofrey Hinton）提出了一种深层网络模型——深度
置信网络（Deep Belief Networks，DBN），令神经网络进入了深度
学习大发展的时期。深度学习是机器学习研究中的新领域，采用无
监督训练方法达到模仿人脑的机制来处理文本、图像等数据的目的。
控制方式，通过神经元及其相互连接的权值，逼近系统
人工神经网络概述
2.1 感知器
单层感知器的学习法：
2.1 感知器
多层感知器：
在输入层和输出层之间加入一层或多层隐单元，构成 多层感知器。提高感知器的分类能力。
两层感知器可以解决“异或”问题的分类及识别任一凸 多边形或无界的凸区域。
更多层感知器网络，可识别更为复杂的图形。
2.2 BP网络
多层前馈网络的反向传播 （BP）学习算法，简称BP 算法，是有导师的学习，它 是梯度下降法在多层前馈网 中的应用。
基本感知器
是一个具有单层计算神经元的两层网络。 只能对线性可分输入矢量进行分类。
n个输入向量x1,x2, …, xn 均为实数，w1i，w2i,…,wni 分别是n个输入 的连接权值，b是感知器的阈值，传递函数f一般是阶跃函数，y 是感 知器的输出。通过对网络权值的训练，可以使感知器对一组输入矢量 的响应成为0或1的目标输出，从而达到对输入矢量分类识别的目的。
网络结构 见图，u、y是网络的输
入、输出向量，神经元用节 点表示，网络由输入层、隐 层和输出层节点组成，隐层 可一层，也可多层（图中是 单隐层），前层至后层节点 通过权联接。由于用BP学习 算法，所以常称BP神经网络 。
2.2 BP网络
已知网络的输入/输出样本，即导师信号 。
BP学习算法由正向传播和反向传播组成 ：
net.trainparam.goal=0.00001;
网络可能根本不能训
% 进行网络训练和仿真：
练或网络性能很差；
[net,tr]=train(net,X,Y);
若隐层节点数太多，
% 进行仿真预测
虽然可使网络的系统
XX1=[0.556 0.556 0.556 0.556 0.556 0.556 0.556] 误差减小，但一方面
人工神经网络是什么
⼈⼯神经⽹络是什么⽬录⼀、⼈⼯神经⽹络⼈⼯智能的主流研究⽅法是连接主义，通过⼈⼯构建神经⽹络的⽅式模拟⼈类智能。
⼈⼯神经⽹络（Artificial Neural Network，即ANN ），是20世纪80 年代以来⼈⼯智能领域兴起的研究热点。
它从信息处理⾓度对⼈脑神经元⽹络进⾏抽象，建⽴某种简单模型，按不同的连接⽅式组成不同的⽹络。
⼈⼯神经⽹络借鉴了⽣物神经⽹络的思想，是超级简化版的⽣物神经⽹络。
以⼯程技术⼿段模拟⼈脑神经系统的结构和功能，通过⼤量的⾮线性并⾏处理器模拟⼈脑中众多的神经元，⽤处理器复杂的连接关系模拟⼈脑中众多神经元之间的突触⾏为。
⼆、⽣物神经⽹络⼈脑由⼤约千亿个神经细胞及亿亿个神经突触组成，这些神经细胞及其突触共同构成了庞⼤的⽣物神经⽹络每个神经元伸出的突起分为树突和轴突。
树突分⽀⽐较多，每个分⽀还可以再分⽀，长度⼀般⽐较短，作⽤是接受信号。
轴突只有⼀个，长度⼀般⽐较长，作⽤是把从树突和细胞表⾯传⼊细胞体的神经信号传出到其他神经元。
⼤脑中的神经元接受神经树突的兴奋性突触后电位和抑制性突触后电位，产⽣出沿其轴突传递的神经元的动作电位。
⽣物神经⽹络⼤概有以下特点：1. 每个神经元都是⼀个多输⼊单输出的信息处理单元，神经元输⼊分兴奋性输⼊和抑制性输⼊两种类型2. 神经细胞通过突触与其他神经细胞进⾏连接与通信，突触所接收到的信号强度超过某个阈值时，神经细胞会进⼊激活状态，并通过突触向上层神经细胞发送激活细号3. 神经元具有空间整合特性和阈值特性，较⾼层次的神经元加⼯出了较低层次不具备的“新功能”4. 神经元输⼊与输出间有固定的时滞，主要取决于突触延搁外部事物属性⼀般以光波、声波、电波等⽅式作为输⼊，刺激⼈类的⽣物传感器。
三、硅基智能与碳基智能⼈类智能建⽴在有机物基础上的碳基智能，⽽⼈⼯智能建⽴在⽆机物基础上的硅基智能。
碳基智能与硅基智能的本质区别是架构，决定了数据的传输与处理是否能够同时进⾏。
人工神经网络-连续型Hopfield神经网络
两点说明：
1）能量函数为反馈网络的重要概念。 根据能量函数可以方便的判断系统的稳定 性； 2）Hopfield选择的能量函数，只是保 证系统稳定和渐进稳定的充分条件，而不 是必要条件，其能量函数也不是唯一的。
* CHNN的几点结论
1）具有良好的收敛性； 2）具有有限个平衡点； 3）如果平衡点是稳定的，那么它也一定是渐进稳 定的； 4）渐进稳定平衡点为其能量函数的局部极小点； 5）能将任意一组希望存储的正交化矢量综合为网 络的渐进平衡点； 6）网络的存储信息表现为神经元之间互连的分布 式动态存储； 7）网络以大规模、非线性、连续时间并行方式处 理信息，其计算时间就是网络趋于平衡点的时间。
E 1 WijVj I i Ui Vi Ri j
由连续Hopfield运行方程可得
dVi d E dU i dU i C i C i C i f 1 i V dt dV Vi dt dVi i
将上式代入原式可得：
dV i dE C i dt dt j 1 f i V
WijViVj
i 1 j 1
n
n
ViIi
i 1
n
R i i
1
n
1
Vi
0
f 1 dV V
求取 其中：
dE
dt
dE dt
i
E dV i Vi dt
E 1 Vi 2
1 WijVj 2 j
W jiVj j
Ii
1
Ri
Ui
• 由于Wij=Wji 则有：
提 出
其原理与离散型Hopfield神经网络相似，它以模拟 量作为网络的输入输出量，各神经元采用并行方式工作
人工神经网络算法基础精讲ppt课件
2.3学习规则
学习规则
在神经网络的学习中，各神经元的连接权值需按一定的规则
调整，这种权值调整规则称为学习规则。下面介绍几种常见的学习
规则。
1.Hebb学习规则
2.Delta（δ）学习规则
3.LMS学习规则
4.胜者为王学习规则
5.Kohonen学习规则
6.概率式学习规则
2.3学习规则
1.Hebb学习规则
突触结构示意图
1.3生物神经元的信息处理机理
电脉冲
输 入
树 突
细胞体 形成 轴突
突
输
触
出
信息处理
传输
图 12.2 生物神经元功能模型
神经元的兴奋与抑制
当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位 的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时， 为抑制状态，不产生神经冲动。
④神经元的输出和响应是个输入值的综合作用的结果。
⑤兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞进入兴奋 状态，产生神经冲动；当膜电位低于阈值时，细胞进入抑制状态。
13
1.6激活函数
神经元的描述有多种，其区别在于采用了不同的激活函数，不 同的激活函数决定神经元的不同输出特性，常用的激活函数有如下 几种类型：
1957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一 次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神 经网络研究的第一次高潮。
4
1.1人工神经网络发展简史
20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以 为数字计算机可以解决人工智能、专家系统、模式识别问题，而放 松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神 经网络的研究进入了低潮。
《人工神经网络：模型、算法及应用》习题参考答案
习题2.1什么是感知机？感知机的基本结构是什么样的？解答：感知机是Frank Rosenblatt在1957年就职于Cornell航空实验室时发明的一种人工神经网络。
它可以被视为一种最简单形式的前馈人工神经网络，是一种二元线性分类器。
感知机结构：2.2单层感知机与多层感知机之间的差异是什么？请举例说明。
解答：单层感知机与多层感知机的区别：1. 单层感知机只有输入层和输出层，多层感知机在输入与输出层之间还有若干隐藏层；2. 单层感知机只能解决线性可分问题，多层感知机还可以解决非线性可分问题。
2.3证明定理：样本集线性可分的充分必要条件是正实例点集所构成的凸壳与负实例点集构成的凸壳互不相交.解答：首先给出凸壳与线性可分的定义凸壳定义1：设集合S⊂R n，是由R n中的k个点所组成的集合，即S={x1,x2,⋯,x k}。
定义S的凸壳为conv(S)为：conv(S)={x=∑λi x iki=1|∑λi=1,λi≥0,i=1,2,⋯,k ki=1}线性可分定义2：给定一个数据集T={(x1,y1),(x2,y2),⋯,(x n,y n)}其中x i∈X=R n , y i∈Y={+1,−1} , i=1,2,⋯,n ,如果存在在某个超平面S：w∙x+b=0能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有的正例点即y i=+1的实例i，有w∙x+b>0，对所有负实例点即y i=−1的实例i，有w∙x+b<0，则称数据集T为线性可分数据集；否则，称数据集T线性不可分。
必要性：线性可分→凸壳不相交设数据集T中的正例点集为S+，S+的凸壳为conv(S+)，负实例点集为S−，S−的凸壳为conv(S−)，若T是线性可分的，则存在一个超平面：w ∙x +b =0能够将S +和S −完全分离。
假设对于所有的正例点x i ，有：w ∙x i +b =εi易知εi >0，i =1，2，⋯，|S +|。
人工神经网络
学习训练算法
设有教师向量 T t1 t 2 t m 输入向量 则 初始加权阵 W0 偏差 B
T T
P p1 p 2 p n
t i 0 or 1
W ( k 1) W ( k ) E ( K ) X T B ( K 1) B ( K ) E ( K ) E(K ) T (K ) Y (K )
人工神经网络与神经网络优化算法
1 9 5 7 年 ， F.Rosenblatt 提 出 “ 感 知 器”(Perceptron)模型，第一次把神经网络的 研究从纯理论的探讨付诸工程实践，掀起了人工 神经网络研究的第一次高潮。 20世纪60年代以后，数字计算机的发展达到全 盛时期，人们误以为数字计算机可以解决人工智 能、专家系统、模式识别问题，而放松了对“感 知器”的研究。于是，从20世纪60年代末期起， 人工神经网络的研究进入了低潮。
人工神经元的基本构成 x w
1 1
x2 w2 … xn wn
∑
net=XW
人工神经元模拟生物神经元的一阶特性。
输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW
激活函数(Activation Function)
γ>0为一常数，被称为饱和值，为该神经元 的最大输出。
2、非线性斜面函数（Ramp Function）
o
γ -θ -γ θ net
3、阈值函数（Threshold Function）阶跃函数
f（net）=
β
if net>θ
if net≤ θ
-γ β、γ、θ均为非负实数，θ为阈值 二值形式： 1 f（net）= 0 双极形式： 1 f（net）= -1
10 人工神经网络(ANN)方法简介(完整)
神经元的结构
树突从细胞体伸向其它神经元，神经元之间接受信号的联结点 为突触。通过突触输入的信号起着兴奋/抑制作用。当细胞体接 受的累加兴奋作用超过某阈值时，细胞进入兴奋状态，产生冲 动，并由轴突输出。
x1
w1
x2 xn
w2 wn
wi xi
感知器的激活函数
神经元获得网络输入信号后，信号累计效果整合函数u(X)大于 某阈值 时，神经元处于激发状态；反之，神经元处于抑制状 态。 构造激活函数，用于表示这一转换过程。要求是[-1, 1]之间 的单调递增函数。 激活函数通常为3种类型，由此决定了神经元的输出特征。
第三阶段
突破性进展：1982年，CalTech的物理学家J. Hopfield提出Hopfield神经网络 系统(HNNS)模型，提出能量函数的概念，用非线性动力学方法来研究 ANN， 开拓了ANN用于联想记忆和优化计算的新途径； 1988年，McClelland和Rumelhart利用多层反馈学习算法解决了“异或 （XOR）”问题。
§10.2 感知器（Perceptron） ——人工神经网络的基本构件
1、 感知器的数学模型——MP模型
感知器（Perceptron）：最早被设计并实现的人工神经网络。 W. McCulloch和W. Pitts总结生物神经元的基本生理特征，提出 一种简单的数学模型与构造方法，建立了阈值加权和模型，简 称M-P模型(“A Logical Calculus Immanent in Nervous Activity”, Bulletin of Mathematical Biophysics, 1943(5): 115~133）。 人工神经元模型是M-P模型的基础。
人工神经网络研究最新进展
人工神经网络研究最新进展人工智能（Artificial Intelligence，AI）的发展已经取得了显著的突破，而人工神经网络作为AI的重要组成部分，正不断地迎来新的进展。
本文将介绍人工神经网络研究的最新进展，包括深度学习、迁移学习、增强学习以及注意力机制等方面。
深度学习是当前人工神经网络研究的热点之一。
深度学习模型以多层神经元组成的神经网络为基础，通过大量的训练数据进行反向传播算法的调整，实现对复杂模式的学习和识别。
最近的研究表明，深度学习算法在机器视觉、自然语言处理以及语音识别等领域取得了显著的成果。
例如，深度卷积神经网络（Deep Convolutional Neural Network，DCNN）在图像识别方面的性能已经超过人类水平。
此外，长短时记忆网络（Long Short-Term Memory，LSTM）等新型网络结构也进一步提高了人工神经网络的学习和推理能力。
迁移学习是另一个备受关注的研究方向。
迁移学习旨在通过将在一个或多个任务上学习到的知识转移到其他相关的任务上，从而加速学习过程和提高模型性能。
最新的研究表明，迁移学习在解决数据稀缺问题、避免重复性训练和优化模型泛化能力方面具有重要意义。
例如，在自然语言处理领域，利用预训练的语言模型进行迁移学习能够显著提升命名实体识别、情感分析等任务的性能。
增强学习则是通过智能体与环境的交互，通过试错的方式来提高策略的性能。
最近的研究表明，增强学习在机器人控制、游戏玩法等领域具有巨大潜力。
例如，AlphaGo程序就是通过增强学习方法在围棋领域战胜了人类的顶级选手。
此外，深度强化学习（Deep Reinforcement Learning，DRL）的引入也进一步扩展了增强学习的应用范围。
最后，注意力机制是近年来在人工神经网络研究中兴起的新领域。
注意力机制模拟了人类在信息处理过程中对重要信息的选择和集中。
最新研究表明，注意力机制在图像生成、机器翻译等任务中能够显著提升模型的性能。
基于人工神经网络的预测模型
基于人工神经网络的预测模型随着计算机技术的不断进步，人工神经网络得到了广泛的应用。
人工神经网络是一种模拟人类神经系统的计算模型，它通过学习和适应来实现对数据的预测和分类。
其中，基于人工神经网络的预测模型具有重要的应用价值。
本文将围绕基于人工神经网络的预测模型展开探讨。
一、人工神经网络的基本概念人工神经网络是由神经元和它们之间的联系构成的一种网络结构。
它采用一种类似于大脑神经元之间相互联系的方式，对输入信号进行加工处理，产生相应的输出信号。
它的结构大致分为输入层、隐含层和输出层三部分，其中隐含层是神经网络最核心的部分，在这里所有的计算、加工都以神经元为基本单元，最终得到预测值或者分类结果。
二、基于人工神经网络的预测模型基于人工神经网络的预测模型是一种利用神经网络来对未来事件的趋势进行预测的方法。
其基本思想是将历史数据作为神经网络的输入数据，在神经网络中进行训练和学习，并生成一组能够对未来事件进行预测的参数。
基于这些参数，可以通过将未来事件的输入数据带入到神经网络中进行预测，得到预测结果。
通常，基于人工神经网络的预测模型分为两种类型：前向神经网络和逆向神经网络。
前向神经网络是把输入信号从输入层传输到输出层。
在此过程中，训练样本经过多次迭代调整，使得网络产生最佳的连接权重，然后通过输入未来事件，得到预测结果。
而逆向神经网络则是对输出信号进行学习和训练，从时间维度反推输入信号，从而实现预测。
在实际应用中，基于人工神经网络的预测模型的预测效果较好，而且可以适用于很多领域，如股票走势预测、交通流量预测等。
在金融领域中，基于人工神经网络的预测模型可以用来预测股票市场走势，帮助投资者做出正确的决策。
在交通领域中，监测地区的路况和交通流量，以提供数据支持给政府进行城市规划。
三、基于人工神经网络的预测模型的优缺点优点：第一，基于人工神经网络的预测模型可以快速地学习和处理大量的数据，使其适用于多种领域的应用。
第二，基于人工神经网络的预测模型能够自适应地进行学习，具有强大的自学习能力，同时还能够随着输入数据量的增加不断地提高预测准确率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
人工神经网络第六单元人工神经网络引言识别、人工智能所研究的是如何用计算机实现人脑的一些功能。
从要实现的功能出发，把功能分成子功能…直到设计出算法来实现这些子功能——这是由上向下的分析方法。
另一方面，人脑无论多么复杂，都可看做是大量神经元组成的巨大的神经网络，从神经元基本功能出发，由简单到复杂组成各种神经网络，研究它所能实现的功能。
是由下至上的综合方法，两种方法各有优缺点，适用于不同问题。
人工神经网络的研究基本上与计算研究同步，从40年代初开始，到80年代，神经网络飞速发展，现已渗透到智能控制、模式识别、信号处理、优化计算、知识处理、生物医学工程等众多应用领域，自成一个研究体系。
§1 人工神经元1. 生物神经元树突轴突胞体突触图1 典型神经元构成示意图典型神经元构成示意图①胞体：是神经细胞的本体，内有细胞核、细胞质，完成普通细胞生存的功能；②树突：它有大量分枝，多达310数量级，长度较短，通常不超过1毫米，用于接受来自其它神经元的信息；③轴突：用以输出信号，有些较长可达1米以上，较长的轴突被髓鞘包裹，可提高传导速度，少受干扰；神经信号的传导机制，不是靠信号，而是一个化学过程，速度比电信号慢的多，像是导火索被点着，每秒数10米，轴突远端也有分枝，可与多个神经元连接；④突触：它是一个神经元与另一个神经元相连系的特殊部位，通常是一个神经元轴突的端部，靠化学接触或电接触将信号（兴奋）传给下一个神经元的树突或胞体。
对树突的突触多为兴奋性的，使下一个神经元兴奋。
对胞体的突触多为抑制性的，其作用是阻止下一个神经元兴奋。
神经元的基本工作机制：一个神经元有两种状态——兴奋和抑制。
平时处于抑制性的神经元，其树突或胞体接收到其它神经元由突触传来的兴奋电位，多个输入在神经元内以代数和的方式叠加；如果输入总量超过某个阈值，神经元就会被激发，进入兴奋状态，发出输出脉冲，并由轴突和突触传给其它神经元，神经元是安“全或元”的原则工作的，只有兴奋和抑制两种状态，但也不能认为神经元只能表达或传递二值逻辑信号，因为神经元兴奋时，往往不是只发出一个脉冲，而是一串，如把这一串脉冲变成是调频信号，脉冲的密度可以表达连续量。
以上是对神经元工作机制极度简化的，并且简化模型不是唯一的。
2. 人工神经元由生物神经元功能的启示，可以构造人工神经元，而人工神经元模型种类繁多，在此只介绍常用的最简单模型。
图1 人工神经元模型与两种常用的输出函数图中的n 个输入R x i ∈，相当于其它神经元的输出值；n 个权值R w i ∈，相当于突触的联接强度；f 是一个非线性函数，例如阈值函数或s igmoid 函数，当f 是一个阈值函数时，（b ）中的θ是阈值。
神经元的动作如下：∑==ni i i x w net 1（1） ()net f y =（2）当f 为阈值函数时，其输出为-=∑=n i i i x w y 1sgn θ为使式子简单，我们设阈值0w -=θ()T n w w w w w ,,,,210 =，()Tn x x x x ,,,,121 =则()x w y T sgn =这样的表达式，可以将阈值合并到权向量中去处理。
即，如果把() x w f T 看作是阈值函数，则()Tn w w w w w ,,,,210 =，()Tn x x x x ,,,,121 =，且阈值0w -=θ，若f 不是阈值函数，则()Tn w w w w ,,,21 =，()Tn x x x X ,,,21 =。
选择不同的输入阈值函数f ，输出的y 值的取值范围也不同，常用的有两种：1x ○2x 3xyy（a ）人工神经元模型（b ）阈值函数（c ）Sigmoid 函数10 x1. ()<-≥=0101sgn x x x x f则输出值{}1,1-∈y ，即y 只取-1，1两个值。
2. ()≤>=0001sgn x x x x f则输出值y 只取0，1两个值，{}1,0∈y 。
某些重要的学习算法，要求输出函数()x f 可微，这时阈值已不适用，通常选用Signoid 函数：1.()1122-+==-xex f y ，2-='y y 1 此函数的输出值y 可取开区间(–1, 1)上一切值，函数单调递增，无限次可导，导函数可用函数自身表示，即2-='y y 1。
图形如图（a ）。
2.()xex f y -+==11，()y y y -?='1 此函数的输出值y 可取开区间(0, 1)上一切值，函数单调递增，无限次可导，导函数可用函数自身表示，即()y y y -?='1。
图形如图（b ）。
图（a ）图（b ）Sinmoid 函数作为输出函数有下述有益特性： 1. 非线性，单增，无限次可微；2. 当权值很大时，可近似阈值函数，图（a ）中A 点右端或B 点左端。
3. 当权值很小时，可近似线性函数，如图（a ）中BA 间。
10 x –1yy§2 前馈神经网络2.1 前馈神经网络结构构成前馈网络的各神经元，接受前一级输入，并输入到下一级，无反馈。
因此，前馈神经网络可用一个有向无环图表示，如图1。
隐层输入节点○ ○ ○┇○A 1○ ○┇○B 1○○┇○○○┇○输出节点非计算机单元计算单元（即有计算功能）图1（1）图中节点分为两类：①输入节点，无计算功能；②计算单元每个计算单元有任意个输入，但只有一个输出，而输出可以耦合到任意多上其它节点的输入，如图1A 节点：它接受来自n 个输入节点的输入；经过该节点的计算：∑==ni i i x w net 11，而输出只一个：()net f …，当然输出到下层的不同节点时，()net f 乘上连接权作为下一层节点1B 的输入……（2）前馈网络分为不同的层：第i 层的输入只与第1-i 层的输出相联。
输入节点… 第一层输出节点… 最后一层中间层… 隐层我们只讲三种前馈网络有：1. 二层的感知器；2. BP 网络（三层）；3. 经向基函数网络；注意：节点间的连接权重是可调的，当改变连接权重，就使得输出改变。
算法的目的就是通过改变节点间的连接权值，通过给定的输入得到给定的输出。
2.2 神经元的学习算法几乎所有神经网络的学习算法，都可以看作是Hebb 学习规则的变形。
Hebb 学习规则的基本思想是：如果神经元i u 接收来自另一个神经元j u 的输入，则当这两个神经元同时兴奋时，从j u 到i u 的连接权值ji w 就得到加强。
具体到前面讲过的人工神经元模型，可以将Hebb 学习规则表现为如下算法：i i yx w η=?式中i w ?是对第i 个权值的修正量，η为步长，是控制学习速度的参数。
对Hebb 学习规则的解释：当输入第j 类样本()Tn x x x x ,,,21 =，希望第j 个输出为1，而其它输出为0，即输出期望向量：()0,0,,0,1,0,,0,0 ==j y y而实际输出()k j y y y y y ?,,1?,,?,??21 ≠=，其中1?≠j y ，其它的也不为0，而是大于0；这时令()i j ij x yw ?1-?=?η 这样下一次输入同一个x 时，连接权值()()ij ij ij w t w t w ?+=+1就得以加强，使()1?+t yj 变大，使之更近于1；同时 ()i k ik x yw ?0-?=?η 使得下一次输入同一个x 时，实际输出()j k y k ≠?时变小，即()()t y t y k k ?1?<+，就更近于0。
这样，反复输入同一类样本，经多次调整连接权值使j y越来越近于1，而其它的k y ?越来越近于0，当误差不超过ε时，学习可以停止，即网络学习完毕。
2.3 感知器感知器（Per c eptron ）是一种双层前馈网络，也是最简单的前馈网络，它只有一个输入层，一个输出层，而没有中间隐层，其网络模型如图：1x 1y2x 2y┇m x k y输入层输出层第一层为输入层，有m 个节点，即样本有m 种属性观测值。
第一层节点不具有计算功能。
第二层为输出层，有k 个节点，即样本分为k 类，每一个节点是计算单元。
感知器可以通过监督学习（有分类标签的样本）建立模式识别的能力。
学习的目的：是通过调整权值使得神经网络由给定的输入得到给定的输出。
比如有k 类样本，每个样本有m 种指标值，则设m 个输入节点，k 个输出节点，令第j 个输出节点，输出第j 类样本，即当输入j 类样本时j y ?输出1（近似等于1，误差小于ε），而0?=k y()K k j k ,,2,1, =≠。
具体作法。
用已知类别的模式向量()Tm x x x x ,,,,121 =作为训练集。
当输入第j 类特征向量x 时，应使对应于该类的输出1=j y ，而其它神经元的输出为0（或–1）。
设理想输出为：()Tk y y y Y ,,,21 =实际输出为：()T k y y y Y,,?,??21 = 为了使实际输出逼近理想输出，可以反复依次输入训练样本集中的向量x ，并计算实际输出Y，对权值作如下修正： ()()()t w t w t w ij ij ij ?+=+1，()()i j j ik x yy t w ?-?=?η 直到输出值Y与满意值y 的误差不超过ε时，训练结束。
感知器学习过程收敛很快，并且与初始值无关。
比如：初始权值全取为0，对第j 类输入01=∑=mi i ijx w则第j 类输出为：()()210==f net f ， ()??+=-x e x f 11 i ij x w ??-=?211η这样下一次输出将得以加强；而其它输出节点有i ik x w ??? ?-=?210η由于ik ?为负值，下一次的输出将减小。
上述说明感知器可作为分类器；但是感知器只能用于线性可分情况，对于非线性可分向题，感知器是解决不了的。
下面简单补充一下线性可分与非线性可分类概念。
2.4 线性与非线性可分类概念感知器没有隐层，只有一个输出层作为自适应权值调整层，故只能进行线性分类，什么是线性可分类呢？先看最简单的两类划分问题。
（1）若分类对象x 是一维的，即可看作是直线上的点，则决策面（两类的分界面）是一个点；决策区域被决策面分开；若x 是二维的，即可看作是平面上的点，则决策面是平面上的一条曲线；若x 是三维空间中的点，则决策面是三维空间上的一张曲面；若x 是四维以上，则决策面是一张超曲面。
（2）线性可分类所谓线性可分的直观含义是：在平面上划一条直线就能把两类的点分开；如果不能用一条直线而是需用两条以上直线或曲线才能将平面上两类点分开，则称非线性可分。
（3）为什么只有一个自适应层的感知器只能用作线性分类呢？只需举出一个非线性可分的例，用感知器无法分类。