第一章 人工神经网络概述
合集下载
人工神经网络
1 a f (n) 0
Ai 0 Ai 0
对于M-P模型神经元，权值Wji可在（－1，＋1） 区间连续取值。取负值表示抑制两神经元间的连 接强度，正值表示加强。
2、S型神经元
S型神经元是最常用的一种连续神经元模型， 输出值在某个范围内连续取值的。输入、输出特 性多采用指数、对数或双曲正切等S型函数表示。 S型作用函数反映了神经元的非线性输出。
W0 X1 W1 W2 X2 Wn Xn
n
f ( ) XW i i
i0
Y
常用的作用函数可归结为三种形式：阈值型、S 型和伪线性型。如图1.3所示，这样，就有三类基本 的神经元模型。
f(Ai) f(Ai) f(Ai)
Ai
Ai
Ai
图1.3 常用的作用函数形式 (a) 阈值型 (b) S型 (c) 伪线性型
一个具有r个输入分量的神经元如图所示。其中 输入分量pj (j=1,2,……,r)通过与和它相乘的权值分量 wj (j=1,2, ……,r)相连，以∑wjpj的形式求和后，形成激 活函数f(.)的输入。激活函数的另一个输入是偏差b。 权值wj和输入pj的矩阵形式，可以由表示W的行矢量 以及P的列矢量来表示。 W=[w1 w2 …wr] P=[p1 p2 … pr]T
ANN的特点：
4、高度的非线形全局作用 神经网络是大量神经元的集体行为，并不是各单元 行为的简单叠加，表现为复杂的非线形动态系统：不 可预测性、不可逆性。 5、由于其容错和联想记忆功能，能处理信息不完整、 推理规则不确定的问题。如手写体识别、医学诊断、 市场预测等。
1.3
人工神经网络的应用
人工神经网络技术可以用于：函数逼近、 感知觉模拟、多目标跟追、联想记忆及数据恢复 等。比较适宜解决如下问题： 1、模式信息处理和模式识别 模式：就是事物的某种特性属类，如图象、 文字、语言、符号等感知形象信息；动植物种类 形态（苹果、橘子、柿子、西瓜、甜瓜等）、产 品等级（水果的等级）、化学结构等。
人工神经网络学习总结笔记
人工神经网络学习总结笔记主要侧重点：1.概念清晰2.进行必要的查询时能从书本上找到答案第一章：绪论1.1人工神经网络的概述“认识脑”和“仿脑”：人工智能科学家在了解人脑的工作机理和思维的本质的基础上，探索具有人类智慧的人工智能系统，以模拟延伸和扩展脑功能。
我认为这是人工神经网络研究的前身。
形象思维：不易被模拟人脑思维抽象推理逻辑思维：过程：信息概念最终结果特点：按串行模式人脑与计算机信息处理能力的不同点：方面类型人脑计算机记忆与联想能力可存储大量信息，对信息有筛选、回忆、巩固的联想记忆能力无回忆与联想能力，只可存取信息学习与认知能力具备该能力无该能力信息加工能力具有信息加工能力可认识事物的本质与规律仅限于二值逻辑，有形式逻辑能力，缺乏辩证逻辑能力信息综合能力可以对知识进行归纳类比和概括，是一种对信息进行逻辑加工和非逻辑加工相结合的过程缺乏该能力信息处理速度数值处理等只需串行算法就能解决的应用问题方便，计算机比人脑快，但计算机在处理文字图像、声音等类信息的能力远不如人脑1.1.2人脑与计算机信息处理机制的比较人脑与计算机处理能力的差异最根本的原因就是信息处理机制的不同，主要有四个方面方面类型人脑计算机系统结构有数百亿神经元组成的神经网络由二值逻辑门电路构成的按串行方式工作的逻辑机器信号形式模拟量（特点：具有模糊性。
离散的二进制数和二值逻辑容易被机器模拟的思维方式难以被机器模拟）和脉冲两种形式形式信息储存人脑中的信息分布存储于整个系统，所存储的信息是联想式的有限集中的串行处理机制信息处理机制高度并行的非线性信息处理系统（体现在结构上、信息存储上、信息处理的运行过程中）1.1.3人工神经网络的概念：在对人脑神经网络的基本认识的基础上，用数理方法从信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，称之为人工神经网络，是对人脑的简化、抽象以及模拟，是一种旨在模仿人脑结构及其功能的信息处理系统。
其他定义：由非常多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，外部输入信息之后，系统产生动态响应从而处理信息。
人工神经网络概述
2.1 感知器
单层感知器的学习法：
2.1 感知器
多层感知器：
在输入层和输出层之间加入一层或多层隐单元，构成 多层感知器。提高感知器的分类能力。
两层感知器可以解决“异或”问题的分类及识别任一凸 多边形或无界的凸区域。
更多层感知器网络，可识别更为复杂的图形。
2.2 BP网络
多层前馈网络的反向传播 （BP）学习算法，简称BP 算法，是有导师的学习，它 是梯度下降法在多层前馈网 中的应用。
基本感知器
是一个具有单层计算神经元的两层网络。 只能对线性可分输入矢量进行分类。
n个输入向量x1,x2, …, xn 均为实数，w1i，w2i,…,wni 分别是n个输入 的连接权值，b是感知器的阈值，传递函数f一般是阶跃函数，y 是感 知器的输出。通过对网络权值的训练，可以使感知器对一组输入矢量 的响应成为0或1的目标输出，从而达到对输入矢量分类识别的目的。
网络结构 见图，u、y是网络的输
入、输出向量，神经元用节 点表示，网络由输入层、隐 层和输出层节点组成，隐层 可一层，也可多层（图中是 单隐层），前层至后层节点 通过权联接。由于用BP学习 算法，所以常称BP神经网络 。
2.2 BP网络
已知网络的输入/输出样本，即导师信号 。
BP学习算法由正向传播和反向传播组成 ：
net.trainparam.goal=0.00001;
网络可能根本不能训
% 进行网络训练和仿真：
练或网络性能很差；
[net,tr]=train(net,X,Y);
若隐层节点数太多，
% 进行仿真预测
虽然可使网络的系统
XX1=[0.556 0.556 0.556 0.556 0.556 0.556 0.556] 误差减小，但一方面
人工神经网络基础文档资料
31
<1> 层次型神经网络
（1）前向神经网络 神经元分层排列，顺序连接。由输入层施加输入信息，通过 中间各层，加权后传递到输出层后输出。每层的神经元只接 受前一层神经元的输入，各神经元之间不存在反馈。
32
<1> 层次型神经网络
（2）层内有互联的前向神经网络 在前向神经网络中有 的在同一层中的各神经元相互有连接,通过层内神经元的 相互结合，可以实现同一层内神经元之间的横向抑制或兴 奋机制，这样可以限制每层内能同时动作的神经元数，或 者把每层内的神经元分为若干组，让每组作为一个整体来 动作。
41
<2> 神经网络的学习规则
2、纠错式学习— Delta(δ)学习规则
首先我们考虑一个简单的情况：设某神经网络的输 出层中只有一个神经元i，给该神经网络加上输入，这样 就产生了输出yi(n)，称该输出为实际输出。
对于所加上的输入，我们期望该神经网络的输出为
d(n),称为期望输出或目标输出（样本对里面包含输入和
1949年，心理学家Hebb提出神经系统的学习规则， 为神经网络的学习算法奠定了基础。现在，这个规 则被称为Hebb规则，许多人工神经网络的学习还 遵循这一规则。
3
一 人工神经网络发展
1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型，第 一次把神经网络的研究从纯理论的探讨付诸工程实践，掀 起了人工神经网络研究的第一次高潮。
在互连网络模型中，任意两个神经元之间都可能有相互 连接的关系。其中，有的神经元之间是双向的，有的是单 向的。
Hopfield网络、Boltzman机网络属于这一类。
35
<2> 互联型神经网络
在无反馈的前向网络中，信号一旦通过某个神经元，过 程就结束了。而在互连网络中，信号要在神经元之间反复往 返传递，神经网络处在一种不断改变状态的动态之中。从某 个初始状态开始，经过若干次的变化，才会到达某种平衡状 态，根据神经网络的结构和神经元的特性，还有可能进入周 期振荡或其它如浑沌等平衡状态。
<1> 层次型神经网络
（1）前向神经网络 神经元分层排列，顺序连接。由输入层施加输入信息，通过 中间各层，加权后传递到输出层后输出。每层的神经元只接 受前一层神经元的输入，各神经元之间不存在反馈。
32
<1> 层次型神经网络
（2）层内有互联的前向神经网络 在前向神经网络中有 的在同一层中的各神经元相互有连接,通过层内神经元的 相互结合，可以实现同一层内神经元之间的横向抑制或兴 奋机制，这样可以限制每层内能同时动作的神经元数，或 者把每层内的神经元分为若干组，让每组作为一个整体来 动作。
41
<2> 神经网络的学习规则
2、纠错式学习— Delta(δ)学习规则
首先我们考虑一个简单的情况：设某神经网络的输 出层中只有一个神经元i，给该神经网络加上输入，这样 就产生了输出yi(n)，称该输出为实际输出。
对于所加上的输入，我们期望该神经网络的输出为
d(n),称为期望输出或目标输出（样本对里面包含输入和
1949年，心理学家Hebb提出神经系统的学习规则， 为神经网络的学习算法奠定了基础。现在，这个规 则被称为Hebb规则，许多人工神经网络的学习还 遵循这一规则。
3
一 人工神经网络发展
1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型，第 一次把神经网络的研究从纯理论的探讨付诸工程实践，掀 起了人工神经网络研究的第一次高潮。
在互连网络模型中，任意两个神经元之间都可能有相互 连接的关系。其中，有的神经元之间是双向的，有的是单 向的。
Hopfield网络、Boltzman机网络属于这一类。
35
<2> 互联型神经网络
在无反馈的前向网络中，信号一旦通过某个神经元，过 程就结束了。而在互连网络中，信号要在神经元之间反复往 返传递，神经网络处在一种不断改变状态的动态之中。从某 个初始状态开始，经过若干次的变化，才会到达某种平衡状 态，根据神经网络的结构和神经元的特性，还有可能进入周 期振荡或其它如浑沌等平衡状态。
人工神经网络简介
人工神经网络简介本文主要对人工神经网络基础进行了描述，主要包括人工神经网络的概念、发展、特点、结构、模型。
本文是个科普文，来自网络资料的整理。
一、人工神经网络的概念人工神经网络（Artificial Neural Network，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。
该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。
它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。
神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。
每个节点代表一种特定的输出函数，称为激活函数（activation function）。
每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。
网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。
而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
神经网络的构筑理念是受到生物的神经网络运作启发而产生的。
人工神经网络则是把对生物神经网络的认识与数学统计模型相结合，借助数学统计工具来实现。
另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。
人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。
网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。
输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。
1神经网络概述
40
适应性(Applicability)问题
擅长两个方面： 对大量的数据进行分类，并且只有较少的几种情况； 必须学习一个复杂的非线性映射。
目前应用：
人们主要将其用于语音、视觉、知识处理、辅助决策
等方面。 在数据压缩、模式匹配、系统建模、模糊控制、求组 合优化问题的最佳解的近似解（不是最佳近似解）等 方面也有较好的应用。
网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer）
37
ANN与传统AI技术的比较
项目 基本实现 方式 传统的AI技术 串行处理；由程序实现 控制 ANN技术 并行处理；对样本数据进行多目标学习；通 过人工神经元之间的相互作用实现控制
33
多学科性
神经生理学：了解结构、信息活动的
生理特征 认识科学：物理平面到认识平面的映 像表达、编码理论、符号方法等 数理科学：NN运算和状态分析的工具 信息论、计算机科学以及各工程领域： 工程应用
34
人脑信息处理的特点
巨量并行性 信息处理和存储单元结合在一起
自组织学习能力
9
什么是人工智能？
Artificial Intelligence，AI，最初在1956年被引入 AI是指用计算机模拟或实现的智能。 它是计算机科学的一个分支，研究的是如何使
机器具有智能的科学与技术。特别是如何在计 算机上实现或再现人工智能。 它涉及计算机科学、脑科学、神经生理学、心 理学、语言学、逻辑学、认知科学、思维科学、 行为科学和数学，以及信息论、控制论和系统 论等众多领域。
络模型的结构、特点、典型训练算法、运行方式、典型问题解决方法；
3、掌握软件实现方法； 为他们今后从事人工神经网络的研究和应用打下一定的基础。
适应性(Applicability)问题
擅长两个方面： 对大量的数据进行分类，并且只有较少的几种情况； 必须学习一个复杂的非线性映射。
目前应用：
人们主要将其用于语音、视觉、知识处理、辅助决策
等方面。 在数据压缩、模式匹配、系统建模、模糊控制、求组 合优化问题的最佳解的近似解（不是最佳近似解）等 方面也有较好的应用。
网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer）
37
ANN与传统AI技术的比较
项目 基本实现 方式 传统的AI技术 串行处理；由程序实现 控制 ANN技术 并行处理；对样本数据进行多目标学习；通 过人工神经元之间的相互作用实现控制
33
多学科性
神经生理学：了解结构、信息活动的
生理特征 认识科学：物理平面到认识平面的映 像表达、编码理论、符号方法等 数理科学：NN运算和状态分析的工具 信息论、计算机科学以及各工程领域： 工程应用
34
人脑信息处理的特点
巨量并行性 信息处理和存储单元结合在一起
自组织学习能力
9
什么是人工智能？
Artificial Intelligence，AI，最初在1956年被引入 AI是指用计算机模拟或实现的智能。 它是计算机科学的一个分支，研究的是如何使
机器具有智能的科学与技术。特别是如何在计 算机上实现或再现人工智能。 它涉及计算机科学、脑科学、神经生理学、心 理学、语言学、逻辑学、认知科学、思维科学、 行为科学和数学，以及信息论、控制论和系统 论等众多领域。
络模型的结构、特点、典型训练算法、运行方式、典型问题解决方法；
3、掌握软件实现方法； 为他们今后从事人工神经网络的研究和应用打下一定的基础。
神经网络 第一章
D.E.Rumelhart and D.E.McClelland Parallel Distributed Processing: Explorations in the Microstructure of Cognition MIT Press,Cambridge MA,1986
1987年6月:IEEE(国际电气和电工工程师协会)在San Diego召开“第一届神经网络国际学术讨论会”; 《 IEEE Transation on Neural networks 》 同年, 国际神经网络学会(INNS)成立 《 Neural Networks 》
F. Rosenblatt
The Perceptron:a Probabilistied Model for Information Storage and Organization in TL Brain Psychological Review,Vol. 65:386~408,1958
B.Widrow and E.Hoff
5.信息处理速度
人脑与计算机信息处理机制的比较 1.系统结构
2.信号形式 3.信息存储 4.信息处理机制
从大脑组织结构和运行机制的绝妙特点，追求
新型的信号处理系统：
超越人的计算能力，探寻新的信息表示、存储
和处理方式，设计全新的计算处理结构模型；
类似于人的识别、判断、联想和决策的能力，
ANN的固有特征： 1. 信息的处理和记忆分布在整个网络上,把硬 件与软件在结构上分开是困难的； 2. 高度的并行性： 大量简单处理单元并行活动。 3.高度的非线性全局作用： 网络之间互相制约和互相影响，实现从输入 空间到输出状态空间的非线性映射; 网络整体性能不是网络局部性能的简单迭加。
人工神经网络1(第1,2章)
] PM
P N
(2) M P T
T
] N M
• 3、反馈网络
输入
输出
i ω ij ＝ω ji j
注2：前向网络主要是函数映射。可用于模式识别和函数逼近和分类。 反馈网络按对能量函数的极小点的利用来分类。 有两种：（1）主要用作各种联想存储器 （2）主要用于求解最优化问题
二、工作方式及学习（训练）
Y 1 P
M P
(1 )
X 1 N [W
(1 ) T
] N P
(2)
W
M个
f (.)
Y 1 M
(2)
Y 1 P
(1 )
[W
(2)T
] PM
(2)T
X 1 N [W X 1 N W X 1 N [W
(1 ) T
] N P [W W
(1 )
w 0 ,1
w 0 , N 1 . w i , N 1
w i ,1
w m 1 ,1
w m 1, N 1
2、多层前向网络（由单层级联而成）
y0 yi
… …
ym
输出层 隐含层 （一般1～2层）
…
输入层
。
。
… …
( X 1 . D 1)..(
X 2 . D 2 )....( X k . D k )......
调整 W 输出
.... X k .....
样本对集
X 1. X
2
误 差 信 号 E
Y 1 ..Y 2 .... Y k .....
实际响应
－ ＋
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对21世纪技术创新浪潮
脑科学
脑科学从分子水平、 细胞水平、行为水平 研究脑结构, 建立脑 模型，揭示自然智能 机理和脑本质。
硬件系统
神经网络
认知科学
认知科学是研究人类感知、学习、记忆、思维、 意识等人脑心智活动过程的科学。 学习、记忆在脑内如何发生，是神经生物学的核心 问题之一。学习导致神经系统结构和功能上的精细 修饰，形成记忆痕迹。揭示学习、记忆的神经机制， 对理解人类智力的本质具有重大意义。 软件系统
石油化学 电子 航空
水力 纺织 铁 创 新 步 伐
1785
蒸汽 铁路 钢 机械化
电 化学品 内燃机
铁路化
电气化 电子化 数字化
第一次浪潮 1845
第二次浪潮 1900
第三次浪潮
第四次浪潮
第五次浪潮
1950
1990 1999 2020
60年
55年
50年
40年
30年
对21世纪技术创新浪潮
数字网络 软件 新媒体 创 新 步 伐
– 将可能无限域的输入变换成指定的有限范围 内的输出。
人工神经网络
常用激活函数
1、阈值型（硬限制型）：
将任意输入转换为0或1的输出。
输入/输出关系：
A f (W * P b)
1 W *P b 0 0 W *P b 0
人工神经网络
阈值型激活函数：
(a) 没有偏差的阈值型激活函数 (b) 带有偏差的阈值型激活函数
第一次浪潮 第二次浪潮 第三次浪潮 第四次浪潮
生物基因 （蛋白质） 纳米材料
脑科学 智能技术
？？？ ？？？
1990
2020
2050
2080
2100
对21世纪技术创新浪潮 科学发展大趋势 ——智能科学
( Nature 409, 2001 )
对21世纪技术创新浪潮
智能科学是一门交叉学科，主要由： 脑科学 认知科学 人工智能 等学科共同研究智能行为的基本理论和实现 技术。
人工神经网络
2、线性型： 网络的输出等于加权输入和加上偏差。
A f (W * P b) W * P b
人工神经网络
线性激活函数：
(a) 没有偏差的线型激活函数
(b) 带有偏差的线型激活函数
人工神经网络
3、S型（Sigmoid）： 将任意的输入值压缩到（0，1）的范围内。
常用对数或双曲正切等一类S形状的曲线表示。
第一章 绪 论
科学发展大趋势
New Society
New Education
Info Bio Enhancing Human Performance Nano Cogno
New Sciences
New Industries
New Applications New Humanbeing
技术创新浪潮的经济长波规律
1)1982年，J. Hopfield提出循环网络
–用Lyapunov函数作为网络性能判定的能量函数， 建立ANN稳定性的判别依据 –阐明了ANN与动力学的关系 –用非线性动力学的方法来研究ANN的特性 –指出信息被存放在网络中神经元的联接上
人工神经网络
2）1984年， J. Hopfield设计研制了后来被人 们称为Hopfield网的电路。较好地解决了 著名的TSP问题，找到了最佳解的近似解， 引起了较大的轰动。 3）1985年，UCSD的Hinton、Sejnowsky、 Rumelhart等人所在的并行分布处理 （PDP）小组的研究者在Hopfield网络中 引入了随机机制，提出所谓的Boltzmann 机。
人工智能
用人工的方法和技术，模仿、延伸和扩展人 的 智能, 实现机器智能。
仿真系统
人工神经网络
人工神经网络是当前人工智能领域最领人感兴趣和 最富有魅力的研究课题之一。
人工神经网络是由大量的、功能比较简单的形 式神经元互相连接而构成的复杂网络系统，可以模 拟大脑的许多基本功能和简单的思维方式。通过学 习来获取外部的知识并存贮在网络内，在解决诸如 语音和图像的识别、理解、知识的处理、组合优化 计算和智能控制等一系列本质上为非计算的问题方 面表现突出。
p1 w11 w1s p2 w2s … pr … wr1 a1
b1
a2Biblioteka b2… aswrs 输入层
bs
输出层
人工神经网络
输入输出函数：
As1 F (Wsr * Pr1 Bs1 )
网络权矩阵为：
Wsr
w11 w 11 ws1
w12 w11 ws 2
w1r w11 wsr
反馈网络
反馈网络结构图 输出的初始状态由输入矢量决定后，随着网络的不 断运行，从输出反馈到输入的信号不断改变，反馈 网络表现出暂态特性，具有收敛或震荡特性。
第三节 人工神经网络应用领域
应用领域
• 模式信息处理和模式识别
图形、符号、手写体及语言识别；雷达及声纳等 目标识别；药物构效关系等化学模式信息辨识； 机器人视觉、听觉；各种最近相邻模式聚类及识 别分类；
• 最优化问题计算
组合优化、条件约束优化，如任务分配、货物调 度、路径选择、组合编码排序、系统规划、交通 管理以及图论中各类问题的求解。
应用领域
• 信息的智能化处理
自然语言处理、市场分析、系统诊断、逻辑推理、 智能机器人等
• 复杂控制
多变量自适应控制、变结构优化控制、并行分布 控制、智能及鲁棒控制等
人工神经网络
多层神经网络—两层以上单层神经网络级联而成
三层神经网络结构图
人工神经网络
几个概念：
输出层：最后一层为网络的输出层。
隐含层：其它各层。
三层网络结构简化图
人工神经网络
各层输出函数：
A1 F1 (W1 * P B1 ) A2 F2 (W2 * A1 B2 )
A3 F3 (W3 * A2 B3 )
人工神经网络
第一高潮期（1950～1968）
• 以 Marvin Minsky, Frank Rosenblatt, Bernard Widrow等为代表人物，代表作是 单级感知器（Perceptron）。 • 可用电子线路模拟。 • 人们乐观地认为几乎已经找到了智能的关 键。许多部门都开始大批地投入此项研究， 希望尽快占领制高点。
• 信号处理
微弱信号检测、通信、自适应滤波、谱估计及快 速傅里叶变换等
人工神经网络
• 对数S型激活函数：
1 f 1 exp[(n b)]
带有偏差的对数S型激活函数
人工神经网络
• 双曲正切S型激活函数：
1 exp[2(n b)] f 1 exp[2(n b)]
带有偏差的双曲正切S型激活函数
人工神经网络
单层神经元网络模型结构
具有r 个输入分量、s 个神经元的单层神经元网络
人工神经网络
反思期（1969～1982）
• M. L. Minsky和S. Papert， 《Perceptron》，MIT Press，1969年 • “异或”运算不可表示 • 二十世纪70年代和80年代早期的研究结果 • 认识规律：认识 — 实践 — 再认识
人工神经网络
第二高潮期（1983～1990）
人工神经网络
第一节 人工神经网络的概念与发展
T.Kohonen的定义：“人工神经网络是由 具有适应性的简单单元组成的广泛并行互 连的网络，它的组织能够模拟生物神经系 统对真实世界物体所作出的交互反应。”
人工神经网络
历史回顾
萌芽期（20世纪40年代）
第一高潮期（1950～1968）
反思期（1969～1982）
– 由一定数量的基本单元分层联接构成； – 每个单元的输入、输出信号以及综合处理内容 都比较简单； – 网络的学习和知识存储体现在各单元之间的联 接强度上。
人工神经网络
激活转移函数（Activation transfer function）的基本作用：
– 控制输入对输出的激活作用；
– 对输入、输出进行函数转换；
j 1
人工神经网络
人工神经网络的基本概念
• 结构单元：信号的输入、综合处理、输出。 输出信号的强度大小反映该单元对相邻单 元影响的强弱。
• 人工神经网络： 人工神经元之间通过互相 连接形成的网络。
• 连接模式： 神经元之间相互连接的方式。 相互间连接度由连接权值体现。
人工神经网络
人工神经网络构造的基本原则：
第二高潮期（1983～1990）
再认识与应用研究期（1991~）
人工神经网络
萌芽期（20世纪40年代）
人工神经网络的研究最早可以追溯到人类开始研 究自己的智能的时期，到1949年止。 • 1943 年，心理学家 McCulloch 和数学家 Pitts 建立 起了著名的阈值加权和模型，简称为M-P模型。发 表 于 数 学 生 物 物 理 学 会 刊 《Bulletin of Methematical Biophysics》 • 1949年，心理学家D. O. Hebb提出神经元之间突 触联系是可变的假说——Hebb学习律
输入分量pj（j=1，2，…，r） 权值分量wj（j=1，2，…，r）
激活函数 f(· ) 偏差(bias) b
人工神经网络
权值和输入的矩阵形式可以由W的行矢量和 P的列矢量表示：
W [w1
w2
... wr ]
P [ p1
p2 ...
r
pr ]
T
模型的输出矢量表示为：
A f (W * P b) f ( w j p j b)
问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题