华中科技大学人工智能神经网络全解
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018/10/24 3
人工神经网络研究的进展
1960年威德罗和霍夫率先把神经网络用于自 动控制研究。 60年代末期至80年代中期，神经网络控制与 整个神经网络研究一样，处于低潮。 80年代后期以来，随着人工神经网络研究的复 苏和发展，对神经网络控制的研究也十分活跃。 这方面的研究进展主要在神经网络自适应控制 和模糊神经网络控制及其在机器人控制中的应 用上。
应用研究
神经网络软件模拟和硬件实现的研究
NN在各个技术领域中应用研究 e.g.模式识别、信号处理、知识工程、专家 系统、优化组合、智能控制等
2018/10/24
14
神经网络的组成 与特性
生理神经元的结构 大多数神经元由一个细胞体(cell body或 soma)和突(process)两部分组成。突分两 类， 即轴突(axon)和树突(dendrite)，如 图所示。轴突是个突出部分，长度可达1m， 把本神经元的输出发送至其它相连接的神经元。 树突也是突出部分，但一般较短，且分枝很多， 与其它神经元的轴突相连，以接收来自其它神 经元的生物信号。
2018/10/24
7
1975年 Albus提出CMAC网络（Cerebella Model Articulation Controller） 1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory） Kohonen提出自组织映射理论 福岛邦彦（K.Fukushima）提出认识机 （Neocognitron）模型 甘利俊（S.Amari）：NN数学理论
2018/10/24 10
1987年 Nielson提出了对向传播 （Counter Propagation）神经网络 1988年 L.O.Chua提出细胞神经网络 （CNN）模型
自1958年来已有近40种NN model
2018/10/24
11
NN研究学术机构
1987年 国际神经网络学会 定期召开 ICNN会议 1988年 《IEEE Transaction on Neural Network 》创刊 1990.12 CCNN（中国）第一次会议 1991年 中国神经网络学会
2018/10/24 15
轴突和树突共同作用，实现了神经元间的信息 传递。轴突的末端与树突进行信号传递的界面 称为突触(synapse)，通过突触向其它神经 元发送信息。对某些突触的刺激促使神经元触 发(fire)。只有神经元所有输入的总效应达到 阈值电平，它才能开始工作。无论什么时候达 到阈值电平，神经元就产生一个全强度的输出 窄脉冲，从细胞体经轴突进入轴突分枝。这时 的神经元就称为被触发。
20ຫໍສະໝຸດ Baidu8/10/24 5
20世纪50年代 , 第一次高潮 1957年：F.Rosenblatt提出感知网络 （Perceptron）模型，这是第一个完 整的ANN
基本构成为阀值单元、网络 初具并行处理、分布存储、学习等功能 用于模式识别、联想记忆 引起NN研究的第一次高潮
2018/10/24
6
20世纪60年代,低潮 1969年 Minsky和Papert编写的 《Perceptron》出版 使NN的研究进入低潮 Problems：仅可解线性问题 当时现状：数学机发达，认为可解决一切问题 但工作并未停止
2018/10/24
4
ANN的发展史
20世纪40年代：兴起与萧条
1943年 M-P model 心理学家W.S.McCulloch和 数学家W.Pitts提出： 形式神经元的数学描述与构造方法 与阈值神经元model基本相同，权值固定 1949年 心理学家D.O.Hebb提出突触强度可调的 假设： 学习过程发生在突触上 Hebb规则： ij i j
CI-Computational Intelligence NN-Neural Nets
2018/10/24 2
什么是计算智能
把神经网络（NN）归类于人工智能（AI）可 能不大合适，而归类于计算智能（CI）更能说 明问题实质。进化计算、人工生命和模糊逻辑 系统的某些课题，也都归类于计算智能。 计算智能取决于制造者（manufacturers） 提供的数值数据，不依赖于知识；另一方面， 人工智能应用知识精品（knowledge tidbits）。人工神经网络应当称为计算神经 网络。
2018/10/24
12
理论研究
利用神经生物和认知科学研究大脑思维及 智能的机理 利用上一项成果，用数理方法探索智能水 平更高的ANN model 1）深入研究网络算法和性能 e.g.稳定 性、收敛性、容错性、鲁棒性 2）开发性的网络数据理论：神经网络 动力学、非线性神经场
2018/10/24 13
2018/10/24 16
脑神经生理学研究结果表明，每个人脑大约含有 1011-1012个神经元，每一神经元又约有103104个突触。神经元通过突触形成的网络，传递神 经元间的兴奋与抑制。大脑的全部神经元构成极其 复杂的拓扑网络群体，用于实现记忆与思维。
2018/10/24
8
20世纪80年代 第二次高潮
Reasons: 1）Neumann数字计算机取得的巨大成功，从 而推动以此为基础的AI 应用技术的同步发展 2）ANN有新成果、脑科学、神经科学 VLSI、光电技术的发展
2018/10/24
9
J.J.Hopfield 1982年 Hopfield网络模 型：网络能量数据、网络稳定性判据 1984年 HNN用电子线路实现 HNN用途： 联想记忆、优化计算机的新途径 1984年 Hilton 引入模拟退火法，提出 Boltzmann机网络 1986年 Rumelhart提出EBP学习算法，解 决了MLP隐含层 weights 学习问题 （error Back-Propagation）
神经网络
基于神经网络的知识表示与推理 感知机学习算法 基于反向传播网络的学习
2018/10/24
1
计算智能
信息科学与生命科学的相互交叉、相互渗透 和相互促进是现代科学技术发展的一个显著 特点。 计算智能(CI)涉及神经网络(NN) 、模糊 逻辑、进化计算和人工生命等领域，它的研 究和发展正反映了当代科学技术多学科交叉 与集成的重要发展趋势。
人工神经网络研究的进展
1960年威德罗和霍夫率先把神经网络用于自 动控制研究。 60年代末期至80年代中期，神经网络控制与 整个神经网络研究一样，处于低潮。 80年代后期以来，随着人工神经网络研究的复 苏和发展，对神经网络控制的研究也十分活跃。 这方面的研究进展主要在神经网络自适应控制 和模糊神经网络控制及其在机器人控制中的应 用上。
应用研究
神经网络软件模拟和硬件实现的研究
NN在各个技术领域中应用研究 e.g.模式识别、信号处理、知识工程、专家 系统、优化组合、智能控制等
2018/10/24
14
神经网络的组成 与特性
生理神经元的结构 大多数神经元由一个细胞体(cell body或 soma)和突(process)两部分组成。突分两 类， 即轴突(axon)和树突(dendrite)，如 图所示。轴突是个突出部分，长度可达1m， 把本神经元的输出发送至其它相连接的神经元。 树突也是突出部分，但一般较短，且分枝很多， 与其它神经元的轴突相连，以接收来自其它神 经元的生物信号。
2018/10/24
7
1975年 Albus提出CMAC网络（Cerebella Model Articulation Controller） 1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory） Kohonen提出自组织映射理论 福岛邦彦（K.Fukushima）提出认识机 （Neocognitron）模型 甘利俊（S.Amari）：NN数学理论
2018/10/24 10
1987年 Nielson提出了对向传播 （Counter Propagation）神经网络 1988年 L.O.Chua提出细胞神经网络 （CNN）模型
自1958年来已有近40种NN model
2018/10/24
11
NN研究学术机构
1987年 国际神经网络学会 定期召开 ICNN会议 1988年 《IEEE Transaction on Neural Network 》创刊 1990.12 CCNN（中国）第一次会议 1991年 中国神经网络学会
2018/10/24 15
轴突和树突共同作用，实现了神经元间的信息 传递。轴突的末端与树突进行信号传递的界面 称为突触(synapse)，通过突触向其它神经 元发送信息。对某些突触的刺激促使神经元触 发(fire)。只有神经元所有输入的总效应达到 阈值电平，它才能开始工作。无论什么时候达 到阈值电平，神经元就产生一个全强度的输出 窄脉冲，从细胞体经轴突进入轴突分枝。这时 的神经元就称为被触发。
20ຫໍສະໝຸດ Baidu8/10/24 5
20世纪50年代 , 第一次高潮 1957年：F.Rosenblatt提出感知网络 （Perceptron）模型，这是第一个完 整的ANN
基本构成为阀值单元、网络 初具并行处理、分布存储、学习等功能 用于模式识别、联想记忆 引起NN研究的第一次高潮
2018/10/24
6
20世纪60年代,低潮 1969年 Minsky和Papert编写的 《Perceptron》出版 使NN的研究进入低潮 Problems：仅可解线性问题 当时现状：数学机发达，认为可解决一切问题 但工作并未停止
2018/10/24
4
ANN的发展史
20世纪40年代：兴起与萧条
1943年 M-P model 心理学家W.S.McCulloch和 数学家W.Pitts提出： 形式神经元的数学描述与构造方法 与阈值神经元model基本相同，权值固定 1949年 心理学家D.O.Hebb提出突触强度可调的 假设： 学习过程发生在突触上 Hebb规则： ij i j
CI-Computational Intelligence NN-Neural Nets
2018/10/24 2
什么是计算智能
把神经网络（NN）归类于人工智能（AI）可 能不大合适，而归类于计算智能（CI）更能说 明问题实质。进化计算、人工生命和模糊逻辑 系统的某些课题，也都归类于计算智能。 计算智能取决于制造者（manufacturers） 提供的数值数据，不依赖于知识；另一方面， 人工智能应用知识精品（knowledge tidbits）。人工神经网络应当称为计算神经 网络。
2018/10/24
12
理论研究
利用神经生物和认知科学研究大脑思维及 智能的机理 利用上一项成果，用数理方法探索智能水 平更高的ANN model 1）深入研究网络算法和性能 e.g.稳定 性、收敛性、容错性、鲁棒性 2）开发性的网络数据理论：神经网络 动力学、非线性神经场
2018/10/24 13
2018/10/24 16
脑神经生理学研究结果表明，每个人脑大约含有 1011-1012个神经元，每一神经元又约有103104个突触。神经元通过突触形成的网络，传递神 经元间的兴奋与抑制。大脑的全部神经元构成极其 复杂的拓扑网络群体，用于实现记忆与思维。
2018/10/24
8
20世纪80年代 第二次高潮
Reasons: 1）Neumann数字计算机取得的巨大成功，从 而推动以此为基础的AI 应用技术的同步发展 2）ANN有新成果、脑科学、神经科学 VLSI、光电技术的发展
2018/10/24
9
J.J.Hopfield 1982年 Hopfield网络模 型：网络能量数据、网络稳定性判据 1984年 HNN用电子线路实现 HNN用途： 联想记忆、优化计算机的新途径 1984年 Hilton 引入模拟退火法，提出 Boltzmann机网络 1986年 Rumelhart提出EBP学习算法，解 决了MLP隐含层 weights 学习问题 （error Back-Propagation）
神经网络
基于神经网络的知识表示与推理 感知机学习算法 基于反向传播网络的学习
2018/10/24
1
计算智能
信息科学与生命科学的相互交叉、相互渗透 和相互促进是现代科学技术发展的一个显著 特点。 计算智能(CI)涉及神经网络(NN) 、模糊 逻辑、进化计算和人工生命等领域，它的研 究和发展正反映了当代科学技术多学科交叉 与集成的重要发展趋势。