混沌神经网络研究进展与展望

[ 10] [ 9]
.
3 混沌神经元模型及混沌神经网络的研究情况
混沌是一种非线性的动力学行为, 而 Ho pf ield 结构正是神经网络与非线性动力学行为的 良好结合 , 因而它可以作为研究混沌神经网络的基础网型[ 11, 17] ; 而 BP 算法可用来观察、 学习 混沌动力学系统 [ 12] , 用被破坏的输入数据集重构二维混沌系统的吸引子 , 得到相应的几何信 息
4 混沌神经网络模型
下面, 基于上面回顾的工作及相关内容 , 描述混沌神经网络的模型主要有 Aihar a 依据动 物试验提出的和 Ino ue 依据 L ogist ic 映象提出的两种. 4. 1 Aihara 的混沌神经网络模型 1990 年, Aihara 等
[ 22]
在前人推导和实验的基础上, 给出了一个混沌神经元模型.
[ 30 ]
, 这对于用混沌理论分析社会大系统, 对于系统工程 , 都是有所启发的. , 而混沌在信息处理中的作用和角色更是人们的关心之处[ 33～36] , 尤其是与联想记忆、 模
[ 30]
研究间歇性( Int er mitt ency ) 有助于对混沌神经元及其网络的混沌动力学活动的本质的了
[ 31 , 32]
2 混沌动力学简介
神经网络是高度非线性动力学系统 . 动力学系统一般可定义为由确定的微分方程或差分 方程描述的一个系统在时间轴上的状态演变 , 若刻划系统的函数对自变量的依赖关系高于一 次 , 则此动力学系统为非线性动力学系统[ 4] . 动力学系统中的吸引子 ( At t ract or ) 是一个十分重 要的概念, 当某一时刻系统状态确定后, 其后的状态将按动力学方程转移 , 靠近某一稳定状态, 这样的状态便是吸引子 . 吸引子有许多种, 包括点吸引子, 周期吸引子 , 奇异吸引子( 混沌是其 典型例子) . 通常, 神经网络有多个吸引子, 吸引子对应的初值集合叫做吸引域. 神经网络研究 的关键是吸引域[ 5] . 严格说来, 混沌现象是不含外加随机因素的完全确定性的系统所表现出的内秉随机行
第 26 卷 第 5 期 1997 年 10 月
信 息 与 控制
Infor mation and Contr ol
V ol. 26, N o . 5 Oct . , 1997
混沌神经网络研究进展与展望
董 军 胡上序
( 浙江大学 杭州 310027)
摘 要 概述了混沌动力 学的特性 , 回顾了近年来混沌神 经元模型及混沌神 经网络的研究进 展 , 在此基础上 , 介绍了两 种混沌神经网络模型 , 分析了其 构成和特点 . 已有研究结果表明 , 混沌神 经网络 在联想记忆 和组合优化 等方面有 着比现有网 络更好的 性能 . 最 后 , 指 出了混沌神 经网络的 应用与研究方向 . 关键词 混沌 , 人工神经元 , 混沌神经网络 , 联想记忆 , 组合 优化
[ 16]
. 混沌神经网络的框架或模型也已提出
[ 18～24]
, 并涉及联想记忆、 组合优
362
信 息 与 控 制
26 卷
化如 T SP 等问题 . 人们对人工神经网络有兴趣的原因, 归根结底还是希望能看到神经网络的硬件实现, 即构 造 神 经 计 算 机 , 所 以, 构 造 和 讨 论 硬 件 线 路 以 观 察 混 沌 神 经 元 或 神 经 网 络 的 混 沌 响 应[ 11 , 15, 17, 25, 26] , 不仅可直接观察混沌神经网络的动力学行为, 还可为构造混沌神经计算机打下 基础. 由 3 个神经元组成的自激( Aut onomo us ) 元胞神经网络实际上是一种简化模型[ 17, 25, 27] , 这 有助于用神经网络分析分形和混沌行为. 两个神经元组成的延时元胞神经网络也是如此 [ 28] , 通过研究特征值和特征向量可以得出混沌神经元奇异吸引子的量化描述 . 混沌时间序列则是研究较多的又一方面[ 12, 13, 29] . 混沌时间序列在其内部有确定的规律性, 这来自于它的非线性混沌动力学特性 , 它们使系统表现出某种记忆能力 , 这种性质不易为解析 法所描述, 但又适于用神经网络处理 . 而混沌系统不可能作长期预测 , 但只要有足够好的模型 和对初始条件的精确观察, 它的确定性却使之在预测能力消失以前可以进行短期预测 . 这里又 是一个吸引人的崭新天地. 通过对于流体 ( Fl uid ) 神经网络 ( 由具有随机活动性的可移动的单元构成的神经网络) 中 的混沌 的研究, 得到 了用于描述 象昆虫社 会、 机器 人集体、 免疫系 统等一类 系统的理 论框 架 解
在生物神 经元的 动力学 模型构 造历史 上, M cCullochP itt s 神 经元 ( 1943) 和 Caianiello ( 1961) 神经元方程是非常重要的, 后者包含了前者 .
5期
董 军等: 混沌神经网络研究进展与展望
M j= 1 t i
363
x i ( t + 1) = u ( ∑ ∑W (ijr) x i ( t - r ) r= 0
[ 38]
. 实验表明 , 通过学习 , 可进化到模拟一个目标的随机过程的混沌行为, 这使我们看到
了经由神经学习的有趣的混沌自组织机制 , 并显示出规则是怎样被嵌入到确定的混沌中的 . 还可利用混沌的初值敏感性 , 训练有微小扰动输入的神经网络, 使之用于混沌控制[ 39] . 简 略地讲 , 目前的研究主要在于认识单个神经元的混沌特性和分析简单混沌神经网络的行为 , 因 而需要深入研究, 并获得应用.
式识别有关的方面 . 应用混沌动力学特性, 构造一个双向网络 , 使联结权值对应某种约束, 则可 将有效模式存在网络能量域的局部最小点 间动力学特性也得以研究
[ 31]
. 耦合的伪周期和混沌神经网络振动子的离散时
. 还有基于脑的生理机制和解剖学实验, 分析脑的存储记忆、 联想
[ 36]
回忆等非线性动力学问题, 一维混沌图显示了脑的混沌动力学特性 [ 35] . 利用混沌所表现出的 伪随机行为来获取输入中类噪声模式的关键信息为模式分类提供了新的希望 . 一个将神经信息学 ( Neuro inf ormat ics) 和确定的混沌组合起来的“ 生物” 代理, 利用递归神 经网络 ( Recurr ent Neural Net w orks ) 可观察并重构一个目标处理过程 [ 37] , 并用于存储和检索 信息
[ 13 ]
.
[ 3, 14～22]
混沌神经网络的研究起于并基于混沌神经元的研究 , 混沌神经元是构造混沌神经 网络的基本单位, 对于单个神经元的混沌特性的了解可为混沌神经网络提供必要前提和认识 基础. 混沌神经元的研究中 , 振荡子( Oscillat or ) 是一种典型的研究对象[ 17～19, 32] , 因为振荡子或 它们的组合可表现出丰富的混沌动力学行为. 对于在动力系统平衡点不满足 L ipschitz 条件所 引 起 的极限 ( T erminal) 混 沌的现象 的研究显 示: 神经 元活动的 混沌态与 高级认 识过程 有 关[ 14 ] ; 还有用谱和维数分析混沌神经元模型 [ 15] , 并用 f ( ) 谱量化混沌神经元模型的多分形 ( M ult if ract al) 结构
其中 u 0 = y 0 / y 0 . 正的 L yapunov 指数表征存在混沌行为. 1963 年 L orenz 在分析气侯数据时发现 : 初值十分接近的两条曲线的最终结果会相差很 大 , 从而获得了混沌的第一个例子; 1975 年 L i-Yorke 的论文“ 周期三意味着混沌” 使“ 混沌” 一 词首次出现在科技文献中. 混沌可由简单的确定性规则产生, 其运动状态可容易地由控制参数 改变, 并可使初值的微小差别加以扩大, 表面上的非周期背后隐藏着有序性, 混沌表明了长期 预测是不可能的. 混沌的研究始于数学和物理, 现已扩及工程、 信息和社会科学领域. 目前 , 混沌的应用可分为综合混沌 ( Sy nt het ic Chaos) 和分析混沌 ( Analy tic Chaos) 两方 面 . 前者利用人工产生的混沌从混沌动力学系统中获得可能的功能, 如人工神经网络的联想 记忆, 逃离局部最小, 机器人的路径规划等 , 它们都利用了简单的确定性规则 ; 后者分析由复杂 的人工和自然系统中获得的混沌信号并寻找隐藏的确定性规则 , 如时间序列数据的非线性确 定性预测, 系统的诊断和控制等 . 混沌吸引子是混沌系统研究的主要对象 , 不管系统初态如何, 最终行为都取决于吸引子. 神经网络理论研究中引入混沌学思想有助于揭示人类形象思维等方面的奥秘, 进而为合理利 用神经网络的混沌行为指明方向
1 引言
在过去的十年里, 人工神经元网络的研究与应用是计算机与人工智能、 认知科学、 神经生 理学、 非线性动力学等相关专业的热点. 它吸引了为数众多的科技工作者 , 提出或用及的网络 类型有百种, 涉及模式识别、 决策优化、 联想记忆、 自适应控制和计算机视觉等等难以胜数的方 面 , 有关神经网络算法、 性能及应用的论文大量出现 . 然而 , 由于目前人类对真实神经系统只了 解非常有限的一部分, 对于自身脑结构及其活动机理的认识还十分肤浅 , 当今的神经网络模型 实际上是极为简略和粗糙 , 并且是带有某种“ 先验” 的. 譬如 , Bolt zmann 机引入随机扰动来避 免局部最小, 有其卓越之处 , 然而缺乏必要的脑生理学基础. 毫无疑问, 人工神经元网络的完善 与发展有待于神经生理学、 神经解剖学的研究给出更加详细的信息和证据. 近年来, 人们发现, 脑中存在着混沌现象[ 1 , 2] , 混沌理论可用来理解脑中某些不规则的活 动[ 3] , 从而 , 混沌动力学为人们研究神经网络提供了新的契机 , 用神经网络研究或产生混沌以 及构造混沌神经网络成为摆在人们面前的又一新课题. 因为从生理本质角度出发 ( 这里并不是 单纯提倡纯粹意义上的生理模拟, 因为人类认识自然和社会的规律并非是一种“ 照抄照搬” 的 过程, 只是应该有客观的依据和明确的目的 ) 是研究神经网络的根本手段 . 为此, 本文对当今混 沌神经网络的研究作一简要回顾 , 疏漏之处在所难免 , 恳望指正.