暂态混沌动力学在神经网络优化计算中的应用

暂态混沌动力学在神经网络优化计算中的应用⒇杨立江　陈天仑　黄五群(南开大学物理科学学院,天津,300071)摘　要通过在神经网络状态空间演化方程中引入一个非线性反馈项,使神经网络系统的动力学表现出混沌特性.为将混沌动力学作为搜索机制应用于优化问题,又引入一个调节机制构成了暂态混沌神经网络模型.本文着重分析了暂态混沌神经网络动力学行为,并将其应用于旅行推销员问题.实现了全局优化且有较快的收敛速度.关键词:神经网络;暂态混沌动力学;组合优化;T SP0　引　言神经网络是一个非常复杂的非线性巨系统,存在各种复杂动力学行为.在生物学实验中人们已观察到人脑和动物神经系统中的各种混沌行为,因此在人工神经网络中引入和讨论混沌动力学必将提高人工神经网络的智能化程度,使人工神经网络具有更为广阔的应用前景.迄今已提出了许多具有混沌动力学的神经网络模型[1～3],本文通过在神经网络演化方程中引入一个非线性自反馈项,提出了一个混沌神经网络模型.为了利用混沌动力学作为优化问题中的搜索机制,我们进一步讨论了暂态混沌神经网络模型,预期能在优化问题中获得更好的跳出局域坑并收敛到全局最小的能力.在旅行推销员问题的应用中,也确实验证了本文提出的暂态混沌神经网络具有较好的收敛结果和速度.1　暂态混沌神经网络模型首先引入非线性自反馈项构成了混沌神经网络模型(CNN),在此基础上,通过一个调节机制又构成了暂态混沌神经网络模型.1.1　混沌神经网络模型混沌神经网络模型可描述如下[1,3] V i (t )=11+e -U i/X (1) U i (t +1)=KU i (t )+T ∑Nj =1W ij V i (t )+I i +g [U i (t )-U i (t -1)],i =1,2,…,n (2)其中U i 为第i 个神经元的内部状态;V i 为第i 个神经元的输出;W ij 为神经元j 到i 的互连权重;I i 为第i 个神经元的输入偏置;k 为神经膜阻尼系数(0≤k ≤1);X 是输出函数的陡度参数.混沌神经网络模型与一般的神经网络模型的重要区别在于演化方程(2)式右端的自反馈项g [U i (t )-U i (t -1)].正是由于这个自反馈项的引入.才使混沌神经网络具有更加丰富的时空动力学行为,而一般的神经网络系统则仅仅通过梯度下降收敛到一个稳定状态.通常自反馈项的函数g (x )取为非线性函数,非线性函数的具体形式在问题中至关重要.本文中,第32卷　第3期南开大学学报(自然科学)V o l.32　№31999年9月Acta Scientiarum N aturalium Universitatis N ankaiensis Sep.1999⒇收稿日期:1999-06-10*国家九五攀登计划非线性科学项目资助课题g (x )函数形式的选取基于以下几点考虑[1～2].(1)通过反馈项,应能改变系统不动点的稳定性,却不改变原系统的不动点位置,即要求g (0)=0.(2)Δ=[U i (t )-U i (t -1)]可以被视为系统趋向不动点的速度.大的Δ值表示系统离不动点较远.为保证系统具有趋近不动点的能力.g (Δ)在Δ值很大时必须足够小,以使系统具有类似于Ho pfield 模型的下降动力学.图1　函数g (x ),p 1=p 2=5Fig 1　A plot of function g (x ),p 1=p 2=5(3)在中等的Δ值处,系统进入了某一不动点的邻城,反馈项应使得系统能在该区域中停留一段时间之后离开这一区域,进入另一不动点邻城.根据以上三条原则,在本文中g (x )取如下形式:g (x )=p 1x ex p(-p 2|x |)其中p 1,p 2是控制函数幅度和陡度的参数,在以后的相关讨论中,p 1,p 2都被取作5,函数g (x )的形状如图(1)所示.注意到(2)式中的反馈项g [U i (t )-U i (t -1)]是在t =2时刻开启,它是对于ΔU i =U i (t )-U i (t -1)的非线性响应,而不是以ΔV i =V i (t )-V i (t -1)或V i -I 0为宗量[3],因此,输出函数f =1/[1+e U i (t )/X ]的饱和性能被充分利用.即对于较大的ΔU i 由(1)式只能导致较小的ΔV i ,反馈项g [U i (t )-U i (t -1)]的这一特性使系统能够到达相应于能量极小值的那些状态,但是却有机会脱离一些局域极小.基于以上的讨论,我们知道通过反馈项的引入,混沌神经网络系统能够在状态演化中沿着一分形结构搜索,这种混沌轨道的游动性可与优化问题的状态空间寻优联系起来.1.2　暂态混沌神经网络模型在实际的优化问题中要求作为搜索机制的混沌动力学只是暂时存在,否则系统将会在相空间不停地运动.为了在优化问题中利用混沌动力学跳出能量局域坑,但最后又要保证系统在游动到全局最优解或其附近时能稳定下来,因此在演化方程(2)式中将再引入一个分岔参数Z (t ).Z (t )可被认为是控制反馈项强度的一个参数.随着Z (t )的减小,系统中的混沌动力学将逐渐消失,最后系统通过倒分岔到达一个平衡状态,此系统的动力学行为可以被认为是一种暂态混沌动力学.暂态混沌神经网络模型描述如下: V i (t )=11+e -U i (t )/X (4)U i (t +1)=kU i (t )+T ∑nj =1,j ≠i W ij V j (t )+I i +Z (t )g [U i (t )-U i (t -1)],　i =1,2,…,n (5)Z (t +1)=(1-U )Z (t )(6)其中U 是依赖于时间的分岔参数Z (t )的衰减系数(0≤U ≤1).在开始阶段Z (t )足够大,系统将表现出混沌的特性.随后Z (t )逐渐减小,直到Z (t )小到不足以对系统的演化起作用,整个系统退化为一个单纯的Hopfield 神经网络,模型的动力学行为是敏感地依赖于Z (t )的.通过分析单个神经元的内部状态U (t )及最大李雅普诺夫指数随时间的演化,可以看到一个清晰的暂态混沌动力学过程.由确定性混沌开始,随着分岔参数Z (t )的减小,系统通过倒分岔途径逐渐收敛到一个稳定不动点解.这意味着暂态混沌动力学的引入使得此神经网络系统获得了在相空间中混沌漫游的能力,它可以仅通过改变参数U 值来控制.因此,这一特性很适合作为搜索机制在优化问题中得到应用.2　在旅行推销员问题中的应用旅行推销员问题(TSP)是一个经典的组合优化问题.它表述起来很简单,简言之就是寻找一条最短的遍历n 个城市的路径,且每个城市只经过一次,这是一个N P-困难问题,随着城市数目的增长,可行解的数·100·　南开大学学报(自然科学版)第32卷目增长很快,且其中有许多局域极小解.1985年,Hopfield 和Ta nk 提出具有下降动力学的Hopfield 神经网络模型[4],并把它应用于求解TSP 问题.这一方法的优点是利用了神经网络很强的并行处理能力,但其结果并不十分令人满意.由于能量函数的拓扑空间非常复杂,全局极小往往只有很小的吸引域,Hopfield 网络稳定到某一局域极小态就无法离开,因此不易获得最优解.由前面的分析,可以看出如果采用暂态混沌神经网络模型将具有以下一些优点:首先,非线性反馈项是外加的驱动项,它可以引入到各种各样的优化问题当中,而且它的引入并不改变问题的解(不动点);其次,系统能否在态空间巡游,以及它对能量局域极小态访问的范围的大小,可以容易地通过改变驱动项的参数来调节;再其次,可以引入某些参数调节的机制,使得能量的全局最小解或它的好的近似解处于稳定状态,而其它的局域极小处于不稳定状态,从而进一步改善寻优的能力.下面我们将暂态混沌神经网络应用于TSP 问题中,以提高搜索的性能.本文对TSP 问题的描述采用了与Hopfield 和Ta nk 文中一样的表述问题的编码方法[4].假设神经元的输出V i j 代表以历经顺序j 访问第i 个城市,因此满足各方面约束的能量函数可表述为[3]　E =W 12∑n i =1(∑n j =1V ij -1)2+∑n j =1(∑n i =1V ij -1)2+W 22∑n i =1∑n j =1∑n k =1(V k ,j +1+V k ,j -1)V ij d ik (7)其中下标表达式是模n 的,即V i 0=V in ,V in +1=V i 1;W 1和W 2是分别相应于合法路径约束条件和旅行路径长度约束的关联参数;d ij 代表城市i 与j 之间的距离.应用于TSP 问题的暂态混沌神经网络系统的动力学演化方程如下 V ij (t )=11+e -U ij (t )/X V ij (t +1)=kU ij (t )+T {-W 1∑n i ≠j V il (t )+∑n k ≠i x k j (t )-W 2[∑nk ≠id ik V k ,j +1(t )+∑n k ≠i d ik V k ,j -1(t )+W 1}+Z (t )g [U ij (t )-U ij (t -1)],　i ,j =1,2,…,n (9) Z (t +1)=(1-U )Z (t )(10)为了更清楚地看到用于解决旅行推销员问题的暂态混沌神经网络的基本特征及分析其中的动力学,先来研究一个简单的4城市TSP 问题.数值模拟中,4个城市的位置取文献[5]中10城市数据的前4个城市,方程(8)～(10)中的各参数取为: W 1= 1.0 W 2=1/4 T =0.05k =0.9X =1/250U =0.0035基于方程(7)～(10),我们计算了网络的能量演化及神经元的内部状态U ij ,并得到这4城市TSP 问题的最短路径为 1.342(此时对应的能量值为0.34).图2(a )和图2(b )分别显示了能量的演化和第一个神经元的内部状态U 11,从图2中可以清楚的看到系统从混沌运动逐渐收敛并稳定到能量最小态的过程.由图2(a),我们可以看到在达到1000步迭代之前,系统能量值的跳变很大,呈现出混沌特性,在1000步迭代以后,系统能量的变化幅度逐渐减小,最终稳定下来并收敛到系统能量的最小值处,第一个神经元的内部状态U 11的演化也正与图2(a)中能量的演化相呼应,开始1000步内U 11作不可预期的混沌运动,随着Z (t )值的衰减,U 11的混沌运动逐渐减弱,最终U 11在1500步迭代之后收敛到一个稳定状态.(10)式中的参数U 也是一个控制系统收敛速度的重要参数,为了检验U 在此系统动力学中的影响,我们通过在(10)式中取不同的U 值进行了研究.图3(a)和图3(b)分别对应能量在U =0.005及U =0.0015时的时间演化.图3(a )中由于U 值较大,系统中的混沌动力学消失地较快,约在800步时系统能量就收敛到了稳定点.而在图3(b)中由于U 值较小,Z (t )的衰减很缓慢,所以系统的混沌行为持续时间较长,甚至到了2000步迭代,系统仍未收敛.在图3(b)中由于退火过程较慢,还清楚地看到了一个系统跳出能量局域坑的过程,在迭代1250步左右,系统陷入一个局域坑,Eenerg y =0.45,由于此时的Z 值已较小,反馈项的影响相对要小一些,因而系统在此处稳定了大约200步之后,才又跳出了此局域极小,继续在能量空间中作混沌漫游.·101·　第3期杨立江等:暂态混沌动力学在神经网络优化计算中的应用图2　四城市TSP 问题中神经网络系统的能量及第一个神经元的内部状态U 11随时间演化Fig 2　Time evolutions of the system energy and the internal state U 11of the f irst neuron in 4-cityTSP图3　四城市TSP 问题中对应不同β值,神经网络系统能量的演化Fig 3　Time evolutions of system energy in 4-city TSP with dif ferent values of β 由上面对4城市T SP 问题求解过程中的动力学分析以及实际得到的结果,可以看到利用暂态混沌动力学确实能提高神经网络系统跳出局域极小的能力,下面我们尝试暂态混沌神经网络应用于10城市的旅行推销员问题中,进一步检验暂态神经网络在组合优化问题中的寻优能力.为了提高系统的搜索效率及收敛速度,将再引入一套网络初始化方法和一种不同的退火策略.本文网络的初始化方法是采用文献[5]中的方法,系统的退火策略则是采取文献[1]、[2]中的方法,其形式如下: Z (t )=Z (t )/ln(t +1)(11)在实际的计算中,城市的分布也取文献[5]中的数据,各参数的取值为: W 1= 1.0;　W 2=1/2;　T =0.08;　k =0.7;　X =1/250我们随机产生了5000个初始状态,当Z (t )取为5.0,得到的结果是:5000次计算中收敛到全局最小的比率是99.52%,4976次系统达到了全局最小(路径长度l = 2.69),其余次计算中系统也都收敛到了一些局域极小(路径长度l = 2.78,2.83,…),在所有5000次模拟中没有一次不可行路径.这一结果明显要优于单纯的H o pfield 网络及文献[1]、[2]中的结果,且在5000次计算中达到收敛的平均迭代次数为39步,这也显然要比文献[3]的平均数100～400步要快得多.3　讨论·102·　南开大学学报(自然科学版)第32卷在研究非线性系统的动力学时,人们的注意力大多集中在系统长时间的行为,即吸引子结构上,然而本文表明暂态混沌动力学在对优化问题的应用中也具有重要的价值.本文通过在下降动力学系统中引入一个非线性反馈项构成一个结构相对简单的混沌神经网络模型.当把混沌动力学作为搜索机制应用于优化问题时,它的主要优点是提供了一个跳出局域极小的机制.为使系统在游动到全局最优解或其近似解时能稳定下来,我们在反馈项上附加一个控制系数Z (t ),引入了一个暂态混沌神经网络模型,它使得系统随着Z (t )的衰减即混沌的减弱,搜索的范围也逐渐缩小,更加局限于能量较低的态空间的区域,直到混沌消失时,系统最终稳定于一个能量很低的极小态.虽然我们所做的研究只是基于较小规模的问题,如10个城市的旅行推销员问题,但是已经清楚揭示出它的动力学过程.如何将暂态混沌神经网络应用于更多城市数的TSP 问题中,并将它与已有的模拟退火法、遗传算法、列表寻优法(T ABU 法)等优化算法进行比较,是值得今后进一步研究的.参　考　文　献　1　Zhou Cha ng song ,Chen Tianlun,Huang W uqun.Chao tic neural netwo r k with no nlinea r self-feedback and its appli-cation in o ptimizatio n .N eurocomputing ,1997,14:209～222　2　Zhou Cha ng song ,Chen Tianlun .Chao tic annea ling fo r o ptimizatio n .Phys Rev ,1997,E 55:2580～2587　3　Che n Luonan,Aiha ra Kazwy uki.Chao tic simula ted a nnealing by a neur al ne two rk mo del with transient chaos.N erual N etwork s ,1995,8:915～930　4　Hopfield J J ,T ank D W .“N eural ”com putation of decisio n in optimizatio n pro blems .Biol C ybernetics ,1985,52:141～152　5　W ilson G V ,Paw ley G S.O n the stability o f the T rav eling Salesman Pro blems.Biol C ybernetics ,1988,58:63～70APPLICA T ION O F T RAN SIEN T LY CHAO TICDYN AM ICS IN N EU RAL COM PU T IN GYa ng Lijiang ,Chen Tianlun,Huang W uqun(The Institute of Physics ,N ankai Univ ersity ,Tianjin ,300071)Abstract The dy namics of neural netw ork sy stem will present chao tic cha racters th roug h adding a nonlinear feedback term in the state evo lution equa tion .In o rder to use the chao tic dynamics asthe heuristic mechanism in the o ptimization problem s ,w e also introduced a n adjusting methodto co nstruct a transiently chao tic neural netwo rk model.In this paper,w e mainly a naly zed thedynamical behaviour of the transiently chao tic neural netw ork sy stem,and applied the mo del tothe traveling salesman problem .In the applica tio n ,g lobal o ptimization is realized w ith fasterconv ergence speed. Key words :neur al ne two rk;tra nsient chao tic dy na mics;combina to rial optimiza tio n;T SP ·103·　第3期杨立江等:暂态混沌动力学在神经网络优化计算中的应用。