基于遗传算法的人工神经网络的应用综述_文绍纯
文章编号:1001-9227(2001)06-0001-04
基于遗传算法的人工神经网络的应用综述
文绍纯 罗 飞 付连续 莫鸿强
(华南理工大学电子与信息学院 广州,510640)
摘 要:本文介绍了一种新型的、随机性的全局优化方法———遗传算法,系统地讨论了基于遗传算法的人工神经网络的主要应用,并给出了大量实验数据,实验结果表明遗传算法具有快速学习网络权重的能力,并且能够摆脱局部极点的困扰。
关键词:遗传算法 人工神网络 学习 权值
ABSTR ACT:In this paper,a new,random optimization and search method-genetic algorithm(GA)was introduced.The main applications of artificial neural metworks based on genetic algorithms are discussed sys-temically.The empirical test indicates the capability of the genetic algorithm in fast learning of ANN and escap-ing local optima.
KEYWOR DS:Genetic algorithm Artificial neural network Learn Weight
中图分类号:TP389.1文献标识码:A
0 引 言
自然界的生物进化是按“适者生存,优胜劣汰”规律进行的,Michigan大学Holland教授根据这一规律于1975年首次提出了遗传算法(GA)[1],其基本思想是力求充分模仿这一自然寻优过程的随机性、鲁棒性和全局性。这是一种新型的全局优化搜索算法,因为其直接对结构对象进行操作,不存在求导和函数连续性的限定,鲁棒性强、随机性、全局性以及适于并行处理,已广泛应用于神经网络、计算机科学、优化调度、运输问题、组合优化、机器学习、信号处理、自适应控制和人工生命等领域,并且遗传算法在实际应用中也取得了巨大成功。
遗传算法用于神经网络主要是用遗传算法学习神经网络的权重和学习神经网络的拓朴结构,而最主要的是学习神经网络的权重,也就是用遗传算法来取代一些传统的学习算法。评价一个学习算法的标准是:简单性、可塑性和有效性。一般地,简单的算法并不有效,可塑的算法又不简单,而有效的算法则要求算法的专一性、完美性,从而又与算法的可塑性、简单性相冲突。目前广泛研究的前馈网络中采用的是Rumelhart等人推广的误差反向传播(BP)算法,BP算法具有简单和可塑的优点,但是BP算法是基于梯度的方法,这种方法的收敛速度慢,且常受局部极小点的困扰,采用GA则可把神经网络的结构优化和权值学习合并起来一起求解,克服了BP算法的缺陷,是神经网络权值学习的有效方法。但这种方法对计算机的处理能力要求很高,随着计算机技术的不断发展,使得该方法的应用成为可行。
1 人工神经网络和遗传算法的基本原理
1.1 人工神经网络(ANN)
ANN[2]是对人类大脑的一种物理结构上的模拟,即以计算机仿真的方法,从物理结构上模拟人脑,以使系统具有人脑的某些智能。在众多的ANN 模型中,多层前馈神经网络模型是目前应用最为广泛的模型。用反向传播学习算法(简称BP算法)可以实现多层前馈神经网络的训练,BP算法具有简单和可塑性的优点,但是B P算法是基于梯度的方法,这种方法的收敛速度慢,且常受局部极小点的困扰,而采用GA则可克服BP算法的缺陷。
1
自动化与仪器仪表
ZID ONGHUA YU YIQI YIBIA O 2001年第6期(总第98期)
1.2 遗传算法(GA)
GA[3]以生物进化过程为背景,模拟生物进化的步骤,将繁殖、杂交、变异、竞争和选择等概念引入到算法中,通过维持一组可行解,并通过对可行解的重新组合,改进可行解在多维空间内的移动轨迹或趋向,最终走向最优解。它克服了传统优化方法容易陷入局部极值的缺点,是一种全局优化算法。遗传算法的步骤如下:(1)定义一个目标函数;(2)将可行解群体在一定的约束条件下初始化,每一个可行解用一个向量x来编码,称为一条染色体,向量的分量代表基因,它对应可行解的某一决策变量;(3)计算群体中每条染色体x i(i=1,2,…,n)所对应的目标函数值,并以此计算适应值F i,按F i的大小来评价该可行解的好坏;(4)以优胜劣汰的机制,将适应值差的染色体淘汰掉,对幸存的染色体根据其适应值的好坏,按概率随机选择,进行繁殖,形成新的群体;(5)通过杂交和变异的操作,产生子代。杂交是随机选择两条染色体(双亲),将某一点或多点的基因互换而产生两个新个体,变异是基因中的某一点或多点发生突变;(6)对子代群体重复步骤(3)～(5)的操作,进行新一轮遗传进化过程,直到迭代收敛(适应值趋稳定)即找到了最优解或准最优解。
2 基于遗传算法的人工神经网络的应用
基于遗传算法的人工神经网络的应用的基本原理是用遗传算法(GA)对神经网络的连接权值进行优化学习,利用GA的寻优能力来获取最佳权值。
由于遗传算法具有鲁棒性强、随机性、全局性以及适于并行处理的优点,所以被广泛应用于神经网络中,其中有许多成功的应用。
李敏强[4]采用了一种改进的遗传算法(MGA),将之应用于人工神经网络中,求解了短期地震预报问题。在改进的MGA中,采用了自适应交叉率和变异率,并且把GA和B P结合起来。文[4]将误差反传算法(BP)和实数编码遗传算法(GA),改进型(MGA)三种算法应用于神经网络短期地震预报中,并给出了三种方法的结果比较。
其中,网络选用三层BP网络,前一年的最大震级、最大震级之差、累计能量及累计能量之差为网络的输入,网络的输出是下一年的震级,隐层节点数为30,这个4-30-1网络共有150个可调权值,各层的激发函数均为Sigmoid型函数。BP算法中,学习率η=0.7;惯性系数α=0.2。实数GA中,群体容量n=40,交叉率P C=0.12,变异率P m=0.1,亲代度量S=0.9,各参数在算法运行过程中保持不变。MGA 中,常量k c=0.1,k m=0.11。三种算法的运行结果如图1所示
。
由实验结果可以看出遗传算法具有快速学习网络权重的能力,并且能够摆脱局部极小点的困扰。
蔡鹭欣[5]把基于反向传播神经网络的遗传算法用于酒类气体识别实验中的传感器阵列的筛选,通过评价传感器组合对反向传播神经网络识别酒类气体结果的影响,建立一种挑选传感器阵列的方法。遗传算法(GA)是一类借鉴生物界自然选择和自然遗传机制的随机化搜索算法,由于其主要特点是群体搜索策略和群体中个体之间的信息交换,搜索不依赖梯度信息。该算法从多点出发开始搜索,加上交叉作用,所以该算法不容易陷入局部最小误差。目前在气体识别中用得比较广泛的是阵列传感器。阵列传感器对被测气体产生原始响应,然后利用模式识别等方法通过对原始响应的识别达到识别气体的目的。
抽取文[5]中实验训练集中3组有代表性的实验数据作为遗传算法中训练集适应度的检验数据,其余作为训练数据,经过实验验证,表明在迭代了11次后,遗传算法所求的最优解群都具有很好识别葡萄酒、啤酒和白酒的能力。
按照一般的定义:若神经网络在第i次实验中对气体A的计算值-期望值<0.5则认为在第i 次实验中,神经网络可以识别气体A;否则认为,神经网络不能识别气体A。把遗传算法所得的解群进行统计分析,如果如表1所示,与表2的统计相比较,结果基本一致。因此可以认为,用遗传算法可以达到挑选传感器组合和判别各传感器在识别中的贡献大小的作用。
2
表1 各个传感器在适应度最高的前10、前20、前30个
解中的出现次数
传 感 器
1
234567
8
各传感器在适应度最大的前10个解中的出现次数4
5
5
6
3
7
410
各传感器在适应度最大的前20个解中的出现次数8111010914720各传感器在适应度最大的前30个解中的出现次数
1414191513221222
表2 在识别率分别为90%、80%和70%时,各传感器
在包含该传感器的所有组合中能够完成识别任务的比例
识别率(%)
各传感器在包含该传感器的所有组合中能够完成
识别任务的比例(%
)123456789055596566587058100806467766666796610070
66
68
77
73
69
82
68
100
葛红[6]将遗传算法应用于优化基于神经网络结构的控制器的参数,并用该控制器去控制有纯滞后
的对象,通过实验证明了用遗传算法优化后的控制系统具有良好的静态性能和动态性能,为解决控制领域中的这一难题做出了新的探索。
文[6]中应用神经网络构成的一个控制器,用于控制有纯滞后的对象,整个控制系统结构如图2所示。
根据Kolmlgorol 定理
[7]
,采用三层神经网络结构
作为控制器,即:输入层、隐层、输出层,根据有关公式与经验,输入层维数n 定为2(输入误差e 及误差率﹒e ),输出层维数m 为1(输出控制量y ),隐层维数n 1定为8。由此构成的神经网络控制器的结构中共有24个权值需确定。BP 网络权值的训练算法中,最常用和成熟的是
BP 算法,但BP 算法收敛速度慢,且易陷入局部最优,文[6]中引用GA 作为权值优化方法,作者根据实际应用情况,选用以下的GA 的具体实现形式:
(1)由于神经网络的权值为实数,所以解空间
采用二进制编码;
(2)引入精华策略,即每代都保留父代中几个最优解,以保证搜索过程收敛
;(3)引入均匀交叉算子,以求得全局最优解。
其他操作则采用简单的GA 的形式。
为了说明神经网络结构的控制和GA 参数训练的有效性,选取经典控制问题中较为典型的一阶纯滞后对象进行实验。
对象模型:G p (S )=
Ke -2s
T s +1
其中:时间常数T =1,增益系数K =0.5。采用MATLAB 语言编程,分别对系统的定值控制,抗干扰性和鲁棒性进行了仿真实验,结果如图3所示。
(1)在阶跃输入的情况下,输出响应曲线如图3所示。
结论:从仿真结果可见,系统动态过程较平稳,超调量小,过渡过程时间短,且静态误差小。说明经过训练后,模糊控制器能达到较好的性能。
(2)抗干扰实验
在t =20时加入单位脉冲干扰信号,仿真结果
如图4所示。
3
结论:从仿真结果可见,在脉冲干扰作用后,系统能快速、平稳的恢复稳定状态,说明系统抗干扰能力强。
(3)鲁棒性实验
改变对象的参数,以检验GA 优化后的神经网络控制器的适应性,仿真结果如图5所示
。
结论:从仿真结果可见,对象参数改变,对仿真曲线影响不大。说明系统对不同对象适应性强,有较好的鲁棒性。
王珏[8]
将遗传算法应用于人工神经网络模型,
确定一零部件的维修策略,并结合实例进行了分析,经实验检验,该系统选择维修策略与实际完全符合,维修费用预测值与实际值的相对误差在允许范围内,故该模型是可信的。文[8]采用遗传算法学习神经网络连接权,不仅可以发挥神经网络的广泛映射能力,而且有助于提高其收敛速度和学习能力。肖专文[9]将遗传算法应用于神经网络,构成GA -ANN 法,协同求解复杂工程中的优化问题。该法既利用了神经网络的非线性映射、网络推理和预测的功能,又利用了遗传算法的全局优化特性,可广泛地应用于目标函数难以用决策变量的显函数形式来表达的众多复杂工程问题中。
杨兆升[10]运用遗传算法进行参数选择,克服了传统流体神经网络的权值矩阵对称等限制,拓宽了这种智能搜索方法的应用领域。
基于遗传算法的人工神经网络的应用还有很多
成功的例子,在此不再一一说明。
3 结束语
综上所述,遗传算法作为一种新型的全局优化搜索算法,由于其直接对结构对象进行操作,不存在求导和函数连续性的限定,又具有鲁棒性强、随机性、全局性以及适于并行处理的优点,在人工神经网络的应用上展现了它的独特魅力与优势,但同时,它在理论和应用技术上也存在着许多不足和缺陷,比如相对鲜明的生物基础,其数学基础显得极为薄弱,尤其是缺乏深刻且具有普遍意义的理论分析。随着理论研究的深入,可以肯定,作为一种高效并行的全局搜索方法,遗传算法以其特有的算法特点使其在许多实际问题中的应用会越来越广;同时,广泛的数学方法和强大的计算机模拟工具的出现,必将使遗传算法的研究取得长足的进展。
参考文献
1 Holland J H .Adaptation in natural and artificial systems .MI :U -niversit y of Michigan Press .1975
2 董聪.人工神经网络当前的进展与问题.科技导报,1999,No .7
3 汪祖媛,章劲松,庄镇泉.遗传算法的应用研究进展.中国科学技术大学学报,1999,No .4
4 李敏强,徐博艺,寇纪松.遗传算法与神经网络的结合.系统工程理论与实践,1999,Vol .19,No .26 蔡鹭欣,杨燕明,杨
原.基于反向传播神经网络的遗传
算法在酒类气体识别中的应用.厦门大学学报(自然科学版),1999,Vol .38,No .3
6 葛红.用遗传算法训练基于神经网络结构的控制器.华南师范大学学报(自然科学版),2000,No .1:33-38
7 焦李成.神经网络系统理论[M ].西安:西安电子科技大学出版社,1993
8 王钰,宋华文,龚传言.利用人工神经网络技术确定零部件的维修策略.系统工程理论与实践,1999,Vol .19,No .109 肖专文,徐日庆,龚晓南.求解复杂工程优化问题的一种实用方法.水利学报,1999年第2期
10 杨兆升,姜桂艳,温慧敏.流体神经网络在非规范条件下
的应用研究.系统工程理论与实践,1999,Vol .19,No .8
2002年即将到来,在新的一年里,本刊欢迎广大读者踊跃订阅!欢迎广大作者积极投稿!!欢迎广大客户刊登产品广告!!!
4
遗传算法综述
遗传算法综述 摘要：遗传算法(genetic algorithms，GA)是一类借鉴生物界自然选择和自然遗传机制的随机搜索算法，适用于处理传统搜索方法难以解决的复杂和非线性优化问题。遗传算法可广泛应用于组合优化、机器学习、自适应控制、设计和人工生命等领域，是21世纪有关智能计算中的重要技术之一。 本文通过对相关论文的查阅和整理，对遗传算法的研究现状和发展趋势进行了综述并谈论了一些自己的看法。 关键词：遗传算法研究现状发展趋势 引言：遗传算法是模拟遗传选择和自然淘汰的生物进化过程的计算模型，由美国Michigan大学的Holland教授于1969年提出，后经DeJong、Goldberg 等人归纳总结，形成一种新的全局优化搜索算法[1]。遗传算法以其简单通用、鲁棒性强、适于并行处理以及高效、实用等显著特点，在各个领域得到了广泛应用，取得了良好效果，并逐渐成为重要的智能算法之一。 1、遗传算法的基本原理 与传统搜索算法不同, 遗传算法从一组随机产生的初始解,称为群体, 开始搜索过程。群体中的每个个体是问题的一个解,称为染色体。这些染色体在后续迭代中不断进化, 称为遗传。遗传算法主要通过交叉、变异、选择运算实现。交叉或变异运算生成下一代染色体, 称为后代。染色体的好坏用适应度来衡量。根据适应度的大小从上一代和后代中选择
一定数量的个体, 作为下一代群体, 再继续进化, 这样经过若干代之后, 算法收敛于最好的染色体, 它很可能就是问题的最优解或次优解。“遗传算法中使用适应度这个概念来度量群体中的各个个体的在优化计算中有可能到达最优解的优良程度。度量个体适应度的函数称为适应度函数。适应度函数的定义一般与具体求解问题有关”[2]。 遗传算法包含两个数据转换操作，一个是从表现型到基因型的转换，将搜索空间的参数或解转换成遗传空间中的染色体或个体，这个过程称为编码（coding）。另一个是从基因型到表现型的转换，即将个体转化成搜索空间中的参数，这个过程称为译码（decode）。 图1展示了遗传算法的运行过程。 图1 遗传算法的运行过程示意图 2、遗传算法的研究现状 2.1 遗传算法研究方向[3] 在遗传算法的研究中，目前主要有三类研究方向： ⑴研究遗传算法本身的理论基础。 ⑵用遗传算法作为工具解决工程问题。主要是进行优化，关心的是能
遗传算法综述
3D S可以方便灵活地实现对动画帧中的节点、平面、边界、颜色和轨迹的控制,同时对于物体变形测试,轴心点设置以及段信息的获取和设置也能方便准确地进行。而keyscri p t语言的优点体现在于其精确的数值计算,它可以对大量的复杂无序的动作进行随机计算,节省了制作时间。利用keyscri p t编辑器还能方便地进行语法检查并能直接执行无语法错误的keyscri p t程序。3 内存管理方式 3D S使用了独特的Pharlap的虚拟内存管理技术(VMM 386),该技术使3D—Studi o能使用比物理内存RAM更大的空间。这种内存管理方式与W indow2 s T M的内存管理方式不同,因此一般不在W indow s T M中使用3D S,若要在W indow s T M中使用,则必须在W in2 dow s T M的system1in i中的[386Enh]段加入device= Pharlap1386,使W indow s T M可以使用Pharlap的内存管理方式。这种内存管理方式也有一些不足,如内存一旦被3D S使用将不被释放。 4 硬件环境 使用3D—Studi o410的最低配制要求是386(带协处理器)的主机,至少8兆的内存,20兆以上的硬盘空间,DO S313以上的操作系统。由于3D S中的许多图形渲染时都必须使用256色,且观看3D S自带的一些图片也必须在256色的模式下进行,所以需要SV GA或TV GA的显示器。输入系统除了键盘外还必须配有鼠标,也可选配数字化仪。由于3D S在进行图形渲染需要大容量的内存,同时还需要CPU进行大量的浮点运算,因此当CPU为Pen tium T M、内存为16兆以上,并使用高性能的显示卡时,3D S的动画制作功能才能得到完美体现。由于ln tel公司生产的CPU兼容的Cyrix、AM D等公司生产的CPU浮点运算能力较差,因此CPU首选还是ln tel公司的产品。外设还可选配数字化仪等设备,对于需要直接输出到磁带上,并使用电视进行播发的动画,则可选用专业用户级以上的逐帧录向设备。 总之,3D S是一个庞大的图形工作平台,学会使用它的各种命令,发挥软件的强大功能绘制出优秀的动画和图象,还需要有很多技巧。随着人们对3D S认识加深,以它为平台开发的动画产品必将更加丰富多彩。 参考文献 1 [美]S1D1E lli o t,P1L1M iller,G1G1Pyro s著1黄心渊等译《3D—Studi o技术精粹》1北京:清华大学出版社。 19951 2 黄心渊 左正兴编著1《3D—Studi o(310—410)技术与应用》1北京:清华大学出版社,19961 收稿日期:1996年11月18日 遗传算法综述 艾丽蓉 何华灿 (西北工业大学计算机系 西安710072) 摘 要 本文从计算智能与进化计算谈起,论述了遗传算法产生的思想及背景,遗传算法的应用与研究现状,以及遗传算法研究的基本内容与问题,最后对GA与传统搜索算法做一比较,并概述了GA在并行处理应用中的潜在优势。 关键词 计算智能 进化计算 遗传算法(GA) 0 序言 长久以来,人们一谈到人工智能就马上想到逻辑、规则、推理,而一谈到计算就联想到矩阵运算、解微分方程,似乎智能和计算是两股道上跑的车。人工智能在走过几十年的曲折道路之后,人们经过认真反思,不断探索新的研究途径,于是一个新的研究方向——计算智能应运而生。 研究思维模拟主要的道路有四条:基于心理学的符号处理方法,基于社会学层次型的智能体方法,基于生物进化的进化计算与自适应方法,以及基于生理学的人工神经网络方法。目前聚集在计算智能大旗下的主要是后两个学派的学者(加上从事模糊计算和混沌计算等方面的学者)。实际上,只要在计算机上,模拟人类思想,不管用什么方法,其本质的基础还是二进制数字计算,在当前符号处理主宰人工智能的情况下,更应强调遗传算法等以数字计算为基础的方法对推动人工智能发展有着特殊的作用。 计算技术的飞速发展使大规模的现实模拟成为可能,而针对社会和生物现象的模拟,对人类认识自身及其环境具有重大意义,进化是其中最为诱人的领域之一。人的智能是从哪里来的?归根结底是从生物进化中得来的,反映在遗传基因中,脑的结构变化也是通过基
人工神经网络的发展及应用
人工神经网络的发展与应用 神经网络发展 启蒙时期 启蒙时期开始于1980年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Pape~发表的《感知器》(Perceptron)一书。早在1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型(即M—P模型)，该模型把神经细胞的动作描述为：1神经元的活动表现为兴奋或抑制的二值变化；2任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；3任何抑制性突触有输入激励后，使神经元抑制；4突触的值不随时间改变；5突触从感知输入到传送出一个输出脉冲的延迟时问是0．5ms。可见，M—P模型是用逻辑的数学工具研究客观世界的事件在形式神经网络中的表述。现在来看M—P 模型尽管过于简单，而且其观点也并非完全正确，但是其理论有一定的贡献。因此，M—P模型被认为开创了神经科学理论研究的新时代。1949年，心理学家D．0．Hebb 提出了神经元之间突触联系强度可变的假设，并据此提出神经元的学习规则——Hebb规则，为神经网络的学习算法奠定了基础。1957年，计算机学家FrankRosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”(Perceptron)，它是由阈值性神经元组成，试图模拟动物和人脑的感知学习能力，Rosenblatt认为信息被包含在相互连接或联合之中，而不是反映在拓扑结构的表示法中；另外，对于如何存储影响认知和行为的信息问题，他认为，存储的信息在神经网络系统内开始形成新的连接或传递链路后，新 的刺激将会通过这些新建立的链路自动地激活适当的响应部分，而不是要求任何识别或坚定他们的过程。1962年Widrow提出了自适应线性元件(Ada—line)，它是连续取值的线性网络，主要用于自适应信号处理和自适应控制。 低潮期 人工智能的创始人之一Minkey和pape~经过数年研究，对以感知器为代表的网络系统的功能及其局限性从数学上做了深入的研究，于1969年出版了很有影响的《Perceptron)一书，该书提出了感知器不可能实现复杂的逻辑函数，这对当时的人工神经网络研究产生了极大的负面影响，从而使神经网络研究处于低潮时期。引起低潮的更重要的原因是：20世纪7O年代以来集成电路和微电子技术的迅猛发展，使传统的冯·诺伊曼型计算机进入发展的全盛时期，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。但是在此时期，波士顿大学的S．Grossberg教授和赫尔辛基大学的Koho—nen教授，仍致力于神经网络的研究，分别提出了自适应共振理论(Adaptive Resonance Theory)和自组织特征映射模型(SOM)。以上开创性的研究成果和工作虽然未能引起当时人们的普遍重视，但其科学价值却不可磨灭，它们为神经网络的进一步发展奠定了基础。 复兴时期 20世纪80年代以来，由于以逻辑推理为基础的人工智能理论和冯·诺伊曼型计算机在处理诸如视觉、听觉、联想记忆等智能信息处理问题上受到挫折，促使人们
遗传算法综述
遗传算法综述 太原理工大学刘晶学号：s2******* 摘要：遗传算法是模仿自然界生物进化机制发展起来的随机全局搜索和优化方法，它借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一种高效、并行、全局搜索的方法，它能在搜索过程中自动获得和积累有关搜索空间的知识，并自适应地控制搜索过程以求得最优的方案。遗传算法作为一种实用、高效、鲁棒性强的优化技术，有着广泛的应用前景。 关键词：遗传算法数学模型优点流程 一，概述。遗传算法（Genetic Algorithm，简称GA）起源于对生物系统所进行的计算机模拟研究。美国Michigan 大学的Holland 教授及其学生受到生物模拟技术的启发，创造了一种基于生物遗传和进化机制的适应于复杂系统优化的自适应概率优化技术———遗传算法。 二，基本遗传算法的数学模型。基本遗传算法可表示为：SGA=（C，E，P0，M，Φ，Γ，Ψ，T）式中，C为个体的编码方法；E 为个体适应度评价函数；P0 为初始种群；M为种群大小；Φ为选择算子；Γ为交叉算子；Ψ为变异算子；T为遗传运算终止条件。 三，遗传算法的优点。 3.1 对可行解的广泛性表示。遗传算法的处理对象不是参数本身，而是针对那些通过参数集进行编码得到的基因个体。次编码操作
使得遗传算法可以直接对结构对象进行操作。 （1）通过对连接矩阵的操作，遗传算法可用来对神经网络或自动机的结构或参数加以优化。 （2）通过对集合的操作，遗传算法可实现对规则集合和知识库的精炼而达到高质量的机器学习目的。 （3）通过对树结构的操作，用遗传算法可得到用于分类的最佳决策树。 （4）通过对任务序列的操作，遗传算法可用于任务规划，而通过对操作序列的处理，可自动构造的顺序控制系统。 3.2 群体搜索特性。许多传统的搜索方法都是单点搜索，这种点对点的搜索方法，对于多峰分布的搜索空间常常会陷于局部的某个单峰的极值点，相反，遗传算法采用的是同时处理群体中多个个体的方法。 3.3 不需要辅助信息。遗传算法仅用适应度函数的数值来评估基因个体，并在此基础上进行遗传操作。更重要的是，遗传算法的适应度函数不仅不受连续可微的约束，而且某定义域可以任意设定。对适应度函数的唯一要求是，编码必须与可行解空间对应，不能有死码。由于限制条件的缩小，使得遗传算法的应用范围大大扩展。 3.4 内在启发式随机搜索特性。遗传算法不是采用确定性规则，而是采用概率的变迁规则来指导它的搜索方向。概率仅仅是作为一种工具来引导其搜索过程朝着搜索空间的更优化的解区域移动的。虽然看起来它是一种盲目搜索方法，实际上它有明确的搜索方向，具有内
Hopfield神经网络综述
题目：Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfiel d神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfiel d神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
最新神经网络最新发展综述汇编
神经网络最新发展综述 学校：上海海事大学 专业：物流工程 姓名：周巧珍 学号：201530210155
神经网络最新发展综述 摘要：作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。本文分8个方面综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。 关键词: 类脑智能；神经网络；深度学习；大数据 Abstract: As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intelligence and also a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural network entitles machines the capability to capture “abstract concepts” and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and points out its possible future directions. Key words : artificial intelligence; neural network; deep learning; big data 1 引言 实现人工智能是人类长期以来一直追求的梦想。虽然计算机技术在过去几十年里取得了长足的发展，但是实现真正意义上的机器智能至今仍然困难重重。伴随着神经解剖学的发展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和学习规则，建立模拟大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能”的研究目标。 类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。类脑智能的
遗传算法
遗传算法发展前景概况 （华北电力大学电气与电子工程学院，北京102206） 摘要：遗传算法是一种基于生物进化自然选择和群体遗传机理的，适合于复杂系统优化的自适应概率优化技术，近年来，因为遗传算法求解复杂优化问题的巨大潜力和在工业工程领域的成功应用，这种算法受到了国内外学者的广泛关注，本文介绍了遗传算法研究现状和发展的前景，概述了它的理论和技术，并对遗传算法的发展情况发表了自己的看法。 关键词：遗传算法; 遗传算子；进化计算；编码 GENERAL GENETIC ALGORITHM DEVELOPMENT PROSPECT (North China Electric Power University Electrical And Electronic Engineering Institute,Beijing102206) ABSTRACT: Genetic algorithm is a kind of natural selection and based on biological evolution of genetic mechanism, group suitable for complex system optimization adaptive probability optimization technique, in recent years, because genetic algorithm for solving complex optimization problem in the huge potential and the successful application of industrial engineering, this algorithm was wide attention of scholars at home and abroad, this paper introduces the current research status and development of genetic algorithm, summarizes the prospect of its theory and technology of genetic algorithm and the development of published opinions of his own. KEY WORD: Genetic algorithm; Genetic operator; Evolutionary computation; coding 1.引言 现在，遗传算法正在迅速发展，遗传算法与其很强的解决问题能力和适合于复杂系统的自适应优化技术渗透到研究和工业工程领域，在电力系统，系统辨识,最优控制，模式识别等领域有了很广泛的应用，取得了很好的效果。 2.遗传算法基本思想 遗传算法是建立在自然选择和群体遗传学基础上的随机，迭代和进化，具有广泛适用性的搜索方法，所有的自然种类都是适应环境而生存，这一自然适用性是遗传算法的主要思想。 遗传算法是从代表问题可能潜在解集的一个种群开始的，而一个种群则经过基因编码的一定数目的个体组成。每个个体实际上是染色体带有特征的实体。染色体作为遗传物质的主要载体，其内部基因决定了个体的外部表现。因此，在一开始就要实现外部表现到内部基因的映射，即编码工作，通常采用二进制码。初始种群产生之后，按照适者生存和优胜劣汰的原则，逐代演化产生出越来越好的近似解。在每一代，根据问题域中个体的适应度大小选择个体，并借助自然遗传学的遗传算子进行组合交叉和变异，产生出代表新的解集和种群，这种过程将导致种群像自然进化那样产生比前代更适应于环境的后代种群，末代种群中的最有个体经过解码，可以作为问题近似最优解。 遗传算法采纳了自然进化模型，如选择，交叉，变异等，计算开始时，种群随机初始化产生一定数目的N个个体，并计算每个个体的适应度函数，如果不满足优化准则，就开始新一代的计算。为了产生下一代，按照适应度选择个体父代进行基因重组二产生子代。所有的子代按一定的概率进行变异，子代取代父代构成新一代，然后重新计算子代的适应度。这一过程循环执行，直到满足优化准则为止。 3.遗传算法基本操作
遗传算法综述
遗传算法综述 遗传算法是计算数学中用于解决最优化的搜索算法，是进化算法的一种。进化算法最初是借鉴了进化生物学中的一些现象而发展起来的，这些现象包括遗传、突变、自然选择以及杂交等。 在阅读了一些相关资料后，我整理出这篇综述，将通过五个部分来介绍遗传算法以及其在计算机科学领域的相关应用、 一、起源和发展分支 尝试性地将生物进化过程在计算机中模拟并用于优化问题求解开始于20世纪50年代末，其目的是将生物进化的思想引入许多工程问题中而成为一种优化工具，这些开拓性的研究工作形成了遗传算法的雏形。但当时的研究进展缓慢，收效甚微。原因是由于缺少一种通用的编码方式，人们只有通过变异才能改变基因结构，而无法使用交叉，因而增加了迭代次数。同时算法本身需要较大的计算量，当时的计算机速度便无法满足要求，因而限制了这一仿生过程技术的迅速发展。20世纪60年代中期，Holland在Fraser和Bremermann等人研究成果的基础上提出了位串编码技术，这种编码技术同时适用于变异操作和交叉操作。 遗传算法的真正产生源于20世纪60年代末到70年代初，美国Michigan大学的Holland教授在设计人工适应系统中开创性地使用了一种基于自然演化原理的搜索机制，并于1975年出版了著名的专著“Adaptation in Natural and Artificial Systems”，这些有关遗传算法的基础理论为遗传算法的发展和完善奠定了的基础。同时，Holland教授的学生De Jong首次将遗传算法应用于函数优化中，设计了遗传算法执行策略和性能评价指标，他挑选的5个专门用于遗传算法数值实验的函数至今仍被频繁使用，而他提出的在线(on-line)和离线(off-line)指
Hopfield神经网络综述
题目： Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfield神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
遗传算法概述
第1期作者简介：李红梅（1978-），女，湖南湘潭人，硕士，广东白云学院讲师，研究方向为演化计算。 1遗传算法的发展史 遗传算法（Genetic Algorithms ）研究的历史比较短，20世纪 60年代末期到70年代初期，主要由美国家Michigan 大学的John Holland 与其同事、学生们研究形成了一个较完整的理论 和方法，遗传算法作为具有系统优化、适应和学习的高性能计算和建模方法的研究渐趋成熟。我国对于GA 的研究起步较晚，不过从20世纪90年代以来一直处于不断上升中。 2遗传算法的基本思想 遗传算法是从代表问题可能潜在解集的一个种群（popu- lation ）开始的，而一个种群则由经过基因（gene ）编码（coding ） 的一定数目的个体（individual ）组成。每个个体实际上是染色体（chromosome ）带有特征的实体。染色体作为遗传物质的主要载体，即多个基因的集合，其内部表现是某种基因组合，它决定了个体的形状的外部表现。初代种群产生之后，按照适者生存和优胜劣汰的原理，逐代（generation ）演化产生出越来越好的近似解。在每一代中，根据问题域中个体的适应度（fitness ）、大小挑选（selection ）个体，借助于自然遗传学的遗传算子（genetic operators ）进行组合交叉（crossover ）和变异（mutation ），产生出代 表新的解集的种群。这个过程将导致后生代种群比前代更加适应环境，末代种群中的最优个体经过解码（decoding ），可以作为问题近似最优解。 3遗传算法的一般流程 （1）随机产生一定数目的初始种群，每个个体表示为染色 体的基因编码； （2）计算每个个体的适应度，并判断是否符合优化准则。若符合，输出最佳个体及其代表的最优解并结束计算，否则转向第3步； （3）依据适应度选择再生个体，适应度高的个体被选中的概率高，适应度低的个体可能被淘汰； （4）执行交叉和变异操作，生成新的个体；（5）得到新一代的种群，返回到第2步。 4遗传算法的特点 传统的优化方法主要有三种：枚举法、启发式算法和搜索 算法： （1）枚举法 可行解集合内的所有可行解，以求出精确最 优解。对于连续函数，该方法要求先对其进行离散化处理，这样就可能因离散处理而永远达不到最优解。此外，当枚举空间比较大时，该方法的求解效率比较低，有时甚至在目前先进计算机工具上无法求解。 （2）启发式算法 寻求一种能产生可行解的启发式规则， 以找到一个最优解或近似最优解。该方法的求解效率比较高，但对每一个需求解的问题必须找出其特有的启发式规则。这个启发式规则一般无通用性，不适合于其它问题。 （3）搜索算法 寻求一种搜索算法，该算法在可行解集合 的一个子集内进行搜索操作，以找到问题的最优解或者近似最优解。该方法虽然保证不了一定能够得到问题的最优解，但若适当地利用一些启发知识，就可在近似解的质量和效率上达到一种较好的平衡。 遗传算法不同于传统的搜索和优化方法。主要区别在于： ①遗传算法直接处理问题参数的适当编码而不是处理参数集 本身。②遗传算法按并行方式搜索一个种群数目的点，而不是 遗传算法概述 李红梅 （广东白云学院计算机系，广东广州510450） 摘要：遗传算法是一种全局优化的随机搜索算法。它是解决复杂优化问题的有力工具。在工程设计、演化硬件电路 设计以及人工智能等方面应用前景广阔。系统地介绍了遗传算法的发展史、基本思想、特点、主要应用领域等相关方 面。 关键词：遗传算法；搜索；进化；最优解；种群中图分类号：TP312 文献标识码：A 文章编号：1672-7800（2009）01-0067-02 第8卷第1期2009年1月 Vol.8No.1Jan.2009 软件导刊 Software Guide
遗传算法概述
第一章 遗传算法概述 2.1 遗传算法的原理 遗传算法是模拟生物在自然环境中的遗传和进化过程而形成的一种概率搜索算法。遗传算法是通过模拟生物在自然界中的进化过程而形成的一种优化算法。它的基本过程是：先随机生成规模为m 的初始群体，对连续优化问题即为n R 中的m 个点},,,{,},,,,{21112111m n m m m n x x x x x x x x ==的集合， },,,{21k sn k s k s x x x 称为个体或者染色体，通过对该群体使用遗传操作（包括选择、 交叉、变异遗传算子），得到m 个新的个体，这称作是群体的一代进化，相当于通常优化算法的一次迭代。不断重复这一过程，可看作是群体的逐代演化，直到得到满足给出条件的问题解。 可以看出，遗传算法的关键是进化过程中使用的遗传操作即选择、交叉和变异等算子，这些算子决定了下一代个体的具体位置。 选择策略对算法性能的影响有举足轻重的作用。常用的是轮盘选择和精英选择。 a. 轮盘选择（roulette wheel selection ） 选择的基本依据是个体的适应值，对于最小化问题，个体适应值取为)()(x f K x f -='，其中K 为一足够大的正数。定义第i 个体的选择概率为 ∑=''=n i i i i x f x f p 1)() ( （3） 其意义是个体适应值在群体总适应值中所占的比例。生成一个[0,1]内的随机数r ，若i i p p p r p p p +++≤<+++- 21110，假设00=p ，则选择个体i 。 b. 精英选择（elitist selection ） 当下一代群体的最佳个体适应值小于当前群体最佳个体的适应值，则将当前群体最佳个体或者适应值大于下一代最佳个体适应值的多个个体直接复制到下一代，随机替代或替代最差的下一代群体中的相应数量的个体。 交叉与变异算子的选取与编码方式有关，最初Holland[5] 提出的遗传算法是采用二进制编码来表现个体，后来发现对连续优化问题采用浮点编码可以达到更好的效果，因此越来越多地使用浮点编码，下述的交叉、变异算子针对浮点编码。
最优控制-遗传算法综述
最优控制论文 遗传算法的发展 摘要 最优控制是现代控制理论的核心，它研究的主要问题是：在满足一定约束条件下，寻求最优控制策略，使得性能指标取极大值或极小值。解决最优控制问题
的主要方法有古典变分法、极大值原理和动态规划。 最优控制理论已被应用于综合和设计最速控制系统、最省燃料控制系统、最 小能耗控制系统、线性调节器等。目前研究最优控制理论最活跃的领域有神经网 络优化、模拟退火算法、趋化性算法、遗传算法、鲁棒控制、预测控制、混沌优化 控制以及稳态递阶控制等。 作为一种比较新的一种新的优化算法—遗传算法(Genetic Algorithm, 简称G A ) 正在迅速发展。 遗传算法是一种基于生物自然选择与遗传机理的随机搜索与优化方法。近年来,由于遗传算法求解复杂优化问题的巨大潜力及其在工业工程领域的成功应用,这种算法受到了国内外学者的广泛关注。本文介绍了遗传算法的研究现状,描述了它的主要特点和基本原理,概述了它的理论、技术和应用领域,讨论了混合遗传算法和并行遗传算法,指出了遗传算法的研究方向,并对遗传算法的性能作了分析。
目录 1 前言 (1) 2 遗传算法基本理论..................................................... 1... 2.1 遗传算法的基本步骤.................................................. 1.. 2.2 遗传算法的现状..................................................... 2... 2.3 遗传算法的应用..................................................... 3... 2.3.1 函数优化 ..................................................... 3... 2.3.2 组合优化 ..................................................... 4... 2.3.3 生产调度问题 ................................................. 4... 2.3.4 自动控制 ..................................................... 4... 2.3.5 机器人学 ..................................................... 4... 2.3.6 图像处理 ..................................................... 4... 2.3.7 人工生命 ..................................................... 5... 2.3.8 遗传编程 ..................................................... 5... 2.3.9 机器学习 ..................................................... 5... 2.3.10 数据挖掘.................................................... 5... 3 遗传算法的研究方向................................................... 5... 参考文献............................................................ 7...
人工神经网络发展历史与训练算法概述-2019年文档
人工神经网络发展历史与训练算法概述 以一己之力战胜两位世界级围棋高手李世石及柯洁的Alpha Go 的横空出世，不仅仅吸引了相应人才从事此方面的研究，更显示了其的巨大潜力。而Alpha Go 能战胜这两位围棋中顶级选手，与其采用了人工神经网络不无关联。而人工神经网络是一门结合了众多学科的内容而发展起来的一门新的信息处理学科。 1 人工神经网络的发展历史 1) 起源。人工神经网络最初是由科研工作者根据生物神经网络的特点而创造出来的一种可以进行简单信息处理的模型。生物神经网络( Biological Neural Networks )以神经元为骨架，通过神经元彼此之间的连结形成了一个完整的能对所给刺激产生反应的系统。人工神经网络就是类比生物神经网络的这个可以进行信息处理的原理而制造出来的。用节点替代神经元，且每个节点代表一种固定的函数，节点之间彼此联接形成一个庞大的网状系统，可处理一些信息。综合人工神经网络的起源、特点及定义，它可以用这样一句话概括：人工神经网络是一种信息处理系统，目的在于模仿人类大脑的相应结构及其相关功能[ 1 ] 。 2) 摸索阶段。历史上第一个提出人工神经网络设想并藉此制造出了第一个模型的是心理学家W.S.McCulloch 和数理逻辑学家。他们提出的模型就是MP模型，而MP模型的建立不仅证明了单个
神经元执行逻辑功能的可行性，还带来对人工神经网络研究的热潮。因此W.S.McCulloch 和被后来者尊称为人工神经网络研究的先驱。但是当时的人工神经网络只是一个胚胎，甚至只能说是一个大胆的猜想，缺乏相应的理论支持。 50年代末，F?罗森布拉特提出并设计了感知机。60年代初，Windrow 提出了一种自适应线性元件网络，这两项工作第一次将人工神经网络的研究成果应用到实践中[7] 。而他们的成功也激励了其他众多科学家，提高了他们对人工神经网络的研究兴趣。但是当时有学者指出感知机本身存在问题，且该问题的不可解决性，再加上当时正值计算机高速发展、各种研究成果竞相发表的时期，众多科学研究者纷纷转向计算机的研究，因此人工神经网络的研究被搁置。人工神经网络的发展也停滞不前。 3）高速发展阶段。1982年及1984 年，美国加州工学院物理学家J.J.Hopfield 先后提出了Hopfield 神经网格模型与连续时间Hopfield 神经网络模型，这两项研究解决了感知机所存在的不能解决高阶谓词的问题，为人工神经网络的研究提供了一个新思路。随后，一些学者提出了玻尔兹曼模型。这三项研究不仅为人工神经网络的发展做了开拓性的研究，更是使人工神经网络这个备受冷落的研究项目重新回到科研人员的视野中。也正是有这些科学工作人员的一个又一个的研究成果，才能令人工神经网络从原本不被重视的状态扭转为当时备受人们追捧的状态。 1991年，Aihara 等基于之前的推导和实验，提出了一个混沌
遗传算法综述
随着经济社会的迅猛发展, 人类科学研究与生产活动的广度与深度都大大拓展了，其中涌现出的大量具有各种非线性、不确定、不能精确解析以及建模机理复杂的新课题对信息与控制科学提出了前所未有的挑战。正是在这种背景下, 各种智能信息处理算法如雨后春笋般涌现出来。作为智能信息处理算法中的重要一员, 遗传算法近年来以其独特而卓越的性能引起了人们的广泛关注。 对于以往难以解决的函数优化问题,复杂的多目标规划问题，工农业生产中的配管、配线问题，以及机器学习，图象识别，人工神经网络的权系数调整，模糊规则的优化和网络构造等诸多问题，GA遗传算法以其出色的表现，已成为人们最常用也最有效的方法之一。虽然GA在许多优化问题中都有成功的应用，但其本身也存在一些不足，主要有：局部搜索能力弱、存在早熟成熟现象、收敛于局部最优解、随机漫游或振荡等现象，从而影响算法的收敛性能，降低了遗传算法的可信度。如何改善遗传算法的搜索能力和提高算法的收敛速度，使其更好地解决实际问题,是各国学者一直努力探索的一个主要课题。纵观成百上千的对遗传算法进行改进研究文献，其主要改进措施多集中在以下几个方面： 1．对遗传算法本身缺点的改进 1.1对遗传算法本身单一缺点的改进 种群人们主要关心的是种群中个体分布的多样性，这决定着运行遗传算法的效率，与种群相关的因素有种群个数，种群大小及初始种群三方面。
种群个数采用多个子种群并行搜索思想，有效避免了欺骗问题，提高了算法成功的概率。典型应用就是小生境技术，种群由M个子种群组成，每个子种群独立进化，种群间通过种群迁移∕移民等机制完成个体信息的交换。借鉴子种群并行的思想，发展出了思维进化计算，文献【】和量子衍生遗传算法或量子衍生进化计算，文献【】【】。 种群大小大致有固定种群和动态种群两种。 初始种群对于初始种群的生成主要是改变了以往单靠随机生成的缺点，引进了解空间格点化法或数论中均匀设计法，使产生的点集能均匀地分布于解空间。当然采用随机与均匀混合生成的初始种群，可以包含更丰富的解空间模式。文献【】,给出了用点的低序列差均匀生成初始种群的方法。（当然这些方法 编码经典的标准遗传算法( SGA )中，Holland运用模式定理分析编码机制时,建议采用二进制编码，其优点是简易稳定，但二进制编码具有不能直接反映问题的固有结构，解码复杂，精度不高，个体长度太长，占用计算机内存多和空间效率不高的缺点。它早已不能适应人们处理问题多样化的事实。 针对上述缺陷, 人们采用Gray编码和动态编码等方法成功地减少了编码的尺寸和复杂度，提高了局部搜索性能和速度。文献【】，给出了采用了性别编码，检测仿真表明其性能优于二进制和格雷码；采用染色体隐式解码算法，使得解码速度提高了6~50倍[9]；采用实数或浮点数的矩阵形式或复数形式的编码方法，实现了无需解码可直
基于人工神经网络预测探究文献综述
基于人工神经网络的预测研究文献综述专业：电子信息工程班级：08级2班作者：刘铭指导老师：熊朝松 引言 随着多媒体和网络技术的飞速发展及广泛应用，人工神经网络已被广泛运用于各种领域，而它的预测功能也在不断被人挖掘着。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。现代计算机构成单元的速度是人脑中神经元速度的几百万倍，对于那些特征明确，推理或运算规则清楚地可编程问题，可以高速有效地求解，在数值运算和逻辑运算方面的精确与高速极大地拓展了人脑的能力，从而在信息处理和控制决策等方面为人们提供了实现智能化和自动化的先进手段。但由于现有计算机是按照冯·诺依曼原理，基于程序存取进行工作的，历经半个多世纪的发展，其结构模式与运行机制仍然没有跳出传统的逻辑运算规则，因而在很多方面的功能还远不能达到认得智能水平。随着现代信息科学与技术的飞速发展，这方面的问题日趋尖锐，促使科学和技术专家们寻找解决问题的新出路。当人们的思想转向研究大自然造就的精妙的人脑结构模式和信息处理机制时，推动了脑科学的深入发展以及人工神经网络和闹模型的研究。随着对生物闹的深入了解，人工神经网络获得长足发展。在经历了漫长的初创期和低潮期后，人工神经网络终于以其不容忽视的潜力与活力进入了发展高潮。这么多年来，它的结构与功能逐步改善，运行机制渐趋成熟，应用领域日益扩大，在解决各行各业的难题中显示出巨大的潜力，取得了丰硕的成果。通过运用人工神经网络建模，可以进行预测事物的发展，节省了实际要求证结果所需的研究时间。 正是由于人工神经网络是一门新兴的学科，它在理论、模型、算法、应用和时限等方面都还有很多空白点需要努力探索、研究、开拓和开发。因此，许多国家的政府和企业都投入了大量的资金，组织大量的科学和技术专家对人工神经网络的广泛问题立项研究。从人工神经网络的模拟程序和专用芯片的不断推出、论文的大量发表以及各种应用的报道可以看到，在这个领域里一个百家争鸣的局面已经形成。 为了能深入认识人工神经网络的预测功能，大量收集和阅读相关资料是非常必要的。搜集的资料范围主要是大量介绍人工神经网路，以及认识和熟悉了其中重要的BP网络。参考的著作有：马锐的《人工神经网络原理》，胡守仁、余少波的《神经网络导论》以及一些相关论文，董军和胡上序的《混沌神经网络研究进展和展望》，朱大奇的《人工神经网络研究现状及其展望》和宋桂荣的《改进BP算法在故障诊断中的应用》，这些