遗传算法模式定理
遗传算法遗传算法
（5）遗传算法在解空间进行高效启发式搜索，而非盲 目地穷举或完全随机搜索；
（6）遗传算法对于待寻优的函数基本无限制，它既不 要求函数连续，也不要求函数可微，既可以是数学解 析式所表示的显函数，又可以是映射矩阵甚至是神经 网络的隐函数，因而应用范围较广；
（7）遗传算法具有并行计算的特点，因而可通过大规 模并行计算来提高计算速度，适合大规模复杂问题的 优化。
26
（4）基本遗传算法的运行参数 有下述4个运行参数需要提前设定：
M：群体大小，即群体中所含个体的数量，一般取为 20~100； G：遗传算法的终止进化代数，一般取为100~500； Pc：交叉概率，一般取为0.4~0.99；
Pm：变异概率，一般取为0.0001~0.1。
27
10.4.2 遗传算法的应用步骤
遗传算法简称GA（Genetic Algorithms）是1962年 由美国Michigan大学的Holland教授提出的模拟自然 界遗传机制和生物进化论而成的一种并行随机搜索最 优化方法。
遗传算法是以达尔文的自然选择学说为基础发展起 来的。自然选择学说包括以下三个方面：
1
（1）遗传：这是生物的普遍特征，亲代把生物信息交 给子代，子代总是和亲代具有相同或相似的性状。生 物有了这个特征，物种才能稳定存在。
18
（3）生产调度问题 在很多情况下，采用建立数学模型的方法难以对生
产调度问题进行精确求解。在现实生产中多采用一些 经验进行调度。遗传算法是解决复杂调度问题的有效 工具，在单件生产车间调度、流水线生产车间调度、 生产规划、任务分配等方面遗传算法都得到了有效的 应用。
19
（4）自动控制。 在自动控制领域中有很多与优化相关的问题需要求
10
遗传算法
遗传算法遗传算法是一种借鉴生物遗传和进化机制寻求最优解的计算方法。
该方法模拟生物进化中的复制、交换、变异等过程，并通过模拟自然选择压力的方式推动问题解集向最优解方向移动。
遗传算法为解决多种难以采用传统数学方法求解的复杂问题提供了新的思路。
1. 遗传算法的发展历史研究者采用计算机模拟生物进化过程并解决优化问题的尝试始于20世纪40至50年代。
20世纪60年代中期，美国密歇根大学的Holland教授提出了位串编码技术，这种编码技术适用于变异操作和交叉操作，他指出在研究和设计人工自适应系统时可借鉴生物遗传的机制，以群体的方式进行自适应搜索。
70年代中期，Holland提出遗传算法的模式定理（Schema Theorem），奠定了遗传算法的理论基础。
11967年，Holland教授的学生De Jong首次将遗传算法应用于函数优化中，2设计了遗传算法执行策略和性能评价指标。
他挑选的5个专门用于遗传算法数值实验的函数至今仍被频繁使用，而他提出的在线(on-line)和离线(off-line)指标则仍是目前衡量遗传算法优化性能的主要手段。
1989年，Goldberg出版专著“Genetic Algorithm in Search, Optimization, and Machine learning”3。
该书全面阐述了遗传算法的基本原理及应用，并系统总结了遗传算法的主要研究成果。
该书对遗传算法科学基础的奠定做出了重要贡献。
1991年，Davis编辑出版了专著“Handbook of Genetic Algorithms”，该书中介绍了遗传算法在工程技术和社会生活中的大量应用实例。
41992年，美国斯坦福大学的Koza出版专著“Genetic Programming, on the Programming of Computers by Means of Natural Selection”，在此书中，他将遗传算法应用于计算机程序的优化设计和自动生成，并在此基础上提出遗传编程（Genetic Programming, GP）的概念5。
遗传算法的基本原理
变异算子对模式的作用
设字符串在某一位置发生改变的概率为pm , 不变的概率为1 pm . 而模式H 在变异算子作用下若要不受破坏，则其所有的确定位置 （非 *的位）必须保持不变。当pm 1时，模式保持不变的概率为 (1- pm )O ( H ) 1 O( H ) pm 综上所述，模式H 在遗传算子选择，交叉和变异的共同作用下， m( H , t 1) m( H , t ) ( f ( H ) / f ) [1 pc ( H ) (l 1) O( H ) pm ] 式中忽略了极小项pc ( H ) (l 1) O( H ) pm .从而得到模式定理。 定理2.1 在遗传算子选择，交叉和变异的作用下，具有低阶， 短定义距以及平均适应度高于群体平均适应度的模式在子代中 得以指数级增长。
模式的定义 模式是一个描述字符串的模板，该字符串 集中的某些位置是相同的。考虑二值字符 集｛0,1｝可产生通常的0，1字符串。再加 上一个通配符,扩成{0,1,*}.其中“*”即 可当作“0”，也可当作“1”， 从而可产生 0*101*1*, 01101, *1*01*等字符串。
定义2.1 基于三值字符值{0,1,*}的产生的能描述具有 某些结构相似性的0，1字符串集的字符串称作模式。 例 *0001={10001,00001} *1*10={01010,11010,01110,11110} 01010={01010} 不同模式匹配的字符串（string）的个数是不同的，这一 特征可由模式阶来表示。 定义2.2 模式H中确定位置的个数称作该模式的模式阶 （schema order），记做O(H). 例 设H=011*1*, 则O(H)=4， O(0***1*)=2
遗传算法模式定理
式(2-1)
可见，经过复制操作后，下一代中特定模式的数量H正比于所在位串的平均 值与种群平均适配值的比值。 • 时，H的数量将增加； f H f
•
f H f 时，H的数量将减少。
种群A(t)中的任一模式H在复制中都将按照式(2-1)的规律变化，即
• 适配值高于种群平均值的模式在下一代中的数量增加； • 而适配值低于种群平均值的模式在下一代的数量将减少。
这种所有模式的增减在复制中是并行进行的,遗传算法中隐含的并行 机制就在于此。
为了进一步分析高于平均适配值的模式数量的增长，假设 f ( H ) f c f (c是一个大于零的常数)，则式（2-1）可重写为
f cf f (1 c )m( H , t )
m( H , t 1) m( H , t )
k 1
• •
个体是由二值字符集 V={0, 1} 中的元素所组成的一个编码串; 而模式却是由三值字符集 V={0, 1,* } 中的元素所组成的一个编码串。
模式阶 (Schema Order) ——指模式中已有明确含意(二进制字符时指0或1)的字符个数，记做 o(s)，式中
s 代表模式。
在上列种群里的各位串之间，我们能发现具有某种相似性和这种相似性与高适配 值之间具有某种因果关系。
这种因果关系例如：凡是以“1”开始的位串，其适
配值就高；以“0”开始的位串的适配值就低。
这种相似性正是遗传算法有效工作的因素。根据对
种群中高适配置位串之间的相似性的分析，Holland提 出了遗传算法的模式理论.
模式的思路为我们提供了一种简单而有效的方法，
使能够在有限字母表的基础上讨论有限长位串的严谨 定义的相似性。
基于遗传算法的图像匹配
2、初始种群的设定 群体中个体一般是随机产生，当然也可从 随机生成的个体中选出最好的个体组成初 始群体。但此处有一个关键的问题，就是 如何确定群体规模的大小。根据模式定理 可知规模M越大越好，但M过大又会使计算 效率降低，并且若使用比例选择，此时会 影响群体的多样性。而M过小又会造成未成 熟收敛。故实际应用中通常取群体规模为 几十至几百。
编码时常用算术交叉法、离散交叉，变异 操作常用均匀变异、正态变异、非一致性 变异、自适应变异、多级变异等。根据经 验可知，将几种交叉或变异算子按一定概 率混合使用，将会得到很好的效果。
5、控制参数的设定 控制参数主要是指群体规模、迭代次数和 使用遗传操作的概率等。对于传统的GA是 以交叉操作为主，变异操作为维持群体多 样性的一个辅助性算子，即应用时应选择 较大的交叉概率，较小的变异概率。对此 标准遗传算法都设为固定值。对于改进后 的GA，选择、交叉和变异的概率则需视情 况而定。
经常采用的编码技术主要有一维染色体编 码、多参数映射编码、可变染色体长度编 码、二维染色体编码、树结构编码等。其 中一维染色体编码根据基于不同的符号集 又可分为二进制编码、实数编码和字符编 码等;多参数映射编码主要应用于多参数优 化问题中，将不同的参数映射为不同的编 码子串，然后进行相应的遗传操作;可变染 色体长度编码主要以Golbdegr等人提出的 MesysGA(mGA)为代表;后两种编码是针对不 同应用领域的特点而设计的，分别应用于 图像处理，人工智能等特定领域。
通过比较参考图像和输入图像在各个位置 的相关系数，相关值最大的点就是最佳匹 配位置。
（2）、序贯相似检测算法 序贯相似匹配算法（SSDA）是一种快速图像匹配 算法，它使用下式作为相似性度量:
1 m n D(i, j ) m n a 1 b1
遗传算法基础
比例选择法（轮盘赌）
• 基本思想
各个个体被选中的概率与其适应度大小成正比。 设群体大小为 M，个体 i 的适应度大小为F ( xi ) ，则 个体 i 被选中的概率为
Pi =
F ( xi )
∑ F (x )
i =1 i
M
比例选择法（轮盘赌）
• 具体步骤 1）计算各基因适应度值和选择概率 Pi 2）累计所有基因选择概率值，记录中间累 加值S - mid 和最后累加值 sum = ∑ Pi 3）产生一个随机数 N，0〈 N 〈 1 4）选择对应中间累加值S - mid 的基因进 入交换集 5）重复（3）和（4），直到获得足够的基 因。
t i
t i i
n
模式定理
• 选择算子的作用
f (H , t) m( H , t + 1) = m( H , t ) f (t )
若 若
f (H , t) >1，m（H，t）增加 f (t ) f ( H , t ) <1，m（H，t）减少 f (t )
在选择算子的作用下，对于平均适用度高于群体平 在选择算子的作用下， 均适应度的模式，其样本数将增长， 均适应度的模式，其样本数将增长，对于平均适用 度低于群体平均适应度的模式， 度低于群体平均适应度的模式，其样本数将减少
f ( x) f ( x) f ( x) f ( x) f ( x) f ( x)
F（x）
F（x）
F（x）
F（x）＝f（x）＋C
遗传算法基本要素与实现技术
• 选择算子 • 适应度较高的个体被遗传到下一代群体中 的概率较大，适应度较低的个体被遗传到 下一代群体中的概率较小。 • 选择方法 比例选择法（轮盘赌） 锦标赛选择法
遗传算法
x为0,1：二进制编码 x为整数：二进制/十进制编码 x为实数：二进制/十进制/实数编码
编码原则：
完备性。问题空间中所有点（侯 选解）都能用遗传算法空间中的 点（染色体）表现； 健全性。遗传算法空间中的染色 体都能对应问题空间中的所有侯 选解； 非冗余性。染色体和侯选解一一 对应。
W z
1 遗传算法的概念
若干 1.0 0.0 最优 执行变异操作获得 个体 4 个体 子代一个新个体
10011
0.144
0.144
个体被选取的概率
Psi f i /
f
j 1
N
0.309
i＝i＋1
j
i 1,2, , N
i＝i＋1
适应值的比例变换法
期望值法（个体不多时） 排位次法（个体适应度相近时）
W z
c 0.691 0.055 y 个体3 01000 0.636 基因干预
i＝i＋1
4.确定指定结果的方法和停止 运行准则
W z
交互
②
1 遗传算法的概念
染色体编码 y＝f(x), x∈(x-, x+)
染色体编码，生成初始种群 遗传代数：NEra＝0 计算每个个体的适应度 y 收敛否 ? n 进行选择、 杂 交 pc 、 变 异 pm 和 保 留 等遗传操作，生成 新一代种群 NEra＝NEra＋1 解码 输出结果
n
y 变异前 A1=11001 变异后 基因干预 A’1=11011
人机 交互
②
1 遗传算法的概念
①
遗传操作——保留
使得遗传算法能以概率 1收敛到全局最优解。
对种群进行简单的选择 ( 复制 ) 、杂交和变异操作 是遗传算法的精髓！ 停止运行准则
遗传算法总结
遗传算法总结By xudong 内容提要遗传算法的实现过程遗传算法基本理论遗传算法的三个算例TSP问题装箱问题网络结构优化遗传算法的实现过程产生初始种群在适应度函数的基础上选择parents从parents中产生children有三种途径：将parents中最优秀的个体直接保留到children杂交变异遗传算法实现流程下面以一个函数优化的过程为例说明遗传算法的工作过程，材料来自matlab中遗传算法的算法说明。
【生成初始种群】这是函数的等值线图，图中的蓝点表示初始种群中的个体。
【生成下一代种群】图中的符号表示下一代个体，具体不同符号表示不同的产生途径。
【迭代过程】可以看出，随着迭代的增加，整个种群逐渐收敛到最优解。
遗传算法基本理论这里只叙述定理的内容和评价，定理中所涉及的概念和定理的推导过程大家感兴趣的话可以翻翻书。
【模式定理】内容：遗传算法中，在选择、交叉、变异算子的作用下，具有低阶、短的定义长度，并且平均适应度高于群体平均适应度的模式将按指数级增长。
评价：看到这个定理首先想到的就是《自私的基因中》的核心观点，基因是进化的基本单位。
短小，并且适应度高的基因在进化过程中被保留下来，并且在群体中不断增加。
【积木块假定】内容：基因能够互相拼接在一起，形成适应度更高的编码串。
评价：模式定理是说遗传算法能够产生高质量的建筑砖头（基因），积木块假定是说可以用这些高质量的建筑砖头建造高质量的大楼（编码串）。
需要注意的是，我们把上述内容称为假定，而并非定理，这是因为有时候积木块假定并不成立，也就是说高质量的转头不一定能够建成高质量的大楼。
出现这种情况的原因是1+1<2的现象，各个基因之间高度相关，适应度很高的两个基因之间存在很强的负交互作用，结果导致整体的适应度下降。
【遗传算法收敛性】内容1.不保留优秀个体，收敛于最优解的概率小于12.保留优秀个体，遗传算法收敛于最优解的概率等于1评价：这两个定理说明了我们为什么在遗传算法中保留优秀个体的一个原因，保留优秀个体的另外一个原因是保证遗传算法每一代的解总是单调减少的（假设目标是极小化目标函数）。
遗传算法模式定理推导
8.3遗传算法基本定理1、模式的概念所谓模式就是一个相同的构形，它描述的是一个数字串的子集合，在这个集合中的所有数字串之间、在某些确定位置上是相同的。
模式一般用大写字母H 表示。
用3个字符的字母表[0,1,]V =*组成的三元组来描述模式，其中，符号*代表不确定数字，即在特定位置上可以与数字0或1相匹配。
例如，字符串长为5的模式110H =**，并称数字串 A=01110是模式 H 的一个代表串，这是因为数字串A 与模式H 在确定位置2、3和5 上相匹配。
遗传算法的操作过程非常简单，从一个含有N 个染色体的初始群体出发，不断循环地执行选择、交叉和变异运算。
看起来遗传算法是按这种简单的模式直接作用在一个个数字串组成的群体上，实际上，在每一代的计算过程中，这种数字串的显式操作过程蕴含了大量模式的隐含操作。
这里，首先讨论选择、交叉和变异算子对模式作用的影响。
对于由 N 个二进制数字串组成的群体中，至多包含有2L N 个模式（所有符号*都为确定数字时），式中L 为数字串长。
在遗传算法的执行过程中，所有的模式并不是以同等的机会发生的。
有些模式比起其他的模式更明确，例如，模式0111*和模式0****相比，在相似性方面，模式0111*就比较明确。
有些模式的跨度要比另一些模式的长，例如，模式11***和模式11***相比，在长度方面，模式11***要跨越整个串长。
为了定量地描述模式，下面介绍两个基本概念：模式的定义长度和模式的阶。
模式H 的定义长度是指模式H 中第1个常数位置与最后1个常数位置之间的距离，用()H δ表示。
例如，模式10111H =***的定义长度为1()4H δ=，这是因为模式1H 中第1个常数的位置为1，最后回个常数的位置为5，它们之间的距离为5-1=4；另一个模式20H =******中仅有1个常数位置，即第1个和最后1个常数位置是同一个位置，因此其定义长度2()0H δ=。
模式H 的阶是指出现在模式H 中常数的个数，用()O H 表示。
第七章 遗传算法的理论基础
7.1 模式定理
模式H中确定位置的个数称为模式H的阶, 记为o(H ) 例 o(*0101) 4, o(0 * *1*) 2
模式H中第一个确定位置与最后一个确定位置之 间的距离称为模式H的定义长度，记为 (H )
例 (*0101) 5 2 3, (0 * 1 * **) 3 1 2 设s是一个长度为的二进制位串，H是一个长度 为的模式，若 s H , 则称s与模式H匹配。
定义
1 f (H, t) H P(t )
vH P ( t )
f (v )
7.1 模式定理
例 假定当前种群中的个体及适应值如表1所示， 则模式H及其适应值如表2所示。
表1 个体及其适应值 表2 模式及其适应值 H *** f(H,t) (5+1+2+3)/4=2.75
(
个体 101
100 010 110
1+2+3)/3=2
2+3)/2=2.5
(
1/1=1
7.1 模式定理
定理7.1(模式定理) 设 P(t ) {v1 (t ), v2 (t ),, v N (t )}表示 SGA在第t代时的种群，SGA的杂交概率和变异概 率分别为 pc 和 pm , H为任一模式，M ( H , t ) 表示第t 代种群中与H匹配个体的个数，则有估计式
f (H , t) (H ) M(H , t) 1 pc l 1 (1 o( H ) pm ) (若pm 1) f (t ) f (H , t) (H ) M(H , t) 1 pc o( H ) p m f (t ) l 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
遗传算法模式定理
遗传算法的一个主要前提假设是模式定理。
模式定理中主要概念有：模式（Schema）：指有相同特征的子集，比如二进制字符串11***\(*为通配符\)可以代表八个个体（2x2x2）。
阶（Order）：模式中确定位置的个数成为阶，比如1110*的阶为1。
定义距（Defining Length）：模式中第一个确定位置和最后一个确定位置之间的距离成为定义距。
模式定理：具有低阶、短定义距以及平均适应度高于种群平均适应度的模式在子代中呈指数增长。
它保证了较优的模式（遗传算法的较优解）的数目呈指数增长，为解释遗传算法机理提供了数学基础。