ml-chap09

第9章遗传算法遗传算法提供了一种大致基于模拟进化的学习方法。

其中的假设常被描述为二进制位串，位串的含义依赖于具体的应用。

然而，假设也可以被描述为符号表达式或者甚至是计算机程序。

对合适假设的搜索是从若干初始假设的群体（population）或汇集（collection）开始的。

当前群体的成员通过模仿生物进化的方式来产生下一代群体，比如说随机变异（mutation）和交叉（crossover）。

在每一步，根据给定的适应度（fitness）度量评估当前群体中的假设，而后使用概率方法选出适应度最高的假设作为产生下一代的种子。

遗传算法已被成功地应用到多种学习任务和最优化问题中。

例如，遗传算法已被用于学习机器人控制的规则集，以及优化人工神经网络的拓扑结构和学习参数。

这一章既覆盖了用位串描述假设的遗传算法（genetic algorithms），也覆盖了用计算机程序描述假设的遗传编程（genetic programming）。

9.1 动机遗传算法（GA）提供了一种受生物进化启发的学习方法。

它不再是从一般到特殊或从简单到复杂地搜索假设，而是通过变异和重组当前已知的最好假设来生成后续的假设。

在每一步，被称为当前群体（population）的一组假设被更新，方法是通过使用目前适应度最高的假设的后代替代群体的某个部分。

这个过程形成了对假设的生成并测试（generate-and-test）柱状搜索（beam-search），其中若干个最佳当前假设的变体最有可能在下一步被考虑。

GA 的普及和发展得益于以下因素：∙在生物系统中进化被认为是一种成功的自适应方法，并且具有很好的鲁棒性。

∙GA搜索的假设空间中，假设的各个部分相互作用，每一部分对总的假设适应度的影响难以建模。

∙遗传算法易于并行化，且可降低由于使用超强计算机硬件的带来的昂贵费用。

这一章描述了遗传算法，举例演示了它的用法，并分析了它搜索的假设空间的特性。

我们也描述了它的一个变体，称为遗传编程，在这种方法中，整个计算机程序向着某个适应度准则进化。

遗传算法和遗传编程是进化计算（evolutionary computation）领域的中的两种流行方法。

在本章的最后一节我们将接触一些研究生物进化的课题，包括鲍德温效应（Baldwin effect），它描述了个体的学习能力与整个群体进化速度之间有趣的相互作用。

9.2 遗传算法GA研究的问题是搜索一个候选假设的空间，以确定最佳的假设。

在GA中，“最佳假设”被定义为是使“适应度（fitness）”最优的假设，适应度是为当前问题预先定义的数字度量。

例如，如果学习任务是在给定一个未知函数的输入输出训练样例后逼近这个函数，那么适应度可被定义为假设在训练数据上的精度。

如果任务是学习下国际象棋的策略，那么适应度可被定义为该个体在当前群体中与其他个体对弈的胜率。

尽管遗传算法的不同实现在细节上有所不同，但它们都具有以下的共同结构：算法迭代更新一个假设池，这个假设池称为群体。

在每一次迭代中，根据适应度函数评估群体中的所有成员。

然后从当前群体中用概率方法选取适应度最高的个体产生新的一代。

在这些被选中的个体中，一部分保持原样地进入下一代群体，其他的被用作产生后代个体的基础，其中应用象交叉和变异这样的遗传方法。

表9-1描述了一个遗传算法原型。

算法的输入包括：用来排序候选假设的适应度函数；定义算法终止时适应度的阈值；要维持的群体大小；和决定如何产生后继群体的参数：每一代群体中被淘汰的比例和变异率。

表9-1 遗传算法原型算法中维持一个包含p 个假设的群体。

在每一次迭代中，后继群体P S 的形成通过两种途径：根据假设的适应度用概率方法选择个体，以及加入新假设。

新假设通过两种方法得到：对最高适应度假设对应用交叉算子；对通过选择和交叉产生的新一代群体中的部分假设进行单点变异。

重复这个迭代过程，直到发现适应度足够好的假设。

典型的交叉和变异算子定义在后面的表格中。

GA(Fitness , Fitness _threshold , p , r , m )Fitness ：适应度评分函数，为给定假设赋予一个评估得分。

Fitness _threshold ：指定终止判据的阈值。

p ：群体中包含的假设数量。

r ：每一步中通过交叉取代群体成员的比例。

m ：变异率。

∙ 初始化群体：P ←随机产生的p 个假设∙ 评估：对于P 中的每一个h ，计算Fitness (h )∙ 当[hmax Fitness (h )]<Fitness _threshold ，做： 产生新的一代P S ：1． 选择：用概率方法选择P 的(1-r )p 个成员加入P S 。

从P 中选择假设h i 的概率Pr(h i )通过下面公式计算： ∑==p j j i i h Fitness h Fitness h 1)()()Pr( 2． 交叉：根据上面给出的Pr(h i )，从P 中按概率选择r ⋅p /2对假设。

对于每一对假设<h 1, h 2>应用交叉算子产生两个后代。

把所有的后代加入P S 。

3． 变异：使用均匀的概率从P S 中选择m 百分比的成员。

对于选出的每个成员，在它的表示中随机选择一个位取反。

4． 更新：P ←P S 。

5． 评估：对于P 中的每一个h 计算Fitness (h )∙ 从P 中返回适应度最高的假设。

在这个算法的每一次迭代中，基于当前的群体产生新一代的假设。

首先，从当前的群体中选择一定数量的假设包含在下一代中。

这些假设是用概率方法选择的，其中选择假设h i的概率是通过下式计算的： ∑==pj j i i h Fitness h Fitness h 1)()()Pr( （9.1） 因此，一个假设被选择的概率与它自己的适应度成正比，并且与当前群体中其他竞争假设的适应度成反比。

在当前代的这些成员已被选入下一代群体后，再使用一种交叉操作产生其他的成员。

交叉操作将在下一节被具体定义，它从当前代中取两个双亲假设，并通过重新组合双亲的各部分产生两个后代假设。

双亲假设是从当前群体中按概率选出的，也使用公式（9.1）的概率函数。

在通过这种交叉操作产生新的成员后，新一代群体已经包含了所需数量的成员。

接下来，从这些成员中随机选出一定比例（m ），并进行随机变异。

因此，这种GA 算法执行一种随机的、并行柱状假设搜索，根据适应度函数发现较好的假设。

在下面的小节中我们将更详尽地描述这个算法中使用的假设表示和遗传算子。

9.2.1 表示假设GA 中假设经常被表示为二进制位串，这样可以很方便地用变异和交叉遗传算子来操作。

使用这样的位串表示的假设可能非常复杂。

例如，if-then 规则就可以很容易地用这种方式表示，做法是选择规则的一种编码，其中为每个规则的前件和后件分配特定的子串。

Holland （1986）；Grefenstette （1988）；DeJong et al.（1993）中描述了GA 系统中这种规则表示的例子。

为了说明如何把if-then 规则编码成位串，首先考虑怎样使用位串描述单个属性的值约束。

例如考虑属性Outlook ，它的值可以取以下3个值中的任一个：Sunny ，Overcast 或Rain 。

表示Outlook 约束的一个明显的方法是，使用一个长度为3的位串，每位对应一个可能值。

若某位为1表示这个属性可以取对应的值。

例如，串010表示Outlook 必须取第二个值的约束，或者说Outlook =Overcast 。

类似的，串011表示更一般的约束，Outlook 可以取两个可能值，或者说（Outlook =Overcast ∨Rain ）。

注意111表示最一般的约束，表明我们不关心这个属性取哪个值。

有了表示单个属性约束的方法，那么对多个属性约束的合取可以很容易地表示为对应位串的连接。

例如，考虑第二个属性Wind ，它可以取两个值Strong 或Weak 。

那么像下面的规则前件：(Outlook =Overcast ∨Rain )∧(Wind =Strong )可被表示为长度为5的位串：Outlook Wind 011 10规则的后件（例如PlayTennis =yes ）可以用相似的方式表示。

于是，整个规则表示可以通过把描述规则前件和后件的位串连接起来。

例如，下面的规则IF Wind=Strong THEN PlayTennis=yes将被表示为以下的位串：Outlook Wind PlayTennis111 10 10其中，前三位描述了对Outlook的“不关心（don’t care）”约束，接下来两位描述了对Wind的约束，最后两位描述了规则的后件（这里假定PlayTennis可以取两个值Yes或No）。

注意，表示规则的位串对假设空间中的每个属性有一个子串，即使该属性不被规则的前件所约束。

这样得到了一个固定长度的规则位串表示，其中在特定位置的子串描述对特定属性的约束。

有了单个规则的表示方法，我们可以简单地把单个规则的位串表示连接起来，从而表示规则集。

在为某个假设空间设计位串编码时，有必要让每个句法合法的位串表示一个有意义的假设。

比如，若使用上一段的规则编码方式，那么位串111 10 11表示了一个规则，它的后件不约束目标属性PlayTennis。

如果要避免考虑这个假设，可以采用不同的编码方式（例如，仅分配一个位给后件PlayTennis，表示它的值是Yes或No）；或改变遗传算子以明确避免建立这样的位串；或干脆把很低的适应度赋给这样的串。

在一些GA中，假设是用符号描述来表示的，而不是用位串。

例如，在9.5节中，我们讨论了一个把假设编码为计算机程序的遗传算法。

9.2.2 遗传算子在GA中通过一系列算子（operators）来决定后代，算子对当前群体中选定的成员进行重组和变异。

表9-1中列出了用来操作位串的典型GA算子。

这些算子是生物进化中的遗传过程的理想化形式。

最常见的两个算子是交叉（crossover）和变异（mutation）。

交叉算子从两个双亲串中通过复制选定位产生两个新的后代。

每个后代的第i位是从它的某个双亲的第i位复制来的。

至于双亲中的哪一个在第i位起作用，这是由另外一个称为交叉掩码（crossover mask）的位串决定的。

下面演示一下这个过程，考虑表9-2中最上边的单点（single-point）交叉算子。

先考虑其中上面一个后代。

这个后代从第一个双亲中取前5位，其余的6位来自第二个双亲，因为交叉掩码11111000000为每个位指定这些选择。

第二个后代使用同样的交叉掩码，但交换了双亲的角色。

所以，它包含了第一个后代没有用过的位。

在单点交叉中，交叉掩码总是这样组成的，它以连续的n个1开始，后面跟随必要个数的0直至结束。