第七章 遗传算法与并行处理

7。2 遗传算法的并行化途径 。
可能采用放牧式的理由如下： 可能采用放牧式的理由如下： (1) 放牧式很通用且容易实现。 放牧式很通用且容易实现。 (2) 如果个体评估需时相同，则放牧式效率很高且负载均衡 如果个体评估需时相同， (3) 可以用放牧式来模拟迁移式和扩散式， 可以用放牧式来模拟迁移式和扩散式， (4) 放牧式将评估交给工人网络来完成，降低了对主处理器的内存要 放牧式将评估交给工人网络来完成， 求。 通常，每个处理器上有一个工人进程，必须以一个合适的拓朴 如 通常，每个处理器上有一个工人进程，必须以一个合适的拓朴(如 流水线)结构来连接处理器 结构来连接处理器， 流水线 结构来连接处理器，并增加选路进程负责给空闲的工人进 程送去工作包，给控制进程回送结果。 程送去工作包，给控制进程回送结果。 因为集中存储群体易造成瓶颈， 因为集中存储群体易造成瓶颈，所以任何基于放牧式的并行遗传 算法的可扩放性都不好。 算法的可扩放性都不好。
7。2 遗传算法的并行化途径 。
实现时，体系结构可以采用树而不是流水线， 实现时 ， 体系结构可以采用树而不是流水线 ， 控制进程放 在根节点上。 在根节点上。 但是， 但是 ， 这种方式也只有在交叉和评估比选择和传送费时很 多的情况下才有效。因为它不是将进化过程并行化的“ 多的情况下才有效 。 因为它不是将进化过程并行化的 “ 自 方式， 所以无法得到令人满意的结果。 然 ” 方式 ， 所以无法得到令人满意的结果 。 即使只用少量 个处理器，放牧式的加速比也很小。 个处理器，放牧式的加速比也很小。 总的来说， 主从式比较直观且容易实现， 总的来说 ， 主从式比较直观且容易实现 ， 它并没有对标准 遗传算法的框架结构作任何改动， 遗传算法的框架结构作任何改动 ， 所以不会影响其解决具 体问题的效果。 体问题的效果 。 但是它不可避免地存在有负载不均衡的问 而且通信量仍然很大，这使得它的效率不高， 题 ， 而且通信量仍然很大 ， 这使得它的效率不高 ， 从而限 制了它的实用性。 制了它的实用性。
7。2 遗传算法的并行化途径 。
因为无论当哪个处理器运行主算法时都要有同步机制， 因为无论当哪个处理器运行主算法时都要有同步机制， 所以像这样来开发存在于遗传算法中的并发性效率还 是不高的。 是不高的 。 这是由于主进程忙而子进程空闲以及子进 程忙而主进程空闲等情况（即负载不均衡）所造成的。 程忙而主进程空闲等情况 （ 即负载不均衡 ） 所造成的 在上述算法的并行实现中， 在上述算法的并行实现中 ， 选择操作应该对整个群体 的适应度有个全局的了解，这部分地决定了通信要求。 的适应度有个全局的了解 ， 这部分地决定了通信要求。 主处理器必须知道每个个体的适应度值， 主处理器必须知道每个个体的适应度值 ， 所以必须支 持多到一的通信。 持多到一的通信。
ห้องสมุดไป่ตู้
begin (1)产生一个初始群体并将它划分成 个子群体 产生一个初始群体并将它划分成p个子群体 产生一个初始群体并将它划分成 (2)for i＝l to p par-do ＝ (2.1)初始化 初始化 (2.2)评估第一代子群体的适应度 评估第一代子群体的适应度 (2.3)while running do (2.3.1)for j = 1 to n(generations) do (a) select parents (b) crossover (c) mutation (d) evaluate sub-population endfor (2.3.2) select emigrants /* 选择要迁移出去的个体 */ (2.3.3) do step (a) and (b) in parallel (a) send emigrants/* 发送要迁移出去的个体 */ (b) receive immigrants/* 接收迁入的个体 */ endwhile endfor end
第七章 遗传算法与并行处理
前言 并行计算简介
• 在很多应用领域中对计算能力的需求越来越高，这在很长 在很多应用领域中对计算能力的需求越来越高， 一段时间内将依靠大规模并行处理来解决。 一段时间内将依靠大规模并行处理来解决。并行性最终必 将在所有的计算机中体现出来。 将在所有的计算机中体现出来。 • 当我们制造一台超级计算机时，总是用多个CPU和多块印 当我们制造一台超级计算机时，总是用多个 和多块印 刷板来构造一个处理器阵列， 刷板来构造一个处理器阵列，阵列中的每个节点都是一个 不同类型的处理器。 不同类型的处理器。 • 下图展示了一个nCUBE结构的并行超级计算机，它的每块 结构的并行超级计算机， 图展示了一个 结构的并行超级计算机 印刷板都有64个节点 每个节点由一个CPU芯片和附加内 个节点， 印刷板都有 个节点，每个节点由一个 芯片和附加内 存组成。要想使之实用还必须通过某种形式将其连接起来， 存组成。要想使之实用还必须通过某种形式将其连接起来， 这也是目前研究的一个热点。 这也是目前研究的一个热点。
第七章 遗传算法与并行处理
分布式内存的MIMD机器结构是第二大类很重要的结构，最近 机器结构是第二大类很重要的结构， 分布式内存的 机器结构是第二大类很重要的结构 大规模并行处理机)就是以此为基础设计出来的 的MPP(大规模并行处理机 就是以此为基础设计出来的， 大规模并行处理机 就是以此为基础设计出来的， 它的内存结构与处理能力都是物理上分布的。 它的内存结构与处理能力都是物理上分布的。属于这种类 型的一个代表性机器是Thinking Machines生产的 生产的CM-5。它 型的一个代表性机器是 生产的 。 们与上面所说的SIMD型体系结构有着根本的不同。MIMD 型体系结构有着根本的不同。 们与上面所说的 型体系结构有着根本的不同 型体系结构满足了大多数应用中要求每个节点执行自已不 同指令流的需求，因此发展速度很快。 同指令流的需求，因此发展速度很快。 在共享内存的MIMD型机器中所有的处理器都将访问同一个全 型机器中所有的处理器都将访问同一个全 在共享内存的 局内存。共享内存体系结构受限制的是它的不易扩展性。 局内存。共享内存体系结构受限制的是它的不易扩展性。
第七章 遗传算法与并行处理
开发并行计算是因为它们基于一个统一的机制叫作区域分 开发并行计算是因为它们基于一个统一的机制叫作区域分 数据并行。 解或数据并行。在自然界中对一个复杂的问题进行求解时 是将它分割成若干块， 是将它分割成若干块，然后将不同块分配给一个或一组特 定的神经元。 定的神经元。数据并行通过将区域划分成小块并将算法分 别作用到每一个点上来实现并行性。 别作用到每一个点上来实现并行性。 根据指令流和数据流的不同，通常把计算机系统分为四类： 根据指令流和数据流的不同，通常把计算机系统分为四类： 单指令流单数据流（SISD）， 单指令流单数据流（SISD）， 单指令流多数据流（SIMD）， 单指令流多数据流（SIMD）， 多指令流单数据流（MISD）， 多指令流单数据流（MISD）， 多指令流多数据流（MIMD）。 多指令流多数据流（MIMD）。
第七章 遗传算法与并行处理
7。1 遗传算法固有的并行性及其并行化的困难 。 自然界的进化过程本身就是一个并行过程。 自然界的进化过程本身就是一个并行过程 。 遗传算法来源 于自然进化，是对自然进化过程的机器模拟， 于自然进化 ， 是对自然进化过程的机器模拟 ， 很自然地也 就继承了自然进化过程所固有的并行性。 就继承了自然进化过程所固有的并行性。 Holland在最早提出遗传算法的理论和模型时就阐述了它所 在最早提出遗传算法的理论和模型时就阐述了它所 包含的固有的并行性。 包含的固有的并行性。 遗传算法在并行实现上的因难： 遗传算法在并行实现上的因难 ： 标准遗传算法在并行化的 过程中会遇到通信量过大的困难。 过程中会遇到通信量过大的困难。 必须对标准遗传算法进行改造， 必须对标准遗传算法进行改造 ， 尽量减少巨量通信从而获 得高效率。 但是， 得高效率 。 但是 ， 任何对标准遗传算法的改造都必须以尽 可能少地影响其进化效果为前提。 可能少地影响其进化效果为前提。
7。2 遗传算法的并行化途径 。
7。2。1 主从式（master-slave）并行化方法 。 。 主从式（ ） 当施行适应度评估时我们可以相互独立地评估群体内 的每个个体的适应度，从通信量的角度来讲， 的每个个体的适应度 ， 从通信量的角度来讲 ， 这意味 着在评估进程之间无需通信。 着在评估进程之间无需通信。 如单纯从减少通信量入手， 如单纯从减少通信量入手 ， 也很自然地首先想到可将 适应度评估等局部操作交给从处理器网络(slave)并行 适应度评估等局部操作交给从处理器网络 并行 执行，而将选择、交叉等全局操作留给主处理器 (master)串行执行、这就是所谓主从式并行化方法。 串行执行、 串行执行 这就是所谓主从式并行化方法。
nCUBE-2节点与主板。在一台超级计算机上 节点与主板。 节点与主板 最多可以有128块这样的主板 最多可以有 块这样的主板
巨大挑战性应用： 巨大挑战性应用：
Integrated fluid and structural Airframe simulation Climate Modeling Fluid Turbulence Pollution Dispersion Human Genome Ocean Circulation Quantum Chromodynamics(色动力学) Chromodynamics(色动力学) 色动力学 Semiconductor Modeling Supercomputer Modeling Vision and Cognition
第七章 遗传算法与并行处理
所谓的SIMD，单指令流多数据流计算机或同步计算机， ，单指令流多数据流计算机或同步计算机， 所谓的 即一个带有分布式内存和处理单元的耦合阵列， 即一个带有分布式内存和处理单元的耦合阵列，每个 处理单元都与它自已的内存相关联。 机器中， 处理单元都与它自已的内存相关联。在SIMD机器中， 机器中 每个节点都执行相同的指令流。 最多可以有16K 每个节点都执行相同的指令流。MP-2最多可以有 最多可以有 位的处理器及1G(109字节 内存，相应的峰值速度 字节)内存 内存， 个32位的处理器及 位的处理器及 可以达到6GFLOPS(每秒钟 9次浮点操作 。Thinking 每秒钟10 次浮点操作)。 可以达到 每秒钟 Machines的CM-1、CM-2和CM-200及AMT DAP都是 的 、 和 及 都是 分布式内存的SIMD型机器。 型机器。 分布式内存的 型机器