计算机并行计算的基本问题及现状
并行计算的现状与发展
2
2 1
并行计算的现状
对当前发展形势的基本估计 当前 , 并行计算发展的基本状况是 : ( 1) 并行软件的发展远远落后于并行计算体
收稿日期 : 2000 11 06 作者简介 : 刘赫男 ( 1972- ) , 女 , 河北唐山人 , 太原理工大学矿业学院助教 , 研究方向为监 控系统工程。
56
Coal 1/ 2001
4
结
语
超级计算机已走过了整整 20 年 , 这是一段可扩 展性与可编程性这一对矛盾相互作用直至统一的历 史。市场需求是发展的动力 , 技术进步是发展的条 件。有专家 估计 , 从 现在 起直 到 21 世纪 若干 年, DSM 结构将是超级计算机的主流 , 将稳固地占领超 级计算机的主要市场。 参考文献:
Present Status and Future Development of Parallel Computing
L IU He nan, L UO Xiao, GAO Xiao dong
( T aiy uan Univer sity of T echnology , T aiyuan 030024 , China)
[ 1] [ 2] [ 3] 陆鑫达 . 并行和 分布计算 技术 现状 及发展 策略 [ J] . 中 国计算机世界 , 1998. 王鼎兴 , 董春雷 . 可 扩展并行机群系统 [ J] . 中国计算 机 世界 , 1998. 陈 国良 . 并行 算法 # # # 排 序和 选择 [ M ] . 合肥 : 中国 科 技大学出版社 , 1990. [ 责任编辑 : 李巧英 ]
高计算机的运行速度, 并且已经取得非常显著的成 绩。然而这种努力不用多久就会因趋于物理器件的 极限而终止。人们在研制新一代计算机的努力中 , 一个共同的特点就是采用并行技术。增加同一时间 间隔内操作数量的技术即所谓并行处理技术; 为并 行处理所设计的计算机统称之为并行计算机; 在并 行计算机上求解问题称之为并行计算; 在并行计算 机上实现求解问题的算法可称之为并行算法。 并行处理, 是一门综合性的计算机学科, 它包括 硬件技术 , 也包括算法、 语言、 程序设计等软件方面 的问 题, 当然 , 还包括各种理论上的探讨。严格地 说, 并 行性 ( parallelism ) 有两 种 含义 : 一是 同 时 性 ( simutaneit y) , 亦即并行性, 指两个或多个事件在同 一时间发生; 二是并发性 ( concurrency) , 指两个或多 个事件在同一时间间隔内发生。 按照常用的分类方法, 可以把并行计算机的结 构分为: 单指令流单数据流 ( SISD) ; 单 指令流 多数据流 ( SIMD) ; ! 多指令 流单数据流 ( M ISD) ; ∀ 多指令流多数据流 ( M IMD) 。
并行计算综述
并行计算综述姓名：尹航学号：S131020012 专业：计算机科学与技术摘要：本文对并行计算的基本概念和基本理论进行了分析和研究。
主要内容有：并行计算提出的背景，目前国内外的研究现状，并行计算概念和并行计算机类型，并行计算的性能评价，并行计算模型，并行编程环境与并行编程语言。
关键词：并行计算；性能评价；并行计算模型；并行编程1. 前言网络并行计算是近几年国际上并行计算新出现的一个重要研究方向，也是热门课题。
网络并行计算就是利用互联网上的计算机资源实现其它问题的计算，这种并行计算环境的显著优点是投资少、见效快、灵活性强等。
由于科学计算的要求，越来越多的用户希望能具有并行计算的环境，但除了少数计算机大户（石油、天气预报等）外，很多用户由于工业资金的不足而不能使用并行计算机。
一旦实现并行计算，就可以通过网络实现超级计算。
这样，就不必要购买昂贵的并行计算机。
目前，国内一般的应用单位都具有局域网或广域网的结点，基本上具备网络计算的硬件环境。
其次，网络并行计算的系统软件PVM是当前国际上公认的一种消息传递标准软件系统。
有了该软件系统，可以在不具备并行机的情况下进行并行计算。
该软件是美国国家基金资助的开放软件，没有版权问题。
可以从国际互联网上获得其源代码及其相应的辅助工具程序。
这无疑给人们对计算大问题带来了良好的机遇。
这种计算环境特别适合我国国情。
近几年国内一些高校和科研院所投入了一些力量来进行并行计算软件的应用理论和方法的研究，并取得了可喜的成绩。
到目前为止，网络并行计算已经在勘探地球物理、机械制造、计算数学、石油资源、数字模拟等许多应用领域开展研究。
这将在计算机的应用的各应用领域科学开创一个崭新的环境。
2. 并行计算简介[1]2.1并行计算与科学计算并行计算（Parallel Computing），简单地讲，就是在并行计算机上所作的计算，它和常说的高性能计算（High Performance Computing）、超级计算（Super Computing）是同义词，因为任何高性能计算和超级计算都离不开并行技术。
计算机科学中的并行计算的使用中常见问题
计算机科学中的并行计算的使用中常见问题并行计算技术是计算机科学中的重要一环，旨在提高计算效率和加快处理速度。
在实际应用中，我们经常会遇到一些与并行计算相关的常见问题。
本文将围绕这些问题展开讨论，并提供相应的解决方法。
一、任务调度问题在并行计算中，任务调度是一个关键问题。
如何合理地分配任务，使得每个任务都能被合适地执行，是一个需要解决的难题。
常见的任务调度问题包括任务划分不均匀、任务间的依赖关系以及任务调度的优化等。
对于任务划分不均匀的问题，我们可以通过合理的任务划分策略来进行优化。
例如，可以采用负载均衡的方法，根据任务的计算复杂度和数据量进行任务划分，从而使得每个节点的负载相对均衡。
任务间的依赖关系是另一个需要注意的问题。
在并行计算中，有些任务可能需要依赖其他任务的结果才能继续执行。
在这种情况下，我们需要设计合适的依赖关系图，并根据依赖关系来调度任务的执行顺序。
为了优化任务调度，我们可以使用一些优化算法。
例如，可以借鉴启发式算法、遗传算法等方法，通过迭代搜索的方式，找到最优的任务调度方案。
此外，还可以使用任务迁移、任务重分配等方法来优化并行计算的效果。
二、通信开销问题在并行计算中，不同节点之间需要进行通信以交换数据和协调任务。
然而，通信操作本身也会带来一定的开销，影响计算效率。
常见的通信开销问题包括通信延迟和带宽瓶颈等。
通信延迟是指通信操作所需要的时间，包括数据传输时间、任务切换时间等。
为了减小通信延迟，我们可以采用多种方法。
例如，可以使用高效的通信协议来减少数据传输时间；可以通过增加缓存、减少数据交换等方式来降低任务切换时间。
带宽瓶颈是指通信带宽的限制。
当通信带宽无法满足数据传输的需求时，会导致通信效率降低。
为了解决带宽瓶颈问题，我们可以采取多种策略。
例如，可以增加网络带宽，提升数据传输速度；可以进行数据压缩和数据流控制等方式来优化数据传输效果。
三、数据一致性问题在并行计算中，多个节点之间需要共享数据或者进行数据交换。
并行计算的算法设计与优化
并行计算的算法设计与优化在计算机科学领域，随着计算机性能的提升和大规模数据处理的需求增加，并行计算逐渐成为一种重要的解决方案。
并行计算旨在通过同时执行多个计算任务来提高计算效率和性能。
本文将探讨并行计算的算法设计与优化。
一、并行计算的基本概念并行计算指的是将计算任务分解为多个独立的子任务，并在多个处理单元上同时执行这些子任务的过程。
通过并行计算，可以显著缩短计算任务的执行时间，提高计算系统的吞吐量和响应速度。
二、并行计算的算法设计原则1. 任务划分：将计算任务分解为多个互相独立的子任务，确保每个子任务间的计算关系尽可能少。
2. 数据划分：将输入数据分割为多个适当大小的块，以便每个处理单元可以独立地操作这些数据块。
3. 通信与同步：处理单元之间需要进行通信和同步操作，以便完成数据交换和协调计算任务的进度。
4. 负载均衡：分配任务给每个处理单元时，需要确保每个处理单元的负载相对均衡，避免出现某个处理单元繁忙而其他处理单元空闲的情况。
5. 数据局部性：合理利用数据局部性原则，减少处理单元之间的数据传输，以提高整体计算效率。
三、并行计算的算法优化技术1. 并行算法设计：根据具体的计算问题，设计高效的并行算法，使得各个子任务能够充分利用处理单元的计算能力。
2. 并行性分析：对计算任务之间的依赖关系进行分析，确定哪些计算任务可以并行执行，以及在并行执行时能否通过调整计算顺序来减少通信开销。
3. 算法细节优化：在编写并行算法时，注意细节上的优化，如减少数据冲突、合并通信操作、使用局部缓存等。
4. 并行化策略选择：根据具体应用场景和硬件平台的特点，选择合适的并行化策略，如任务并行、数据并行、管道并行等。
四、并行计算的实际应用1. 大规模数据处理：并行计算在大数据处理、数据挖掘和机器学习等领域具有广泛的应用，可以加速数据处理和分析过程。
2. 科学计算：并行计算广泛应用于科学计算领域，如天气预测、流体力学模拟和量子化学计算等，可以加快计算过程，提高计算精度。
并行语言及编译技术现状和发展趋势
并行语言及编译技术现状和发展趋势并行语言及编译技术的现状与发展趋势随着计算机技术的飞速发展和应用场景的不断拓展，并行计算技术变得越来越重要。
并行计算的核心思想是将一个问题拆分成多个子问题，并行处理这些子问题，以加快计算速度和提高计算效率。
在这个背景下，并行语言和编译技术的研究和应用也日益受到关注。
本文将就并行语言及编译技术的现状和发展趋势进行探讨。
一、并行语言的现状并行语言是指专门用于描述和实现并行计算的编程语言，它们通常具有对并行计算的原生支持，可以更加方便和高效地利用多核处理器和分布式计算资源。
目前，主要的并行编程语言主要包括：Cilk、OpenMP、MPI、Haskell、Go、Scala等。
1. CilkCilk是一种基于C语言的并行编程语言，它提供了一系列并行计算的关键特性，例如多线程分支、同步原语等。
Cilk的优势在于其简单易用和高性能，并且得到了广泛的应用。
2. OpenMPOpenMP是一种支持共享内存并行计算的编程接口，它可以将串行代码并行化，使得程序可以在多核处理器上并行执行，减少计算时间。
目前，OpenMP已经成为了高性能计算领域的标准之一。
3. MPIMPI是一种用于分布式内存并行计算的编程接口，它主要用于在多个计算节点上进行并行计算。
MPI提供了丰富的通信和同步机制，使得程序可以在不同计算节点上进行高效的并行计算。
4. HaskellHaskell是一种纯函数式编程语言，它的并行特性是通过“策略”（Strategy）和“并行数组”（Parallel Array）等方式来实现的。
Haskell的并行编程模型相对较为抽象和灵活，可以更好地应对多样化的并行计算场景。
5. GoGo是一种由Google开发的并行编程语言，它提供了轻量级线程（goroutine）和通道（channel）等原语，可以方便地进行并行编程。
Go语言以其简洁、高效和并发特性而受到了广泛关注。
二、编译技术的现状编译技术在并行计算中起着举足轻重的作用，它可以将高级语言转化为底层的机器指令，同时将一些并行化的优化技术应用到编译过程中，以提高程序的运行效率。
分布式计算与并行计算的应用
特点：物联网具有 全面感知、可靠传 输和智能处理的特 点，可以实现数据 的实时采集、传输 和处理，为分布式 计算提供大量的数
据资源。
添加标题
与分布式计算的关 系：分布式计算可 以利用物联网的数 据资源，实现大规 模的数据处理和分 析，提高计算效率 和精度，进一步推 动物联网的应用和
发展。
添加标题
大数据处理与分析
分布式计算在大 数据处理与分析 中发挥着重要作 用，能够提高数 据处理速度和效 率。
分布式计算能够 将大规模数据分 散到多个节点进 行处理，降低计 算成本和提高可 扩展性。
分布式计算能够 支持多种数据处 理和分析工具， 如Hadoop、 Spark等，满足 不同业务需求。
分布式计算在大 数据处理与分析 中具有广泛应用， 如金融、医疗、 电商等领域。
人工智能与机器学习的融合：分布式计算与并行计算将进一步与人工智能和机器学习技 术融合，推动人工智能应用的普及和发展。
数据安全和隐私保护：随着分布式计算与并行计算的应用范围不断扩大，数据安全和隐 私保护将成为未来发展的重要研究方向。
跨学科领域的合作：分布式计算与并行计算将与多个学科领域进行交叉融合，如生物学、 物理学、金融学等，推动跨学科领域的研究和应用。
边缘计算：分布 式计算与并行计 算在边缘计算中 的应用，提高数 据处理效率和降 低网络延迟。
人工智能与分布式计算的融合发展
人工智能技术将进一步与分布式计算结合，提高计算效率和数据处理能力。 未来展望中，人工智能与分布式计算的融合将为各行业带来更多创新应用。 研究方向包括如何优化分布式计算系统以适应人工智能算法的需求。 融合发展的关键技术包括分布式机器学习、深度学习框架与分布式系统的集成等。
物理模拟：在材料科学、航空航天等领域，通过并行计算模拟物理实验，可以降低实验成本和 风险。
并行计算的一体化研究现状与发展趋势
134 •电子技术与软件工程 Electronic Technology & Software Engineering 计算机技术应用 • the Application of Computer Technology【关键词】并行计算 一体化研究发展趋势 云计算我国计算科学的快速发展，使得计算科学研究领域以及与我国传统的理论科学研究领域，还有实验科学研究领域，成为了当今推动科技发展的重要三大科学领域。
而中国科技大学的技术团队所提出的并行计算在当今的科学领域发展过程当中属于研究工具，设计出来的研究工具现如今已经逐渐融入到传统的理论科学和实验科学的工作开展过程当中，并行计算一体化研究方法的诞生，推动了我国目前科学技术的快速发展，同样也为我国的科学技术在发展过程当中提供了更好的研究工具，研究方法，真正为我国科学技术发展领域提供了更好的发展平台。
1 并行计算概述及现状1.1 并行计算的概念并行计算从理论角度进行定义就是在并行计算机上进行计算，而与我国目前人们常说的高性能计算以及超级计算属于同种含义，而且我国现如今所应用的高性能计算和超级计算工作开展过程当中离不开并行技术的应用。
串行计算指的就是在单个计算机上面进行软件应用和操作读写，运用描写指令来进行问题解决。
而并行计算方法是根据串行计算理论基础与实践基础发展而来。
并行计算方式在进行问题计算过程当中拥有以下特征：（1）在计算任务开展过程当中，将计算任务分解成多个部分同时解决；（2）在同一时间范围内由不同的软件来执行不同的程序指令。
1.2 并行计算的一体化研究现状并行计算方法在应用过程当中涉及的内并行计算的一体化研究现状与发展趋势文/甘云志容十分广泛，在进行研究过程当中，研究内容包括以下几部分第一并行计算的硬件平台，第二部分则是并行程序整体设计，第三部分则为并行计算的理论基础应用，第四部分则是并行计算的具体使用情况。
我国的并行计算在发展过程当中由于长期缺乏人有方法导致我国现如今的并行计算在研究过程当中出现了参差不齐的格局，目前我国的并行计算再进研究过程中主要存在以下几个问题，并行算法不完善，并行应用效率低，无法充分利用计算机资源，并行编程语言难度较高，缺乏相应专业人才运用，并行计算机在进行构建和应用过程当中，能耗过大，管理困难。
并行计算算法设计与分析
并行计算算法设计与分析一、引言在现代计算机系统中，并行计算已经成为一种重要的技术手段。
并行计算算法的设计与分析是研究并行计算的核心内容之一。
本文将详细介绍并行计算算法的设计与分析方法，并讨论其在实际应用中的意义与挑战。
二、并行计算算法的分类1. 数据并行算法数据并行算法采用将计算任务分割为多个子任务，每个子任务在不同的处理单元上并行执行的方式。
典型的数据并行算法包括矩阵乘法算法、并行排序算法等。
2. 任务并行算法任务并行算法是将计算任务分解为多个相互独立的子任务，并行执行的方式。
各个子任务之间没有数据依赖关系，可以同时进行计算。
典型的任务并行算法包括并行搜索算法、并行图算法等。
3. 流水线并行算法流水线并行算法是将计算任务分解为多个阶段，不同处理单元在不同阶段上并行执行，通过流水线的方式提高计算效率。
典型的流水线并行算法包括多级缓存机制的并行计算算法、指令级并行计算算法等。
三、并行计算算法的设计方法1. 并行分解并行分解是指将原始的计算任务分解为多个子任务的过程。
在并行分解过程中，需要考虑任务的划分方式、任务之间的依赖关系以及负载均衡等问题。
2. 并行通信并行通信是指多个处理单元之间的信息传递与同步。
在并行计算算法的设计中，合理的并行通信方式能够提高计算效率。
常用的并行通信方式包括消息传递接口MPI、共享内存等。
3. 并行合并并行合并是指将多个子任务的计算结果合并为最终的结果的过程。
在并行合并过程中，需要考虑合并方式以及结果的正确性验证等问题。
四、并行计算算法的分析方法1. 速度up与加速比速度up表示并行计算与串行计算相比的计算速度提升程度。
加速比表示并行计算中处理单元数量增加时，计算速度相对于串行计算的提升比例。
通过对速度up与加速比的分析，可以评估并行算法的性能优劣。
2. 并行性的度量与评估并行性是指并行计算中各个子任务可以同时进行的程度。
通过对并行性的度量与评估，可以确定并行计算算法的最佳并行度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
计算机并行计算的基本问题及现状引言工作中，我们总是希望我们自己工作得更有效率，用更少的时间解决更多的问题。
在计算机里，这就是并行计算的基本初衷。
全世界第一台计算机ENIAC中就己经出现了并行计算的概念。
它有20个累加器，可以并发执行多个加减运算，可谓开并行计算的先河。
在随后的20世纪五六十年代，由于晶体管和集成电器的发明，出现了更多更快的计算机。
IBM是这一时期的主角，同期计算机编程语言的出现，由软件完成处理并行计算的思想进一步深化。
但这一时期的计算还是大型机时代，没有几个平民能用得起这些昂贵的东西。
计算机和软件技术还锁在研究院和大学校园里。
20世纪70年代，随着微电子技术的发展，出现了微型处理器(CPU)接着,1974年，全世界第一台个人电脑牛郎星顺利出炉。
紧随其后，看到市场前景的苹果和IBM推波助澜，计算机开始进入个人时代。
个人计算机同时又催生了软件业的高速发展，软件又带动CPU不断升级换代。
这为并行计算摆脱高端路线，进入平民化时代打下了基础。
1并行计算的基本问题1.1为什么需要并行计算在个人计算机诞生后的几十年里，程序员们编写了大量的应用软件，这些软件决大部分了采用串行计算方法。
所谓串行，是指软件在PC 上执行，在进入CPU前被分解为一个个指令，指令在CPU中一条条顺序执行。
任一时间内，CPU只能够运行一条指令。
这种方式很符合我们对现实世界的思考习惯。
至于软件的运行速度，则依赖硬件的处理能力，尤其CPU的处理速度。
这种思维方式到了2005年遇到了挑战。
在那一年，受限于制造CPU的半导体材料限制，左右CPU发展的摩尔定律开始失效了。
但芯片业很快找到了一个变通的办法:在一块芯片中植入多个处理核心，通过多核的共同运算，提高运行速度。
不幸的是，采用串行方法编写的软件面临着一个尴尬的局面:如果仍采用串行编程方式，运行速度将停滞不前。
这样，原来需要CPU完成的提速工作，被迫需要软件自己来完成。
在另一个领域:互联网，由于网络数据极速膨胀，数据量己经远远超过一台或者几台大型计算机的处理能力，需要更大数量的计算机协同完成。
面对这些问题，主要的解决方案就是:并行计算。
1.2并行计算的涵义并行计算目前还是一门发展中的学科。
并行计算是相对串行计算而言的，并行计算可以分为时间上的并行计算和空间上的并行计算。
时间上的并行计算就是流水线技术，即采用指令预取技术，将每个指令分成多步，各步间叠加操作，当前指令完成前，后一指令准备就绪，缩小指令执行的时钟周期。
典型的以时间换空间。
空间上的并行计算是指由多个处理单元(不仅是CPU)执行的计算，是以空间换时间。
空间上的并行计算分为两类:单指令多数据流(SIMD)和多指令多数据流(MIMD)SIMD是流水技术的扩展，可以在一个时钟周期处理多个指令，我们目前使用的PC大多属于此列，例如AMD 3DNOW和Intel MMX。
MIMD大致又分为5类:工作站集群 (COW)。
对称多处理机(SMP)。
大规模并行处理机(MPP)。
分布共享存储处理机(DSM ) ,并行向量机(PVP)。
空间并行计算技术包括数据并行计算和任务并行计算。
数据并行计算是指将一个大的数据分解为多个小的数据，分散到多个处理单元执行。
任务并行是将大的任务分解为小的任务，分散到多个处理单元执行，任务并行同时还要避免任务重复执行，协调数据的上下文关系，避免冲突发生。
任务并行计算与实际应用需求紧密相关。
所以，任务并行计算要比数据并行计算复杂得多。
并行计算与串行计算的最大不同在于，并行计算不仅要考虑计算本身，还要考虑并行处理模型。
网络通信。
计算协作诸多问题。
1.3主要的并行计算体系类型1.3.1工作站集群(COW Cluster of Workstation)工作站集群可以理解为:PC+网络。
它可以由少数几台PC扩展到数千个节点的大规模并行系统，既可以是廉价的并行程序调试环境，也可以成为的高性能计算平台。
集群由于低成本，动态可扩充的特点，己经成为高性能计算平台的主流。
目前Google搜索和云计算业务即采用这一方式。
我国的联想深腾XXXX,曙光XXXX系列均属此类。
1.3.2多处理系统(SMP Symmetric Multi Processing)它由多个紧耦合多处理器组成，最大特点就是共享全部资源。
1.3.3大规模并行处理系统(MPP Massively Parallel Processing)由许多松祸合处理单元(不是处理器)组成的。
这种结构与SMP对立，每个单元自成体系，包括CPU。
内存。
硬盘。
操作系统，最大特点是不共享资源。
刀片服务器属于此列。
1.3.4分布式共享存储多处理(DSM)它可以视为对SMP的可扩充，将共享数据映射到不同的物理位置。
数据的同步由硬件或者软件来完成。
是目前高性能计算机的主流发展方向之一。
1.3.5并行向量机(PVP ,Parallel Vector Processor )PVP使用专用的向量处理器，提供数据共享，通过高速交叉开关实现通信。
向量运算是一种较简单的并行计算，适用面很广，机器比较容易实现，使用也方便，因此向量处理机(向量机)在20世纪70年代获得了迅速发展。
1.4并行计算的处理模式1.4.1主从模型( MS , Master-slave )即有一个主进程，其他是从进程。
主进程负责整个系统的控制(包括任务调度。
负载平衡)，从进程负责对数据的处理和计算任务。
Google 搜索业务目前就是采用的这种编程模型。
1.4.2对称处理模型(SPM)这种架构没有主从概念之分，所有进程的地位都是平等的。
在并行执行过程中，我们可以任意选择其中一个进程执行输入输出操作，其他进程扮演同样的角色。
1.4.3多程序处理模型( MPPM )在计算机集群中，每台计算机节点执行不同的程序和相同的程序。
1.5并行计算设计原则(1)适应性。
并行算法是并行计算的基础，是为解决实际问题而出现，必须与实际应用相结合。
(2)可扩展。
并行算法是否能够随计算节点增加或减少而同步的线性变化，是评价一个并行算法是否有效的重要标志之一。
(3)粗粒度。
通常情况下，粒度越大越好。
这是因为在每个处理机中有很多需要计算的工作任务，如此可以充分发挥多处理机的作用。
并行加速比对细粒度问题一般情况下是不会很高的，这也是为什么并行计算需要求解大规模问题的原因所在。
(4)减少通信。
一个高效的并行算法，通信是至关。
提高性能的一个关键是减少数据通信量和通信次数。
(5)优化性能。
评价性能的优缺，主要是看单节点计算的处理能力，和并行执行效率。
这与实际采用的技术息息相关。
1.6并行计算设计方法1.6.1分片(1)数据分片。
数据分片包括两类:数值分片和哈希分片。
数值分片适用于己知数据范围的分解，如果Int,Long类型处理。
哈希分片适用于未知数据范围的数据分解，包括字符串，字节数组类型。
数据分片是把相同的操作作用于不同的数据，达到提到快速求解的目的。
数据分片模型是一种较高层次的并行计算模型，编程却相对简单。
数据分片的并行计算最早应用于并行向量计算机(PVP))经过长期实践表明，该技术可以高效地求解大部分的科学和工程计算问题。
数据并行处理对象是数值，对应非数值类问题，则需要其他并行计算模型来解决。
Google的搜索业务是采用数据分片的并行计算模式。
(2)任务分片。
任务分片的并行计算主要针对非数值类的并行处理。
它通常的消息传递机制(目前主流是PMI是各并行计算执行单元之间通过传递消息来交换数据，协调步伐，执行控制操作。
消息传递一般是针对分布节点内存，也可以适用于共享内存的并行节点。
消息传递模型为程序员提供了更加灵活的控制手段和表现形式。
消息传递模型很容易实现，控制变化手段灵活多样，但是需要程序员有丰富的并行编程经验。
是一种较低层次，编程相对复杂的模型，适用于业务流程的并行化处理。
1.6.2通信协调计算过程中的数据共享。
通信工作目前主要由TCP/IP协议完成。
1.6.3组织组织各任务并发执行，提高性能。
在主线程的控制下，子线程在此承担具体的并发操作任务。
1.6.4映射分配任务(分布处理。
共享处理)。
线程和通信共同完成。
1.7并行计算应注意的事项(1)任务分解:这是所有并行计算的核心问题，优秀的任务分解需要保证平均和处理负载的平衡，同时，随着处理器能力的动态伸缩动态调节。
(2)通信:并发处理离不开网络通信联系。
相较与CPU运算，数据在网络间传递延迟是并发处理的瓶颈之一。
光纤网络是目前最好的选择。
(3)并行协调:是并行运算过程中控制流程。
(4)并行冲突:并行冲突来源主要是任务分解和并行协调。
(5)数据归并:这是数据计算完成后，必不可少的一步操作。
数据归并需要注意:过滤重复数据，合并相关性数据等。
(6)死锁。
死锁是在编程过程中，由于人为的原因造成。
死锁表示为:对象间在不放弃自己资源下互相调用。
请程序员注意。
2并行计算的发展现状2.1多核为主流的体系结构多核处理器代表了计算技术的一次创新。
由于数字数据和互联网的全球化，商业和消费者开始要求多核处理器带来性能改进，这个重要创新就开始了，因为多核处理器比单核处理器具有性能和效率优势，多核处理器将会成为被广泛采用的计算模型。
在驱动PC安全性和虚拟化技术的重大进程过程中，多核处理器扮演着中心作用，这些安全性和虚拟化技术的开发用于为商业计算市场提供更大的安全性。
更好的资源利用率。
创造更大价值。
普通消费者用户也期望得到前所未有的性能，这将极大地扩展其家庭PC和数字媒体计算系统的使用。
多核处理器具有不增加功耗而提高性能的好处，实现更大的性能/能耗比。
在一个处理器中放入两个或多个功能强大的计算核产生了一个重大的可能性。
由于多核处理器能提供比单核处理器更好的性能和效率，下一代的软件应用程序很有可能是基于多核处理器而开发的。
不管这些应用是帮助专业的电影公司以更少的投入和更少的时间完成更真实的电影，还是以更彻底的方法使得PC更自然和直观，多核处理器技术将永远改变计算世界。
多核处理器表达了AMD了解顾客需求并且开发最能满足客户要求产品的意愿。
微软多核计算的主管Dan Reed称，整个世界上很缺乏那些并行计算的研究人员，而一个间接的原因就是学院里对于并行计算的关注度不够，而这些学院正是下一代软件开发人员诞生的地方。
越来越高的时钟频率导致应用程序的代码运行得越来越快，而对于当前多核处理器来讲这一规则虽然成立，但却有所不同。
而这种不同可以做一个形象的比喻，那就是一部跑车和一辆学校的巴士。
当跑车能够以很快的速度飞奔时，巴士虽然比较慢，但它可以载着更多的人前行。
问题就是，简单地在计算机CPU上增加多个核并不能增加传统应用程序代码的运行速度，这一结果是根据一项来自于Forrester研究公司的报告得出的。
换句话说，复杂的工作需要拆分来填充这辆巴士上的空座位。