【高级】第8章 人工智能算法优化(8.2 性能优化)V1.0

第25页
并行计算——方法
随着CPU从单核发展为多核，越来越多的程序员也意识到了多线程编程的重要性。
多线程编程可以在多个CPU核心间实现线程级并行； 多线程编程也可以通过超线程等技术更好地利用每一个核心内的资源，充分利用CPU的计算
能力。
除了直接使用操作系统提供的线程管理API实现多线程外，还可以通过一些库或者语言扩 展等方法实现多线程并行计算。目前常见的多线程编程语言扩展有OpenMP和Intel的TBB （Thread Building Block）等。
时间上的并行计算通过轮流重叠使用同一套硬件设备的各个部分，从而加快硬件周转而赢 得速度。
第9页
并行计算——原理
空间上的并行计算
空间上的并行计算是指多个处理器并发执行计算，即通过网络将两个以上的处理机连接起 来，达到同时计算同一个任务的不同部分，或解决单个处理机无法解决的大型问题的目的。
空间上的并行计算分为两类：单指令多数据流（SIMD）和多指令多数据流（MIMD）。
第24页
并行计算——方法
多核是指在一枚处理芯片上集成两个以上完整的“执行内核”，每个处理器就是一个内核，每个 内核使处理器执行并行指令，可以使处理器内部的线程并行执行。
多核CPU与单核CPU相比具备更强的优势，其主要表现为并行执行能力更强、计算速度提高、时钟 频率有所降低、可以减少功耗与系统的散热。因此具有多核结构产品逐渐成为市场的主流。
第21页
并行计算——原理
消息传递系统是能有效增加一个并行和分布式系统所管理处理器数目的方法。
消息传递系统
P为处理器
PP//CC
PP//CC
PP//CC
C缓冲器
...
M为局部存储器
MM
MM
MM
第22页
互连网络
并行计算——方法
受工艺、材料和功耗的物理限制，处理器的频率不会在短时间内有飞跃式的提高，因此 需要利用目前并行计算体系结构，采用各种并行方式提高计算能力。
每个处理器可以由寄存器、缓冲器、高速缓存和局部存储器作为附加的存储器资源。
第18页
并行计算——原理
共享存储器系统
P为处理器 Cache为缓冲器 SM为共享存储器 I/O为输入/输出
PP CCaacchhee
第19页
SSMM
PP ...
CCaacchhee
互连网络
...
SSMM
PP CCaacchhee
II//OO
并行计算——原理
消息传递系统
消息传递系统又称为分布式存储器，通常将局部存储器和处理器组合在互连网络的每个节 点中。
消息传递系统没有全局存储器，需要借助消息传递将数据从一个局部存储器移动到另一个 局部存储器，通常用一对发送/接收命令来完成数据移动。
节点能够将消息存储在缓冲器中，消息在其中等待处理直到能被发送或接收，并在进行处 理的同时完成接收操作。
P为处理器 M为存储器
控制器
P1
ቤተ መጻሕፍቲ ባይዱP2
P3
...
Pn
互连网络
第16页
M1
M2
M3
...
Mn
并行计算——原理
MIMD体系结构
• MIMD并行体系结构是由多处理器和多存储器借助互连网络连接在一起构成的。 • MIMD并行体系结构包含共享存储器和消息传递两类。
第17页
并行计算——原理
共享存储器系统
共享存储器系统通过所有处理器共享一个全局存储器完成处理器间的协调。 这种架构中所有进程对共享存储的访问是平衡的，因此也称为对称多处理器（SMP）系统。
进程级并行； 最后是集群或分布式（cluster/distributed）并行，可以借助网络实现大规模的集群或者分布
式并行，每个节点就是一台独立的计算机，实现更大规模的并行计算。
第7页
并行计算——原理
并行计算的概念
• 并行计算主要是通过很多不同的独立平台来共同处理一个庞大的任务，或者是在一个平台上 通过利用多个线程共同处理问题的过程。
形处理器（Graphics Processing Unit，GPU）并配合相关软件（如CUDA）进行计算。
第2页
并行计算
在个人计算机诞生后的几十年里，程序员们编写了大量的应用软件，这些软件大部分是 采用串行计算的方法。 串行计算
• 软件在PC上执行，在进入CPU前被分解为一个一个的指令，指令在CPU中按照一 条一条的顺序执行。
第20页
并行计算——原理
消息传递系统中的处理部件可以用各种不同的方式加以连接，如专用的体系结构互连方 式、地理上分散的网络、静态网络等。
为消息传递系统设计互连网络必须考虑两个重要的设计因素：带宽和网络时延。
带宽是指单位时间内能传输的比特（信息量单位）数。
网络时延是指为完成一个消息传输所需的时间。
从算法的角度分析，并不是所有的算法都适用于GPU计算，可以找出程序中适合在CPU上计 算的部分和适合在GPU上计算的部分，最后确定一种协调方案，让两种处理器协作完成计算 任务，并且能够达到最佳性能。
第31页
并行计算——方法
CUDA可以使用C语言进行程序开发，能够直接访问GPU资源。
当程序代码需要CPU执行时，由CUDA集成的C语言编译器编译后交由CPU执行。 当程序代码需要在GPU中运行时，由CUDA编译成机器代码后交由GPU执行。
额外开销包含很多部分，其中通信开销和同步开销所占比例较大。 通信开销是由计算节点间的数据传输造成的，用于并行计算的多个节点间需要进行 数据的传递与信息的交互，数据传递越密集、交互信息越多的系统，通信开销越大。
同步开销一般是由节点间负载不均衡造成的，分配至各个计算节点的工作量不均衡， 运行最慢的节点往往决定并行开销。
并行计算——原理
空间并行计算技术包括数据并行计算和任务并行计算。
数据并行计算是将一个大数据分解为多个小数据，分散到多个处理单元执行。 任务并行计算是将大的任务分解成小任务，分散到多个处理单元执行。
第12页
并行计算——原理
相对于串行计算系统，一个设计合理的并行计算系统可以节省大量时间，但同时也会付 出一些额外的开销。
• 任一时间内，CPU只能够运行一条指令。
第3页
并行计算
串行计算这种方式很符合人们对现实世界的思考习惯，至于软件的运行速度，则依赖硬 件的处理能力，尤其是CPU的处理速度。这种思维方式到了2005年遇到了挑战，受限于制 造CPU的半导体材料限制，左右CPU发展的摩尔定律开始失效。
芯片行业很快找到了方法
处理。
前端机
前端机与处理器阵列相连，可随机访问每个处理器的局部存储器，并通过发出特定命令使 部分存储器同时操作或使数据在存储器中移动。
程序员可以通过传统的顺序编程语言编写程序并运行在前端机上，前端机串行运行命令， 但是前端机可向处理器阵列发出命令进行SIMD并行计算。
第15页
并行计算——原理
SIMD结构图
第8章 人工智能算法优化
第0页
目录
1. 网络优化 2. 性能优化
第1页
性能优化
对于一个具体的应用系统，优化效率策略大体上可分为两类。
一类针对模型与算法本身，通过模型结构的精简或算法的改进来减少程序运行时间。 主服务器可以进行读写操作，当写操作导致数据变化时会自动将数据同步给从服务器。 一类着力于计算能力的提高与计算方式的改进。 使用的技术有并行计算技术、集群计算技术和提高单一节点的计算能力等，如选用图
CPU和GPU对于不同的问题有不同的处理方式，有各自的优势，在某些方面上也存在劣势。 CPU在存储器中存取数据、CPU的逻辑运算控制等都会消耗大量的时间，这主 要是因为带宽制约，使得算法的执行时间增加。
GPU在数值运算速度非常快，带宽非常大，在计算密集的重复场景，其计算效 率远远超过拥有核心的CPU，而且远比CPU价格便宜。
第26页
并行计算——方法
目前电脑的配置已经普遍提高，四核处理器已经是基本的配置。 基本上所有的智能手机都是多核的，手机的处理器核数越多，手机的反应速度越快，出
现卡机的情况更少，能满足人们追求反应速度更快的智能手机的需求。
第27页
华为海思K3V3八核处理器
并行计算——方法
基于GPU异构并行
• 随着计算机进入图形界面系统以来，用户对图形的高清晰、高分辨率、实时显示等需求促进 了GPU技术的快步发展。
所以将GPU和CPU各自的优点结合起来，提出了基于GPU的并行计算技术，将CPU用于逻辑 控制，将GPU用于并行任务的计算。
第29页
并行计算——方法
GPU主要由流处理器单元和显存控制器单元构成，流处理器作为GPU的基本计算单元。 为了使GPU在图形处理功能之外发挥强大的通用计算能力，NVIDIA公司推出了基于GPU的
• 在实际应用中，并行计算根据不同的并行体系结构，有相应不同的编程环境和编程方式。 • 并行计算可分为时间上的并行计算和空间上的并行计算。
第8页
并行计算——原理
时间上的并行计算
时间上的并行计算就是流水线技术，即采用指令预取技术，将每个指令分成多步，各步间 叠加操作，当前指令完成前，后一指令准备就绪，缩小指令执行的时钟周期。
第10页
并行计算——原理
单指令多数据流（SIMD）
SIMD是流水线技术的扩展，可以在一个时钟周期处理多个指令。
多指令多数据流（MIMD）
MIMD大致分为5类：工作站集群（COW）、对称多处理器（SMP）、大规模并行处理机 （MMP）、分布共享存储处理机（DSM）、并行向量机（PVP）。
第11页
在一块芯片中植入多个处理核心，通过多核的共同运算，提高运行速度。
第4页
并行计算
如果程序员仍采用串行编程方法，那么应用软件运行速度将停滞不前，特别是在互联网 领域，由于网络数据极速膨胀，数据量已经远远超过一台或者几台大型计算机的处理能 力，需要更多数量的计算机协同完成。