多核软件开发技术第六讲： OpenMP多线程编程及性能优化

OpenMP多线程应用程序性能分析
影响性能的主要因素
• • • • • 程序并行部分的比率 OpenMP本身的开销 负载均衡 局部性 线程同步带来的开销
}
循环并行化中的顺序语句（ordered）
• 对于循环并行化中的某些处理需要规定执行 的顺序 • 典型的情况：在一次循环的过程中
– 一大部分的工作是可以并行执行的，而其余的工 作需要等到前面的工作全部完成之后才能够执行
• 在循环并行化的过程中，可以使用ordered子 句使得顺序执行的语句直到前面的循环都执 行完毕之后再执行
规约操作并行化的限制
• 并不是所有的操作都能够使用规约操作 • 所有能够在OpenMP的C/C++语言中出现的规约操作
运算符 + * & | ^ && || 数据类型 整数，浮点 整数，浮点 整数，浮点 整数 整数 整数 整数 整数 默认初始值 0 1 0 所有位都开启，~0 0 0 1 0
数据相关性与并行化操作
使用作用域子句的一些规则
• 作用域子句作用的变量是已经申明的有名变量
• 作用域子句在作用到类或者结构的时候，只能作 用到类或者结构的整体，而不能只作用域类或者 结构的一个部分 • 一个编译指导语句能够包含多个数据作用域子句
• 作用域子句只能作用在出现在编译指导语句起作 用的语句变量部分
规约操作的并行化
原子操作
• 现代体系结构的多处理计算机提供了原子更 新一个单一内存单元的方法 • 通过单一一条指令就能够完成数据的读取与 更新操作 • 通过这种方式就能够完成对单一内存单元的 更新，提供了一种更高效率的互斥锁机制 • #pragma omp atomic x <binop>=expr
运行时库函数的互斥锁支持
循环并行化编译指导语句的子句
• 循环并行化子句可以包含一个或者多个子句来控 制循环并行化的实际执行 • 常见子句有：
– 作用域子句 – 控制线程的调度（schedule ）子句 – 动态控制是否并行化（if ）子句 – 进行同步的子句（ordered ）子句 – 控制变量在串行部分与并行部分传递（copyin ）子句
• 循环并行化实际上是并行区域编程的一个特 例 • 并行区域简单的说就是通过循环并行化编译 指导语句使得一段代码能够在多个线程内部 同时执行 • 在C/C++语言中，并行区域编写的格式如下： #pragma omp parallel [clause[clause]…] block
parallel编译指导语句的执行过程
• 当程序遇到parallel编译指导语句的时候，就 会生成相应数目（根据环境变量）的线程组 成一个线程组，并将代码重复地在各个线程 内部执行 • parallel的末尾有一个隐含的同步屏障 （barrier），所有线程完成所需的重复任务 有，在这个同步屏障出会和（join）
工作队列
工作队列的基本工作过程： • 为维持一个工作的队列，线程在并行执行的 时候，不断从这个队列中取出相应的工作完 成，直到队列为空为止
函数名称
void omp_init_lock（omp_lock_t *）
描述
初始化一个互斥锁
void omp_destroy_lock（omp_lock_t*） 结束一个互斥锁的使用并释放内存 void omp_set_lock（omp_lock_t *） 获得一个互斥锁 释放一个互斥锁
void omp_unset_lock（omp_lock_t *）
• 在规约操作中，会反复将一个二元运算符应用在一 个变量和另外一个值上，并把结果保存在原变量中 • 在使用规约操作时，只需在变量前指明规约操作的 类型以及规约的变量 • # pragma omp parallel for private（arx,ary,n） reduction（+:a,b） • for（i=0;i<n;i++）{ • a=a+arx[i]; • b=b+ary[i]; • }
明确的同步屏障语句
• 在有些情况下，隐含的同步屏障并不能提供有效的 同步措施 • 程序员可以在需要的地方插入明确的同步屏障语句 #pragma omp barrier • 在并行区域的执行过程中，所有的执行线程都会在 同步屏障语句上进行同步
• #pragma omp parallel
{
initialization（）; #pragma omp barrier process（）;
循环并行化语句的限制
• 并不是所有的循环语句都能够在其前面加上 #pragma omp parallel来实现并行化 • 并行化的语句必须是for循环语句并具有规范格式 • 能够推测出循环的次数 • for （index = start ; index < end ; increment_expr） • 在循环过程中不能使用break语句 • 不能使用goto和return语句从循环中跳出 • 可以使用continue语句
根据线程号分配任务
• 每一个线程在执行的过程中的线程标识号是 不同的 • 可以根据这个线程标识号来分配不同的任务 #pragma omp parallel private（myid） { nthreads=omp_get_num_threads（）; myid=omp_get_thread_num（）; get_my_work_done（myid,nthreads）; }
Master Thread
Parallel Region
Nested Parallel Region
OpenMP应用程序运行时的Fork-Join模型
编译指导语句
• 在编译器编译程序的时候，会识别特定的注 释，而这些注释就包含着OpenMP程序的一 些语义 • 在一个无法识别OpenMP语意的普通编译器 中，这些注释会被当作普通的注释而被忽略 • 在C/C++程序中，OpenMP所有编译指导语句 以#pragma omp开始，后面跟具体功能指令
int omp_test_lock（omp_lock_t *）
试图获得一个互斥锁，并在成功是 返回真（true），失败是返回假 （false）
事件同步机制
• 用来控制代码的执行顺序，使得某一部分代 码必须在其它的代码执行完毕之后才能执行 • OpenMP中的事件同步主要包括：
– 同步屏障（barrier） – 定序区段（ordered sections） – 主线程执行（master）
• 并不是所有的循环都能够使用#pragma omp parallel for来进行并行化 • 必须要保证数据两次循环之间不存在数据相 关性 • 数据相关性又被称为数据竞争（Data Race） • 当两个线程对同一个变量进行操作，并且有 一个操作为写操作的时候，就说明这两个线 程存在数据竞争
并行区域编程
循环嵌套
• 可以将嵌套循环的任意一个循环体进行并行化 • 循环并行化编译指导语句可以加在任意一个循 环之前 • 对应的最近的循环语句被并行化，其它部分保 持不变
控制数据的共享属性
• OpenMP程序在同一个共享内存空间上执行 • 可以任意使用这个共享内存空间上的变量进 行线程间的数据传递 • OpenMP还允许线程保留自己的私有变量不 能让其它线程访问到
– 临界区（critical） – 原子操作（atomic） – 由库函数来提供同步操作
临界区（critical）
• 临界区通过编译指导语句对产生数据竞争的 内存变量进行保护 • 在程序需要访问可能产生竞争的内存数据的 时候，都需要插入相应的临界区代码 • #pragma omp critical [（name）] block • 在执行上述的程序块block之前，必须首先要 获得临界区的控制权
建ቤተ መጻሕፍቲ ባይዱ一个新的项目
配置项目属性
设置环境变量
OpenMP多线程应用程序编程技术
循环并行化
• 循环并行化是使用OpenMP来并行化程序的最重 要的部分 • 在C/C++语言中，循环并行化语句的编译指导语 句格式如下： #pragma omp parallel for [clause[clause…]] for（ index = first ; test_expr ; increment_expr） { body of the loop; }
运行时库函数
• OpenMP运行时函数库主要用以设置和获取 执行环境相关的信息 • 它们当中也包含一系列用以同步的API
编译指导语 句
运行时函数库
环境变量
使用VS 2005编写OpenMP程序
• 当前的Visual Studio .Net 2005完全支持 OpenMP 2.0标准 • 通过新的编译器选项 /openmp来支持 OpenMP程序的编译和链接
隐含的同步屏障（barrier）
• 在每一个并行区域都会有一个隐含的同步屏障 • 一个同步屏障要求所有的线程执行到此屏障， 然后才能够继续执行下面的代码 • #pragma omp for，#pragma omp single， #pragma omp sections程序块都包含自己的隐 含的同步屏障 • 为了避免在循环过程中不必要的同步屏障，可 以增加nowait子句到相应的编译指导语句中
– 支持多种编程语言 – 支持多种平台
OpenMP多线程编程基础
• • • • OpenMP的编程模型以线程为基础 通过编译指导语句来显示地指导并行化 OpenMP的执行模型采用Fork-Join的形式 在开始时，只有一个叫做主线程的运行线程 存在 • 在运行过程中，当遇到需要进行并行计算的 时候，派生出（Fork）线程来执行并行任务 • 在并行代码结束执行，派生线程退出或挂起， 控制流程回到单独的主线程中（Join）
线程同步