Linux多核编程系列之调度亲和性
linux进程、线程与cpu的亲和性（affinity）
linux进程、线程与cpu的亲和性（affinity）最近的⼯作中对性能的要求⽐较⾼，下⾯简单做⼀下总结：⼀、什么是cpu亲和性（affinity） CPU的亲和性，就是进程要在指定的 CPU 上尽量长时间地运⾏⽽不被迁移到其他处理器，也称为CPU关联性；再简单的点的描述就将制定的进程或线程绑定到相应的cpu上；在多核运⾏的机器上，每个CPU本⾝⾃⼰会有缓存，缓存着进程使⽤的信息，⽽进程可能会被OS调度到其他CPU上，如此，CPU cache命中率就低了，当绑定CPU后，程序就会⼀直在指定的cpu跑，不会由操作系统调度到其他CPU上，性能有⼀定的提⾼。
软亲和性（affinity）: 就是进程要在指定的 CPU 上尽量长时间地运⾏⽽不被迁移到其他处理器，Linux 内核进程调度器天⽣就具有被称为软 CPU 亲和性（affinity）的特性，这意味着进程通常不会在处理器之间频繁迁移。
这种状态正是我们希望的，因为进程迁移的频率⼩就意味着产⽣的负载⼩。
硬亲和性（affinity）：简单来说就是利⽤linux内核提供给⽤户的API，强⾏将进程或者线程绑定到某⼀个指定的cpu核运⾏。
解释：在linux内核中，所有的进程都有⼀个相关的数据结构，称为 task_struct。
这个结构⾮常重要，原因有很多；其中与亲和性（affinity）相关度最⾼的是 cpus_allowed 位掩码。
这个位掩码由 n 位组成，与系统中的 n 个逻辑处理器⼀⼀对应。
具有 4 个物理 CPU 的系统可以有 4 位。
如果这些CPU 都启⽤了超线程，那么这个系统就有⼀个 8 位的位掩码。
如果为给定的进程设置了给定的位，那么这个进程就可以在相关的 CPU 上运⾏。
因此，如果⼀个进程可以在任何 CPU 上运⾏，并且能够根据需要在处理器之间进⾏迁移，那么位掩码就全是 1。
实际上，这就是 Linux 中进程的缺省状态；（这部分内容在这个博客中有提到⼀点：） cpus_allowed⽤于控制进程可以在哪⾥处理器上运⾏sched_set_affinity()（⽤来修改位掩码）sched_get_affinity()（⽤来查看当前的位掩码）⼆、进程与cpu的绑定 sched_setaffinity可以将某个进程绑定到⼀个特定的CPU。
linux schedutil策略 -回复
linux schedutil策略-回复Linux Schedutil策略: 简介、工作原理和性能优化在Linux操作系统中，进程调度是一个重要的任务。
它决定了进程如何分配CPU资源，以及如何有效地利用系统资源。
为了提高系统的性能和响应能力，Linux内核采用了不同的调度策略，其中之一就是Schedutil策略。
Schedutil是Linux内核中的一个动态调度器，它的设计目标是实时反馈地根据系统负载和需求动态地调整CPU频率和性能状态。
这样可以在不影响系统稳定性的前提下，最大限度地减小能源消耗，并提高系统的响应速度。
工作原理：Schedutil策略主要通过主动反馈和对CPU性能状态的调整来实现其目标。
以下是Schedutil策略的一般工作原理：1. 加载并编译: 当启动系统时，Schedutil策略会加载并编译相关的调度器代码，并初始化其参数和功能。
2. 系统负载检测: Schedutil会周期性地监测系统的负载情况。
这个过程主要通过检查CPU的使用率、负载平均数等指标来完成。
3. CPUPower调整: 基于系统负载检测的结果，Schedutil会使用CPUPower框架，动态地调整CPU的频率和性能状态。
CPUPower框架是一个用于管理CPU功耗和性能状态的工具集。
4. 选择最佳性能状态: Schedutil在调整CPU性能状态时，会根据当前系统负载和需求选择最佳性能状态。
较低的系统负载可能导致CPU进入较低的性能状态，以减少能耗。
而较高的系统负载则可能导致CPU进入较高的性能状态，以提供更高的处理能力。
5. 响应反馈: Schedutil会根据系统的实时反馈，及时调整CPU的性能状态。
这个反馈主要包括CPU的使用率、任务提交速率、响应延迟等指标。
6. 参数自适应: Schedutil策略还具有自适应的能力，能够根据系统的实际需求自动调整其内部参数和算法，以获得更佳的性能。
性能优化：为了获得最佳的系统性能，我们可以通过以下方法来优化Schedutil策略：1. 核心配置参数调整: Schedutil策略有一些核心的配置参数，如采样间隔、负载平均数的权重等，可以通过修改这些参数来调整策略的行为。
Linux内核分析之调度算法
Linux内核分析之调度算法inux调度算法在2.6.32中采用调度类实现模块式的调度方式。
这样，能够很好的加入新的调度算法。
linux调度器是以模块方式提供的，这样做的目的是允许不同类型的进程可以有针对性地选择调度算法。
这种模块化结构被称为调度器类，他允许多种不同哦可动态添加的调度算法并存，调度属于自己范畴的进程。
每个调度器都有一个优先级，调度代码会按照优先级遍历调度类，拥有一个可执行进程的最高优先级的调度器类胜出，去选择下面要执行的那个程序。
linux上主要有两大类调度算法，CFS(完全公平调度算法）和实时调度算法。
宏SCHED_NOMAL主要用于CFS调度，而SCHED_FIFO和SCHED_RR主要用于实时调度。
如下面的宏定义：1./*2.* Scheduling policies3.*/4./*支援Real-Time Task的排程,包括有SCHED_FIFO與SCHED_RR.5.*/6.7./*(也稱為SCHED_OTHER): 主要用以排程8.一般目的的Task.*/9.#define SCHED_NORMAL 010.#define SCHED_FIFO 111./*task預設的Time Slice長度為100 msecs*/12.#define SCHED_RR 213./*主要用以讓Task可以延長執行的時間14.(Time Slice),減少被中斷發生Task Context-Switch15.的次數.藉此可以提高Cache的利用率16.(每次Context-Switch都會導致Cache-Flush). 比17.較適合用在固定週期執行的Batch Jobs任18.務主機上,而不適合用在需要使用者互19.動的產品(會由於Task切換的延遲,而20.感覺到系統效能不佳或是反應太慢).*/21.#define SCHED_BATCH 322./* SCHED_ISO: reserved but not implemented yet */23./*為系統中的Idle Task排程.*/24.#define SCHED_IDLE 5linux调度算法实现的高层数据结构主要有运行实体、调度类、运行队列，下面我们主要看看这几个数据结构的字段和意义。
进程和线程的CPU亲和性
进程和线程的亲缘性（affinity）是指可以将进程或者是线程强制限制在可用的CPU子集上运行的特性，它一定程度上把进程/线程在多处理器系统上的调度策略暴露给系统程序员。
CPU的数量和表示在有n个CPU的Linux上，CPU是用0...n-1来进行一一标识的。
CPU的数量可以通过proc文件系统下的CPU相关文件得到，如cpuinfo和stat：$ cat /proc/stat | grep "^cpu[0-9]\+" | wc -l8$ cat /proc/cpuinfo | grep "^processor" | wc -l8在系统编程中，可以直接调用库调用sysconf获得：sysconf(_SC_NPROCESSORS_ONLN);进程的亲缘性Linux操作系统在2.5.8引入了调度亲缘性相关的系统调用：int sched_setaffinity(pid_t pid, unsigned int cpusetsize, cpu_set_t *mask);int sched_getaffinity(pid_t pid, unsigned int cpusetsize, cpu_set_t *mask);其中sched_setaffinity是设定进程号为pid的进程调度亲缘性为mask，也就是说它只能在mask中指定的CPU 之间进行调度执行;sched_getaffinity当然就是得到进程号为pid的进程调度亲缘性了。
如果pid为0，则操纵当前进程。
第二个参数指定mask所指空间的大小，通常为sizeof(cpu_set_t)。
第三个参数mask的类型为cpu_set_t，即CPU集合，GNU的c库（需要在include头文件之前定义__USE_GNU）还提供了操作它们的宏：void CPU_CLR(int cpu, cpu_set_t *set);int CPU_ISSET(int cpu, cpu_set_t *set);void CPU_SET(int cpu, cpu_set_t *set);void CPU_ZERO(cpu_set_t *set);如果我们所关心的只是CPU#0和CPU#1，想确保我们的进程只会运作在CPU#0之上，而不会运作在CPU#1之上。
linux系统中调度的基本单位
linux系统中调度的基本单位一、进程调度进程调度是操作系统中的一个重要组成部分，用于决定在多个进程同时竞争CPU资源时，应该选择哪个进程来执行。
Linux系统中的进程调度采用了时间片轮转调度算法。
时间片轮转调度是一种公平的调度算法，它将CPU的执行时间划分为一个个固定长度的时间片，每个进程在一个时间片内执行一段时间，然后切换到下一个进程。
这样可以保证每个进程都有机会执行，并且避免了长时间占用CPU 的情况。
二、线程调度线程调度是指在多线程应用程序中，操作系统决定哪个线程应该被执行的过程。
Linux系统中的线程调度和进程调度类似，同样采用时间片轮转调度算法。
不同的是，线程是共享同一个进程的资源，因此线程的切换相对于进程的切换来说更加轻量级。
线程调度的目标是尽可能地提高CPU利用率和系统响应速度。
三、任务调度任务调度是指在Linux系统中，操作系统决定何时执行某个任务的过程。
任务可以是周期性的，也可以是非周期性的。
周期性任务是指按照一定的时间间隔重复执行的任务，而非周期性任务则是指只执行一次的任务。
Linux系统中的任务调度使用了多种算法，如最早截止时间优先算法和最短作业优先算法等。
这些算法的目标是根据任务的优先级和执行时间来决定任务的执行顺序，以提高系统的性能和响应速度。
四、总结在Linux系统中，进程调度、线程调度和任务调度是操作系统中的重要组成部分。
进程调度决定在多个进程竞争CPU资源时的执行顺序，线程调度决定在多线程应用程序中哪个线程应该被执行，任务调度决定何时执行某个任务。
这些调度的基本单位都采用了时间片轮转调度算法，并根据不同的调度目标采用不同的调度策略。
通过合理的调度算法，可以提高系统的性能和响应速度，保证各个任务的执行顺序和时间片的分配合理。
Linux学习总结—Linux调度器分析
四、Linux调度器分析1．Linux2.6调度器的特性2.6 调度系统从设计之初就把开发重点放在更好满足实时性和多处理机并行性上，并且基本实现了它的设计目标。
新调度系统的特性概括为如下几点：∙继承和发扬2.4 版调度器的特点：o交互式作业优先o轻载条件下调度/唤醒的高性能o公平共享o基于优先级调度o高CPU 使用率o SMP 高效亲和o实时调度和cpu 绑定等调度手段∙在此基础之上的新特性：o O(1)调度算法，调度器开销恒定（与当前系统负载无关），实时性能更好o高可扩展性，锁粒度大幅度减小o新设计的SMP 亲和方法o优化计算密集型的批处理作业的调度o重载条件下调度器工作更平滑o子进程先于父进程运行等其他改进2．新的数据结构runqueue2.4 的就绪队列是一个简单的以runqueue_head 为头的双向链表，在2.6 中，就绪队列定义为一个复杂得多的数据结构struct runqueue，并且，尤为关键的是，每一个 CPU 都将维护一个自己的就绪队列，--这将大大减小竞争。
1) prio_array_t *active, *expired, arrays[2]runqueue 中最关键的数据结构。
每个CPU 的就绪队列按时间片是否用完分为两部分，分别通过active 指针和 expired 指针访问，active 指向时间片没用完、当前可被调度的就绪进程，expired 指向时间片已用完的就绪进程。
每一类就绪进程都用一个struct prio_array 的结构表示：struct prio_array {int nr_active; /* 本进程组中的进程数 */struct list_head queue[MAX_PRIO]; /* 以优先级为索引的 HASH 表，见下 */unsigned long bitmap[BITMAP_SIZE]; /* 加速以上 HASH 表访问的位图，见下*/};图1：active、expired 数组示例在新的O(1) 调度中，调度过程分解为n 步，每一步所耗费的时间都是O(1) 量级的。
多核cache亲和性
多核cache亲和性综述概述利用亲和性这种特性可以降低进程转移带来的性能损失，提高cache命中率，同时利用该特性可以充分利用片上所有的cache来加速串行程序的执行。
但要利用该特性需要操作系统调度程序的支持，同时要求有一定的硬件的支持。
经过研究，cache亲和性对单核多处理器的性能提升不大，但对于多核多处理器能带来很大的性能提升。
该文主要介绍了亲和性的定义，亲和性对性能的影响，最后怎样利用操作系统及硬件支持来充分利用该特性。
引言芯片多处理器（CMP）的已成为当今高性能的多处理器主要形式之一。
对影响性能的关键因素之一便是高速缓存的利用率。
传统的对于高速缓存，每个核心是有自己的私有L1高速缓存，并在同一芯片上所有核心共享的较大二级缓存。
为了提高缓存利用率，我们需要考虑在缓存中的数据重用，在所有核心上共享缓存缓存访问的争夺，和私有缓存间的连贯性缺失率。
亲和性定义：亲和性指进程在给定的cpu或cpu核上运行尽量长的时间而不被转移到别的处理器的倾向性。
在Linux里，内核进程调度器天生就具有软亲和性（soft affinity）的特性，这意味着进程通常不会在处理器或者内核之间频繁迁移。
这种情况是我们希望的，因为进程迁移的频率低意味着产生的负载小，具有更好的性能表现。
在对称多处理(SMP)上，操作系统的进程调度程序必须决定每个CPU上要运行哪些进程。
这带来两项挑战：调度程序必须充分利用所有处理器，避免当一个进程已就绪等待运行，却有一个CPU核心闲置一旁，这显然会降低效率。
然而一个进程一旦被安排在某个CPU核心上运行，进程调度程序也会将它安排在相同的CPU核心上运行。
这会使性能更好，因为将一个进程从一个处理器迁移到另一个处理器是要付出性能代价的。
一般进程会在相同的核或CPU上运行，只会在负载极不均衡的情况下从一个核移往另一个核。
这样可以最小化缓存区迁移效应，同时保证系统中处理器负载均衡。
亲和性程序性能的影响多核处理器的处理器与处理器之间的cache亲和力是通过观察缓存方面积累了一定的进程的状态，即数据或指令后才进行考察的。
linux的内核调度
调度ContentsLinux的进程调度机制： (2)概述： (2)1. 150ms： (2)2. 在设计一个进程调度机制时要考虑的具体问题主要有 (2)3. linux内核的调度机制： (3)１）调度的时机： (3)２）调度的方式： (4)4. 调度程序schedule()： (6)第二部分：如何在sched.c 中实现算法？ (19)公平调度(fair-share scheduling)的进程调度算法：一、公平分享的调度策略Linux 的调度算法是相对独立的一个模块，而且较容易理解。
因此很多系统高手都爱对调度算法做改进。
但是可以说调度器是一个非常神秘，难以捉摸的精灵。
可能通过改变一个关键参数你就可以大大提高系统的效率。
对于一般进程，CPU的使用时间都是系统平均分配给每一个进程的，因此这种公平分享都是从进程的角度出发的。
Bach在1986 年提出了公平分享调度策略（Fair_Share scheduling）来解决这个问题。
和Linux 三种内建策略比，公平分享调度策略是一种更抽象的调度策略。
它认为CPU应该根据拥有进程的组（对Linux 来说是用户）来分配时间，它实现了从用户角度考虑的公平原则。
由内核的结构来看，实现这个算法有很多种方式。
我们可以在与调度相关的程序里做小小的改动来实现，如改动一些数据结构并改写schedule()函数。
当然也可以做得很复杂，比如重写schedule()来实现所需要的结果。
但是有一点我们是要必须牢记的，那就是大部分的Linux 核心都是以短小高效为最高目标。
所以，改进的算法必须尽量向这个目标靠拢。
二、新调度策略的实现：分析1、这里所说的…组‟的概念，在Linux 中是一个用户。
我们所关心的是Linux 的用户，而不是UNIX 系统下的用户组或是别的什么概念。
因此在公平共享调度策略中，一个进程能够分配到的时间与登录的系统用户数以及拥有该进程用户开辟进程数的多少有关。