Linux虚拟内存管理基础--终极版

用户态指相应的低级别执行状态，代码的掌控范围会 受到限制，只能执行CPU指令集的一个子集
举例：intel x86 CPU有四种不同的执行级别0-3，Linux 只使用了其中的0级和3级分别来表示内核态和用户态
0xc0000000以上的内核地址空间只能在内核态下访问 ，0x00000000－0xbfffffff的用户地址空间在两种状态 下都可以访问
1. 为了节省内存，32位CPU采用了两级页表
2. 第一级为页目录，每个表项存储了第二级页表的物理地址。
3. 第二级页表的每个表项存储了一个虚拟页所对应物理页的物 理地址。
4. 32位的虚拟地址被分成3个域
目录(directory)
最高的10位
页表(Table)
中间的10位
页内偏移量(offset)
逻辑地址 查表 转换 物理地址
6
CR3寄存器
进程 1 的页表
虚拟页 0 1 2 3
物理页 3
null 1
null
进程 2 的页表
虚拟页 0 1 2 3
物理页 2
null 1
null
进程 3 的页表
虚拟页 0 1 2 3
物理页 null null 1 null
物理页 0 1 2 3
内页表
taken N Y Y Y
2. 如何将同一块物理内存同时映射到同一个进程地址空间的多 个位置上？ 。
3. 多个进程 同时装载同一个动态链接库时，该动态库在每个进 程地址空间中的装载位置相同吗？
4. 如何做到将Linux内核代码和数据映射到每个进程的地址空间， 并且随着进程切换只是改变用户地址空间的内容而内核地址 空间内容保持不变？
2. 80386CPU中一个页表源自的定义如下： Present标志、Accessed标志、Dirty标志、Read/Write标志 、User/Supervisor标志、……
如果present标志为0，分页单元就把这个线性地址存放在 处理器的CR2寄存器中，并产生一个14号缺页异常
8
两级页表
5. 已知工作在用户态的应用程序不能访问内核空间的内存，那 么如果一个应用程序申请了一块内存，如果将指向该内存的 指针p传递给了一个内核态程序（例如某中断服务程序），那 么内核态程序能通过指针p访问该内存吗？
12
关于虚拟内存的思考二
1. 如果一个物理页中存储了某个进程的代码段，当该物理页因 为内存紧张需要被重新分配给另外的进程时，需不需要将该 物理页中的内容回写到磁盘交互文件中？
该值应该为大小应为PAGE_SIZE的整数倍 • 返回值：成功则返回被映射虚拟内存区的指针，失败返回-1。
20
mmap内存映射
1. int munmap(void *start, size_t length) 取消映射关系
2. int msync(const void *start, size_t length, int flags) 将内存中的内容同步到文件
Linux虚拟内存管理
基础篇
从宏观角度….
Linux的虚拟内存管理机制为应用程序和驱动 程序 提供了两种服务： 使每个进程都拥有自己独立的内存地址空间；对于 32位Linux而言，每个任务可寻址的内存地址空间 都为0x00000000 ~ 0xFFFFFFFF(232, 4GB) 当物理内存不够4GB时，虚拟内存管理模块会用外 存空间模拟内存空间，并且该模拟过程对应用程序 是透明的。
最低的12位
5. 程序中每产生一个32位的虚拟地址，CPU的MMU首先用最高 的10位查页目录获得第二级页表的物理地址，再用中间10位
查第二级页表获得物理页的起始地址，最后用该起始地址加 上偏移量offset（ 最低的12位 ）就得到了最终的物理地址。
6. 两次查表过程有可能会触发2次缺页中断。
9
线性地址 页
应用程序可以通过Linux系统调用由用户态进入内核态
逻辑地址与物理地址
1. 逻辑地址：程序在运行过程中用来访问存储器的地址。程序
员在编程时，只需知道逻辑地址，不需考虑该地址与实际物 理硬件上的存储单元如何对应。编译器在编译源程序时，也 只需考虑逻辑地址。 2. 物理地址：表示物理存储器中一个存储单元的实际位置，地 址总线上产生的就是物理地址。 3. 在实地址模式下，逻辑地址等于物理地址。在虚拟地址模式 下，逻辑地址不等于物理地址，必须经过查表才能转换为物 理地址，因此也叫虚拟地址。
CR3
页目录索引 页表索引 （0x80=128） （0x21）
+
+ Present=0
p1的页目录 p1的页表
页内偏移 （0x406）
Xxx xxx 缺页异常xXxxxx xxx Xx xx
2020/1/16
Linux OS Analysis
11/54
关于虚拟内存的思考一
1. 如何将同一块物理内存同时映射到多个进程的地址空间中？ （共享内存是一种高效的进程间通信机制）
址上，否则，如果flag没有指定SHM_RND，则连接到addr 所指定的地址上，如果flag为SHM_RND，则地址取整 • flag：SHM_RDONLY：为只读模式，其他为读写模式 • 返回值：如果成功，返回共享存储段地址，出错返回-1 2. int shmdt(void *addr); • addr:共享存储段的地址，以前调用shmat时的返回值 • 返回值
进程id null os
2 1
进程id 虚拟页
外页表
硬盘文件名
偏移量
CPU负责查表(虚拟地址->物理地址)，查表失败时触发缺页中断(14号)； OS负责填充各个表的内容，并提供缺页中断的中断服务器程序。
关于页表
1. 在32位CPU上，地址空间为2^32，一个内存页大小为2^12， 则共有2^20个页，页编号范围0~2^20-1，因此页表中的一行 至少要用3个字节（存储页编号是必须的），但实际上页表中 一行占4个字节。
2
用户地址空间与内核地址空间
1. Linux将每个进程的4GB的独立地址空间又划分为用 户地址空间(0x00000000 ~ 0xBFFFFFFF)和 内核 地址空间(0xC0000000 ~ 0xFFFFFFFF)两部分。
2. 操作系统内核代码和数据存放在内核地址空间；每 个进程自己私有的代码和数据存放在用户地址空间
24
进程地址空间布局
• Linux虚拟内存管理，4G的地址空间，0-3G为用户地址 空间，3G-4G为内核地址空间，内核地址空间有自己 的页表，用户进程有自己的页表
• 进程的内存结构 • 查看/proc/pid/maps文件夹 • 利用pmap命令和statm命令
22
小作业3
1. 创建一个大的磁盘文件（思考：如何快速创建一个大文件）， 然后分别用fopen/fread/fclose的方法和open/mmap/的方法读 取其全部数据，比较两种方法的数据吞吐率。 一个星期后11月19日将源码和测试数据发至xdlilh@
2. 试验利用/dev/mem直接访问物理内存（不用交源码）
4. 如何设置内存区域为“只读”存储区？ 5. 如何以当前进程为模板快速克隆出另外一个新的进程？
（fork函数与Copy On Write技术）
13
输出什么？
存储位置是否相同？
IPC机制：共享内存
1. int shmget(key_t key, size_t size, int flag); • 功能：得到一个共享内存标识符或创建一个共享内存对象 并返回共享内存标识符 • key: 共享内存对象的全局标识，大于0的32位整数。通常 要求此值来源于ftok返回的IPC键值。如果该内存被映射到 同一进程地址空间，则令key取值为IPC_PRIVATE。 • size:共享内存区的字节数 • flag:读写的权限 • 返回值：成功返回共享存储的id，失败返回-1
16
IPC机制：共享内存
1. void *shmat(int shmid, const void *addr, int flag); • 功能：连接共享内存标识符为shmid的共享内存，连接成 功后把共享内存区对象映射到调用进程的地址空间，随后 可像本地空间一样访问
• shmid：共享存储的id • addr：一般为0，表示连接到由内核选择的第一个可用地
思考：
mmap函数执行时会一次性将整个被映射文件读入内存吗？ 即用mmap函数映射一个大文件时会很耗时吗？
21
mmap的应用
1. 快速读写大文件，简化程序逻辑。 2. 快速读写I/O设备（如V4L库） 3. 创建进程间共享内存（可利用/dev/zero文件） 4. 在用户态的应用程序中直接读写物理内存（即读写指定物理
23
可执行文件的布局
1. 一个可执行文件的布局可以看成是进程地址空间的静态布局。 2. .text 节：包含了完成程序任务的机器指令。 3. .data 节：用来存储初始化过的全局变量或局部静态变量。 4. .bss 节：用来对应未初始化的全局变量或局部静态变量。 5. .rodata节：用来存放const 变量、字符串常量等常量数据 6. .init节：存放只运行一次的程序指令
3. 虽然Linux的内核代码和数据被映射到了每个进程的 地址空间中（所有进程看到的内容是相同的），但 在实际的物理内存中，只有内核代码和数据的一份 拷贝。
3
用户地址空间与内核地址空间
4
用户态与核心态
一般现代CPU都有几种不同的指令执行级别
在高执行级别下，代码可以执行特权指令，访问任意 的物理地址，这种CPU执行级别就对应着内核态
地址上的内存单元）。 • /dev/mem是整个物理内存的全映像文件 • open("/dev/mem",O_RDWR|O_SYNC)，然后mmap，接着