Linux平台下基于Intel千兆网卡的零拷贝技术的研究与实现

表 １ 接收数据表 ３．２ 系统环境 发包机： Ｌｅｎｏｖｏ １ 和 Ｌｅｎｏｖｅ ２。
配置： Ｐ４ ＸＥＯＮ ３．０Ｇ， ５１２ｍ 内存， Ｉｎｔｅｌ ８２５４１ＧＩ 千兆电 口网卡。 收包机： Ｄｅｌｌ １
配置： Ｐ４ ２．４Ｇ， ５１２ｍ 内存， Ｉｎｔｅｌ ８２５４１ＧＩ 千兆电口网卡。 交换机： 思科 ＷＳ－ Ｃ３７５０－ ４８ＴＳ－ Ｓ 千兆交换机 包机和收包机的操作系统都是 ＲＨＥＬ４．０， 内核版本为 ２． ６．１６．１９。 ３．３ 实验数据及其分析 为了测试 Ｉｎｔｅｌ 千兆网卡的收发性能， 发包程序和收包程序 都是本人开发的程序。 计算带宽的时候要加上 ＩｎｔｅｒｆｒａｍｅＧａｐ， Ｐｒｅ＆Ｐｏｓｔａｍｂｌｅ， Ｆｒａｍｅ Ｈｅａｄｅｒ， Ｆｒａｍｅ ＦＣＳ， 所以发包流量和收包流量的计算公 式［８］：
接收缓冲环中的头索引是由硬件来控制， 每当网卡将新的 数据包拷贝到接收缓冲环， 头索引都要自动将索引后移。但是当 头索引和尾索引相等的时候， 表示接收缓冲环已经满了， 网卡就 不再拷贝数据包到内存缓冲环。如果想让设网卡不停的接收数 据包， 那就要在头索引赶上尾索引之前， 使尾索引后移， 这样就 可以达到网卡的线速。尾索引是由软件来控制， 而通过内存映射 我们可以在用户空间直接对尾索引进行操作， 进而在用户空间 直接控制网卡接收数据包。 ２．１ 接收控制机制
间直接控制网卡进行数据包的收发， 并且可以在用户空间访问 接收和发送缓冲环， 同时 ＣＰＵ 有足够的空闲时间用来对数据包 进行处理。但是由于条件和时间限制， 还有许多工作要做， 购买 Ｉｎｔｅｌ 千兆光纤网卡进行数据测试， 看能否达到 Ｉｎｔｅｌ 宣称的理论 值 ６４ 字节小包 １，４８８，０９５ｐｐｓ［８］和 １５００ 字节大包 ８１，２７４ｐｐｓ［８］， 继续深入研究为上层应用程序提供一种像 ｌｉｂｐｃａｐ 的工业标准 接口， 其他使用 ｌｉｂｐｃａｐ 的应用程序， 可以只作简单修改甚至不 修改， 只需重新编译一下源程序就可以运行， 充分利用本零拷贝 平台的优越性。
修改的网卡驱动程序同样控制着接收缓冲环结构， 这个缓 冲环同样是在网卡初始化的时候产生， 但是在数据包的接收过 程中这个缓冲环中的内存缓冲区是固定不变的， 也就是说在网 卡初始化的时候一旦分配完成， 就不会再因为数据包的接收而 重新分配或者回收内存缓冲区， 这是因为数据包的接收过程避 开了内核的干涉。 ２．３ 中断的处理
２００８ 年第 ４ 期
福建电脑
５
Ｌｉｎｕｘ 平台下基于 Ｉｎｔｅｌ 千兆网卡的零拷贝技术的 研究与实现
刘峰 黄凯明 黎忠文
（ 厦门大学计算机科学系 福建 厦门 ３６１００５ ）
【摘 要】： 千兆网络时代的到来， 使得在通用操作系统下远达不到线速捕获和发送数据包。本文实现了一种在用户空 间直接控制网卡收发数据包的零拷贝平台， 旁路了内核， 减少了数据包在内核和用户空间传递过程中的拷贝， 缓存， 以及系统 调用等的开销， 使得采用轮询机制基本上达到了千兆网卡的线速。
Ｌｉｂｐｃａｐ 主要缺点如下： ① 数据包的传输过程中函数调用和内存拷贝次数过多 ② ｒｅｖｆｒｏｍ 是 一 个 系 统 调 用 函 数 ， 每 调 用 一 次 ， 它 只 向 用 户 空间传递一个包， 而系统调用实际上是一个中断， 因此用传统的 方法进行大流量捕包时， 系统将会不断的进行中断处理和进程 切换， 那么最后导致＂中断湮没＂（ｌｉｖｅｌｏｃｋ）［５］， 使 ＣＰＵ 无暇顾及 其 他 任 务 。。 ③ 整个包传输的过程是开中断的， 这样会造成一个包的传 输和处理过程可能被下一个包的到来发出的硬件中断所打断。 为了彻底消除数据包捕获过程中的系统额外开销， 本文特意引 入了一种新的零拷贝技术， 由用户空间控制数据包的收发， 而不 是传统的由内核控制数据包的收发， 屏蔽掉中断， 旁路了系统协 议栈， 省去了系统调用， 以及内存分配及回收， 及内存拷贝等开 销， 只是进行了一次网卡和内存缓冲区之间的 ＤＭＡ 传输。 ２．本 零 拷 贝 平 台 的 实 现 思 想 及 实 现 技 术 细 节 如图 １ 零拷贝原理图所示： 本零拷贝平台的实现思想主要 是通过内存映射在用户空间直接对接收和发送缓冲环进行读 写， 以达到只需要一次网卡和缓冲环之间的 ＤＭＡ 传输就可以实 现数据的收发， 同时通过内存映射可以在用户空间直接对网卡 上的寄存器进行操作， 从而使网卡的收发控制由内核空间转移 到了用户空间。
参考文献： １．Ｌａｗｒｅｎｃｅ Ｂｅｒｋｅｌｅｙ Ｎａｔｉｏｎａｌ Ｌａｂｓ， ｌｉｂｐｃａｐ． Ｎｅｔｗｏｒｋ Ｒ ｅｓｅａｒｃｈ Ｇｒｏｕｐ， ｈｔｔｐ：／ ／ ｗｗｗ．ｔｃｐｄｕｍｐ．ｏｒｇ／ ． ２．Ｔｈｅ Ｔｃｐｄｕｍｐ Ｇｒｏｕｐ， ｔｃｐｄｕｍｐ． ｈｔｔｐ：／ ／ ｗｗｗ．ｔｃｐｄｕｍｐ．ｏｒｇ／ ． ３．Ｇ． Ｃｏｍｂｓ， Ｅｔｈｅｒｅａｌ． ｈｔｔｐ：／ ／ ｗｗｗ．ｅｔｈｅｒｅａｌ．ｃｏｍ／ ． ４．Ｍ． Ｒ ｏｅｓｃｈ． Ｓｎｏｒｔ － Ｌｉｇｈｔｗｅｉｇｈｔ Ｉｎｔｒｕｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｎｅｔｗｏｒｋｓ［ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｕｓｅｎｉｘ Ｌｉｓａ ＇ ９９ Ｃｏｎｆｅｒｅｎｃｅ， ｈｔｔｐ：／ ／ ｗｗｗ．ｓｎｏｒｔ．ｏｒｇ／ ． ５． Ｊ． Ｍｏｇｕｌ ａｎｄ Ｋ． Ｒ ａｍａｋｒｉｓｎａｎ． Ｅｌｉｍｉｎａｔｉｎｇ Ｒ ｅｃｅｉｖｅ Ｌｉｖｅｌｏｃｋ ｉｎ ａｎ Ｉｎｔｅｒｒｕｐｔ－ Ｄｒｉｖｅｎ Ｋｅｒｎｅｌ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ Ｕｓｅｎｉｘ Ｔｅｃｈｎｉｃａｌ Ｃｏｎｆｅｒｅｎｃｅ， １９９６． ６．Ｌ． Ｒ ｉｚｚｏ． Ｄｅｖｉｃｅ Ｐｏｌｌｉｎｇ Ｓｕｐｐｏｒｔ ｆｏｒ ＦｒｅｅＢＳＤ． ＢＳＤＣｏｎＥｕｒｏｐｅ Ｃｏｎｆｅｒｅｎｃｅ， ２００１． ７．钱丽萍，高光来，李亚萍． 基于 ＢＰＦ 和 ＬＩＢＰＣＡＰ 库的包捕获应用系统 的设计［Ｊ］． 电脑学习 １９９９，（６）：１１１３． ８．Ｓｍａｌｌ Ｐａｃｋｅｔ Ｔｒａｆｆｉｃ Ｐｅｒｆｏｒｍａｎｃｅ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ ８２５５ｘ ａｎｄ ８２５４ｘ Ｅｔｈｅｒｎｅｔ Ｃｏｎｔｒｏｌｌｅｒｓ． ｈｔｔｐ：／ ／ ｗｗｗ．Ｉｎｔｅｌ．ｃｏｍ／ ｄｅｓｉｇｎ／ ｎｅｔｗｏｒｋ／ ａｐｐｌｎｏｔｓ／ ａｐ４５３．ｈｔｍ． ９．ＰＣＩ／ ＰＣＩ－ Ｘ Ｆａｍｉｌｙ ｏｆ Ｇｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔ Ｃｏｎｔｒｏｌｌｅｒｓ Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｅｒ＇ ｓ Ｍａｎｕａｌ （ＳＤＭ） ８２５４０ＥＰ／ ＥＭ， ８２５４１ｘｘ， ８２５４４ＧＣ／ ＥＩ， ８２５４５ＧＭ／ ＥＭ， ８２５４６ＧＢ／ ＥＢ， ａｎｄ ８２５４７ｘｘ． ｈｔｔｐ：／ ／ ｗｗｗ．Ｉｎｔｅｌ．ｃｏｍ／ ｄｅｓｉｇｎ／ ｎｅｔｗｏｒｋ／ ｍａｎｕａｌｓ／ ８２５４ｘ＿ＧＢｅ＿ＳＤＭ．ｈｔｍ．
当有数据包拷贝到接收缓冲环时， 网卡要产生硬件信号通 知 ＣＰＵ 有 中 断 产 生 ， 当 ＣＰＵ 执 行 完 成 现 在 的 指 令 就 要 处 理 中 断， 根据中断号转到相应的中断处理程序处理数据包， 中断处理 程序都是在驱动程序初始化的时候注册完成。
很显然中断的处理还是在内核， 所以为了实现在用户空间 直接控制网卡接收数据包， 必须屏蔽掉网卡的中断， 在用户空间 以轮询的方式查看数据包是否接收完成。 ２．４ 缓冲环的控制
Ｌｉｂｐｃａｐ 的基本运行模式是： 首先获取可用 的 监 听 设 备 ， 即 某个网络接口（ｅｔｈ０ 或者 ｅｔｈ１ 等），再通过系统调用 ｓｏｃｋｅｔ 创建一 个 原 始 套 接 字 ， 指 明 自 己 的 监 听 端 口 为 ＥＴＨ＿Ｐ＿ＡＬＬ， 即 接 收 所 有的包， 然后不断循环调用一个读包函数读取数据包， 这个读包 函数的本质是一个 ｒｅｃｖｆｒｏｍ 系统调用， 它从系统的 ｓｋ＿ｂｕｆｆ 缓冲 区中每次读取一个包送给上层收包函数， 如果缓冲区空， 则阻塞 等 待 ［７］。
图 １ 零拷贝原理图
２．１ 内存映射 （ １） 查看／ｐｒｏｃ／ｉｏｍｅｍ 取得网卡上寄存器的首地址和地址范
围； 然后通过内存映射函数 ｍｍａｐ 将网卡上寄存器的首地址 映 射到用户虚拟地址空间， 达到在用户空间对网卡上的寄存器进 行直接读写。
（ ２） 通过网卡物理首地址和网卡上寄存器的偏移地址获得 网卡上特定寄存器的物理地址。然后将网卡上特定寄存器物理 地址映射到用户虚拟地址空间， 用户空间的程序就可以直接对 寄存器进行操作。根据图 １ 接收原理图所示： 通过内存映射我们 可以对网卡接收描述符队列环结构（ 接收缓冲环） 以及头尾索引 进行操作。 ２．２ 修改网卡驱动
图 ２ 测试网络拓扑图
（ ＩｎｔｅｒｆｒａｍｅＧａｐ ＋ Ｐｒｅ＆Ｐｏｓｔａｍｂｌｅ ＋ Ｆｒａｍｅ Ｈｅａｄｅｒ ＋ Ｆｒａｍｅ ＦＣＳ ＋ ＩＰ Ｐａｃｋｅｔ） ×ｐｐｓ；
其中： ＩｎｔｅｒｆｒａｍｅＧａｐ 为 １２ 字节， Ｐｒｅ＆Ｐｏｓｔａｍｂｌｅ 为 ８ 字节， Ｆｒａｍｅ Ｈｅａｄｅｒ 为 １４ 字节， Ｆｒａｍｅ ＦＣＳ 为 ４ 字节， ｐｐｓ 为 ｐａｃｋｅｔ ｐｅｒ ｓｅｃｏｎｄ， ｂｐｓ 为 ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ 就是每秒接收或发送的数据包， 这 里的数据包指 ＩＰ 数据包。 ４．结 束 语 本零拷贝平台实现了一种通过内存映射技术可以在用户空
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
（ 上接第 １２ 页）
接口， 具体界面和发布通知的界面基本相同， 在文件上传主界面 上 主 要 可 以 填 写 发 布 日 期 、发 布 人 、相 关 主 题 、内 容 和 上 传 的 附 件。 ３．４．２ 文件下载
采 用 轮 询 策 略［６］， 就 是 不 停 地 在 用 户 空 间 对 接 收 缓 冲 环 的
基金项目： 中山市科技项目（ ２００６Ａ１５７） ； 厦门大学院士基金（０６３０－ Ｅ２３０１１）； 厦门大学新世纪优秀人才基金（００００－ Ｘ０７１１６）。
６
福建电脑