TCP_IP协议的零拷贝和简化实现

摘 要：对嵌入式数据采集系统与 ＰＣ 间通过以太网的数据通讯进行了研究。这类嵌入式系统与 ＰＣ 配置于同一网
段，数据包的大小比较固定，但是要求传输速度快，系统资源占用率小。通过在网卡驱动程度程序中直接使用简化的
ＭＢＵＦ 结构，实现了发送和接收数据的零拷贝，减少了 ＣＰＵ 占用率。通过简化 ＩＰ 层协议和实现其它协议层中最基本
ｓｔｒｕｃｔ ｐｃｂ｛ ／／ｆｏｒ ＴＣＰ Ｕｉｎｔ１６ ｆｓｍ；／／表示连接的状态，具体参见图 ３。 ｐＭｂｕｆ ｐＲｃｖＢｕｆ；／／接受到的数据的链表头部 ｐＭｂｕｆ ｐＳｎｄＢｕｆ；／／已经发送但还没有收到正确 回答的链表 Ｕｉｎｔ１６ ｆＰｏｒｔ；／／端口号 Ｕｉｎｔ１６ ｌＰｏｒｔ； Ｕｉｎｔ３２ ｆＡｄｄｒ；／／ＩＰ 地址 Ｕｉｎｔ３２ ｌＡｄｄｒ； Ｕｉｎｔ１６ ｆｍａｃＡｄｄｒ０；／／ＭＡＣ 地址 Ｕｉｎｔ１６ ｆｍａｃＡｄｄｒ１； Ｕｉｎｔ１６ ｆｍａｃＡｄｄｒ２； Ｕｉｎｔ１６ ｌｍａｃＡｄｄｒ０； Ｕｉｎｔ１６ ｌｍａｃＡｄｄｒ１； Ｕｉｎｔ１６ ｌｍａｃＡｄｄｒ２； ／／ｂｅｌｏｗ ａｒｅ ｕｓｅｄ ｉｎ ＴＣＰ ｌｅｖｅｌ Ｕｉｎｔ３２ ｓｅｑＮｕｍ；／／ｓｅｑｕｅｎｃｅ ｎｕｍｂｅｒ Ｕｉｎｔ３２ ａｃｋＮｕｍ；／／ａｃｋｎｏｗｌｅｄｇｅｍｅｎｔ ｎｕｍｂｅｒ Ｕｉｎｔ１６ ｒｃｖＷｉｎＳｉｚｅ；／／ｒｅｃｅｉｖｅ ｗｉｎｄｏｗ ｓｉｚｅ Ｕｉｎｔ１６ ｔｉｍｅＯｕｔ；／／超时重发 ｝ 结构成员 ｆｓｍ 表示了 ＴＣＰ 连接所处的几种不 同的状态，状态变迁简图如图 ３ 所示。 ３．３ ＰＣＢ 的使用 应用系统为 ＴＣＰ 协议控制块（ ＰＣＢ）定义一个全 局变量。初始化时候设置本地 ＩＰ 地址，ＭＡＣ 地址和端 口号。在三次握手的过程中，在 ＰＣＢ 中设置远程的 ＭＡＣ 地址，ＩＰ 地址，端口号，初始的序号和应答号等。 链接建立以后，发送和接收到数据包时，就根 据情况修改 ＰＣＢ 中链接状态，发送序号和应答号， 以及 ＭＢＵＦ 链表等。根 ＰＣＢ 中的控制信息来实现数 据的可靠传递。
４ 零拷贝的实现
本文所指的零拷贝就是在网卡驱动程序和协 议之间没有数据拷贝的过程。以减少系统资源占用 和节省处理时间。
在通常的 ＴＣＰ／ＩＰ 实现中，网卡驱动程序和协议 相对独立。在发送和接收数据时候都存在一次网卡 驱动程序和协议栈之间的数据拷贝。比如在 ４．４ＢＳＤ－ Ｌｉｔｅ 的实现中，发送数据时候需要把 ＭＢＵＦ 中的数据拷贝到网卡驱动程序的发送缓存中；接收
ＰＣＢ 结构是参照 ４．４ＢＳＤ－ Ｌｉｔｅ 的 ＴＣＰ／ＩＰ 协议使 用的协议控制块［３］，对其进行简化和改进得到的，它 是 ＴＣＰ 协议实现数据可靠传输的关键结构。除了包 含服务端和客户端的 ＩＰ 地址，端口，序号等信息以
１１６
中国测试技术
２００７ 年 １ 月
外，还包括链接状态，指向 ＭＢＵＦ 的指针等信息［１］。 具体结构如下：
数据时候则需要把数据从网卡驱动程序的接收缓 存拷贝到 ＭＢＵＦ 中。本文在驱动程序中直接使用 ＭＢＵＦ 结构，在网卡驱动程序和 ＭＢＵＦ 之间不再需 要数据拷贝，实现了零拷贝。 ４．１ 协议框架
协议主要包括发送和接收两部分。协议框架如 图 ４ 所示。
对网卡驱动程序中的发送和接收函数进行修 改。发送数据时，把 ＭＢＵＦ 结构传递给发送函数 ｓｅｎ（ｄ ），ｓｅｎ（ｄ ）根据 ＭＢＵＦ 中数据指针和数据长度 来确定待发送的数据。而在接收函数时，Ｒｅｃｅｉｖ（ｅ ） 函数申请一个 ＭＢＵＦ 结构，直接把接收到的数据和 数据的长度写到 ＭＢＵＦ 中。同时把这个新的 ＭＢＵＦ 链接到协议控制块的接收链表中。上层协议根据协 议控制块的接收链表来对数据进行处理。 ４．２ 发送数据
发送数据时，ＴＣＰ 层函数 ＴｃｐＳｎｄＨａｎｄ（ｌｅ ）负责 申请 ＭＢＵＦ 结构，添加 ＴＣＰ 头部，构造 ＴＣＰ 包。维 护 ＰＣＢ 控制块，启动超时重传定时器，并把 ＴＣＰ 包 传递给 ＩＰ 层。
第 ３３ 卷第 １ 期 ２００７ 年 １ 月
中国测试技术 ＣＨＩＮＡ ＭＥＡＳＵＲＥＭＥＮＴ ＴＥＣＨＮＯＬＯＧＹ
Ｖｏｌ．３３ Ｎｏ．１ Ｊａｎ．２００７
ＴＣＰ／ＩＰ 协议的零拷贝和简化实现
宋 佳 １，谢湘楠 ２，冉蜀阳 １
（ １．四川大学电气信息学院，四川 成都 ６１００６５；２．中国测试技术研究院，四川 成都 ６１００２１）
第 ３３ 卷第 １ 期
宋 佳等：ＴＣＰ／ＩＰ 协议的零拷贝和简化实现
１１５
统与 ＰＣ 间的链路很短，带宽可以得到保证，传输延 时很小，ＴＣＰ 协议采用停等方式（ Ｓｔｏｐ－ ａｎｄ－ ｗａｉｔ），避 免了采用拥塞控制相对比较复杂的技术。
ＩＰ 层协议不实现选路的功能，只验证收到包的 ＩＰ 地址和检验和，为发送的包添加 ＩＰ 头等功能。链 路层实现网卡驱动和 ＲＡＲＰ 协议。各层实现的协议 和 ＰＣ 的连接如图 １ 所示。
对 ＭＢＵＦ 进行简化时候假设数据包大小是有 限制的，每一个数据包 只需要一个 ＭＢＵＦ。简化 后的 ＭＢＵＦ 包括 ４ 个数 据成员，第一个指针成 员用于构成一个单向的 ＭＢＵＦ 链表，第二三个成 员分别指示数据的长度 和指针。最后的 ｄａｔａ 区 则用来存放具体的数据 包，包括应用层数据和
协议头部。其结构示意图如图 ２ 所示。 ＭＢＵＦ 结构的各成员说明如下： ｄａｔａＬｅｎ： ｄａｔａ 区中数据的总长度，包括每个协
１ 协议栈概述
１．１ ＴＣＰ／ＩＰ 协议简介 ＴＣＰ／ＩＰ 协议包括应用层，运输层，网络层，链路
层［２］。每一层都实现了一组协议。运输层包括 ＴＣＰ、 ＵＤＰ 协议；网络层包括 ＩＣＭＰ、ＩＧＭＰ、ＩＰ 协议；链路 层包括 ＡＲＰ、ＲＡＲＰ 协议。在数据的发送或接收过程 中，每一层协议对数据包进行一定的处理。运输层
该简化协议根据具体应用作出了如下假设。嵌入 式系统直接与 ＰＣ 相连，实现数据传递；嵌入式系统 作为服务端，ＰＣ 机作为客户端，建立 ＴＣＰ 连接的请 求由 ＰＣ 端主动发出；ＰＣ 与嵌入式系统之间不经过路 由器，所以不存在路由选择的问题；当前链接的数目 限制为只有一个。所有这些假设满足一般数据采集系 统数据传递的要求，为协议的简化提供了基础。 １．３ 简化的协议栈
的功能，大大减少了代码量。适用于资源比较紧张的系统与 ＰＣ 间的快速数据通讯。
关键词：ＴＣＰ／ＩＰ ；ＭＢＵＦ；零拷贝；数据采集；嵌入式
中图分类号：ＴＰ３９３．１
文献标识码：Ａ
文章编号：１６７２－ ４９８４（２００７）０１－ ０１１４－ ０４
Ｓｉｍｐｌｉｆｉｅｄ ａｎｄ ｚｅｒ ｏ－ ｃｏｐｙ ＴＣＰ／ＩＰ ｐｒ ｏｔｏｃｏｌ ｂａｓｅｄ ｏｎ ｄａｔａ ｃａｐｔｒ ｕｒ ｅ ｓｙｓｔｅｍ
议层的头部字段。随头部的加入和去掉而增减。 ｄａｔａＰｔｒ：指向数据区的指针，在各个协议层中随
着头部信息和数据的添加或去掉，ｄａｔａＰｔｒ 和 ｄａｔａＬｅｎ 作相应的变化。
Ｄａｔａ：数据区，大小根据具体的应用确定。但不 超过 ５７６ Ｂｙｔｅｓ，保证 ＩＰ 包不会被分片。
同时，ＴＣＰ 和 ＩＰ 头部信息都不使用选项，头部 都是确定的 ２０ 字节。发送和接收数据时 ｄａｔａ 区中 数据存放的次序不同。发送数据时，应用层数据包 从底部开始存放，头部信息加在上面。接收数据时 候，最先读取到的是头部信息，所以接收到的包从 顶部开始往下放。这样能方便的根据 ｄａｔａＬｅｎ 和 ｄａｔａＰｔｒ 对头部信息和应用数据进行操作。
现在越来越多的嵌入式设备需要以太网络接 口，实现与 Ｉｎｔｅｒｎｅｔ 的连接。这些网络接口普遍采用 ＴＣＰ／ＩＰ 协议。我们通常所用的 ＴＣＰ／ＩＰ 协议功能比较 强大，但是也比较复杂，占用较多的系统时间和空 间资源。
在很多嵌入式系统特别是 ＤＳＰ 的设计中，采用 的是前后台方式［４～６］。这样的系统常常也需要通过以 太网直接与 ＰＣ 机进行数据传递。由于资源也很有 限，移植一些现成的 ＴＣＰ／ＩＰ 协议也就有一定的困 难。本文针对这类应用，编写简化的 ＴＣＰ／ＩＰ 协议栈， 只实现一些必不可少的协议。引入简化的 ＭＢＵＦ 结 构，同时在网卡驱动程序和协议栈中使用相同的 ＭＢＵＦ 结构，实现数据零拷贝。
本文对 ＴＣＰ／ＩＰ 协议栈各层进行了简化，实现满 足数据采集系统需求的基本的功能。在链路层实现 ＲＡＲＰ 协议，在网络层实现简化的 ＩＰ 协议，在运输 层实现 ＴＣＰ 协议。各层分别介绍如下：
ＴＣＰ 协议保证数据的可靠传输。采用校验和，肯 定应答（ ＡＣＫ），超时重传，序号（ Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ） 等技术来确保可靠传输的实现。考虑到数据采集系
ＳＯＮＧ Ｊｉａ１，ＸＩＥ Ｘｉａｎｇ－ ｎａｎ２，ＲＡＮ Ｓｈｕ－ ｙａｎｇ１ （ １．Ｓｃｈｏｏｌ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ，Ｓｉｃｈｕａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｕ ６１００６５，Ｃｈｉｎａ；
２．Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ Ｔｅｓｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｅｎｇｄｕ ６１００２１，Ｃｈｉｎａ）
简化的 ＭＢＵＦ 结构应用于协议栈和网卡的驱 动程序，网次网卡和驱动程序 间的数据拷贝。
３ ＰＣＢ（ＴＣＰ 协议控制块）的结构和功能
３．１ ＴＣＰ 连接简介 不同主机的两个进程间要实现可靠的数据传
递需要使用 ＴＣＰ 协议。ＴＣＰ 连接在进行数据传递之 前要进行 ３ 次握手，建立连接。建立连接需要知道 对方的 ＩＰ 地址，端口号等，并且告知对方自己的 ＩＰ 地址和端口 号，以及初始 序 号（ Ｉｎｉｔｉａｌ Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ）等。所有这些信息都存放在 ＰＣＢ 中。 ３．２ ＰＣＢ 结构
Ａｂｓｔｒ ａｃｔ： Ｔｏ ｓｔｕｄｙ ｔｈｅ ＴＣＰ／ＩＰ ｐｒｏｔｏｃｏｌ ｕｓｅｄ ｉｎ ｔｈｅ ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ ｗｉｔｈ ｌｉｍｉｔｅｄ ｃｏｄｅ ｓｐａｃｅ ａｎｄ ＣＰＵ ｕｓａｇｅ， ｔｈｉｓ ｐａｐｅｒ ｉｎｔｒｏｄｕｃｅｄ ｔｈｅ ｚｅｒｏ － ｃｏｐｙ ａｎｄ ｓｉｍｐｌｉｆｉｅｄ ＴＣＰ／ＩＰ ｐｒｏｔｏｃｏｌ． Ｕｓｉｎｇ ｓｉｍｐｌｉｆｉｅｄ ＭＢＵＦ ｓｔｒｕｃｔｕｒｅ ｉｎ Ｅｔｈｅｒｎｅｔ ａｄａｐｔｅｒ’ｓ ｄｒｉｖｅｒ ， ｓｉｍｐｌｉｆｙｉｎｇ ｔｈｅ ＩＰ ｌａｙｅｒ ｈａｎｄｌｅ， ｉｍｐｌｅｍｅｎｔ ｏｎｌｙ ｔｈｅ ｎｅｅｄｅｄ ｐｒｏｔｏｃｏｌ． Ｔｈｕｓ ， ｔｈｅ ｃｏｄｅ ｓｉｚｅ ａｎｄ ＣＰＵ ｕｓａｇｅ ａｒｅ ｌａｒｇｅｌｙ ｒｅｄｕｃｅｄ． Ｋｅｙ ｗｏｒ ｄｓ： ＴＣＰ／ＩＰ；ＭＢＵＦ；Ｚｅｒｏ－ ｃｏｐｙ；Ｄａｔａ ｃａｐｔｕｒｅ；Ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ