高速网络测试流量生成方法研究与实现2

摘要

网络测试是对网络系统设施的各项性能进行检测，从而确保网络系统能顺畅的工作。要对网络系统进行测试，要用到流量生成技术，它具有较大的应用价值，测量活动的有效性和准确性都由它决定。现在已经是互联网时代，很多网络系统已经步入万兆级别，网络传输速度越来越快，对数据传输的准确性有了更高的要求，但是现有的网络测试流量生成技术还不能满足现实要求。所以，为了充分满足网络测试的现实需求，适应网络数据高速传输的需要，要加大研究投入，全面提升网络测试流量生成的速度。

现有两种方法用于生成网络测试流量：其一，进行数据的回放，网络流量主要是回放前期收集到的数据信息来还原而成的；其二，使用模拟方式，先对网络信息的各种特性进行模拟，从而会产生网络流量。笔者对上面两种网络流量生成方法进行了对比，从而实现了对这两种方案的改进优化，所实现的研究成果具有较高的指导意义： 1、研制的网络系统适用于各种网络设施，能实现万兆流量数据的回放。这套系统充分融合了网络主机内存大的优势，并且利用了FPGA 数据传输快速准确的优点，在确保数据回放速度和准确性不变的条件下，将系统空间容量实现了大幅提升。在数据传输的时候，为了数据查询的同时进行，运用了系统内存映射机制，并在此基础上改进了网络信息传输系统。除此之外，通过运用网络系统存储大的优势，针对数据流量生成，设计了如下模式：零拷贝回放模式（利用了系统静态缓冲）、GB 量级文件高速回放模式（利用了RAM disk技术）和TB 量级文件低速回放模式（应用了系统硬盘）。为了将网络数据传输的误差水平低于10E-5，设计者使用了F PGA技术，从而提升系统数据流量的准确性。2、设计的网络系统数据流模拟生成计划，运用了系统的各种部件。通过对系统中数据流进行深入分析，并充分结合系统部件的各项性能优势，所设计的系统序列是用软件实现的，所设计的方案利用了F PGA 技术，从而保证生成的系统数据包是完整的。设计者还设置了系统端口用于数据的扩展，对于流的描述使用了各种系统特性。为了确保系统协议内容的兼容性，同意使用者可以对数据包的内存进行设置。除此之外，还设计了十二字节，来适应系统数据字段的改变。通过多次实验得出结论，通过使用这一方案，能确保数据传输是万兆线速的，还可以仿照不同的信息流。

关键词：流量生成；软硬件协同；回放；多数据流模拟；FPGA

I

Research and Realization of High Speed Network T est Traffic Generation Method

Zhong Chao (Computer Architecture)

Directed By XieYingke

Network testing is an important method to verify the functionality and measure the performance of network equipment. As a key technology in network equipment testing, traffic generation directly determines the accuracy of the test results. With the rapid expansion of network scale and bandwidth, the existing network test traffic generation techniques fail to meet the requirements in traffic generation rate, accuracy of rate and traffic content configuration. Hence, they are not eligible for 10 Gigabit network testing. Therefore, researches about high-speed traffic generation method have practical significance and application value for the development of network test.

Traffic generation for network testing can be divided into two categories: trace-driven traffic generation which generates traffic by replaying captured trace file and analytic model-based traffic generation which reproduces network traffic in real-time by simulating the characteristics of real traffic. These two projects have different features and both of them have their own unique application scenes. In this thesis, we propose two improved traffic generation solutions based on FPGA by analyzing the defects of these two original solutions. The accomplishments we have achieved are as follows.

+We have designed a ten Gigabit traffic playback system cooperating hardware with software. The system combines mass storage space in host PC and high speed and precision characteristics of FPGA in network traffic processing. Therefore, it allows the playback file size to upgrade from 64MB to the GB order of magnitude while remaining high traffic rate and accuracy. In the implementation, memory mapping mechanism and non-interrupt polling synchronization mechanism are used to optimize existing underlying network transmission channel. And a high-speed DMA engine based on PCIE2.0 bus is designed. Transmission rate between the host memory and the network card can reach as high as 16Gbps due to these optimizations. While taking advantage of mass storage space of host PC and RAM disk technology, three playback modes are provided: zero-copy mode which playback packets from the static buffer, high-speed playback mode based on ram disk which supports file size of GB order of magnitude, and low-speed playback mode based on disk which supports file size of TB order. During the memory copy process, the performance has increased 69% by optimizing the copy mode. We also proposed a high-precision token-based control method with FPGA to keep the accuracy of traffic rate at nanosecond level.

+We have implemented a multi-flow traffic generation system with collaborative hardware

高速网络测试流量生成方法研究与实现：Abstract

hardware and software, another traffic generation solution is proposed. Software generates the flow characteristic sequences while FPGA produces packets according to the flow characteristic sequence. We design a scalable configuration interface of flow which configures a flow with a static characteristics and dynamic characteristics. The interface allows users to freely configure up to 256 bytes packet header content for the compatibility with a variety of protocol formats. It also allows configuring the changing pattern of the 12-byte field in order to achieve the five-tuple changes. We have implemented the system using FPGA. The test result shows that the system can generate traffic up to 10 Gigabit wire-speed rate and can correctly simulate multiple data flows.

Keywords: traffic generation, hardware-software cooperation, playback, multi-flow simulating, FPGA

IV

目录

摘要 ................................................................................................................................................... I 目录 .................................................................................................................................................. V 图目录 ............................................................................................................................................VII 表目录 ............................................................................................................................................. X I 第一章引言 . (1)

1.1 研究背景和意义 (1)

1.2 论文的贡献 (3)

1.3 论文的组织 (4)

第二章网络测试流量生成技术研究 (7)

2.1 基于回放的流量生成方案 (7)

2.1.1 基于软件的流量回放工具 (7)

2.1.2 基于专用硬件的流量回放工具 (8)

2.2 基于模拟的流量生成方法 (10)

2.2.1 基于网络处理器的流量生成 (11)

2.2.2 基于F PGA 的流量生成 (12)

2.3 本章小结 (13)

第三章基于回放的流量生成系统设计 (15)

3.1 高速底层数据传输通道设计 (16)

3.1.1 性能瓶颈分析 (16)

3.1.2 底层传输通道优化 (17)

3.2 主机回放优化 (25)

3.2.1 存储空间优化 (25)

3.2.2 拷贝性能优化 (26)

3.3 回放系统设计 (27)

3.3.1 预处理阶段 (28)

3.3.2 底层传输阶段 (29)

3.3.3 数据包处理阶段 (30)

3.3.4 发送控制阶段 (31)

3.4 本章小结 (32)

V

第四章系统实现及性能评估 (57)

5.1 硬件平台设计 (57)

5.2 测试环境 (58)

5.3 系统测试 (59)

5.3.1 基于回放的流量生成测试 (59)

5.3.2 基于流模拟的流量生成测试 (62)

5.4 本章总结 (65)

第五章结束语 (67)

6.1 本文工作总结 (67)

6.2 下一步研究方向 (68)

参考文献 (69)

致谢 (i)

作者简历 (iii)

VI

图目录

图1. 1 国际出口带宽增长统计 (1)

图1. 2 网络设备测试模型 (2)

图2. 1 FPGA 结构图 (9)

图2. 2 NetFPGA (9)

图2. 3 STG 逻辑系统结构 (10)

图2. 4 SPG 与T CPreplay 发送误差对比 (10)

图2. 5 BRUNO 系统结构 (11)

图2. 6 清华大学网络测试仪表架构 (12)

图3. 1 linux 系统数据包发送过程 (17)

图3. 2 网卡内存映射架构 (18)

图3. 3 CPARD 数据结构 (18)

图3. 4 CPACD 缓冲区链表 (19)

图3. 5 缓冲区环形映射示意图 (21)

图3. 6 DMA 传输的事务类型 (22)

图3. 7 DMA 模块的逻辑设计 (23)

图3. 8 DMA 带宽性能测试 (24)

图3. 9 内存拷贝性能测试 (27)

图3. 10 iTester 系统结构 (28)

图3. 11 Packet header 结构 (28)

图3. 12 PRF 头部格式 (29)

图3. 13 数据传输动态反馈路径 (30)

图3. 14 包处理模块状态机 (30)

图3. 15 基于令牌的速率控制模型 (31)

VII

图5. 1 PCIE 板卡实物图 (57)

图5. 2 SpirentTestCenter 9000A 网络测试仪 (58)

图5. 3 测试环境示意图 (58)

图5. 4 三种模式下回放速率测试 (59)

图5. 5 回放线速速率误差 (59)

图5. 6 不同发送速率测试 (60)

图5. 7 中断频率测试 (61)

图5. 8 上下文切换频率 (62)

图5. 9 数据包内容验证 (62)

图5. 10 连续多字节变化验证 (62)

图5. 11 流模拟生成速率测试 (63)

图5. 12 线速速率误差 (64)

图5. 13 速率控制测试 (64)

表目录

表2. 1 NetFPGA 硬件配置 (9)

表3. 1 TCPreplay 回放速率 (16)

表3. 2 回放存储空间比较 (26)

表4. 1 IXIA 流量生成功能 (36)

表5. 1 逻辑资源占用 (57)

表5. 2 流量生成系统配置参数 (58)

表5. 3 间隔误差测试 (61)

表5. 4 测试流设置 (63)

表5. 5 流调度测试结果 (63)

第一章 引言

1.1 研究背景和意义

最近几年，经济的发展和社会的进步，对网络服务的需求量越来越大，网络运营外部条

件变得越来越复杂。其一，因为互联网用户数量的迅速增长，网络信息资源规模持续增大。通过对我国互联网使用情况进行分析，我国的出口宽带传输速度在2006年为256696mbps ，到了2011年增长到1389529mbps [1]，只需六年的时间，就提升了五倍之多。为实现宽带网络运行速度的不断提升，传输速度从千兆持续增长到10G 和40G ，这就对网络设备的性能等级提出了更高层次的要求；其二，以IPTV 、视频点播等为代表的新型网络服务相继出现，使得网络流量的传输更为复杂，主要表现为信息分布更广、传输速度更快。

图 1. 1 国际出口带宽增长统计

文献[2]主要指出了未来互联网在操控性、稳定性、效能性方面的实际需要。因为网络传输速度的快速增长和数据资料越来越复杂，作为网络管理的关键组成部分，网络测试系统不但要对网络系统的各项参数进行分析，例如网络系统的承载量、时效性等，还要通过总结归纳数据传输的各项特征，从而满足用户的各项分析需要，确保网络系统的正常运行，这就对网络测试技术水平有更高的要求。

网络测试是指通过运用适当的手段，并采用恰当的测试设备，以获得网络设备或处于运行状态的网络系统的各项参数，来体现网络系统的性能和服务质量[3]。依照不同的测试对象，网络测试可以对系统和网络设备进行分别的测试。网络测试系统主要测量网络系统的终端网络带宽以及时延参数，用于对网络链路的服务质量进行分析和评价；网络设备测试主要是测试网络设备性能指标和功能指标，主要有网络交换机性能和路由器的吞吐量、时延和流量。本文的主要内容是对网络设备相关技术进行测试。

Mbps

1600000

1400000

1200000

1000000

800000

600000

400000

200000

国际出口带宽 2006.12 2007.12 2008.12 2009.12 2010.12 2011.12

通常情况下，网络设备测试方法有主动测试和被动测试之分[8]。被动测试是测试网络

设备在现实的网络环境下实现检测活动，可是网络设备制造商没有设备运行所需要的网络环境。除此之外，此类测试方法只能检测到正常情况下的设备运行状态，极端条件下的设备运

行情况，是无法检测到的，不能对系统设备进行定量的检测，所以它只能作为一种补充性质

的测试方法。主动测试的方法，是指使用网络测试仪器来模拟网络设备工作的环境，来对网

络设备进行测试，该方法在现阶段的网络检测中使用最广。

网络设备测试模型由三部分构成，分别是流量发生器、流量采集器和控制分析仪。通过

分析下图可知，通过使用流量发生器，可以对流量测试的真实网络环境进行模拟，负责收集

流量采集装置的设备会对流量进行测量，并用来与控制分析仪的流量对比。通过检测信息发出、接收以及监控设备，最终实现对设备的评价指标进行测试。

图1. 2 网络设备测试模型

在使用该模型的时候，利用流量发生器产生的测试流量对真实的或许和相应的网络环境进行模拟设定。仿真环境的质量与测试流程的速度和项目有很大的关联性，测试数据的有效性和准确性是由它决定的。这一套网络测试系统核心部分是交通发电技术，必须予以足够的重视。通过对测试结果进行对比，可以制定标准内容，生成的明确的RFC测试规范用于参数的收集。

性能测试标准主要参考R FC1242[10],RFC2544[11],RFC2285[13]，RFC2889[14]等规范，其中R FC2544 规定了四个最基本的指标，

分别是吞吐量，时延，丢包率和背靠背性能[15]。

吞吐量：设备在没有丢包的情况下，能够转发的最大流量速率

时延：设备处理转发数据包所需要的时间

丢包率：设备在线速负荷下丢弃数据包占输入数据包的比例

背靠背性能：在最小数据帧间隔下能够不丢包的转发数据包的最大个数

RFC2544 标准还规定了这些参数的测试条件[16]：

测试时间：每次测试流量持续时间，如吞吐量测试持续时间设定为 20s，丢包率测试持续时间设定为120s

测试重复次数：为防止单次测试误差，RFC2544 规定每个指标都需要测试多次，

2

然后计算多次测试结果的平均值，一般测试次数设定为20 次。

测试帧长：帧长是影响设备性能测试结果的重要因素，RFC2544 规定每个测试指标都需要在多个不同帧长条件下测试，典型的以太网测试帧长为 64，128，256

，512，1024，1518 字节。

测试粒度：在测试吞吐量等指标时，为规范最后测试结果精度，RFC2544 规定了测试粒度不超过理论速率的1%，在实际测试中，多采用二分算法，刚开始以较大

粒度变化，然后选用较小粒度以精确定位。

……通过对测试指标和测试方法的分析，网络性能测试对测试流量的要求可以归纳为以下几个方面：

●线速生成测试流量

●数据包长度可设

●流量速率可精确控制

实现功能测试，主要是依靠RFC2647的标准规范[12]，该标准规范的主要内容是协议一致性测试和互操作性测试。前者是网络协议实现是一致的要求，后者主要用于测试网络设备之间的互连性。至于流量的测试，此两类测试方法主要设置流量的内容，还要求流量设备必须依照之前的规范标准，生成正确格式的数据信息。由于协议的类型很多，内部构造多变。这就

通常情况下，网络系统中的流量是由多个流的混合，如在一个小的局域网的网关流量不仅包括浏览网页的流量，看视频的网络流量，而且包括各种文件下载和语音通话所需要的流量。一种业务类型的流量数据包的格式，一般会具有很多的相似性，所以为了区分这些流量，根据数据包的内容将协议格式的功能相同的数据包划分成相同的流[17]，如按照五元组流分割方法，将源、目标地址和端口网址相同的数据包组合成相同的流。通过分析这些流量的特点，我们可以深入了解网络流量的特性和分布状况。除此之外，为了模拟真实特性的网络系统，需要对流量生成装置进行仿真，从而产生流量特性。

对于网络测试所产生的测试流量的相关要求，但是现有的流量回放工具存在很多局限性。这就需要使用相同类型的流量生成工具，从而确保流量传输的高速和较高的准确度，从而适应日益增长的测试速度和精度的需求。因为现有的专用硬件，在流量传输方面的兼容性不好，再加上新类型的协议大量出现，它是难以描述真实网络流量特性的。因此，针对网络测试的需求和当前方案的不足，研究高性能网络测试业务生成技术肯定具有重要的现实意义。

1.2 论文的贡献

在文中，笔者主要对网络测试流量的生成方案和执行状况进行了深入研究，采用合理的手段对网络流量生成和传输流程的网络流量测试特性进行分析，对现阶段的两种方案的问题和不足之处进行了探讨。通过总结归纳研究过程，使用系统设备的协同作用设计了两类新型的流量生成设备。本文的贡献有以下三个方面：

1、一套高效的数据包传输机制的设计与实现。在分析基础数据包在网络传输机制的基础上，提出了一种不中断的数据包传输的新方法。通过使用内存映射，以避免数据包发

现

输引擎，来推动FPGA PCIA2.0的实施，试验表明，发动机传动性能可达16Gbps，能够满足10G链路的宽带传输要求。

2、通过使用FPGA技术，综合各种软件和硬件组成流量反复播放系统。采用高效的数据包传输机制，在设计前就实现了数据包在主机内部的存储，而不影响播放速度和控制精度。通过优化内存拷贝，用一个副本代替数据包拷贝，这样拷贝的性能提高了近七成。三种播放模式，在程序中实现：在零拷贝模式可以最大支持内存为512M的播放文件。在内存复制模式下，可以支持国标数据包文件线速度播放。在硬盘只读模式下，可以支持文件播放。通过使用令牌来创建交通控制模型，确保FPGA技术的实现，使得数据包的间隔控制精度小于10e。

3、设计了万兆流量传输速度的网络模拟生成方案。通常情况下，网络流量是由多个流组成的

，为仿真它的特性，通过对数据包的生成过程，对并行流程特点进行深入分析，提出了一个

合适的方法来对流的静态特性和动态特性进行描述。通过使用这种方法，将系统的软件和硬

件结合起来，形成新型的流模拟生成计划，用软件生成的流量特征序列，通过DMA序列特征，

以较快的速度发送到FPGA，FPGA的逻辑根据数据流生成完整的包装。测试充分说明，该方案

可以实现万兆的速度流，它可以模拟多个数据流的生成。

1.3 论文的组织

本论文一共分5章，具体组织结构安排如下：

第一章是引言，阐述了网络测试流量生成对于网络测试的重要性和意义，然后介绍了论文的主要贡献和组织结构。

第二章通过对基于回放和基于模拟这两种流量生成方案中一些代表性工具的介绍，对现有测试流量生成方案进行了归纳总结。

第三章介绍了一种基于F PGA 的回放系统。首先通过分析传统网络数据包发送过程中的性能瓶颈，介绍了采用内存映射和无中断轮询同步机制对网络底层传输进行优化的过程，并利用FPGA 实现了一套高效DMA 数据传输方案，测试表明其速率可以达到16Gbps

。利用此高性能传输通道，从主机高速回放数据包文件，大大扩展了可回放文件大小，并实现了三种回放模式。通过优化内存拷贝模式，提升了拷贝性能。在此基础上，设计实现了一个基于F PGA 的回放系统，并详细介绍了回放四个阶段流程。

第四章介绍了一种万兆流模拟生成方案。首先通过分析明确了网络测试中对于流模拟

的需求，接着介绍了基于F PGA 的高速数据包生成方案，在此基础上，通过分析流的特点

，提出了一种用流静态特征和动态特征来描述流的方法，结合这种方法实现了一种软硬件

结合的流模拟生成方案：由软件生成流特征序列，由F PGA 逻辑根据流序列生成完整的数

据包，并对系统硬件逻辑系统进行了介绍。最后，对此方案的性能进行了分析和总结。

第五章介绍了系统硬件平台，并基于此平台实现了两种流量生成方案。利用专业测试

仪表对这两种方案的性能和功能进行了测试验证。

最后对全篇论文进行了总结并对进一步研究方向进行了展望。

现

第二章网络测试流量生成技术研究

现如今，互联网资源规模越来越大，网络传输速度不断提高，推动着各种先进网络工具

和网络服务类型的相继出现。网络测试可以对网络系统和网络工具进行检测，有更多的人已

经认识到了它的重要性。它的核心组成内容就是测试流量生成技术，网络测试数据的有效性

和准确性是由它决定的。现在已经有许多学者投入到了对该技术进行研究的工作当中。

经常使用的网络测试流量生成技术有两种：其一，是能实现流量回放的生成技术；其二，在模拟环境中的流量生成技术。在该章节中，笔者对它们进行了的特性和应用状况进行深入分析，在此基础上，阐述了生成方案的优势和不足之处。

2.1 基于回放的流量生成方案

通过回放方式生成的流量测试系统，是通过回放实时网络流量文件，对现实流量状况进

行恢复，来模拟实际的网络环境来对测试协议、一起或系统来完成测试。根据不同的实施方式，可以分为基于软硬件的不同类型。软件测试主要是使用普通PC机的软件平台完成；硬件

测试主要是利用特殊的硬件，如网络处理器和FPGA加快流量回放。

通过流量的回放来生成的方案，在内容上尽管很简单，但在实施过程中存在诸多问题。一方面，产生流量的速度问题。由于个人电脑处理器在网络性能方面存在不足，流量传输速

度达不到千兆线速。另一方面，由于播放软件在工作过程中，会受到网络系统状况的影响，还受外部事件的不断干扰，产生的后果就是，产生的数据包的时间间隔时间和原来的相差甚远。围绕这些挑战，研究者们已经做出了很多努力来克服这些缺点。

2.1.1 基于软件的流量回放工具

通过使用软件来实现流量回放生成方案，在很早之前就已经出现，TCPreplay 是其中的典型代表，已经得到了广泛的应用。可是该工具仅仅实现了流量回放的功能，在其他功能方面的改进并不明显。为了增强回放生成的性能，许多研究人员投入巨大精力，实现了流量重放优化性能瓶颈的突破。如果不使用实时操作系统来减少数据包的传输时间误差，文献[21]通过对播放文件分割的研究，使用多个PC的并行传输，实现OC-48流量的高速回放。在优化性的研究方面，TCPivo [ 22 ]的研究成果是其中的典型。TCPivo是一个通用的PC和开发基于Linux操作系统的播放软件设备。主要研究如何充分利用处理器，从而提升操作系统的能力，提升数据包回放的速度和准确性。为了避免文件I/O延迟对数据包回放产生不利影响，该文件实行了预取机制，通过将前期的文件读入内存，文件I/O延迟从最大100ms降低到平均约100us。如果文件内存过大，就不能读入内存，TCPivo使用文件映射，32MB的数据块读入内存，充分发挥madvise的功能，来调整文件阅读的顺序，从而提高文件数据读取效率。由于双线程具有缓冲结构，当读取线程把需要读取的数据资料传递到缓冲区里面，读取线程，然后在慢缓冲区读取数据，并利用线程从缓冲区发送数据，实现并行数据读取和信息的发送。通过这种机制，I/O读取延迟减少到10us

现

速率的影响。通过上述的改进活动，利用TCPivo可传输的数据最大字节为六十四位。

通常情况下，为了保证CPU利用率减少并降低传输时延误差，TCPivo内核级的测定装置，通过结合周期可编程定时器和CPU的高级可编程中断控制器提供了一种高效率、高精度的usleep功能。通过分析活动可知，在维护的同时，CPU的占用率较低，可以将定时误差限定在100us之下。

在流量回放的时候，由于其他进程的干扰引起的时间误差的增加，TCPivo使用低延迟内核补丁被剥夺，通过减少任务时间片长度的内核是不能被剥夺的，其他任务同步时延差从10毫秒降低到100微秒。TCPreplay在100ms阶振动误差较大，TCPivo的数据稳定性较高，它的误差通常会小于100us。

系统软件中会存在一些因素对流量回放率和准确性产生影响，TCPivo对它们都进行了改进。但受制于PC架构以及CPU处理功率的局限性，数据信息回放速度仅为OC-3级，数据传输的间隔误差为100微秒。此速率和精度无法适应高性能数据回放的需要。设计人员只用借助于硬件系统，来提高数据回放速度，并提升回放过程的准确性。最近几年，FPGA的得到了广泛的推广，运用它对流量回放开展的研究活动渐增，越来越受欢迎。

2.1.2 基于专用硬件的流量回放工具

FPGA（Field Programmable Gate Array）通过将其和过去的电路系统和栅极阵列对比，它们之间的构造有很大的差异性，其中包括内部配置逻辑模块CLB、输入输出模块IOB 和内部连接（互连）。使用小的查找表FPGA实现逻辑和每个查找表相连接的D触发器的输入端，触发又被其他逻辑电路或驱动I/O，可实现组合逻辑函数实现时序逻辑功能块的基本逻辑元件，并连接到I / O模块，这些模块是用金属制作的。FPGA运行速度较快，能实现平行并可以进行程序编制，所以对高速网络数据包的处理是相当合适的。但是，与专用集成电路相比较，它的研发耗时长，资金投入大。FPGA可以随时进行改进，满足实际需要，功能全面，资金需求量小，耗时短。现如今FPGA技术有了突飞猛进的发展，内存和传输速度明显提高，它的使用范围越来越广，可以在各种复杂的情况中使用。正是存在上述优点，在网络数据处理方面，它得到了广泛的使用。

8

图2. 1 FPGA 结构图

通过使用FPGA 技术，设计的流量回放方案，在众多方案中，美国专家通过利用NetFPGA 技术设计的流量回放工具，是典型的代表。该工具是美国斯坦福专家利用FPGA 技术，设计研发的网络信息处理系统，专门在网络数据包的研究中使用，主要内容是网络设备的研制以及流量信息的收集。该设备的硬件系统如下如：

图2. 2 NetFPGA

表2. 1 NetFPGA 硬件配置

配置组件参数

FPGA Xilinx Virtex-II Pro 50

网络端口RJ45，4×GE

内存2*18 Mbit ZBT（zero-bus turnround）存储器

总线Standard PCI bus

DDR2 DRAM64MB，400MHz 异步时钟，25.6Gbps 峰值带宽

通过利用NetFPGA技术，亚当研制了一种新型流量回放体系，速度很快。开始回放前，必须通过PCI总线传输的数据包下载NetFPGA，存放到DRAM内存中。在播放过程

实现无缝数据包的传输，确保流量的线速为4×1Gbps。

图2. 3 STG 逻辑系统结构

STG也使用FPGA来实现对数据包间隔的准确控制。它使用FPGA可以对每个时间范围内的逻辑电路行为进行有效的控制，准确控制不同数据包之间的间隔数。FPGA的时钟周期通常可以精确到纳秒，从而实现纳秒级的精确控制。STG里面的分组间隔控制单元处于MAC 模块之前，数据包是最终离开用户的模块，可环节其他逻辑模块对数据包产生的影响。通过与相同播放TCPreplay数量根据设置和捕获重放数据包的到达时间间隔和统计，可以看出，相比于TCPreplay蔓延在几十微秒的误差范围，对STG误差小于1us，它的准确度有着巨大的优势。由STG系统数据间横跨测试，间隔小于1ms的条件下，其误差小于10ns。实验结果说明，STG可以达到纳秒级的精确数据包传输控制。但是由于NetFPGA板功率和空间的限制，系统内的空间很小，如果资料超过六十四MB，九无法回放。

图2. 4 SPG 与T CPreplay 发送误差对比

2.2 基于模拟的流量生成方法

在对流量生成方案进行仿真的基础上，通过对实际流量特性的观察，提取出流量特性。不同于现有的基于回放的流量生成方案，在实时的基础上生成了数据包内容。并在仿真的基础上，对现有的数据包进行回放。通过对流量特性的模拟统计，可以反映测试参数的特性，从而可以调整模型参数，产生各种典型的流量特性。通过模拟一些真实的流量很难出现的边界条件和理想流量，所以它的价值更大。依照生成方案的差异，有软件方案和硬件方案之分。基于软件的数据包生成工具[30][31][32][33] 如

符合相关的标准。综上所述，在对流量进行测试的过程中，要确保速度很快，并且有较高的实时性，但是现阶段的研究对象大部分都是基于硬件的流量生成计划。通过硬件流量生成方案的区别，可以分为网络处理器和FPGA 两种类型。

2.2.1 基于网络处理器的流量生成

网络处理器是为了满足高速处理网络数据包需求而设计出来的，是一种能用于程序编写的芯片，性能非常高。该处理器的主要类型有两种，分别是数据平面和控制平面。前者是不同的小型引擎构成的，对数据包的控制主要通过执行相关的指令；后者由处理器构成的，用于微引擎的控制。除此之外，网络处理器对网络数据包处理更加具体化并能进行优化改进，对网络数据包进行处理，所使用的硬件装备必须能高速运行，如嵌入加密模块用于加密和解密数据包。现阶段，市场上的网络处理器IXP系列产品主要包括IBM和英特尔系列的PowerNP。正是因为网络处理器具有上述特点，专家们设计了一系列的流量回放设备，BRUNO是其中的优秀代表。

BRUNO是千兆级别的流量生成设备，运用了网络处理工具。一开始的时候，在系统内存

中就接收到了数据包长度和发送时间等参数信息。然后使用微引擎发挥调度的功能，根据用

户设置的参数生成四个数据包，并将他们传输到缓冲区。最后通过TX，在用户指定的时间范

围内，将从发送缓冲区中收集到的数据包传输到网络系统内部。正式因为最大声程度的利用

了微引擎的属性，它们会产生相关的流量，BRUNO生成流量的线速能达到六十四字节。

图2. 5 BRUNO 系统结构

11

2.2.2 基于F PGA 的流量生成

[40][44]的流量生成工具使用了FPGA的技术，其中的PTG [39]非常典型。PTG是

使用NetFPGA技术研制的流量生成设备，与SPG有明显的区别，PTG是根据配置数据包

流的实时性生成的流量，不是通过的数据包捕获和回放产生的流量，由于流量速度的

不固定，会导致某些缺陷，利用PTG，这些问题都可以消除。PTG是在利用了NetThreads

平台的基础上而设计的。NetThreads是一个多线程处理器，有利于实现基于NetFPGA

的开发平台。它允许用户直接使用C编程语言的程序开发，不需要使用者掌握门级电

路的开发语言，如Verilog或VHDL等等。除此之外，它可以提供高精度的时间控制硬件，能充分适应应用开发过程对时间准确性的要求。

使用PTG可以在系统中生成描述内容的数据，其主要内同是数据包头信息和传输时间

。描述信息通过PCI总线会传输到FPGA队列内部，等待着在NetThreads线程接受后续的调整。该流量生成方案共有八个部分，绝大部分的主要功能是接受并分析数据内容资料，

在此基础上能形成系统化的数据体系。唯一的一个流程只需要将数据包的传输时间信息

传递到网络系统端口中。一方面，该结构充分利用了多线程并行计算工具的强大功能，

确保数据包有较快的生成速率，另一方面确保数据包的准确传输和对传输过程的精确控制。对在PTG误差测试数据包流进行检测，可以得出结论，这两者的误差大小相似，他们

的误差数据都不超过10ns。

图2. 6 清华大学网络测试仪表架构

清华大学的专家设计了“10G网络测试仪”[41][42]，使用FPGA技术，创建了协议流模型，用于对流的概念认定，还包含了数据包的长度以及传输速度等信息。通过对现实的需求进行分析，从而生成流量，对流量进行格式的转化，可以是固定的也可以是变化的。固定配置包括源和目的地端口，源和目的地端口号、流模式、双变量域以及包含八十字节的数据包。在这里面，八十字节的数据包中，包含二十字节的IPv4报头以及六十字节的IPv4协议，IPv6内部包括的协议内容为四十字节。变量配置包括双变量域和控制协议头的2个字段，通常是依照固态的比例来进行数量的增减。随机四种模式都会处于指定的范围内，所以在每个类数据包都可以改变，从而推动高精度的流量的出现。通过生成数据包，主机内部的固定性的和可变性的流量会进行配置，将流量信息编入到RAM内存，经过格式转化之后，再将得到的数据包按照特定的次序存储到FPGA。在系统中，共有十二个数据包是通过运用FPGA产生，使用该程序传输流量，其速度能达到10Gbps。尽管如此，由于在硬件系统方面的局限性，只有IPv4和IPv6协议适用，这两种类型的协议，至多能配置256个流。

2.3 本章小结

在该章中，笔者详细主要介绍了两种测试流量的生成方案，并对典型方法进行深入分析。在回放的流量生成基础上，在文件提取、内容核定方面，软件生成方案得到了相应的改进和优化。可是，但受电脑处理器性能和输入输出性能的限制，，流量传输速度不高，准确性也很有限。硬件方案可以实现高精度的流量模型的生成，但有限的存储空间不能播放大数据包。通过使用仿真的流量生成方案，使用特定硬件能将流量传输速度提升到10Gbps，可是协议种类不多，能产生的流量数量也很少，并不能广泛应用。所以，有必要对现有方案的优缺点进行研究，针对网络测试的需求，对流量生产方法进行优化。

第三章基于回放的流量生成系统设计

在回放测试流程基础上产生的系统，是运用对对收集到的流量文件进行回放，恢复网络流量，来模拟实际的网络环境，从而实现对测试协议、设备或系统进行检测。数据的恢复是由两方面构成的：其一，系统内容的恢复，继承之前的数据包的相关内容，持续下去；其二，对流量传输速度模型的恢复，也就是根据原来的交通数据包序列和时间间隔发送，从而使流量产生的波速度和之前的相同。正是由于其内容和速度与原始流量是完全一样的，因此，回放的测试流量在各种测试条件下发挥着关键性的价值。在对路由算法缓存替换特性的研究中，可以通过回放来恢复真正的地址分布，从而验证路由算法的缓存效率。在此基础上，路由器的调度服务对于数据包到达模型的反应更为激烈，也可以模拟真实流量特性的测试，在实际流量条件中，检验队列调度服务方案的有效性。

在流量回放的基础上产生的流量生成方式，因为表现形式存在差异，通常会根据软件和硬件的类型来划分。或者是利用计算机的软件平台来完成流量的传输，或者是利用硬件工具来完成，计算机处理器和FPGA回放工具都属于硬件系统。流量的定义是比较简单的，在真正实行的时候面临的困难会比较多。第一，流量生成的速度不快，尽管建立在回放系统的方法可以不用数据包，可是在数据包的过程中，底层传输文件被发送到网络卡上所需要的开销很大，这就造成导致流量传输速度不可能达到千兆线速率播放。第二，回放软件在生成过程中，将受操作系统的过程调整和外部因素事件中断的影响，对于数据包的时间间隔的控制不能准确有效，造成产生的数据包间隔不符合相关的标准。第三，播放文件的内存都是有限制的，这就导致流量只能在一段时间内进行传输。传输速度越快，需要的时间就越短。前文所说的，在NetFPGA基础上设计的回放工具，其内存资料只有64MB，如果传输速率为千兆级别的，则耗时不足一秒。这使得高速连续播放的程序很难产生基于长时间的传输。虽然可以通过重复发送相同的数据包来延长传输时间，可是对于测试需求来讲。它们是毫无价值的。

综上所述，针对这些挑战，新的回放工具主要需要满足三方面的要求：

1、高性能数据包回放速率

2、高精度数据包发送控制，精确还原数据包间隔

3、大容量存储空间以扩展支持更大的回放文件在第二章对现有方案介绍分析中可以看

出，基于硬件的方案能够借助于专用硬件在

网络数据处理高性能的特点实现高速高精度的数据包发送，基于软件的方案能够充分利用PC 内大容量的存储空间，并且能够轻易的根据需要进行扩展。我们希望基于FPGA 设计新的回放实现方案，结合这两者的优势，满足提出的三方面要求。

本章首先介绍实现软硬件结合系统方案中的底层传输通道的优化以及主机回放模式