常规计算机硬件体系结构

第二章常规计算机硬件体系结构

早期的包处理系统是建立在常规计算机系统之上的，这也是最廉价的包处理系统。我们定义一个常规的计算机系统由四个基本部件组成：一个CPU，一个内存，一个或多个I/O设备，一条总线。总线连接另外的三个基本部件，并允许它们相互通信。PC机是一个常规计算机系统，因为它包括了以上所有四个部件。

为了将一台常规的计算机转换成一个可以处理数据包的网络系统，必须在计算机上增加一些硬件和软件。增加的硬件用来发送和接收数据包，增加的软件用来处理数据包。

2.1 早期的NIC

将一个计算机系统连接到一个网络的硬件设备称为网络接口卡（Network Interface Card，NIC）。对于计算机来说，NIC和其它I/O设备一样连接到计算机的总线并由CPU控制，CPU 控制NIC的方法与控制其它I/O设备的方法也相同。对于网络来说，NIC表现得像一台主机，即NIC可以发送和接收数据包。

主机和包分析器只连接到一个网络上，这样的系统只需要一块NIC。复杂一些的系统，像网桥、路由器等，要求多个网络连接。当系统需要多个网络连接时，有两种可能的实现方法。一种方法是将多块网卡插入到总线扩展槽中，每块网卡连接一个网络；另一种方法是在一块电路板上提供多个独立的网络接口，电路板插入扩展槽中，每个网络接口连接一个网络，目前已经出现了这种商用的NIC硬件。从计算机的角度来看，这两种方法没有什么区别。但是由于总线扩展槽的数量是有限的，因此后一种方法更好，可以节省扩展槽。

网络接口由CPU操作，这意味着CPU控制着所有数据包的发送和接收。为发送一个数据包，CPU首先在内存中组装好数据包，然后将包传递给NIC，NIC再将数据包发送到网络上。在系统接收一个数据包前，CPU必须先允许NIC，指明数据包存放的位置。NIC等待从网络上到来的数据包，将其存放到指定的位置，然后通知CPU。NIC中通常包含实现物理层协议标准的物理接口芯片组，它们保证每个输出的帧具有正确的格式并且产生出符合物理层协议标准的信号波形；类似地，它们检查每个到来的帧以保证每个帧是有效的。

数据总线上一次可以传输的数据量由数据总线的宽度（即数据线的数目）决定。一般来说，数据总线的宽度不足以一次传输一个完整的帧，因此一个帧必须分成许多较小的片段（如32比特）分多次传递给NIC。由于NIC是由CPU操作的，这意味着CPU必须参与到这种传输过程中。事实上，早期的NIC硬件依赖于计算机系统的CPU完成帧的收发。在帧的接收过程中，CPU反复地访问NIC取得下一个片段的数据，然后存放到内存中。在帧的发送过程中，CPU反复地将帧的片段发送给NIC。使用CPU传输数据包的主要优点是代价低，因为NIC硬件不需要做很多事，因此可以做得很简单。主要的缺点是开销大和可扩展性差，使用CPU处理输入输出意味着它不能做别的事；更重要的是，一个CPU无法适应高速网络，特别是当系统有多个网络接口时。

2.2 现代的NIC

为了支持多个网络接口和适应高速网络，必须将输入/输出和包处理分离开来，并尽可能避免使用CPU，因此现代的NIC都包含独立于CPU操作的复杂硬件。以下四种技术用来优化数据传输和减少开销：（1）卡上地址识别和过滤；（2）卡上包缓存；（3）直接内存访问DMA；（4）操作链。

（1）卡上地址识别和过滤

以太网使用共享媒体进行传输，每个节点实际上可以收到所有的帧，只是丢弃哪些不是

发给自己的帧。这意味着，每个节点必须接收网络上传输的每一个帧，然后检查帧头中的目的地址以决定是否要处理这个帧。如果目的地址匹配节点的单播地址或者广播地址，就处理该帧，否则丢弃。卡上地址识别和过滤的想法很简单，就是不用计算机的CPU检查帧的目的地址，而是用NIC的硬件来测试。也就是说，设计能够独立操作并能检查帧头中目的地址的NIC硬件。当一个帧到达时，NIC检查帧的目的地址；如果目的地址不匹配节点的单播地址或广播地址，则丢弃帧，并且不中断CPU。卡上地址识别可极大减轻CPU的负担，因为所有的帧都在共享网络上传输，而其中只有很少的帧是需要一个特定节点来处理的。

卡上多播地址的识别增加了NIC的复杂度。每个多播地址对应一个多播组，一个节点可以加入到多个多播组中，并且节点可以动态地加入或离开一个多播组，因此节点应识别的多播地址集合是动态改变的，这与固定不变的单播地址及广播地址完全不同。只要多播帧匹配多播地址集合中的任何一个地址，节点就应处理该帧，否则丢弃该帧。早期的NIC不过滤多播帧，而是将所有的多播帧都接收下来，交给CPU去检查和判断。然而，接收所有的多播帧会导致很高的开销，因为多播经常被音/视频这样的应用用来发送连续的数据流。更糟糕的是，网络上所有的节点都要产生这个开销，即使它们不参加任何一个多播组。

为减小开销，现代的NIC提供卡上多播地址识别和过滤。由于多播组是动态的，因此NIC允许CPU描述或改变多播地址集。当NIC加电时，它只识别节点的单播地址和网络广播地址。在任何时候，CPU都可以指示NIC开始接收某个多播地址的帧或者停止接收某个多播地址的帧。一旦CPU指定了地址，NIC就负责所有的识别工作，即接收那些匹配指定地址的帧，并丢弃其余的帧。由于NIC的存储空间是有限的，因此计算机不能指定任意数目的多播地址，事实上，许多NIC限定多播地址集合的大小为32或64。实际上，一个典型的应用在任何时候只加入一到两个多播组（如接收一个音频流和/或一个视频流），而一个节点上任何时候最多只有几个应用加入多播，因此大多数计算机系统只同时使用几个多播地址。

当一个多播帧到来时，将帧头中的多播地址与地址集合中的64个地址逐一比较是一件费时的工作，一般的NIC都没有足够的计算能力在短时间内完成。为此，NIC硬件采用了一种优化的实现方法。NIC维护一个64比特的矢量，并用一个哈希函数将多播地址映射成[0，63]之间的一个数。从本质上说，这是将所有可能的多播地址划分成64个组，每个组对应矢量中的一个比特。对于CPU指定要监听的每个多播地址计算一个哈希值，并将矢量中对应比特的值置为1。当一个多播帧到达时，NIC计算该地址的哈希值，然后检查矢量中对应比特的值。若该比特的值为1，则接收该帧，否则丢弃。在这个方案中，NIC不会漏掉任何一个该接收的多播帧，但可能会收下一个地址不匹配的帧，虽然这种概率是很低的。进一步的检查工作由CPU完成，即CPU收到一个多播帧后要检查其目的地址是否匹配。由于多个地址可能会映射到矢量的同一个比特上，因此当节点离开一个多播组时，不能简单地将该多播地址对应的比特位置1。解决的办法是用一个引用计数器统计有多少个地址对应矢量中的同一个比特，当删除一个多播地址时，只是将该地址在矢量中对应比特的引用计数值减1，当值减为0时，将矢量中该比特位置0。

（2）卡上包缓存

NIC的另一个优化措施是在NIC上增加足够的内存空间，用于缓存到来的包。卡上包缓存的必要性来自以下两个事实：1）包的传输是突发的；2）总线是共享的。网络流量的最大特点是突发性，即链路可能在一段时间里是空闲的，然后在一段时间里突然有持续的数据流出现。NIC必须能够处理连续到来的数据包，因为这些包可能都是送往同一个节点的。如果NIC来不及处理，就有一些包会丢失。总线共享以及与CPU交互均会影响NIC的接收速度。比如，NIC可能需要等待总线，因为其它高优先级的设备正在使用总线；与CPU的交互可能被推迟，因为CPU正在处理较高优先级的中断请求。因此，如果NIC为了每个包都

向CPU请求中断，则NIC可能会因遭遇延迟而丢包。

卡上缓存允许NIC处理突发的流量，因为NIC可以不用等待总线或CPU就能接收包。用于卡上缓存的NIC硬件允许两种同时的操作：从网络接口接收一个帧并存到NIC的缓冲区，以及将NIC缓冲区中的一个帧通过总线传输到计算机。在NIC上设计一个较大的缓冲区是非常重要的，因为如果缓冲区能够容纳全部突发的流量，则没有包会丢失。

（3）直接存储器访问

NIC的第三个优化措施是在NIC和计算机内存之间提供高速的数据传输，一种优化的方法是采用直接存储器访问DMA。

由于数据总线的宽度不足以一次传输一个完整的包，因此一个包必须分成若干较小的片段，每个总线周期传输一个片段。许多早期的I/O接口采用PIO（Programmed I/O）技术，要求CPU处理每一次总线传输，这样既加重了CPU的负担，又影响了传输速度。DMA技术允许I/O直接访问计算机的内存，而不需要CPU的干预。特别是，DMA可以和CPU并行操作。为了采用DMA方式传输，NIC将每个包分成长度与数据总线宽度相同的片段，执行一系列的总线操作将每个片段传送到计算机内存，然后向CPU发出中断。

NIC如何知道应将数据包存放到哪个位置呢？NIC等待CPU的指令，CPU在总线上给出内存中一个缓冲区的位置，然后允许NIC接收包。NIC将收到的包传送到指定的计算机内存位置，然后产生一个中断通知CPU操作完成。

发送数据包时也可以使用DMA。CPU在内存中组装好一个包后，利用总线将包存放的位置告诉NIC，然后CPU可以转而去做其它的事情。NIC利用DMA从内存中读取所有的片段，通过网络接口发送出去，然后产生一个中断通知CPU。

（4）操作链和数据链

DMA允许NIC在网络和计算机内存之间传输包而不需要CPU的介入。有些NIC提供一种称为数据链（data chaining）或缓冲区链（buffer chaining）的机制。当使用数据链时，CPU提供给NIC一个由较小的缓冲区形成的链表，而不是一个较大的缓冲区。当NIC要向内存传输一个较大的帧时，它首先将数据写入第一缓冲区；当该缓冲区满时，NIC自动将数据写入第二个缓冲区，依次类推。

作为进一步的优化，高速NIC使用一种称为操作链（operation chaining）或命令链（command chaining）的技术，它允许NIC自动地执行一系列的包传输。操作链可以和数据链结合起来使用，也可以单独使用。为启动一个操作链，CPU在内存中创建一个“命令”链表，然后将链表的地址传递给NIC。NIC依次执行每一个命令，并在执行完最后一个命令后停止。图2-1是包含一系列传输命令的一个链表，每一个表项包含四个域：传输命令（发送或接收），指向内存中一个缓冲区（或一个缓冲区链）的指针，同步比特，指向下一个命令的指针。同步比特是为了告诉CPU哪个输入缓冲区已经填充了数据或者哪个输出缓冲区的数据已经发送完毕。当CPU创建命令链表时，清除每个表项中的同步比特（即置0）；当NIC完成一个操作后，将该表项的同步比特置1，并向CPU发出中断。如CPU不能及时处理中断，这期间NIC可能完成了多个命令。因此，当CPU处理中断时，必须沿着链表检查每一个表项的同步比特，以便确定NIC已经完成了多少命令。

图2-1 操作链

留表、TCP连接表等等。查表操作位于包处理的关键路径上，即每个包都要经过这些操作，而且有些表非常庞大，因此查表操作必须优化。即使采用了优化技术，查找操作也可能会消耗大量的CPU时间。

对于规模不大的表来说，哈希查找是一个好方法。系统分配一个大表，然后利用哈希函数确定存放每个表项的槽位。当哈希表包含许多空槽时，双重哈希的性能很好。在网桥算法中，网桥需要在表L中查找（D, I）值对，逐项检查显然不是一个好办法，以下是采用双重哈希查找的算法。

Given: a key, a table in memory, and the table size N.

Produce: a slot in the table that corresponds to the key or an empty table slot if the key is not in the talbe.

Method: double hashing with open addressing.

Choose P1 and P2 to be prime numbers;

Fold the key to produce an integer, K;

Compute table pointer Q equal to (P1×K) modulo N;

Compute increment R equal to (P2×K) modulo N;

While (table slot Q not equal to K and nonempty) {

Q←(Q+R) modulo N;

}

At this point, Q either points to an empty table slot or to the slot containing the key.

以上算法的基本思想是很直观的：使用素数P1生成初始的槽位；如果该槽位已被另一个键词占有，则用P2计算出另一个哈希值以找到下一个槽位。计算第二个哈希值有助于将各键词散列开来，因为即使两个键词哈希到同一个起始槽位，第二次哈希将把它们散列到不同的槽位上。

许多计算机使用32位的算法，我们如何将一个48比特的以太网地址转换成一个32比特的值呢？有好几种方法，我们可以从48比特中挑选出32比特并忽略其它的比特，或者我们可以使用一个数学函数将48比特的值映射到一个32比特的值。上面的例子中使用折叠，它将48比特的地址分成32比特和16比特两部分，然后用一个异或运算将两部分组合起来。

（3）IP分片和重组

因特网由许多异构的网络组成，每个网络有不同的最大包长限制。一个网络能够支持的最大载荷长度称为该网络的最大传输单元（Maximum Transmission Unit，MTU）。为适应不同的MTU，IP使用分片和重组技术。一个路由器可以将一个较大的包划分成一系列较小的包（称为分片），每个分片独立传输，目的节点再将这些分片组装起来，恢复成原始的包。

依赖于所希望的速度与代价，IP协议中的绝大部分或全部（包括分片和重组）都可以用软件实现。事实上，低端路由器就是由运行在常规CPU上的软件实现的。为了描述IP分片/重组的算法，我们需要了解一些协议细节。以下是IP分片/重组的一些要点：

●每个分片是一个独立的数据报。

●分片中的报头取自于原始数据报的报头。

●在分片中，以下域与原始报头中的域不同：总长度，标志位，分片偏移量，头校验。

●分片的长度由输出网络的MTU决定。

●标志位与分片偏移量一起决定一个数据报是否为一个分片，如果两者均为0，则不

是分片。

报头中与分片相关的标志域包括三个比特。D（DO NOT FRAGMENT）比特控制是否允许分片，发送者可以将D比特置1，表示不允许分片。若数据报到达一个节点时被要求分

片，而D比特置位，则这个包会被丢弃，并且这个节点会用一个出错消息通知源节点。M （MORE FRAGMENT）比特表示后面是否还有分片。当一个数据包被分成若干片段时，除了最后一个片段的M比特为0外，其它片段的M比特为1。没有被分片的数据报，其M比特为0。

分片偏移量指出分片中的数据在原始数据报中的位置，第一个分片的分片偏移量为0。接收方在重组时，按照分片偏移量将各分片中的数据放到数据报中的正确位置。由于数据报的总长度可以达到64K字节（total length域有16比特），而分片偏移量只有13比特，因此分片的长度必须是8字节的整倍数。

典型地，路由器使用贪心算法确定分片的长度，即路由器尽可能发送最大长度的分片，最后一个分片一般小于最大长度。以下是IP分片的贪心算法：

Given: an IP datagram, D, and a network MTU.

Produce: a set of fragments for D.

If the DO NOT FRAGMENT bit is set {

Stop and report an error;

}

Compute the size of the datagram header, H;

Choose N to be the largest multiple of 8 such that H+N≤MTU;

Initialize an offset counter, O, to be zero;

Repeat until datagram empty {

Create a new fragment that has a copy of D’s header;

Extract up to the next N octets of data from D and place the data in the fragment;

Set the MORE FRAGMENT bit in fragment header;

Set TOTAL LENGTH field in fragment header to be H+N;

Set FRAGMENT OFFSET field in fragment header to be O;

Compute and set the CHECKSUM field in fragment header;

Increment O by N/8;

}

分片在传输的过程中可以再分片。由于每个分片是独立传输的，且分片偏移量都是相对于原始数据报的，因此每个分片可以单独处理。对分片进行再分片的方法与对原始数据报分片是类似的，不同的是对M比特的处理稍微复杂了一点。对于M比特置1的分片，对其再分片时，每个分片中的M比特均置1。而对于M比特置0的分片（原始数据报中的最后一个分片），除了最后一个分片的M比特置0外，其余分片的M比特均置1。

在大多数情况下，最终的目的节点执行IP重组，只有NA T例外。目的节点接收所有到来的分片，当一个数据报的所有分片都正确收到后，目的节点将分片组装起来形成原始的数据报，然后进行处理。IP的尽力投递模式使得IP重组很复杂，并影响到算法和数据结构的选择。尽力投递模式会出现以下四种情况：

●乱序投递：由于分片在传递过程中可能改变路由，因此各个分片可能乱序到达。特

别是，有些路由器会优先传输短包，所以最后的一个分片可能第一个到达。

●重复：由于高层协议重传的缘故，网络中会出现重复的数据包或分片。尤其是当重

传包沿着一条不同的路径传输时，其分片可能与原始包的分片不同，也就是说不同

的分片之间数据有重叠。

●丢失：来自于一个数据包的一个或几个分片可能在传输过程中丢失，而IP不会重

传丢失的包或分片。

●并发接收：接收系统必须准备同时接收来自不同数据包的分片。

接收系统在重组一个数据报前，必须收集到属于该数据报的所有分片。如何知道哪些分片属于同一个数据报呢？由于发送方为每一个数据报分配了一个唯一的ID（放在报头的ID域中），而分片的报头拷自原始数据报的报头，因此从同一个数据报中划分出来的分片具有相同的ID。由于不同的节点各自独立地分配ID，因此来自不同节点的数据报可能具有相同的ID。为此，接收方使用数据报的源IP地址和ID一起来识别属于同一个数据报的分片。

为了同时接收来自多个数据报的分片，接收节点为每个数据报分配一个缓冲区，用于存放该数据报的分片。由于分片可能乱序到达，且分片之间可能有数据重叠，接收节点必须记录下哪些数据已经收到了。图3-1是数据报重组算法使用的数据结构，其中缓冲区用于存放分片中携带的数据，链表用于说明哪些数据片段已经收到了。

图3-1 IP重组使用的数据结构

当一个分片到达时，重组代码将分片中的数据拷贝到缓冲区中并更新链表。数据在缓冲区中存放的位置=分片偏移量×8，更新链表操作可能涉及到创建一个新的节点（插入的数据片段与已有的数据片段不连续）、修改一个节点（插入的数据片段与某一个数据片段连起来）或者删除一个节点（插入的数据片段将两边的数据片段连起来）。考虑到分片在传输过程中可能丢失，为避免接收端的包重组缓冲区长时间不能释放，接收端为一个新的数据报建立重组缓冲区时启动一个重组定时器。当定时器超时后，释放该数据包的重组缓冲区及相关的数据结构。以下是IP重组的伪代码（没有考虑超时）：

Given: a fragment, F, add to a partial reassembly.

Method: maintain a set of fragments for each datagram.

Extract the IP source address, S, and ID fields from F;

Combine S and ID to produce a lookup key, K;

Find the fragment set with K or create a new set;

Insert F into the set;

If the set contains all the data for the datagram {

Form a completely reassembled datagram and process it;

}