随机过程在网络研究上的一些应用

随机过程在网络研究上的一些应用

叶绍志 024833 无研06

我所在的实验室的研究内容分成四大块：网络体系结构，网络信息服务，网络安全，组播与网络多媒体。下面我一个一个介绍随机过程在该方面的应用。这里所提到的网络，都是指互联网（Internet），而非广义上的网络。

一、网络体系结构

这个方向主要研究的是，各种网络协议。

比如路由协议，路由问题本质上是要寻求一个大网上面寻径的方式。有很多的模型来描述，比如寻求最小生成树的解。寻找最优路由（至少是尽可能的优）的行为，可以看作是在一个大的随机图上面的行走问题。现在在高速网络上路由器尤其是核心路由器，负载本身已经很重了，如果再对日益增大的路由表作大量的计算，显然是不合适的，更何况网络的情况瞬息万变，基本上从一个节点（比如一个自治域）是无法知道整个网络的所有细节的，这就使得传统的作连通图上面的最短寻径或者加权最短寻径问题的基于一个相对确定或者规律性强的模型和方法，比较难于移植。当然难于移植的原因，很大一方面是我们现在对互联网的认识还非常欠缺，如果我们对这个图的性质了解不够深入，就比较难于提出一个好的解决方案。随机图论在互联网路由上面的应用逐渐增多，但是进展和收效都甚缓，如果在互联网本身的内在特征研究上面没有进一步的结果，那么恐怕这样的状况会持续。或者在整个图上面增加更多的假设性的限制，但是全局性的问题始终过于复杂而仅能用比较粗糙的模型描述。这个时候，统计的方法就显得格外重要，一方面希望从中获取规律性的特征，一方面希望以统计的办法绕过比较困难的精确论证和求解。但是局部统计，乃至不完全统计的结论所作的模型意义到底有多大呢？这其中有很多的东西需要随机过程的工具来处理。

在路由协议方面，今年毕业的罗佳增师兄做的“边界网关协议(BGP)慢收敛特性的分析与改进”的课题，就涉及到相应的图理论，主要是研究在BGP协议（即域间路由协议）上面，路由消息更新的速度以及对此提出的优化方案。但是他的工作没有深入到加权有向图的模型上，仅仅是对静态的连通图模型作了研究和考察。即便如此，他的工作仍然取得了非常好的成果[1]。如果在此基础上面，考虑到图的动态变化，将使得所设计的模型更加切合实际，当然这个分析的难度也上去了（也许这就是他没有做的原因吧）。估计这可能可以作为这个课题的后续工作。

同时现在开始热起来的Overlay（所谓层叠网络）上面的研究逐渐增多。这方面的研究基本上都是要寻求一个图论上的解决。尤其是自组织的overlay，涉及到的测量和网络自组织，随机过程在上面的应用还只是起步阶段。现在这方面的工作正在展开。从单纯的设计一个应用，到寻求一个“优”的解。简单的说，overlay可以认为是一种虚拟网络，他架设在真实的网络之上，但是用户之间是端到端(P2P)的行为，这也是互联网最初设计的时候的一个基本思想。大量的散布在各处的节点之间如何通讯就成为首当其冲的问题。基本上现在的思路都是将

“环境”类似，或者“邻近”的节点“聚”为一个大的节点，也就是说在这些点与其他“大节点”通讯的时候，只需要使用所在的“大节点”中的一个代表来作测量，测量两个“大节点”之间的距离，即可。因为要在任意两个节点之间作测量所需的开销过大，所以就使用这样的办法。至于这个“代表”如何选，测量什么的“距离”，如何根据“距离”寻径，就相应而生各种各样的overlay，上面的文章就可以做很多了。现在这方面的工作乃至和这方面接近的工作有著名的napster(Mp3的共享)/Gnutella/Freenet（被中国封掉了， ）/KaZaA(这是一种Fasttrack的实现，在美国的流量统计中，已经有赶超Web流量的趋势)/eDonkey （一种将大文件分割成很多小片段在网络上面共享的）。中国这方面的普及还比较慢，我在欧洲的同学说他们那里没有ftp，使用盗版软件都用这种P2P的工具获取，基本上什么都能弄到,?。

举一个简单的例子，考察一个图上面各点之间的连接状况，在这一时刻，做一次测量，得到一个带权（这个权可以认为是线路的某种关心的性能指标，比如延时等）的图（随机图理论中应当称之为生成子图），然后下一时刻就根据这个计算来指引各点之间的通讯。但是这就改变了原来图上的通讯情况（比如，改变了原先的拥塞情况），于是又一次测量获得的生成子图就和“刚才”获得的那个图有所不同了，这样形成一个反馈系统，这个过程具有一定的马尔科夫性，是否存在极限分布和收敛的速度都是我们所关心的。而且如果将整个网络看作一个整体，首先显然是有层次的，一层一层聚起来，这种局部的变化对全局的影响，或者全局是怎么变化的，都是每一个在overlay上面做工作的研究人员所关心的。

传输控制或者流量工程，这也是这个研究方向的一个重点（我不是做这个方向的，不知道热不热），主要是QoS，研究网络的传输情况，这个时候传统的排队论在上面有很多的描述，但是现实情况因为载波监听冲突检测的机制，使得泊松的条件不成立，可以采取一些折衷的办法，如半马尔科夫模型或者emc模型等等。

当然除了QoS，还有涉及更加本质的tcp协议本身性质的工作，比如今年毕业的吕国涵师兄做的就是“TCP拥塞控制机制的建模”，就是使用随机过程方法推导模型，整篇论文就是在用随机过程的方法推导模型。

问题的背景如上图所示，tcp在启动的时候首先是慢启动，窗口大小逐渐增加，一旦发生丢包，立刻将窗口大小减半，快速重发丢失的数据包，同时进入到线性增长状态，称之为线增倍减过程。这就是tcp的拥塞控制机制。因为丢包的发生是随机的，这就可以看作一个随机过程。在吕国涵师兄的论文中将TCP拥塞控制机制中最关键的控制量(TCP拥塞控制窗口)随时间变化的过程用半马尔可夫随机过程来描述。研究了该随机过程的稳态概率分布，并利用Little公式得到了TCP的平均发送速率。然后用网络实测表明该模型与实际有很好的近似。

另一方面，他还使用流模型对该机制数学建模：流模型使用相邻丢包事件间的时间间隔来描述网络丢包，用随机点过程来描述这一系列事件的发生。目前的研究主要集中在不同点过程对TCP性能的影响。他的论文研究了一种新的点过程――丢包事件到达率与TCP窗口大小成正比的Poisson过程。通过数学推导得到了该丢包模型下TCP拥塞控制窗口的各阶矩和概率密度函数。然后分析表明，这种丢包模型和前面半马尔可夫模型所使用的I.I.D丢包模型实际描述了同一种网络丢包过程。具体的分析可以参考他的硕士论文。

体系结构这个研究方向是研究网络的tcp/ip这一层面上的东西，属于（在我们实验室）比较底层的方向，下面涉及的就接近应用层上的东西。

二、网络信息服务

这个题目下面主要是基于网页对象的各种研究。

早期在我们实验室信息服务主要是指搜索引擎，现在逐渐有新的课题。

Web是互联网上面最重要的应用，网页与网页之间，站点与站点之间的纷繁复杂的联系，呈现一定的马尔科夫性。很典型的行为，用户访问某一个页面，然后点击这个页面上面的某一个连接，到下一个页面，这个时候你如何到达下一页面，仅与你当前所处的页面有关，如果考虑用户行为的倾向性，那么相当于在当前页面上的每一个到下一页面的链接被点击的概率呈一定的分布，这个分布就是对我们研究至关重要的用户行为特征。

搜索引擎在用户提交一个查询词之后，将迅速的从海量的网页中匹配出成千上万的含有这个词的网页，那么对这些网页进行排序，将最可能符合用户要求的网页放在最前面就是一个高命中率的搜索引擎要做的工作。排序就涉及一个网页权重和结果相似度的问题。结果相似度问题，可以认为是一种模式匹配，具有一定的马尔科夫性，尤其是在多个关键词检索的时候，使用向量机的模型来处理状态转换过程，和语音识别的办法接近。

同时相应于Web技术，相应而生的还有中文技术，比如网页的自动分类，尤其是中文网页的分类技术，我们实验室在这方面从1995年开始一直有人做这方面的工作，从最初张俐师姐[2]做的简单的利用中文字间的相关信息、词频以及WWW页面的标记等信息，提取网页特征，在分类准则函数中引入加权的词频参数进行分类判别的方法，到后面崔伟东师兄作的基于支持向量机的序列最小最优算法，乃至后面的陈光英、解冲锋、杨文峰师兄和刘辉师姐作的都是关于网页中文技术方面的工作。在自动分类上面，涉及到训练的问题，最初是采用最大后验概率的办法来解决的，后来崔伟东师兄开始SVM方面的应用研究，首次将SVM应用到了中文文本分类上面，获得巨大成功[3]。而SVM中有一个我们非

常关心的问题，多大的样本数量可以获得合适的结果，即1.我们作训练的时候，所使用的训练样本数趋于无穷的时候，所谓经验风险是否的确趋于实际风险（相当于一种估计误差，这种误差在SVM里面是均方意义的）2.当样本数有限的时候，经验风险和实际风险关系如何？在做这样的研究的时候，随机过程的方法和手段是很重要的，虽然看上去这更接近一个最优化问题。

说到这里，还可以提一下我本科毕设做的东西，虽然这个应该是一个系统方面的问题。我毕设做的是网页挖掘器，在我的设计中，整个挖掘系统主要由多个网页采集前端、一个URL分析模块和一个队列管理调度模块组成。队列管理器负责维护着一个URL的队列，调度空闲的网页采集前端去采集URL对应的页面，采集回来的页面由URL分析模块分析，分析出来的URL会增加到URL队列中。这样一个排队过程，就可以用排队论的一些知识来分析了。首先，根据统计的知识我们知道，一个网页上面平均有8个URL，也就是平均每处理一个URL，就会有8个URL入队，那么必须要在某一个时间停掉，因为这个队列是永久性阻塞的。同时采集前端的数量增加，理论上来说，效率将会增加（相当于增加了服务窗口），但是实际上面，如果采集前端都是在一台机器上面的，系统的资源是有限的，增加采集前端的数量，在系统负载比较轻的时候，能够争取更多地cpu 时间，可以提高整体的效率（平均下来单一的采集前端的效率未必上升，只有在系统负载极轻的时候，可以增加，很快就会下降，实测结果），但是随着采集前端数量上升，系统负载上去，用于调度采集前端的cpu时间也上升了，到一定程度之后，反而使得采集前端争取到的cpu时间下去，所以有一个合理的采集前端数。相信类似的情况在很多问题中都有出现，就是一个有限资源下面的多服务者问题，增加服务窗口数不是简单的增加了处理速度。当时我考虑的模型如下：

用N个毫无区别的任务来等价系统所有任务，其中M个任务为系统本身运转需要的任务，比如维持用户接口、维持网络系统等等工作，如果有任务的开销明显特别大，就将她等价折算为K个一样开销的任务即可。CPU毫无区别的在这些人物之间分配时间，同时每分配一个任务时间之后，就要消耗一定的调度时间。这个调度时间是N的函数，设为H(N)。最后问题就变成求一个Nmax，使得N-M 个任务在固定的时间中所分配到的CPU时间最大。很明显的看出，M和H都是和操作系统本身密切相关而与其上的应用程序无关的量。所以Nmax的值取决于系统本身。

显然如果是一个主机在处理的时候（简单的认为是一颗cpu），这样的优化没有太大意义，只是一种trick而已（我导师的原话）。好在我当时实现的是一个分布式的系统，所以这样的模型还是有一定意义的。

那个时候没有修过随机过程，无法进一步的使用排队论的理论来指导建立一个更加符合情况的模型，比如，处理完一个URL之后，入队的URL数量是随机的，我们知道它的期望是8，可以假设服从高斯分布，然后就可以认为排队系统“走”是等间隔（其实因为各处的链路情况不同，走的情况非常复杂，所以可以简单的考虑成处理一个页面的开销时间相同，也可以考虑成为某种白噪声），“来”是服从高斯分布的并且与走直接相关的一个流。毕设的时候没有考虑这么清楚，用了长达一个月50多次的实验，来不停的调整各个参数，获取上面提到的简单模型的最优值Nmax。现在想起来真是太可惜了，否则毕设的工作能在理论上面走得更远一些。

三、网络安全

这方面如果做入侵检测（ids），则需要提取特征行为，这需要做统计处理，同时现在ids方向，也不是简单事件触发的，开始有使用SVM的办法来做了，也就是追踪来访者的一系列先后顺序，到某一个时刻，积累的数据足够了，就可以作判断。这其中，入侵者可能会做很多干扰的行为，所以系统需要做类似滤波的工作，排除这种“噪声”行为。

还有一个方向就是认证系统。这个倒是没有什么可说的，并没有看到多少随机过程的应用。当然如果考虑到一个多用户认证系统的效率或者作压力测试的时候，可以考虑用排队论的相关知识，不过这个就和我上面的模型接近了。

四、组播多媒体

语音和图像的信息，尤其是语音识别，HMM是连续语音识别的核心技术，就不再多说了。组播更是多用户行为，单点对多个状态不明的或者链路情况有非常大差异的接收端发组播，如何提高效率，如何实现可靠性和安全性是目前现在组播研究的热点问题。但是组播不是我所关注的方向，所以这方面的应用就了解不多了。

参考文献：

[1]Jiazeng Luo, Jueqing Xie, Ruibing Hao, Xing Li, An Approach to Accelerate Convergence for Path Vector Protocol, Proceeding of Globecom2002.

[2] “Net-Compass,A Search Engine for Chinese Web Pages”,Li Zhang,Xing Li, Proceedings of the First AEARU Workshop on Web Technology,Kyoto,Nov.1998；[3] 崔伟东，“基于支持向量机的自动文本分类算法研究与系统实现”，硕士生毕业设计论文（2000.5）

对课程的一些建议：

一、如果能讲一些随机图论的东西，相信对现在很多前沿的课题都有非常大

的帮助。当然这方面的内容，没有一些前面的知识，讲授起来恐怕会比较困难。不过一方面我们的教学未必要按部就班的，有的时候跳跃性的一些东西也是可以的，另一方面我想以张老师的能力，应该是可以做到深入浅出的。

二、还是应该布置一定作业的，而且要求每周交。如果批改的工作量太大，

可以考虑只收不改，公布答案。现在这样的project模式，固然对大家做研究和创意方面有很大的锻炼，但是没有作业刺激，一些基本的推导和解题能力实在无法保证（我就是其中的例子， ）

三、每次的project考完课堂讲解之后，如果能够再给一些已有的在这方面工

作做得好的相关文献，可能效果会更好。就是让大家看看，人家是怎么做研究的。虽然做project的时候自己也会去找文献，但是毕竟在一个陌生的领域找东西不是很容易，所以找到的文献未必具有多大的参考意义。而出题者显然对这方面有相当的了解，可以给出一些比较好的例子。