SMART_基于数据流技术的电信网络流量监控系统

收稿日期:2007206220

基金项目:国家自然科学基金资助项目(60673134);上海市电信公司(Shanghai T elecom C o.,LT D )网络流量监测数据处理工具开发项目

作者简介:常建龙(19722　),男,博士研究生,研究方向:数据流上查询处理.Email :jlchang @https://www.360docs.net/doc/c710646527.html,

　文章编号:167129352(2007)1120027205

S MART:基于数据流技术的电信网络

流量监控系统

常建龙

1,2

,闫莺1,宫学庆1,戴岱2,周傲英

1

(1.复旦大学　计算机科学与工程学院,上海　200433;2.上海电信,上海　200120)

摘要:大多数国内电信运营商现有的网络流量监控系统的分析都是基于数据文件的操作模式,处理速度远跟不上大量数据到达的速度。基于这种情况,提出了基于数据流技术来实现在线网络流量监控系统S M ART 。S M ART 收集多个路由器发送的Netflow V 5或者V 9格式的数据,并将其转换成用户定义的监控流;以滑动窗口的方式查询输出流量构成中T op 2k 频繁数据信息;监测网络流量突变;以可视化的图形和报表形式显示结果。S M ART 先进的数据流算法技术基础和完整的系统框架设计使得它在上海电信高效稳定的7324h 运行。关键词:数据流系统;网络流量监控;电信中图分类号:TP311.13 文献标志码:A

S M ART:a system for online m onitoring large v olumes of netw ork traffic

CHANGJian 2long 1,2,Y AN Y ing 1,G ONG Xue 2qing 1,DAI Dai 2,ZHOU Ao 2ying 1

(1.C om puter Science and Engineer ,Fudan University ,Shanghai 200433,China ;

2.Shanghai T elecom ,Shanghai 200120,China )

Abstract :M onitoring systems deployed in telecom operators are usually too slow because of their disk 2based processing approach.T o address this problem ,an online netw ork traffic m onitoring system ,named S M ART ,was designed and developed.The system converts different formats of raw net flow data (Netflow V5or V9)to user 2defined control flows through combination and filtering.I t can com pute top 2k frequent flows with sliding window ,detect burst on arbitrary attributes ,and present results visually to users.The system could be used to replace the traditional offline m onitoring system used in Shanghai T elecom.The basis of advanced streaming alg orithms and the design of robust system architecture enable S M ART to achieve g ood per formance.K ey w ords :data stream system ;netw ork traffic m onitoring ;telecom

0　引言

随着宽带互联网迅速发展,各大电信运营商的

网络规模都在不断扩张,网络结构日渐复杂,网络业务日趋丰富,网络流量高速增长。电信运营商需要通过可靠、有效的网络业务流量分析工具对其网络以及网络所承载的各类业务进行及时、准确地流量和流向分析,进而挖掘网络资源潜力,控制网络互联成本,并为网络规划、优化调整和业务发展提供基础

依据。

网络监控的基本手段———简单网络管理协议(sim ple netw ork management protocol ,S NMP )很好地满足了网元性能监控需要,但在流量方面,只能提供粗糙、简略的流量统计资料。网络探针(sniffer )或是类似的监听工具可以弥补S NMP 的缺陷,但它的问题是数据庞大、资源消耗过大、难以适应高速网络的

要求。Cisco 公司于1996年开发的Netflow 技术[1]

,通过在路由器上提供高层的IP 流量原始统计信息,事实上已经成为网络流量监控方面的标准。目前主

　第42卷　第11期　V ol.42　N o.11 山　东　大　学　学　报　(理　学　版)

Journal of Shandong University (Natural Science )

2007年11月　N ov.2007　

要应用的Netflow协议为V5与V9版本,由于V9版本采用了与V5完全不同的一种新的方式———模板(tem plate)来表明Flow数据的格式与含义,这种方式在具有很高灵活性的同时大大增加了Netflow UDP 数据报文解析的难度;同时,由于支持V9版本的Cisco路由器没有V5版本的路由器应用广泛,所以,主流的Netflow采集分析软件(包括开源产品)基本上都没有实现对V9版本的支持。

目前,大多电信公司的Netflow分析系统使用基于数据文件处理的开源软件Flow2tools[2]。Flow2tools 处理模式是把接收的数据存储到硬盘,然后按需把数据再从硬盘读取到内存来计算聚合统计信息。很明显,这种处理方式的速度满足不了今天大量高速的网络数据需要的速度。经过精心设计的系统S MART(a system for Online m onitoring large V olumes of netw ork traffic)可以解决上述问题。S MART主要有如下特性:

(1)全面反映网络流量分布。为了理解整个网络流量构成的分布,最常用有效地查询是T op2k频繁查询。这类查询往往返回k个占用网络流量最大的端口,或是流量最多的AS对。频率的统计建立在由用户定义的一个或者多个属性的集合上面,频率的变化在更深层次可以用来进行流量分布突变检测。这些T op2k查询通常是用滑动窗口的[3]。在S MART中,滑动窗口大小有很大的跨度,从5min到24h。查询的类型包括连续查询和即时查询。

(2)基于可控的CPU和内存资源。S MART采用当今先进的数据流技术[4]以及本文的研究成果,文献[5,6]作为基础,对网络数据进行抽象和摘要。在控制内存消耗的同时保证很高的准确性。

(3)可扩展性。S MART的可扩展性主要表现在2个方面:一个是它能够接受并解析V5,V9以及任意形式的数据格式。另一个在于它系统中功能模块的设计便于新的模块随时添加。

(4)鲁棒性。S MART重视内存管理。它可以根据数据流量和可用内存的变化进行参数的自我调节。

(5)直观可视性。查询结果以图表的形式返回,使流量分析更加方便。

1　系统结构

S MART的系统结构如图1所示。它主要由3个功能模块构成:数据采集模块、任务管理模块和用户接口模块

。

图1　系统结构图

Fig.1　System architecture

1.1　数据采集模块

基于用户需求数据采集模块对采集到的Net2 flow原始数据进行分解过滤。这里涉及到3个基本概念:原始流、合并流、监控流。原始流定义为路由器一个插槽(slot)设备上发出的Netflow原始数据流;合并流则是一个或几个原始流的汇聚,即多个原始流“合并”为一个合并流;监控流则是某个合并流上经过“过滤条件”后产生的数据流的一个“子集”。数据模块主要包括以下3个子模块:

(1)属性抽取:收到一个UDP包,如果它的协议是V5的,则用预先定义好的固定的模板对象来解析原始Flow数据,如果是V9的,则从UDP报文中分离模板定义数据与原始Flow数据,如果是一个新的模板,则缓存起来,用对应的模板对象来解析原始Flow数据。由于访问Flow字段的速度很大程度上影响监控流的匹配速度以及以后的数据聚合过程,因此,本文设计了一种新颖的思路来达到这一目标: Netflow模板采用一个H ash Map来保存字段名称以及对应的起始位置(偏移)、长度(有几个字节)等信息; Flow的数据结构里存放这条Flow的原始字节数组,这样定义一个Flow字段的数值所需的时间为O(1)。

(2)合并:每个路由器通过不同的插槽编码(interface)发送数据,原始流聚集成合并流的时候可以根据IP或者插槽编码。例如,如路由器127.0.0. 1发送的Netflow原始数据可以按照插槽设备的不同分解为原始流127.0.0.1:8,127.0.0.1:15和127.0.0. 1:17(其中:8,:15,:17为路由器的3个插槽编码),如

　28

　山　东　大　学　学　报　(理　学　版)第42卷　

果需要对插槽编码为8与15的原始流进行分析(比如这两个插槽上的端口都是网络核心层下联端口),则首先定义一个合并流来合并这两个原始流。

(3)过滤:可以过滤出感兴趣或者关注的数据集———监控流。例如,需要分析某个校园网发出的IP 数据,可以定义监控流的过滤条件为“srcIP ={xxx.xxx.xxx.xxx Πx}”,又如,分析网络内邮件的发送情况,则可定义监控流的过滤条件为“destP ort ={25}”。2.1　任务管理模块任务管理模块有3个主要功能:首先,当用户提交一个新任务,任务管理模块创建一个新的线程并且根据任务类型选择合适的算法。在S MART 中,有2种任务类型:(1)连续查询任务C 2T ask (continuous task ),主要用来处理连续的滑动窗口T op 2k 频繁查询和流量突变检测。(2)即时查询R 2T ask (real time

task ),用来处理ad 2hoc 滑动窗口T op 2k 频繁查询。C 2T ask 定时返回查询结果,R 2T ask 根据需要来完成

计算和返回结果。其次,它监控所有线程的运行情况和内存使用情况,当流速和内存发生变化时,能够自动地调节参数使系统保持高效运行。最后一个功能是返回查询结果并给用户提供接口模块。

任务管理模块的主要特征包括:

(1)所有的操作都是基于内存的,从而保证较高的效率。当然,内存管理就变得十分重要,它也是系统设计的重点。以C 2T ask 为例,它的流程如图2所示。在每一对线程和线程或者进程与进程之间都有缓存连接。缓存的作用可以实现多任务数据共享以及平衡不同线程或者进程处理速度的差异。当进入某个缓存的数据量突增而超过它最大容量的时候,将进行降载操作

。

图2　C 2T ask 流程图Fig.2　The diagram of C 2T ask

　第11期常建龙,等:S M ART:基于数据流技术的电信网络流量监控系统

29

(2)能够处理长时间的滑动窗口的T op 2k 频繁查询,这也是传统数据文件分析的系统很难完成的任务。以往,对于连续的长时间滑动窗口查询,在有限的内存资源下是难以给出准确的结,而S MART 采用近似的数据流查询技术保证了很高的准确率。算法设计上采用文献[6]作为底层算法,而采用文献[4]的结构完成上层设计。对于短时间滑动窗口的查询,S MART 将会给出精确的查询结果。

(3)怎样对监控流上的Netflow 数据进行灵活而有效地分析,使这个系统尽可能满足用户日常监测工作和应付突发事件的需要,也是这个系统需要重视和解决的一个关键问题,而目前多数Netflow 分析软件都采用的是一种相对固定的数据分析模式,例如T op 2k 应用分析,T op 2k 对话分析,T op 2k 目的地址分析等,这种简单的模式很难满足用户的灵活多变的实际需求,因此本文设计并实现了一种高度灵活而又十分有效的数据分析任务模型———完全可定义的基于任意Flow 属性的聚合分析的任务模型。这种任务模型的关键在于“灵活定义的聚合项”,可以对Flow 纪录中的任意的字段(不仅仅是7个关键字)进行聚合,比如可以定义单独的聚合项{SrcIP},也可以定义复合的聚合项{SrcIP ,DstIP ,DstP ort}。以单独的聚合项{SrcIP}为例,Netflow 数据聚合过程如下:抽取Flow 中的srcIP 字段以及统计字段(in 2bytes ,inpackages ),以srcIP 为属性,统计字段为val 2ue ,采用HashMap 进行数据的聚合,其中对于同一个srcIP ,统计字段进行累加,5min 后,根据统计字段对srcIP 进行排序(T op 2k 部分排序

),最后输出T op 2k

结果。

(4)S MART 是自适应系统,可以调节参数来适应资源和数据量的变化。

图3对从原始流合并过滤成监控流,再进行多属性定义的T op 2k 查询过程进行完整描述。

图3　Netflow

数据聚合过程

Fig.3　The procedure of data aggregation

2.2　用户接口模块

用户接口模块接收用户提交的添加、删除任务

或者添加、删除一条控制流的命令

,并且对结果进行可视化表示。图4和图5是对流量进行分布情况和趋势性展现。

图4　图表结果显示(趋势)Fig.4　Visualized results (trend )

图5　图表结果显示(分布情况)Fig.5　Visualized results (proportion )

2　试验

S MART 用JAVA 实现,现在运行在Dell 6850服

务器上面,系统配置是3.16G H z CPU 和8G B 内存。操作系统是Red hat linux AS4。本文用2组真实数据来测试它的准确程度。与S MART 结果相比较的准确值由Flow 2tools 计算出来。

实验1测试于2006年11月11日,没有过滤条件,滑动窗口为24h ,查询T op 220flow 数频繁的Dst ΠSrc AS 对。观察表1所示的结果,除了最后的第19

和第20的排名和与准确结果不同外,其它结果的排

名都是正确的。由于第19和第20的流数比较接近,在近似算法中对它们flow 数目的统计有误差。

　30　

山　东　大　学　学　报　(理　学　版)第42卷　

然而在实际中,如果本身flow数差别不大,那么它们的排名先后也并不重要。对于flow数差别大的数据的排序S MART可以保证是准确的。

表1　试验1结果

T able1　Results of Experiment21

Rank

S M ART

目的Π源AS流数

Exact(Flow2tools)

目的Π源AS流数

10Π4134687171650Π413474777136 20Π4837163295860Π483717715702 30Π481269307310Π48127542362 40Π6474042224390Π647404597567 50Π481437434460Π48144053821 60Π6522026064240Π652202832969 70Π6521023047290Π652102505078 80Π346219953380Π34622161943 90Π483515717960Π48351706539 100Π6474115254020Π647411658145 110Π6452115041350Π645211635590 120Π1763314766660Π176331604287 130Π1778514666770Π177851593602 140Π6466014520170Π646601578549 150Π476013639340Π47601476418 160Π1767212976740Π176721411110 170Π980012835500Π98001392965 180Π6521112673580Π652111373438 190Π6475712146320Π237241323944 200Π2372412132310Π647571320641

实验2测试于2006年5月25日,过滤条件是目的端口等于25,查询滑动窗口为24h时的T op210流数频繁的源IP。如表2,S MART得到了与准确结果完全一致的前10个频繁的SrcIP。

表2　试验2结果

T able2　Results of Experiment22

Rank

S M ART

源IP流数

Exact(Flow2tools)

源IP流数

1218.1.66.9166321218.1.66.9164457 2218.1.66.8949388218.1.66.8947588 3218.1.66.8715041218.1.66.8714531 4218.1.113.1766224218.1.113.176**** ****.1.14.774597218.1.14.774416 6218.1.115.91346218.1.115.91306 7222.71.50.20818222.71.50.20809 8218.1.66.207750218.1.66.207710 9222.66.20.58708222.66.20.58708 10218.81.171.49573218.81.171.49574

3　结论和展望

本文介绍了新颖高效的网络流量监控系统S MART。它基于Java多线程技术、适应多种平台环境,目前在上海电信用于IP城域网的流量分析领域,拥有对海量网络流量信息的实时分析能力,先进的数据流算法进行24h的T op2k数据分析,可以进行网络流量的突变检测,能够合并不同路由器的原始流,实现了基于任意Flow字段的组合过滤条件,能够完成对任意组合的Flow字段进行聚合并获取T op2k任务、指定输出任务的分析,能够实现自定义Flow字段的T op2k任务,统一处理V5和V9格式的Netflow数据,T op2k结果可以通过UDP输出到指定的地址,处理能力达到每秒30000个流。更多的功能模块如,流量模式监控、P2P流量检测以及分布式流量分析系统正在设计之中。S MART作为高效的网络流量分析手段,有可能成为更多电信运营商的网络流量监控工具。

参考文献:

[1]Cisco.Cisco I OS Netflow introduction[E BΠO].(2006204205)

[2006204215].http:ΠΠw w https://www.360docs.net/doc/c710646527.html,Πg oΠnetflow.

[2]Mark Fullmer.Flow2tools[E BΠO L].(2006203201)[20062042

15].http:ΠΠw w https://www.360docs.net/doc/c710646527.html,Πs wΠflow2toolsΠdocsΠflow2tools.

html.

[3]C ARNEYD,QETI NTE ME L U,CHERNI ACKM,et al.M oni2

toring streams2a new class of data management applications

[C]ΠΠProceedings of28th International C on ference on Very

Large Data Bases,August20223,2002.H ong K ong,China: M organ K au fmann,2002:2152226.

[4]ARAS U A,M ANK U G S.Approximate counts and quantiles

over sliding windows[C]ΠΠA.Deutsch.Proceedings of the T wenty2third AC M SIG ACT2SIG M OD2SIG ART Sym posium on Principles of Database Systems,June14216,2004.Paris, France:AC M,2004:2862296.

[5]QI N S,QI AN W,ZH OU A.Approximately processing multi2

granularity aggregate queries over data streams[C]ΠΠProceed2 ings of the22nd International C on ference on Data Engineering, IC DE2006,328April2006,Atlanta,G A,US A:IEEE C om2 puter S ociety,2006:67.

[6]Y U J X,CH ONG Z,LU H,et al.False positive or false neg2

ative:M ining frequent itemsets from high speed transactional data streams[C]ΠΠProceedings of the Thirtieth International

C on ference on Very Large Data Bases,August312September3

2004.T oronto,Canada:M organ K au fmann,2004:2042215.

(编辑:孙培芹)

　第11期常建龙,等:S M ART:基于数据流技术的电信网络流量监控系统31