基于NetFlow的网络流量采集技术和应用

第31卷　第23期

2009年12月武　汉　理　工　大　学　学　报JOURNA L OF WUHAN UNIVERSIT Y OF TECHN OLOG Y Vol.31　No.23　Dec.2009DOI :10.3963/j.issn.167124431.2009.23.037

基于N etFlow 的网络流量采集技术和应用

孟晓蓓

(武汉大学计算机中心,武汉430072)

摘　要:　针对计算机网络状况监控领域的实际需要,提出了基于Net Flow 的流量采集技术。相比其它的流量采集工具,Net Flow 的流量采集技术具有配置方便,费用低,占用资源小的优点。分析了Net Flow 交换技术采集网络流量信息的实现原理。并从计算机网络的网络层和传输层2个方面,讨论了Net Flow 网络流量采集技术在网络信息安全方面的相关应用。

关键词:　流量采集;　Net Flow ;　网络攻击

中图分类号:　TP 393.06文献标识码:　A 文章编号:167124431(2009)2320155204

N et work Flux Collection T echnique B ase on N etFlow and

Its Application

M EN G Xiao 2bei

(Computer Center ,Wuhan University ,Wuhan 430072,China )

Abstract :　This paper proposes the network flux collection technique based on net flow according to practical requirements in the field of monitoring the status of computer https://www.360docs.net/doc/136108388.html,pared to other flux collection tools ,Net Flow has advantages of con 2venient configuration ,low cost and small occupied resources.This paper analyses the principle of realization of Net Flow ex 2change technique collecting network flux information.Then both from the network layer and transport layer ,the paper discuss 2es some relevant applications of Net Flow network flux collection technique using in network information security areas.

K ey w ords :　flux collection ;　Net Flow ;　network attack

收稿日期:2009207209.

作者简介:孟晓蓓(19572),女,高级实验师.E 2mail :meng1025@https://www.360docs.net/doc/136108388.html,

随着Internet 和Intranet 的发展,网络用户、接入设备日益增长,对计算机网络的安全运行产生了压力。因此,计算机网络状况的实时监控的工作,显得十分必要。计算机网络状况的实时监控的一个重要环节,就是网络上的数据流量进行统计和分析。由于各种各样的应用对网络带宽的需求越来越高,传统的网络流量统计和数据采集方式开销大、对数据传输延时的影响大,已经不能满足现在的需求,因此,需要一种新的流量统计技术来适应现在的网络环境。Net Flow 技术正是这样的能适应新环境的流量采集方法。

1　网络流量采集的特点和方法

理想的数据采集方式应该具备以下一些特点[1]:

1)不影响数据流转发的速度　在整个数据流的采集过程中,不能有明显影响数据流转发速度的状况发生。如果在数据采集的过程中,数据流转发的速度明显下降,不能真实地反映网络流量状况,这违背数据采集的根本目的。

2)占用资源小　对数据流进行采集的过程中,可能需要在路由器(交换机)中进行流量统计,并且储存所

采集数据。这会给路由器(交换机)带来额外的资源开销。理想的流量采集方法应该尽可能少占用资源,在采集效果和资源占用之间寻求一个平衡点。

3)完整的数据流监控　一个理想的数据采集方法应该具备完整的数据流监控能力。在网络发生拥塞的时候,能不能采集到完整的流量信息,是考察数据采集方法的一个重要标准。

4)支持第3层交换　第3层交换技术的特点就是将路由功能和交换功能结合在一起,使得网络在具有第2层交换的高速性能的同时,又可以具有很好的安全性、可扩展性等特性[2]。理想的数据流量采集方式必须能够支持第3层交换技术。

5)分布式的数据采集　分布式的数据采集有利于实现校园网内部的数据流量监控和管理。

常用的网络流量采集方法有:实时数据采集,路由器流量统计功能,Net Flow 交换技术。实时数据采集就是在网络设备中使用端口镜像技术等[3],从网络中获取实时的数据流信息。这种方法的优点是实施最为简单,几乎不会对网络中数据传输的延时造成任何影响。然而,由于数据采集机要捕获所有的数据流信息并对之加以分析,因此这种方法对数据采集机的处理能力要求很高。此外,由于这种方式是对整个IP 数据包进行抓取后再进行处理,必然导致数据量过于庞大,对于后续的数据处理工作带来不便,因此这种方式并不适合。

路由器流量统计功能是利用网络设备的流量统计功能,是目前比较常见的一种数据采集方法。在路由器中启动流量统计功能,使其记录下所有流量的源地址、目标地址、数据包数量和字节数。另外一台采集数据的机器通过SNMP 协议定期到路由器上去将流量统计信息读取回来,从而获得详细数据。这种方法的好处是流量信息准确,信息获取方便。同时,由于使用SNMP 协议进行数据获取,具有很好的通用性和可移植性。因此这种方法的应用非常广泛。在路由器上运行流量统计功能,会影响路由器对数据包处理的效率,增加路由器的CPU 和内存负载,不可避免的对网络性能带来一定的影响。因此,这种方法并不适合在网络和核心层部署,适合在网络的边界处进行流量采集。

Net Flow 交换技术是由Cisco 公司提出的,广泛应用在Cisco 的路由器和交换机产品中[4]。它提供了高性能的第3层交换技术,并且能够主动将网络流量信息推送到一个Net Flow 数据采集服务器上。Net Flow 交换技术是传统快速交换技术的一种改进,主要优点是在进行数据交换的同时对数据流信息进行统计,并将统计信息以特定的格式输出。

2　N etFlow 交换技术

2.1　N etFlow 交换技术原理

Net Flow 交换技术是在Cisco 的路由器、交换机中实现的一种技术。Net Flow 交换完成的工作超过交换本身的工作,它还进行数据的统计,包括数据流的协议、端口、被转发的数据包数量、字节数等信息,所有这些信息都被保存在Net Flow 缓存里面。这些数据可以被发送到一个Net 2

Flow 数据采集器或者网管工作站进行存储和进一步处理[5]。因此,可以

说Net Flow 是一种交换技术,同时,它更多的是一种网络管理和计费技

术。

Net Flow 交换技术主要原理是根据网络数据包传输时,连续相邻的

数据包通常是往相同目的地IP 地址传送的特性,配合Cache 快取机制,

一个输入的数据包完成了交换处理后,所有的路径信息和数据包的信息

被复制到Net Flow Cache 中。该数据流中的剩余数据包将会被与Net 2

Flow 的缓存进行比较然后进行相应的转发,同时对该数据流的相关计数器进行更新,实现数据流信息的统计[6]。当网络管理者开启路由器或交换机接口的Net Flow 功能时,设备会在接收数据包时分析其数据包的标头部分取得流量资料,并将所接到的数据包流量信息汇整成一笔一笔的Flow 。Net Flow 交换技术的体系结构见图1。

在Net Flow 数据采集系统中,数据采集器是整个系统的核心部分。数据采集器接收路由器和交换机发送的Net Flow 数据包,并分析输出数据中的版本信息,根据情况选择不同的数据处理容器。然后,数据库中的信息通过相关流分析软件完成图形化展示、TOP N 查询以及预警等功能。

6

51 武　汉　理　工　大　学　学　报 2009年12月

2.2　N etFlow 的数据格式

Net Flow 技术被应用在多种平台的思科设备中,包括了大部分路由器和3

层交换机。目前比较常用的是Version 5、Version 7、Version 8和Version 9。在

Net Flow Version 5中,加入了对B GP AS 的支持,是目前最实用的版本。Ver 2

sion 7是思科Catalyst 交换机设备支持的一个Net Flow 版本,与路由器中的

Net Flow 并不兼容。Net Flow Version 8在Version 5的基础上,增加了基于路由

的计费信息归并等新特性,可以大大降低对数据输出的带宽需求。而Net Flow

Version 9是一种全新的灵活和可扩展的Net Flow 数据输出格式[7]。除了具有

较低版本的特性之外,还支持IPv6、MPL S 等特性,并且允许用户自行定义数据

输出的模板和格式,应用更加灵活、方便。

Net Flow 设备使用UDP 将计费信息输出到数据采集端,以大多数路由器都

支持的Version 5为例,数据输出包括数据头和多个Net Flow 记录信息。Version 5规定,每一个数据报文最多可以携带30个Net Flow 记录。图2是Version 5的一个Net Flow 记录的数据格式。

3　N etFlow 在网络安全上的相关应用

对于网络中出现的异常事件,网络管理者能够从Net Flow 的记录中获得足够的信息,并且Net Flow 不需要对数据包的内容进行分析,网络设备运算的负担也减轻许多,因此Net Flow 很适合用来分析高速运转的网络。

由于Net Flow 的数据来源是网络中的3层数据转发设备,因而3层设备所收集到的Net Flow 信息可以协助掌握整个网络的情况[8]。通过适当地分析Net Flow 信息,管理者在蠕虫爆发以及其他网络异常行为的初期即可快速分析出网络中存在的问题。

3.1　分析网络层中的N etFlow 信息

网络攻击行为一般存在着某些可供辨识的特征,可以通过这些特征来与所获得的Net Flow 数据进行对比,进而找出可能的异常行为。通过分析Net Flow 数据中目的主机所使用端口号字段,来过滤Net Flow 资料找出相对应的攻击;另外也可以利用不合逻辑的来源或目的IP 地址来找出异常。此外,因特网地址指派机构3段IP 地址保留给私有网络使用,这3段网络的地址不能出现在外在网络环境中,但由于当初网络设计的缺陷,路由器对于所接收数据包的来源地址字段并不会进行验证,所以攻击者可利用这个缺陷伪造来源IP 地址来发动攻击,避免被追踪到攻击来源,所以可以从所接受到Net Flow 数据中来源主机所使用的IP 地址字段[9],找出伪造来源地址的流量,再利用Net Flow 数据中信息流流入接口编号字段的信息,找出连接这个接口的上游路由器,请他们协助调查或处理。

某些异常行为可能会连到某个或某些特定地址。网络管理者可以撰写程序分析所搜集的Net Flow 数据,找出具备某种蠕虫病毒特征的Flow 数据,便可找出管辖网络内有可能感染某蠕虫的主机,并强行将该主机下线或封锁物理端口以降低蠕虫造成的危害。利用已收集到攻击的特征与Net Flow 信息中的相关字段进行比对找出可能的攻击,可以在造成网络严重伤害之前,采取相应措施来降低形成严重问题的可能性[10]。

3.2　分析传输层中的N etFlow 信息

网络管理员可以通过Net Flow 数据找出网络中建立session 数目最多的主机,因为如果一台主机对特定主机产生不正常的大量连接,可能代表着新的蠕虫、阻断服务攻击、网络扫描等的可能性,因为一个正常的主机对外连接会有一定正常的频率,如果正常的主机感染了蠕虫,就可能会开始产生异常的网络行为,开始产生对外大量的连接需求来找寻下一个感染的对象。因此可以从感染蠕虫的主机的Net Flow 信息中发现到大量的对外连接需求。同样的原理,如果所管辖网络中的使用者从网络上下载阻断服务攻击之工具程序企图对外发动攻击时,或是使用者利用Nmap 之类的扫描工具扫描特定网址,以找出目标主机所可能存在弱点或是漏洞时,都可以从Net Flow 数据中发现从网域中某个特定地址送出的大量session 。

除了侦测网络攻击外,也可以通过分析session 的方式找出网络滥用的行为,例如分析Net Flow 数据中目的主机所使用端口号的信息,通过分析对外25port 连接的相关信息,若某一台主机对外25port 连接的数目在某个特定时间内超出正常值过多,便可合理怀疑这台主机被利用来散发广告信或通过e 2mail 感染蠕虫,

7

51第31卷　第23期 孟晓蓓:基于Net Flow 的网络流量采集技术和应用

同样可分析并找出网络滥用的行为,并进行适当处置以降低其所造成的伤害。

4　结　语

Net Flow 技术可以给网络管理者提供相当多的有用的信息,协助其掌握所管辖网络之真实状态,采用Net Flow 技术,网络管理员可以获得完备的统计信息,可以在大规模网络中进行蠕虫等病毒和网络异常行为监测,记录上网痕迹。现在,越来越多的网络管理员使用Net Flow 技术,特别是在较大网络的管理中,Net 2Flow 技术更能体现出其独特优势。

参考文献

[1]　张建标,赖英旭,秦　华,等.校园网络安全运行架构研究[J ].计算机工程与设计,2007,28(20):487824884.

[2]　黄海军,芦芝萍.三层交换的计算机网络实验的实现[J ].实验研究与探索,2003,22(3):69272.

[3]　田　东,董德存.网络流量技术应用与分析[J ].计算机工程与科学,2005,27(1):1052107.

[4]　夏光峰.Net Flow 技术及其在高校网络管理中的应用研究[J ].合肥学院学报:自然科学版,2007,17(2):67271.

[5]　孙　玫,张　伟.基于Net Flow 的网络监控系统研究与设计[J ].微计算机信息,2007,23(11):78279.[6]　陈　宁,徐同阁.Net Flow 流量采集与存储技术的研究实现[J ].计算机应用研究,2008,25(2):5592564.

[7]　陈　鸣,许　博.一种基于Net Flow 的网络蠕虫检测算法[J ].解放军理工大学学报:自然科学版,2006,8(4):3362340.

[8]　朱　敏.基于Net Flow 网络流量异常的分析[J ].计算机系统应用,2006(4):28230.

[9]　张　蔚,李恩普.计算机网络系统攻击及防护方法[J ].微处理机,2008(1):58261.

[10]　肖志新,杨岳湘,杨　霖.一个基于Net Flow 的异常流量检测与防护系统[J ].微电子学与计算机,2006,23(5):2092

213.

(上接第154页)

参考文献

[1]　徐石安.汽车离合器[M ].北京:清华大学出版社,2005.

[2]　Dirankov D ,Hellendron H ,Reinfrank M.An Introduction to Fuzzy Control [M ].New Y ork :S pringer ,1993.

[3]　陈伯时.电力拖动自动控制系统:运动控制系统[M ].北京:机械工业出版社,2003.

[4]　甄玉云,陈定方,朱　科.GMA 的PID 神经网络控制器设计与仿真研究[J ].武汉理工大学学报,2008,30(3):1262129.

[5]　Bandyopadhyay R ,Chakraborty U K ,Patranabis D.Autotuning a PID Controller :A Fuzzy 2genetic Approach[J ].Journal of Systems Architecture ,2001(47):6632673.

[6]　杨万庆,涂建维.基于模糊控制的磁流变阻尼器结构半主动控制[J ].武汉理工大学学报,2007,29(4):83286.

[7]　曾光奇,胡俊安,王　东.模糊控制理论与工程应用[M ].武汉:华中科技大学出版社,2006.

[8]　谢　旭,黄本雄.基于卡尔曼滤波理论的传感器路由协议[J ].武汉理工大学学报,2008,30(2):1102112.

[9]　Y ang S K ,Liu T S.State Estimation for Predictive Maintenance Using K alman Filter[J ].Reliability Engineering &System

Safety ,1999,66(1):29239.8

51 武　汉　理　工　大　学　学　报 2009年12月