基于联合数据挖掘的网络异常检测系统的研究

基于联合数据挖掘的网络异常检测系统的研究摘要：网络攻击日趋隐蔽和复杂化，传统的检测方法具有很大的局限性。

该文提出将网络管理中故障管理和性能管理相结合，根据目前网络中可获得的丰富的数据进行联合挖掘，能够全面发现网络中存在的问题。

关键词：数据挖掘异常检测网络管理Research on Network Anomaly Detection System Based on Alliance Data MiningAbstract：The network attacks become more and more unnoticeable and complex，which can deceive the traditional detection methods.In this paper，a method focusing on how to alliance mining according to the diverse network data is discussed，combining fault management with performance management，which can discover problems in network thoroughly.Keywords：Data Mining Anomaly Detection Network Management随着目前网络环境越来越复杂，网络攻击形式越来越多样，如何维持网络性能的稳定成为网络管理的一个难题。

现实中引起网络异常的原因有很多，典型的有：网络设备故障、网络过载、恶意的拒绝服务和网络入侵等等。

如何发现这些异常一直是研究的热点问题。

然而网络异常的发现依赖于可获得的网络数据及其分析。

一般情况下，网络中可获得数据包括：网络设备的告警日志、网络设备的Trap消息、网络流量数据和基于简单网络管理协议（SNMP）获得的相关MIB的数据。

我们假设“网络异常能够在异常事件发生之前或发生时被一些相关的瞬时变化所刻画”，所以通过对这些数据的分析一般都能发现与异常相关的信息。

[1]在此之前已经有专家在这方面进行了一些有创造性的工作。

1997年Mika Klemettinen等人提出了“频繁情节（frequent episode）”的概念[2]，在1999年提出了将频繁情节挖掘的方法应用于电信网的告警数据分析中，用来自动提取规则，并实现了一个“电信网告警序列分析器（TASA）”的电信网故障管理系统[3]（见图1）。

在流量异常分析方面，目前在入侵检测系统中研究的较多。

主要包括基于行为（异常检测）和基于知识（误用检测）两类[4]。

基于知识的检测一般是在对已知攻击特点进行分析的基础上提出规则，然后根据这些规则进行检测，特点是速度慢，准确度高，但对于未知的攻击无能为力。

基于行为的检测一般是以统计的方法来分析某一网络的流量特点，建立相应的数学模型，然后根据定义的模型来预测异常。

这种方法的特点是速度快，对未知的攻击也能预测，但误报率较高。

告警日志的挖掘是网络管理的故障管理方面的内容，而流量异常分析则涉及性能管理方面的内容。

在实际中往往存在相关性，例如某些设备的故障会导致整个网络性能的下降，而某些流量引起的网络拥塞则极有可能会引起网络设备的故障。

并且在当前网络复杂性日趋增加的情况下，只有将各方面的数据结合起来，从不同的角度进行分析，才能取得更好的效果。

因此，我们将网络中的各种数据联合起来进行分析，用来更好的发现各种网络异常。

1 联合数据挖掘系统的设计1.1 数据挖掘简介数据挖掘是从大量的、有噪声的数据中提取出事先并不知道的信息的过程，这种信息往往是以模式、趋势和结构的形式呈现的[5]。

它包含多种技术如数据库管理、机器学习、统计、并行处理和可视化等。

它一般分为一下几个步骤：①数据清洗，清除噪声或不一致的数据；②数据集成，多种数据源可以组合在一起；③数据选择，从数据库中选择与分析任务相关的数据；④数据变换，转换成适合挖掘的形式；⑤数据挖掘，使用智能方法提取数据模式⑥模式评估，识别表示知识的模式；⑦知识表示，向用户呈现获取的知识。

通常根据不同的目的选择不同的分析方法。

数据挖掘中常用的分析方法有：关联分析、频繁情节分析、聚类分析、分类、回归等。

在我们的系统中用到了关联分析、频繁情节分析、分类和聚类分析的方法。

1.2 网络数据的获取获取正确类型的网络数据对于异常检测是必需的。

被检测的异常的类型依赖于可获取的网络数据。

目前获取网络数据的方法有如下几种：(1）网络设备的告警日志网络设备（如交换机、路由器、服务器等）在运行过程总都会产生大量的日志，这些日志中包含了用户的异常行为：例如对设备的非授权访问、路由器或交换机的某个端口链路异常、DHCP服务器分配地址失败等等。

对这些数据的分析对于发现R2L，U2R等攻击非常有效。

(2）基于简单网络管理协议获得的相关数据简单网络管理协议的MIB中提供了网络中被管设备的大量的信息。

例如MIB-II中的interface组中的信息提供了被管设备的端口的流量的详细统计情况[6]，通过对交换机或路由器的这些统计信息的获取，可以知道具体端口的流量情况。

对这些数据的分析可以发现分布式拒绝服务（DDoS）攻击等以损耗带宽为目的的攻击。

但是这类数据只是提供统计以后的信息，对于转发的具体IP分组的信息不记录。

(3）IP分组捕获目前捕获IP分组的信息的方法有两种：一种是CISCO的Netflow[7]：Netflow是CISCO基于流测量的专有技术，其性能高，且能适应100?m带宽的需求，而且其独有的流归并的方法，使得统计更加简单，且效率更高。

目前已经广泛应用于网络性能检测和流量计费等领域。

然而它一般需要相应的路由器或交换机等硬件设备的支持。

另一种是利用Libpcap[8]库：Libpcap库是UNIX环境下通用的函数库，目前在Windows环境下也有相应的Winpcap库。

著名的sniffer 软件TCPDUMP和Ethereal就是分别以这两个库为基础开发的。

适合于在局域网中使用。

1.3 联合数据挖掘系统的架构综合上面提到的可获取的网络数据，并把网络管理中的故障管理和性能管理结合起来，我们提出了一个联合数据挖掘系统，如图2所示。

我们采取了类似于简单网络管理协议中的代理和管理者的结构。

代理向管理者提供测量的网络数据供挖掘系统进行分析，通过1.2节的分析，我们知道这些网络数据都是可以得到的。

挖掘系统负责对这些不同的数据进行分析，是整个系统的核心。

如图3所示。

在上图中，数据预处理包含了数据挖掘步骤中的数据清洗、数据集成。

关联挖掘、频繁情节挖掘和流量异常分析对应挖掘过程。

参数设定和规则修订是评估的过程，也是一个自我学习的过程。

2 系统实现2.1 告警日志和Trap消息的挖掘对于告警日志和Trap消息的分析属于网络管理中故障管理方面的内容。

目前的网络设备（如交换机、路由器和UNIX服务器等）的告警日志大都采用UNIX系统的日志格式，即syslog的格式。

这些日志不仅可以保存在本地，而且可以通过网络进行传输，供远程日志分析服务器进行分析。

例如对于如下一条CISCO路由器的告警日志：*Apr 29 15：54：49：%DHCPD-4-PING_CONFLICT：DHCP address conflict：server pinged 172.18.41.164.’其中“Apr 29 15：54：49”为告警产生时间，“DHCPD”表示引起告警的事件类型，“4”表示告警级别，数字越小表示越严重。

“DHCP address conflict：server pinged 172.18.41.164”表示日志的内容。

我们可以将其解析以后的各个属性存储在数据库中，对其属性间的关系做关联分析。

通过对数据库中这些告警日志的分析，我们可以发现设备频繁发生的告警事件类型，以及这些事件的严重程度。

例如如下的一条关联规则：“172.18.31.242 → LINK，3（90%，80%）”说明“172.18.31.242”这台设备发生“LINK”事件的关联度为90％，置信度为80％。

根据关联规则中对关联度和置信度的定义，这表明IP为“172.18.31.242”、事件类型为“LINK”的事件占总事件的90％，而“LINK”事件有占所有IP为“172.18.31.242”的事件的80％。

频繁情节的挖掘与关联规则挖掘的区别在于它考虑的是同一属性在不同时间出现的规律，而关联规则考虑的是不同属性之间的关系，没有考虑时间。

例如如下一条频繁规则：“如果link和link failure在5?s内发生，那么high fault rate的警告在60?s内发生的概率为70％”[2]，通过这种形式的挖掘，我们可以发现周期事件，并且可以发现事件在时间上的相关性。

在实际种，这种规则往往比关联规则更有意义。

Trap消息是当设备状态发生改变自动触发的消息。

这里的Trap 消息指的是简单网络管理协议中的Trap消息。

在简单网络管理协议中定义了7中Trap消息类型：“coldStart”，“warmStart”，“linkDown”，“linkUp”，“authenticationFailure”，“egpNeighborLoss”，“enterpriseSpecific”。

其警告级别依次降低。

对于Trap消息的处理我们可以采取基于规则的形式，因为它的消息的类型只有7种。

例如当频繁发生“authenticationFailure”事件时，则可以判断为发生snmpget 攻击。

2.2 流量异常分析通过IP流的捕获和SNMP的MIB而获得的流量信息对于异常分析是一个很好的数据源。

基于行为的异常检测和基于规则的误用检测是入侵检测系统发现攻击的两种方法，我们将这两者结合起来。

对于已知的攻击，管理员可以通过对规则库的修订来知道异常分析模块来更加准确的工作。

另外对于未知的攻击，采用数据挖掘中的分类和聚类的方法来刻画正常流量和异常流量的区别。

2.2.1 通过SNMP 的MIB信息来捕捉异常SNMP的MIB中提供了丰富的统计信息，例如对于端口扫描，我们可以利用MIB中的下列数据项来发现异常：tcp组中的tcpAttcmptFails：：该实体中发生的失败连接尝试的数量；udp组中的udpNoPorts：在目标端口没有应用程序而接收的UDP 报文的总数；现实中的端口扫描，如著名的nmap软件，往往都是对目标主机的每个端口进行尝试性连接。

那么这个过程中必然因为目标主机的某些端口没有打开而失败，从而造成上述两个变量的增加。

管理员可以通过在规则库中添加这些变量的监控范围来发现这种异常。