基于知识发现的网络安全态势感知框架

基于知识发现的网络安全态势感知框架摘要：由于以往的安全警戒事件，网络安全态势感知提供了独特的高级别安全观。

但基于网络的安全警报数据的复杂性和多样性使得对其作分析极为困难。

在本文中，我们分析的网络安全态势感知系统中存在的问题，并提出了基于知识发现的网络安全态势感知框架。

该框架包括网络安全态势模型生成、网络安全态势产生。

建模的目的，是构建基于d-s理论的网络安全态势检测的形式化模型，并支持融合和分析来自于传感器安全态势的安全警报事件的一般化过程。

新一代网络安全态势就是从基于知识发现方法的网络安全态势数据集中提取出频繁模式和序列模式，并把这些模式转换为网络安全态势的相关规则，最后自动生成网络安全态势图。

集成网络安全态势感知系统（Net-SSA ）的应用表明，这种框架支持网络安全态势模型的精确生成和有效发展。

关键词：网络安全；态势感知；数据挖掘;知识发现一、引言传统的网络安全设备，如入侵检测系统（IDS ），防火墙，安全扫描器彼此独立运作，它们几乎没有自己所要保护的网络资源的信息。

由于缺乏信息，在对安全警告作解释和对相应的态势作出决策时，它往往给出很多模棱两可的答案。

网络系统遭受各种安全威胁，包括网络蠕虫、大规模的网络攻击等，网络安全态势感知是解决这些问题的有效途径。

网络安全态势感知的一般过程就是，感知发生在一定时间段和网络环境的网络安全事件，综合处理安全数据，分析系统所受到攻击行为，提供全局的网络安全观，评估整体的安全态势并预测未来的网络安全趋势。

在实现网络安全态势感知时存在着一些困难，如下：（1）从各种安全传感器生成的警报事件数量是巨大的，假阳性率太高。

（2）由于大规模网络攻击（例如:DDos）所产生的琐碎的安全警报非常复杂，并且它们之间的关系难以确定。

（3）安全传感器产生的警报事件数据类型数量巨大，然而对警报事件进行处理时警报处理程序得不到足够的信息，而且自动获取这些信息是相当困难的。

在本文中，我们总结的网络安全态势感知的研究过程，提出了一个基于知识发现的网络安全态势感知的框架，并应用到我们的网络安全态势感知系统（NET- SSA ）。

本文其余部分组织如下：第2节介绍了网络安全态势感知的概念和功能，并总结了该领域的相关研究;第3节提出我们的“基于知识发现的网络安全态势感知框架”;第4节演示实验结果，第5节总结今后的工作方向。

二、 基本概念和相关工作A. 基本概念为方便描述和避免混淆，相关的名词定义如下：安全态势：它指的是处于监督状态的网络的整体安全状况，在一定的时间窗口遭受的网络攻击，对整个网络安全的影响。

一般来说，安全态势的信息，包括两个方面，时间维度和空间分布维度。

安全事件：它是指由各种网络安全态势传感器产生和由网络入侵或检测参数超出阈值产生的警报事件。

它可以表示成一个多元组i e ={ detectTim i e , eventTyp i e ' attac i k ,srcI i P , desI i P , srcPor i t , desPor i t , protoco i l , sensorI i D , confidenc i e ,severit i y , othe i r }。

其中， detectTimei 指警报事件发生的时间; eventTypei 是指警报事件的类型， attacki 是指攻击检测警报所属的类; srcI 和Desi 指警报事件的源和目的地址; srcPorti 和 desPorti 指警报事件的源和目的端口; protocol 指协议类型 ; sensorID 是指传感器检测到的事件; confidencei 是指警报的事件的可信率; severit i y 是指警报事件的严重级别; otheri 是指警报事件的其他信息。

安全态势建模：它指的是分析各种安全传感器所产生的警报事件，并最终产生全局网络安全态势的过程。

它包括以下功能：事件简化：[1e ,2e ,3e ,…,n e ]→m e ,简化其中有重复定义或并发性关系的冗余警报事件，以减少有效警报的数量。

事件过滤：[i e ,P(i e )∉H]→φ,警报事件已被删除或标记为无关的事件，如果属性P(i e )不属于H 的某个合法集。

如果一些键的属性丢失或者超出预定义范围，警报事件就会被删除。

事件融合：i e confidence −−−−→'i e ，利用信息融合技术（如D-S 证据理论的），它主要解决了碰撞警报和警报合并使用的问题，从而提高警报事件的可信率，降低假阳性率。

事件关联：[1e ,2e ,3e ,…,n e ]confidence −−−−→1n e +，当前的网络安全事件，活动和情况，可以从不同类型的警报事件源所使用的数学或启发式方法推断出来，从而提高检出率，降低假阴性率。

状态评估：它指的是对来自于多层次的基于空间和时间维度中的分布式攻击行为和网络资源的作用的安全状态评估。

知识发现（KD ）：它是指确定来自于从传感器收集到的安全事件集的新模式的非平凡过程，这些传感器易于理解，而且对于获知安全状况很有用。

知识发现的目的是提取安全事件的融合和关联所需要的规则。

安全状态产生：在网络安全状态感知的过程中，安全局势的模型是标准化的，受限制的，可推断的，正确的，通过从知识发现中获取的模式信息进行补充，最后生成的全局网络的安全状况。

B.相关工作为了应付陆续增加的信息安全威胁，多种安全设备已被用于大型网络。

这些设备可以产生大量的安全事件预报。

当面临着太多的预警信息，要获得当前整个网络的安全状态是非常困难的。

为了解决这一问题，许多研究已把“状态感知”的概念引入互联网安全系统。

巴斯是第一个引入网络这一概念的人，并且他提出了基于多传感器数据融合的网络安全认知框架[1] [ 2 ] 。

它可以帮助网络管理员识别，跟踪和衡量网络攻击活动。

通过参考Endsley 的状态感知框架，Jibao 等人出了“网络安全状态感知模型”。

另一方面，根据巴斯的理论，Liu 等人提出了基于信息融合的网络安全感知模型。

为了了解整个网络安全的趋势，我们必须收集，融合和分析大量的信息，减少假阳性率和假阴性率。

Yu 等人公布了一个基于加权D-S 理论的警告信息融合方法。

这种方法通过融合具有不同可靠性和权值的传感器信息，增加了警报信息的可靠性，并有效降低了误报率。

但是，关键在于如何准确地设置每个传感器的可靠性和权值。

Wang 等人[7]认为，当分析安全状态时，可利用神经网络对异类多传感器数据融合和时间的精确性和攻击的严重性进行分析。

在知识发现自动的帮助下，Stefanos的等人[8] 发现了这些信息潜在的相关性，并实现了预警信息之间的相关性分析。

这种发放的优点是，它是知识自动发现机制；缺点是，没有人的参与，它所产生的结果并不总令人满意。

有时，它可能会发现大量的无用信息。

预警信息多传感器数据融合和相关性分析完成后，我们必须把安全状态模型量化。

Bass[9]认为安全风险评估应包括系统的价值，威胁程度和攻击的严重性。

Zhang等人把所有的网络环境参数引入到安全状态框架中，像网络中关键主机的数目，主机提供的服务，攻击可能造成的危害等。

Chen认为，应该把风险评估方法划分为不同的层次，根据服务、主机、网络的层次结构来定量网络安全态势。

首先确定资产的重要性，攻击的危害，并收集各种漏洞和网络攻击发生时整个网络可以被评估的安全状态。

从网络安全信息获取到形成网络安全状态模型是一个综合的过程，但大多数的研究着重于安全事件或安全风险评估方法的融合。

它们都没有形式化描述网络安全状态，缺乏一个综合的知识感知框架。

本文不仅提出了基于知识发现的一个形式化网络安全状态模型，而且提出了一个支持从安全事件分析到安全事件感知的整个过程的综合的网络状态感知框架。

三、网络安全态势感知框架本文提出的网络状态感知框架是基于知识发现的，并由网络安全状态模型和网络安全状态产生两部分组成，如图1所示。

网络安全状态建模是指构建应用于基于D-S理论的网络安全状态监测的形式化模型，并支持各类安全状态传感器的警报事件的融合和相关分析的一般过程。

网络安全状态的产生，主要包括三个步骤：首先，通过由引进FP -Tree算法[12]和WINEPI的算法[13]生成的交互式知识发现，获得攻击模式;其次，把发现的频繁模式和序列模式转化为警报事件的相关规则;最后，实现基于网路安全状态生成算法的网络安全状态图的动态产生。

网络安全状态模型网络安全状态生成图1网络安全状态感知的框架由两部分组成，一个是处理各种事件和构建网络安全状态的公式化模型，另一种是通过知识发现获得的攻击模式和动态产生的网络安全状态图。

A.网络安全态势建模网络安全态势建模的主要目标是建立适用于网络安全态势检测的标准化的数据模型，并支持安全状态传感器的警报事件的简化、过滤、融合的一般过程。

用于网络安全状态建模的数据来源于监督网络中的异构分布式传感器收集到的各类安全警报。

网络安全状态的建模过程的几个阶段组成。

在预处理的初始阶段，通过规范警报事件，所有接收到的安全事件转化为能够被数据处理模块处理的标准格式。

警报事件可能是来自不同的传感器，并有不同的格式，如IDS的事件记录，防火墙，主机系统的日志文件，从网络流量等。

规范的目的是要将每个传感器的所有事件属性统一。

在我们的框架中，我们不同的传感器提供相应的预处理模块，并把特定的传感器的信息转变为本文中定义的信息模型的属性值。

基于信息模型，对每个原始事件进行预处理，并转化为标准格式，把每个属性字段设置为适当的值。

在安全状态数据处理阶段，标准化的警报事件作为输入数据被接收，并对标准化警报信息进行了简化、过滤和融合。

事件简化的目的，是要合并多个传感器检测到的相同攻击的冗余警报事件。

简化事件的一个典型的例子是，IDS可能会产生许多探测活动，当执行端口扫描攻击时，对每个端口扫描包，并且通过简化在给定时间内的从同一来源，同一目标主机的同类型事件，事件的数量可能会大大减少。

事件过滤的目的是消除那些不满足约束条件的事件，根据网络安全状态感知的要求，这些约束条件在知识库中以属性或规则形式存放。

例如，如果事件的关键属性的值缺少或超界，可以删除这些事件，因为它们对于网络安全状态的分析是毫无意义的。

通过简化和过滤处理，合并重复的安全事件，安全事件的数量将大大减少，抽象程度将提高。

同时，安全情况的信息暗示将被保留。

事件融合功能的基础是登普斯特夏尔(DS)证据理论。

事件融合的目的是对来自不同传感器已预处理过的，简化过滤的安全事件引入不同的置信水平，通过多属性融合定量评估安全事件，从而有效降低假阳性和假阴性警报，为网络安全态势的推理、分析和产生提供支持。

基于事件融合的D-S 证据理论的一般过程是通过系统状态1E ,2E ,…,m E 推出当前系统的安全状态。