贝叶斯语义分析

基于语义特征关联的贝叶斯网络分类

孟宇龙，印桂生，徐东

哈尔滨工程大学计算机科学与技术学院，哈尔滨(150001)

E-mail：mengyulong@https://www.360docs.net/doc/727080982.html,

摘要：为将数据的语义特征体现在数据分类过程中，提出语义特征关联的贝叶斯网络分类法。该方法在分析数据的多语义异构性基础上进行分类学习。与传统贝叶斯网络分类相比，可在不损失分类精度情况下将具有语义特征的数据进行分类。

关键词：语义特征；数据分类；贝叶斯网络

中图分类号：TP391

1.引言

对数据分类而言，数据分类标准以及数据分类精度满意度的评价与所选择的数据分类任务相关。分类后的数据应该具有子类内数据以及类间关系的高度凝聚性。朴素贝叶斯分类器[1]（Naive Bayesian Classifier，NBC）是一种基于贝叶斯理论的简单分类方法[2][3]。独立关系是贝叶斯网络中最基本、最重要的理论关系，即在满足独立性的条件下，贝叶斯分类器才能有很好的表现。文献[4]的研究表明，当训练数据集属性间的独立性提高后，应用贝叶斯分类器并不能明显地提高分类效果。即贝叶斯分类模型的表现和独立性是否满足没有必然联系，通过策略降低属性关联关系，提高独立关系，可以降低分类的时间、空间复杂度，同时并不会影响贝叶斯分类器的分类满意度。所以朴素贝叶斯分类器仍然是一种非常实用的分类方法。例如对一个网络安全事件进行评估，显然忽略带宽、传输速率与攻击强度之间的相互关系是错误的。即使在这样一种人为假定下（假定彼此无关），朴素贝叶斯分类器仍然有很满意的分类表现[6][7]。大量研究和实验表明，在不满足条件独立性要求情况下，朴素贝叶斯分类器也能取得比较满意的分类结果。针对此特性，为将数据的语义特征体现在分类过程，本文在研究贝叶斯定理及朴素贝叶斯分类器基础上，引入贝叶斯网络[5]，提出一种具有语义特征的基于贝叶斯网络的数据语义分类算法——语义特征关联的贝叶斯网络分类，利用网络节点间的关联表示语义，而其它非语义关联则全部忽略。在不损失分类精度情况下将具有多语义特征的数据进行分类。经仿真实验验证可获得满意的分类精度。

2.贝叶斯网络分类器

2.1朴素贝叶斯分类模型（小四号，宋体，加粗）

朴素贝叶斯分类模型将训练实例I分解为特征向量A和决策类别变量C，该模型根据类独立条件构造，朴素贝叶斯分类模型如图1所示。

图1 朴素贝叶斯分类模型

基金项目：水下机器人国家重点实验室基金

朴素贝叶斯分类的工作过程如下：

（1） 设D 是训练数据属性和类C 的集合。其中训练属性用i A 表示。

（2） 每个数据样本用一个n 维特征向量()12,,,n X X X X =L 表示，其中，i X 分别描述

n 个性质12,,,n A A A L 产本的n 个度量。

（3） 假定有n 个类 ()12,,,n C C C K 。给定一个未知的数据样本X ，由贝叶斯定理可得

到C 后验概率最高的类i C ，即：

()()||i j P X C P X C > 1,j m i j ≤≤≠

（4） ()P X 对于所有类为常数，如果类的先验概率未知，通常假定可以假定()i P c 相

等，即12()()...()i P c P c P c === 。

（5） 如给定具有许多属性的数据集，计算(|)i P X C 的系统开销会很大。此时，可以

做出类条件独立的朴素假定，即在属性间，不存在依赖关系。可得：

()1|(|)n

i k i k P X C P x c ==∏

其中(|)k i P x c 可以由训练数据集合D 估值，如果i A 是分类属性，可直接得到每个属性i

A 以及类C 的后验概率()|i P C A 。如果i A 是连续属性，通常假定i A 服从高斯分布。

2.2贝叶斯网络分类器

贝叶斯网络允许定义变量间的依赖关系，它可以用一个有向无环图来描述：

,,B N A =<Θ>

该图包括一个结构模型和与之相关的一组条件概率分布函数。图中节点n N ∈表示领域变量，是对过程、事件、状态等实体的特性描述，边a A ∈表示变量间的概率依赖关系，每个节点对应一个条件概率分布表CPT ，Θ表示CPT 的参数。

假设()12,,,n X X X X =K 表示领域变量，()12,,,n x x x x =K 是X 的值，贝叶斯网络的联合概率分布表示如下：

()|(|())i i i i

P X C P x parent x =∏

其中()i parent x 是有向无环图中i x 的双亲集合。

3. 语义特征关联的贝叶斯网络分类器S-BNC

贝叶斯网络的一个关键特征是它提供了一种把联合概率分布分解为局部分布的方法，即它的图形结构编码了变量间概率依赖关系，可以借此来承载清晰的语义特征。从语义角度分析，贝叶斯网络的信息包含两部分：第一是表示条件独立性信息的网络结构，其中的每一节点表示域中的一个概念或随机变量及其属性，节点之间的连接表示了可能的因果关系和语义关系，可以体现语义方面的特征；第二是节点拥有与其相联系的条件概率分布CPT ，CPT 体现了该节点的定量信息，该定量信息可以用来给出变量间不确定的数值度量。因此，实际上贝叶斯网络能提供某一特定领域的结构性的定性和定量的语义表达。

3.1 S-BNC 处理的对象及其集合

在语义关联贝叶斯网络分类（Semantic feature associated - Bayesian Network Classification ，S-BNC ）内，对数据而言，其属性、关系、值以及需概念化的语义抽象等均可视对象。

定义1 (,,,)obj Dom name pro val =为S-BNC 处理对象，其中Dom 为obj 所属域，obj 为处理对象标识，obj 来源于Dom 内数据的抽象，name 为对象名称，pro 为对象属性，val 为object 的值。

根据定义1可知，领域Dom 内，数据抽象后的对象标识唯一存在，可以得到Dom 上的S-BNC 数据训练集1(,,)n X X X =K 。返回Dom 内obj 的分类函数定义如下：

定义2 函数(,)CLobj Dom rule 返回Dom 内的同类标识, rule 为数据抽象规则。

此时，在S-BNC 讨论范围内，我们将Dom 的数据抽象划分为若干基于rule 规则的分类对象集合。此时可以对Dom 进行定义如下。

定义3 Dom 是一个具有语义特征的，具有关系和行为规则的一个数据抽象后的对象集合，该集合是一个抽象的五元组：

(,,,,)Dom clobj rule rel form semt =

其中(,)clobj CLobj Dom rule =，为数据的同类标识集合，rel 为clobj 在Dom 上的关系，form 为clobj 在Dom 上的行为规则，semt 为clobj 在Dom 上的语义。

分类抽象规则描述如下：

定义4 D =为Dom 内的数据，D 的分类抽象规则为：

(,,)Dom rule RULE task agl imod =

其中，task 为S-BNC 范围内的分类任务，agl 为数据凝聚性，imod 为选取的数据分类模型S-BNC 。

3.2训练样本的选择

语义关联的贝叶斯网络分类结果满意度依赖于训练样本数据选择，训练样本分布和测试样本分布的相似度越大，分类效果的可信度就越高。本文实验中训练样本的选择参考了网络安全事件检测中网络日志数据的绝大多数特性，包括生成节点、日志格式、生成时间等。样本选择时的样本空间数据应尽量覆盖全部规则。

3.3语义特征提取及关联

语义特征提取和关联的任务就是把低层的语义特征映射到高层语义。目前，语义特征提取主要依赖专家系统支持，借助专家系统的客观知识，通过概率理论和图论的结合对训练样本数据进行样本空间的有限划分。对于给定的训练样本集()12,,,n X X X X =L ，根据定义1与定义3，给出元数据的形式化定义为：

定义5 数据()_,,,,X OD ID T C P D =，其中ID 表示数据标识，T 表示数据类型，C 表示数据约束，P 表示数据属性，D 表示数据描述。

可以分别计算,,,T C P D 在X 上的概率分布，从而得到对训练样本数据进行样本空间的有限划分。概率理论将保证整个系统的一致性，并巧妙地将专家知识和数据有效地结合起来，直观定量地表达了系统中各个因素以及它们之间的关联程度。 对进行有限划分的样本空间做如下假设：

假设1 两个概率分布一致的节点认为语义相同； 假设2 两个概率分布相近的节点认为语义相似。

事实上，与语义特征项提取中的概率计算不同，衡量多个语义特征之间的相关程度是极不容易实现的，不但处理起来极为复杂，而且如果全部语义特征项关联全部计算的话，因计算量太大而得出的语义相关性并不可靠，此时我们给出另一个假设：

假设3 一个语义特征项最多与一个其它特征项有语义相关性。

根据假设3可以得出相关程度最高的两两语义特征项，并考虑是否需要采用适当方法对其进行合并处理，反复进行此过程，直至系统进入稳定状态，既其概率分布不再变化或在极小范围内变化。

如果数据样本用一个n 维特征向量()12,,,n X X X X =L 表示的话，根据对S-BNC 处理对象及其集合的分析，可用()12,,,n C C C C =K 表示其对应的特征项集合，根据贝叶斯定理，在一个类别i C 中的两个语义特征项j w ，k w 之间的关联程度可表示为：

(,|)(,|)log

(|)(|)

j k i j k i j i k i p w w c I w w c p w c p w c =?

若对所有语义特征项都进行计算的话，其计算量是巨大的。实际应用中，因为语义特征项的提取是从实际训练样本集中得到，所以可以设定一个阀值c I ，当(,|)j k i c I w w c I ≥时，两个语义特征项相关。显然，阀值的设定并不与假设1和假设2相矛盾。

完成假设3的基础上，根据假设1和假设2，此时如果有一个未知的数据样本X ，由贝叶斯定理可得到与i C 后验概率最高的类m C ，即：

()()||||m i c P X C P X C I ?≤ i j ≠

()P X 对于所有类为常数，如果两两语义特征项相关，则贝叶斯网络的联合概率分布表示如

下：

()|(|())i i i i

P X C P x parent x =∏

其中()i parent x 是有向无环图中i x 的双亲集合，()12,,,n x x x x =L 是X 的值。

3.4 网络节点变迁

设D 是领域Dom 的数据集合，1(,,)n X X X =K 是样本集合，在Dom 上根据分类任务进行分类，假定有n 个不同的类标号属性值，定义n 个不同的类：(1,,)i Class i n =K 。如果i D 是i Class 上的一个样本数。那么对一个样本分类抽象的期望可用如下公式表示：

2log ()i

i D i D

L D D

=

其中，i D

D

是样本属于i Class 的概率估计。

对一个样本数据i obj X ∈，假设i obj 具有m 个属性1(,,)m p p L ，对应地，具有m 个不同的值1(,)m val val L 。考虑用属性p 将X 划分为m 个子集1{,,}m X X L ，其中i X 可包含这样的样本数据：它们在i p 上具有值i val ，则这些子集可作为X 上的基类集合，即S-BNC 的节点集合，假设存在j X ，使得：

||i j X X L L ε?≤

其中，ε为ODM 设定值，则可考虑i X 与j X 进行合并。形成X 的新的子集划分：1{,,}k X X L 。例如，p 可以是一个语义特征属性或安全级别特征属性。显然，1{,,}k X X L 中

节点距离大于等于ε，相互独立，符合贝叶斯独立关系法则，可作为S_BNC 节点集合。

S-BNC 中的节点变迁示意图如图2所示。

1

x 2

x 3x 4

x 5

x 1

x 3

x 4

x 6

x

图2 S-BNC 中的节点变迁

在对不确定状态的处理上，如果Dom 上存在不确定状态u D ，处理如下：

定义6 如果Dom 上存在不确定状态子集的划分u D ，定义s VClass 为Dom 上的一个超类，u s D VClass ??，s VClass 是Dom 上所有不确定状态的超类。

若Dom 上存在持续动态变化的u D 子集划分，在系统趋向稳定之前，应将其并入s VClass 。 显然，s VClass 中的节点与1{,,}k

X X L 中的节点相互独立，符合贝叶斯独立关系法则。

新的S-BNC 节点集合为：1{,,,}k s X X VClass L

3.5 参数学习

对大量的数据进行语义分类时，过多的变量数目将使得概率数目的计算量以指数速度增长

，任何系统均无法承受如此大的计算量。贝叶斯网络中的独立关系将联合概率分布分解成更小的因式，从而可以达到简化计算复杂度和时空间复杂度，同时简化网络构建过程的目的。

贝叶斯网络结构学习是利用样本数据集找到与其匹配度最高的网络结构。比较广泛的贝叶斯网络学习算法是EM 算法。

EM 算法被用于当一些变量没有被学习过时进行极大似然参数估计，分为E 步和M 步。实验中采用EM 算法进行语义特征关联的贝叶斯网络分类器学习训练，算法如下：

（1） 定义网络中每个节点及其相互之间的连接； （2） 构建网络

（3） 选择贝叶斯网络推及机制； （4） 引入训练数据

（5） 选择收敛条件，多为似然差值 （6） 迭代至收敛

（7） 得到条件概率表CPT 以网络日志生成系统Snort 生成的网络日志为例，网络学习得到的CPT 参数如表1所示：

表1 CPT 参数表

序号 字段名 描述

01 TIMESTAMP 时间戳，事件发生的时间

02 SIG_GENERA TOR

产生事件的snort 分析引擎的ID

03 SIG_ID 规则标识符，用于对规则进行分类和唯一性确认 04 SIG_REV 规则修正版本号，用于说明发布的规则是否改变 05 MSG 报警消息，用于描述发现了何种漏洞或攻击 06 PROTO 协议，用于描述事件发生所使用的协议 07 SRC 源IP,攻击的发起端 08 SRCPORT

源端口 … … …

28

SPIDER_ID

程序标识号，用于标识收集信息的来源

3.6 S-BNC 推理

给定一个建立在变量集合1(,,)n X X X =L 上的贝叶斯网络，它表示的联合概率分布为12(,,,)n P X X X L ，推理的目的是通过P 计算X 上某一节点事件发生的概率，主要有三种方

式：因果推理、诊断推理和支持推理，也可分为精确推理算法和近似推理算法两类。在网络规模不大时，可以进行精确推理，随着网络拓扑结构的复杂性增加以及网络规模增大，精确推理的时间无法保证，所以当网络规模较大时一般采用近似推理，即适当降低推理精度以达到减小计算时间复杂度。同贝叶斯网络推理一样，S-BNC 推理的目的是计算目标变量的后验概率推理，当新数据出现时，一些变量的后验概率可能发生变化，这个概率需要通过计算获得。

4. 仿真实验与结果分析

为了评价本文所提出的语义关联贝叶斯网络分类器的语义分析性能，同时使用朴素贝叶斯分类进行了对比实验。进行了10组实验，最后取各次实验结果的平均值。数据的训练样本和测试样本均来自Snort 在Windows Server 2000下生成的网络日志文件。训练样本共200份，5份样本由DDoS 攻击产生，即每个状态的先验概率为2.5%。测试样本为10份，其中包括DDoS 攻击样本2份，普通样本8份。在实验中，由于攻击工具每秒可以发送3000个攻击包，我们均匀从日志文件中抽取10000条数据作为每组样本集，含有DDoS 攻击的样本集中DDoS 攻击记录约占2%，基本符合真实环境中入侵数据和正常数据的比例。在实验中，计算出所有被测属性与分类的相关性，并把它们按降序方式排列，然后根据设定的阈值删除不相关的属性，最后决定一个最优阈值。实验中以正确分类的百分比作为分类效率的评估标准，实验结果是将分类器预测的结果与实际结果比较而得。

在不考虑语义特征项关联情况下，S-BNC 与朴素贝叶斯分类（NBC ）的分类效果相同，以语义特征项关联的分类百分比实验结果如表2所示。

表2 平均分类精度比较（%）

检测率（%） 准确率（%） 误检率（%） 分类

语义 训练集

测试集 训练集 测试集 训练集 测试集 Normal 100 100 100 92.45 0 0 S-BG

DDoS 100 98.17 100 93.37 0 0.85 Normal 100 95.43 100 92.44 0 8.12 N-BC

DDoS

100

87.42

100

90.13

9.32

通过上面的实验结果可以分析出，语义特征关联的贝叶斯网络分类器在考虑的语义特征

项关联时的检测率和查全率优于朴素贝叶斯分类器，同时也验证了朴素贝叶斯分类在不考虑条件独立性的情况下也可以获得比较满意的分类结果。

5.结论

在分析朴素贝叶斯分类和贝叶斯网络分类器的基础上，考虑数据语义分类的特点，提出具有语义特征关联的贝叶斯网络分类器S-BNC并应用于网络入侵事件产生的网络日志分类。首先定义了S-BNC处理的对象及其集合，通过特征项提取、特征项关联以及网络节点变迁规则确定S-BNC的网络节点以及节点间的关系，以概率的形式定量地描述了语义特征相的关联。最后通过实验验证了S-BNC的语义特征关联性分类。

参考文献

[1] R. Agrawal, H. Manilas, R. Srikant, et al . Verkamo. Fast Discovery of association rules. In U. M. Fayyad, G.

Piatetsky-Shapiro, P. Smyth and R Uthurusamy, editors, Advances in Knowledge Discovery and Data Mining, AAAI/MIT Press, 1996:387~388

[2] P Langley, W Iba, K Thompson: An Analysis of Bayesian Classifiers. Proceedings of the Tenth National

Conference on Artificial Intelligence, San Jose, CA, and AAAI Press 223-228, 1992.

[3] N Friedman, D Geiger, M Goldszmidt: Bayesian Network Classifiers. Machine Learning, Vol(29), 1997:

103-163.

[4] P Domingos, M Pazzani. On the optimality of the simple Bayesian classifier under zero-one loss [J]. Machine

Learning , 1997(29): 103-130.

[5] A. K. Jain, M N Murty, P J Flynn. Data clustering, Asurvey. ACM Comput. Surv, 1999:243~256

[6]钱俊，许超，史美林．警报聚合分析与数据集测试的应用[J]．计算机研究与发展，2006，43(04)：627-632

[7]陈景年，黄厚宽，田凤占等．用于不完整数据的选择性贝叶斯分类器[J]．计算机研究与发展，2007，

44（8）：1324-1330

Bayesian Network Classification Based On Semantic

Feature Associated

Meng Yulong, Yin Guisheng, Xu Dong

College of Computer Science and Technology, Harbin Engineering University, Harbin 150001,

Abstract

For the semantic features of the data reflected in the data classification process, this paper proposed Bayesian network classification of semantic features associated. The method study classification learning on the basis of analysis of semantic heterogeneity of data. Compared with the traditional Bayesian Network Classification, it classify the data Based on Semantic features without loss of classification accuracy.

Keywords: Semantic Feature；data classification；Bayesian Network

作者简介：

孟宇龙，男，博士生主要研究方向为数据库、信息安全

印桂生，男，教授，博士生导师，主要研究方向为数据库、虚拟现实、信息安全

徐东，男，副教授，主要研究方向为网络安全