挖掘电信告警关联模式方法

85第2期 赵传强等:面向吞吐量效率的无线M esh网络机会主义路由

347 357.

2011年4月第34卷第2期

北京邮电大学学报

Journa l of Be ijing U niversity of Posts and T e lecomm un i cations

A pr .2011V o.l 34N o .2

文章编号:1007 5321(2011)02 0085 05

挖掘电信告警关联模式方法

徐前方, 肖 波, 郭 军

(北京邮电大学信息与通信工程学院,北京100876)

摘要:关联模式挖掘算法通常受到最小支持度的限制,仅能得到频繁告警序列间的关联模式,针对这一问题,基于图论思想提出了一种挖掘电信网络告警间关联模式的方法.首先在单遍扫描数据库的条件下挖掘网络中的二项关联模式,然后直接发现其最大关联模式,从而避免大量中间项集的产生.基于实际网络告警数据的实验结果表明,该方法不仅具有较高的效率,而且有效.关 键 词:故障管理;告警关联;数据挖掘中图分类号:TN929 53 文献标志码:A

An Approach on A ssociation PatternsM i ni ng i n

T eleco mmunicati on A lar m Database

XU Q ian fang , X I A O Bo , GUO Jun

(S chool of In f or m ati on and Co mm un ication Eng i neeri ng ,Beiji ng Un i versity of Posts and Teleco mmun ications ,B eiji ng 100876,Ch i na)

Abst ract :Currentl y li m iting to the m i n i m al suppor,t t h e a l g orit h m s used in a l a r m assoc iation r u les m in

i n g are a l m ost applied i n t h e frequently occurri n g alar m events .A ne w a l g orithm based on graph t h eory to m ine te leco mm un i c ation alar m pattern is proposed.It firstm i n es net w ork s 2 ite m s assoc i a ti o n pattern by scanning the database on l y once ,and then gets the m ax i m al association mode ,so that it can avo i d gener ating lots ofm iddle ite m s .Experi m ents based on the actual net w ork alar m data de m onstrate the efficiency and the effectiveness of the algor ithm .

K ey w ords :faultm anage m en;t alar m assoc i a ti o n ;data m i n ing 收稿日期:2010 05 10

基金项目:国家自然科学基金项目(60905017);高等学校学科创新引智计划项目(B08004);中央高校基本科研业务费专项资金资助项

目(2011RC0119)

作者简介:徐前方(1975 ),女,讲师,博士,E m ai:l xuq f 123@g m ai.l co m;郭 军(1959 ),男,教授,博士生导师.

告警相关性分析可将多个告警事件归结为较少的告警事件,过滤无意义的告警,从海量告警数据中找出故障的根本原因,准确定位故障.目前大多数研究都是基于最小支持度-最小置信度框架挖掘关联模式,如文献[1]中的贝叶斯网络方法;文献[2]中的基于滑动窗口的挖掘算法.近年来,一些学者又提出了改进算法,如文献[3]中采用了决策树的方法;文献[4]提出的针对数据流的序列模式挖掘方法.这些算法都存在难以确定合适支持度阈值的问题.文献[5]提出利用相关度挖掘告警关联规则方

法;文献[6]提出挖掘极大超团模式的算法;文献[7]提出基于极大团挖掘告警关联规则.这些算法都没有针对电信网络中的告警特点挖掘,效率较低.本文分析了电信网络中告警的特点,提出了挖掘告警模式(MTAP ,m ining teleco mm un icati o n alar m pat tern)算法.

1 告警影响范围的分析

定义1 告警窗口宽度

[2]

告警序列s = (a 1,t 1),(a 2,t 2), ,(a n ,t n ) ,

其中,告警类型a i ,1 i n,n 为告警类型数, 为告警类型集合;t i (i =1,2, ,n )为告警发生时间.告警窗口W 指告警序列s 上的一个子序列,可表示成W =(w,t s ,t e ),其中,t s 、t e 分别为告警窗口的起始和结束时间;w 为告警窗口中发生的告警.告警窗口宽度为t e -t s .

告警窗口宽度实质是相关告警事件的最大时间间隔,即某告警的影响范围,告警持续时间内的所有告警都可能与其相关.在实际网络中,告警的清除有3种情况:1)网管系统或设备自身检测系统发现后自动恢复;2)运维人员发现故障后清除;3)各种原因上报的无意义告警,告警持续时间较长.

以文献[5]中3种告警类型为例,其告警持续时间如图1所示.

网络中告警不同,其相关窗口也不同,即使同一告警类型也有多种持续时间.因此,选择告警相关窗口时,应依据告警持续时间主要集中(如90%)的范围.

从图1可知,告警A 、B 、C 的最大持续时间分别约为10、250和600s ,但大部分告警仅持续1(91 84%)、50(97 14%)和300s (97 21%),因此相关窗口应分别设为1、50和300s .从图1还可见,告警的影响范围与告警类型有关,采用文献[5 7]提出的挖掘算法对全网告警采用统一的相关窗口是不合理的,若窗口选取过小,会丢失相关告警信息;若选取过大,不仅会引入虚假规则,而且由于引入了无关数据,降低了算法效率.

因此,为便于挖掘,可利用告警窗口宽度对告警数据库进行时间跨度的约束,即针对不同的告警设置不同的时间约束参数,告警a i 的相关窗口宽度为

W a i =m i n W a i +W a i e

-(T e -T s )2

2

,W m ax (1)

其中,T s 、T e 分别为1次告警的起始和结束时间; 为衰减常数;W max 为最大相关窗口,其目的是为了进行最大时间跨度约束.由此可根据实际告警数据动态调整相关窗口,从而避免采用单一相关窗口的问题.

2 告警关联挖掘算法

2 1 相关定义

定义2 告警关联模式相关度

衡量2个向量间的相关性通常采用Pearson 相

关系数,如文献[5]提出的关联规则挖掘算法.但实

图1 告警持续时间与告警频度关系

际网络中的告警频度分布不均匀,对于大量低频度告警,其期望近似为0,因此存在无法分析它们之间相互关系的问题.

研究2个告警向量时更注重告警是否同时发生,即告警向量在方向上是否一致,因此本文采用夹角余弦R a i a j 来衡量,有

R a i a j =

a i a j a i

a j

=

a ij a i a j

(2)

根据统计学原理,R a i a j 越大,告警的相关性越强,这样可避免以往算法中无法选取合适支持度的问题.

定义3 告警关联模式置信度

在支持度-置信度框架下的算法中采用的置信

87

第2期 徐前方等:挖掘电信告警关联模式方法

度都是针对频繁项集定义的,但其在针对频度分布不均匀的告警数据挖掘时会产生虚假规则,因此本文采用h 置信度(c h

)

[6]

方式度量,有

c h (X )=

s(X )m ax 1 i n

s(a i )(3)

其中,X ={a 1,a 2, ,a m }(m 2)为告警关联模式;

s(X )为其支持度;s(a i )为告警a i 的支持度.

性质1 反单调性:c h

({a 1,a 2, ,a k }) c h

({a 1,a 2, ,a k ,a k +1}).

证明 设X 1={a 1,a 2, ,a k },X 2={a 1,a 2, ,a k ,a k +1},显然s(X 1) s(X 2).

1)若s (a k +1)>m ax 1 i k s (a i ),则m ax 1 i k +1

s(a i )=s(a k +1),因此c h

(X 1)>c h

(X 2).

2)若s (a k +1) m ax 1 i k s (a i ),则m ax 1 i k +1

s(a i )=m ax 1 i k

s(a i ),因此c h

(X 1)=c h

(X 2).由1)和2)可知c h

(X 1) c h

(X 2).

h 置信度表明,告警关联模式之间是强相关,如c h

(X )=90%,表示若X 中任一告警发生,则X 中其他告警发生的概率是90%.

定义4 最大告警关联模式

对于告警关联模式X,若每对告警之间都满足R a i a j R m in (最小相关度)和c h

(X ) c h

m i n (最小置信度),且X 的任意超集Y 不满足R a i a j R min 或c h

(X ) c h

m in ,则称X 为最大告警关联模式.

由性质1可知,最大告警关联模式的子集均为关联模式,因此可直接挖掘最大模式.2 2 算法描述

告警关联模式挖掘算法基于图论的思想,首先利用相关度和置信度产生2项集,并由此构建告警关联图,从而直接产生k 项集.2 2 1 生成告警2项关联模式

利用相关窗口建立告警频度共现关联图.以 为图的顶点,生成集合V ={a 1,a 2, ,a n },V ;以不同告警类型间的共现关系构成边,生成告警集合E,边的权值为不同类型告警在窗口内同时发生的强度e ij ,用邻接矩阵表示为

E =

e 11

e 12 e

1n e 21e 22 e 2n e n 1

e n 2

e nn

(4)

其中,e ij =

m

k=1

r k

ij (i =j)为顶点V i 的权值,表示a i 发

生的频度;e ij (i j)为顶点V i 与V j 间边的权值,即a i 与a j 间的共现强度.r k

ij =m i n (f k i ,f k j )表示在第k 个相关窗口内a i 与a j 的共现频度.e ij (i j) 0,表示顶点V i 和V j 间存在一条权值为e ij 的边,即a i 和a j 共现的频度;否则边不存在.

利用式(2)生成2项告警相关集,根据统计学原理,相关系数直接反映2个项集间的相关性.如R m in 0 8为极强相关;0 5 R m in <0 8为强相关;0 3 R m in <0 5为弱相关;R min <0 3为不相关.因此在本算法中设R m i n =0 5.与文献[2 4]相比,采用MTAP 算法可更加合理地选择参数.最后利用式(3)产生2项告警关联模式.

算法1 M i n e2alar m Pattern()

1)初始化共现强度矩阵E 和2项关联模式集L R S2,i =1.

2)扫描数据库,对任意告警a i 将其相关窗口中的告警写入E ,同时按式(1)更新其相关窗口.

3)在E 中按式(2)计算2个告警间相关度,若大于R m i n 执行4);否则进入6).

4)利用式(3)计算置信度,若大于c h

m in 执行5);否则进入6).

5)添加到2项关联模式L RS2中,并排序.6)i =i +1,若i n,执行3);否则程序结束.在算法1中,通过调整告警相关窗口的宽度适应实际网络的变化.另外,基于最小相关度和最小置信度挖掘2项告警关联模式,可避免文献[2 4]无法选择合适支持度的问题.与文献[5]相比,减少了2次方运算,因此降低了计算复杂度.

2 2 2 由2项关联模式生成最大项集关联模式

目前,生成最大项集算法及其改进算法大都采用逐项产生的方法,即要生成一个含有k 个项目的最大项集,需依次产生1项集,2项集, ,(k -1)项集,k 项集,会产生大量中间项集,算法效率不高.本文提出从2项集直接生成k 项集的算法.

定理1 若依据告警2项关联模式构造告警关联图G,则告警最大关联模式一定构成完全图.

证明 可用归纳法证明.

1)2项告警关联模式生成2阶完全图将任意2项告警关联模式中的2个告警作为图的顶点V i 和V j ,顶点间的边为其共现强度权值e ij .根据图论的理论,若G 的任何2个不同顶点都是邻接的,则G 为完全图,因此必然生成2阶完全图.

88北京邮电大学学报 第34卷

2)k项告警关联模式生成k阶完全图

设k-1项告警关联模式时,定理1成立.增加1个告警节点V i构成k阶关联图G.G依据2项告警关联模式产生,因此V i与G中其他顶点间有且仅

有1条边相连,则k阶无向图为k阶完全图.

结论1 若简单图G为k阶完全图,则该图边的总数为k(k-1)/2,每个顶点的度数为k-1.

由结论1可知,若要寻找最大告警关联模式X,可通过挖掘其完全图G实现,也可分析其所有顶点的度数,即通过发现告警关联图G中各告警2项关联模式数来实现.

算法2 M i n e K A lar m Patter n()

1)i=1,j=0,L RS2模式数为m.

2)L RS2(i)是否可与L R S2(i+1)合并为最大模式候选项X,若可以,i=i+1,执行2);否则进入3).

3)根据结论1判断X是否为完全图,若是,则X为最大关联模式,写入告警关联模式集L RS,j=j+ 1,进入5);否则执行4).

4)利用式(3)计算X的h 置信度,并判断其是否大于等于c h m in,若满足,写入L R S,j=j+1;否则进入5).

5)i=i+1,i m,执行2);否则程序结束.

2 3 算法有效性分析

算法1中,仅需扫描1次数据库生成共现强度权值矩阵,然后对其进行相关度和置信度判断,则算法1的复杂度为O(n(n-1)/2) O(n2).

算法2中,设最大模式数为l,平均长度为k,即完全图平均有k个节点(一般k<10),则时间复杂度为O(lk).由于电信网络告警间关联规则的判决依据是告警间的共现强度,这些告警可构成一个完全图,所以可采用结论1的方法将时间复杂度最低降至O(l).

3 实验及分析

实验数据为某运营商连续1个月的79万条告警记录,将告警类型标识和告警发生、结束时间作为关键字进行挖掘.

选取3个典型的挖掘关联模式算法,即相关矩阵算法[5]、h 置信度(h confidence)算法[6]和极大团挖掘算法[7],比较各算法的效率和规则数.

根据统计学原理,R min=0 5;将文献[6 7]支持度设为0 002.改变置信度,各算法的比较分别如图2

和图3所示.

图2 执行效率比较

图3 规则数比较

图2所示为4种算法在不同置信度条件下的时间开销.随着置信度增加,各算法的效率都在提高.由于h 置信度算法基于Apriori算法[2],需多次遍历数据库,所以耗时最大;MTAP算法只需扫描1次数据库,由此产生2项集,然后直接生成最大项集,因此时间开销最小;而其他算法需由2项集依次递增产生最大项集,因此有大量中间项集产生.

图3所示为4种算法在不同置信度条件下产生的规则数.随着置信度增加,各算法产生的规则数都在下降,其中h 置信度算法产生的规则数远大于其他算法;极大团挖掘算法产生的规则数虽然比MTAP算法和相关矩阵算法多,但挖掘出的规则可能存在虚假规则.因此本文通过告警压缩比来分析告警关联规则的有效性.

定义5 告警压缩比

设原告警数为N,经告警相关性处理后的告警数为N ,则告警压缩比为C comp=N/N .

定义5表明了经关联规则处理后的告警相对于原始告警数的减少量.

例如,原始告警记录N=100,经相关处理后剩余告警数N =10,则其压缩比为C comp=10,表明通过挖掘算法可减少网络中90%的告警.因此,这是

89

第2期 徐前方等:挖掘电信告警关联模式方法