一种改进的贝叶斯邮件过滤算法

计算机与现代化

　2010年第10期

J I S UANJ I Y U X I A NDA I HUA

总第182期

文章编号:100622475(2010)1020125204

收稿日期:2010208212

基金项目:国家自然科学基金资助项目(70971099)

作者简介:夏超(19862),男,浙江舟山人,同济大学经济与管理学院硕士研究生,研究方向:数据挖掘,文本挖掘;徐德华(19672),男,副研究员,博士,研究方向:数据仓库与数据挖掘,S OA,移动商务。

一种改进的贝叶斯邮件过滤算法

夏　超,徐德华

(同济大学经济与管理学院,上海200092)

摘要:贝叶斯过滤算法是反垃圾邮件过滤技术中应用最为广泛的方法之一。考虑到邮件的错误分类对邮件接收者带来的损失不同,引入判定垃圾邮件是判定正常邮件的λ倍作为最终邮件分类依据;同时,为了提高贝叶斯过滤算法的分类质量,运用遗传算法来对邮件中正文和标题的特征词在邮件分类中不同的重要程度做区分。最后用实际的邮件样本对改进后的算法进行验证,验证结果表明,利用遗传算法优化配合贝叶斯过滤算法能有效提高邮件分类的质量。关键词:贝叶斯;反垃圾邮件;遗传算法

中图分类号:TP311 文献标识码:A do i:10.3969/j .issn .100622475.2010.10.033

An Im proved Bayesi a n M a il F ilter i n g A lgor ithm

X IA Chao,XU De 2hua

(College of Econom ics and Management,T ongji University,Shanghai 200092,China )

Abstract:Bayesian filtering algorith m is one of most widely used methods of anti 2s pa m filtering technol ogy .Taking int o account the fact that the wr ong classificati on of the mail causes different l osses t o reci p ients,s o intr oducing a message that if judging as a s pa m mail is λti m es that of judging as a nor mal mail,it can conclude that this is a s pa m mail .M eanwhile,in order t o i m p r ove the quality of classificati on,the paper uses genetic algorith m t o distinguish bet w een t okens in the body and t okens in the subject .Finally,using the sa mp le t o validate the i m p r oved algorith m,the result shows that using ne w algorith m can i m p r ove the quality of the message classificati on .

Key words:Bayesian;anti 2s pam mail;genetic algorith m

0　引　言

2009年12月,思科公司发布了《年度安全报

告》。思科在报告中表示,由于黑客不断想出控制用

户计算机的新途径,被控制的计算机发送了大量垃圾邮件,垃圾邮件约占90%。几天后的Mc Afee 研究结果显示,垃圾邮件是超大的“碳”制造机。另外,垃圾邮件通常都可能携带危险的病毒、蠕虫,严重地威胁着用户电脑的硬盘;大批量的垃圾邮件能使邮箱堵塞,使得电脑网络速度大幅下降,影响电子邮箱的工作效率;对通信机构来说,大量的垃圾邮件使它们必须大幅度提高计算机性能以维持邮件服务器的正常运行。毫无疑问,目前垃圾邮件已经成为全球互联网

治理工作的重点[122]

。

反垃圾邮件方法是试图来减少垃圾邮件问题和

处理安全需求,通过正确地识别垃圾邮件、邮件病毒或者邮件攻击程序等减少垃圾邮件。这些解决方法采取多种安全途径来努力阻止垃圾邮件。反垃圾邮件技术中最流行的是过滤技术,主要有黑名单、白名单、基于规则的过滤和基于内容的过滤。黑名单和白名单指的是已知的垃圾邮件发送者或可信任的发送者的I P 地址。基于规则的过滤根据某些特征(比如单词、词组、位置、大小等)来形成规则,通过这些规则来描述垃圾邮件。显然,这些方法的主观性会造成

大量正常邮件的误判和垃圾邮件的漏判[3]

。本文采用的基于贝叶斯过滤算法是内容过滤的一种。

1　贝叶斯过滤算法

126

　计　算　机　与　现　代　化2010年第10期1.1贝叶斯过滤算法简介

贝叶斯算法是由英国的Thomas Bayes创建的基

于概率的一种算法。该算法可以预测类成员关系的

可能性,如给定元组属于一个特定类的概率[4]。贝

叶斯算法的过滤器就是计算邮件内容中成为垃圾邮

件的概率,它要首先从许多垃圾邮件和正常邮件中进

行学习,因此,效果将比普通的内容过滤器更优秀,错

报会更少。贝叶斯过滤器采用自动建立特征表的方

式,原理上,首先分析大量的垃圾邮件和大量的正常

邮件,算法分析邮件中多种特征词的出现概率。

邮件是一种半结构化的文本,对邮件的分类问题

实质就是文本的二值分类问题,可以把邮件分为正常

邮件(ha m)和垃圾邮件(s pa m)[5]。在邮件分类中,

A i有两个取值,即A1=ha m,A2=s pa m。那么很容易

就能提出邮件分类的贝叶斯公式:

P(A1/B)=P(B/A1)P(A1)

P(B)

(1)

其中B是邮件文本中的特征词B

1

,B2,…,B n的总和。公式(1)表示邮件中包含特征词类B是正常邮件的概率。

同理:

P(A2/B)=P(B/A2)P(A2)

P(B)

(2

)

公式(2)表示邮件中包含特征词类B是垃圾邮件的概率。

传统贝叶斯过滤算法分析一封邮件是正常邮件还是垃圾邮件是通过比较P(A

1

/B)和P(A2/B)的

值。若P(A

1

/B)>P(A2/B),则判定邮件为正常邮件;反之,则判定为垃圾邮件。

利用朴素贝叶斯原理(Na ve Bayes,NB)的类条

件独立的假定,来降低计算后验概率P(B/A

1

)的开

销,令P(B/A

1)=Π

n

i=1

P(B i/A1),即将计算正常邮件中

包含类特征值B的概率转化为计算正常邮件中包含各特征值B

1

,B2,…,B n的概率。另外在收集的邮件

中可以得到正常邮件占总邮件的概率值P(A

1

),垃圾

邮件占总邮件的概率值P(A

2

)。所以公式(1)可以简化为:

P(A1/B)=

Πn

i=1

P(B i/A i)P(A1)

P(B/A1)P(A1)+P(B/A2)P(A2)

(3)

其中P(A

1)用μ(0<μ<1)来表示,则P(A

2

)=

12μ。公式(3)进一步简化为:

P(A1/B)=μΠn

i=1

P(B i/A1)

μP(B/A

1)+(1-μ)P(B/A

2

)

(4)

同理,可计算P(A

2/B)。另外公式(1)和公式

(2)中的分母都是P(B),所以邮件判定中只要比较

μΠn

i=1

P(B i/A1)和(1-μ)Π

n

i=1

P(B i/A2)的值即可。

评价一种反垃圾邮件技术好坏的重要标准是邮件

正确判别率的高低。如果把正常邮件判为垃圾邮件放

到垃圾箱中可能会使用户的重要信件丢失,带来严重

后果,而如果本来就是垃圾邮件却判为正常,就会给用

户带来许多麻烦。避免以上两种情况正是反垃圾邮件

技术追求的目标。但这两种不同的错误判断所造成损

失的严重程度相差很大,错误的阻断一个正常邮件要

比漏掉一个垃圾邮件所造成的损失成本要大得多,所

以利用反垃圾邮件技术要考虑到这一点。

由于这个原因,利用朴素贝叶斯原理,用P(A

2

/

B)>P(A1/B)就判断待判邮件为垃圾邮件会有点不

太合理,所以引入P(A

2

/B)/P(A1/B)>λ(λ>1),当

邮件中包含某类特征词B是垃圾邮件的概率为正常邮

件概率的λ倍时,才可以判定该封邮件为垃圾邮件。

用公式表示就是:

μΠn

i=1

P(B i/A1)

(1-μ)Πn

i=1

P(B i/A2)

>λ(5)

最优阈值λ的选取需要在具体的实验测试中

确定。

1.2贝叶斯过滤算法的应用过程

一封邮件是由邮件头,发件人地址、收件人地址、

主题和正文五个部分组成的,其中,主题(subject)和

正文(body)两个部分是一封邮件的重要部分,它们

反映了一封邮件的重要特征[6]。对邮件的训练,是

对主题和正文两个部分的分别学习,统计特征词(或

标识)在这两个部分中出现的次数。

贝叶斯过滤算法就是针对邮件主题和内容的提

取特征词进行邮件分类。首先要收集训练样本集,建

立垃圾邮件集和正常邮件集。为了区分垃圾邮件和

正常邮件,关键的是要提取邮件文本中的特征词,将

这些词作为标识(t oken)。本文从中国教育和科研计

算机网应急响应组(CCERT)提供的语料库资源中截

取部分特征词作为本文的t oken。对邮件样本集分别

取出body,subject的部分,并对body和subject部分

的内容按照t oken的划分规则,统计t oken的字频[7]。

P1(B i)=包含t oken B i的正常邮件数/总的正常邮件数(6)

P2(B i)=包含t oken B i的垃圾邮件数/总的垃圾邮件数(7)

P(A2/B i)=P2(B i)/(P1(B i)+P2(B i))(8)

这样计算出来的P(A

2

/B i)可以粗略地表示随机

选择的包含t oken B

i

的邮件是垃圾邮件的概率[8]。

将统计的结果分别存入body和subject两个文本文

　2010年第10期夏超等:一种改进的贝叶斯邮件过滤算法127

　件中。

根据已有训练的经验,可以判定一封邮件是否为

垃圾邮件。

P(A2/B)=P(B/A2)P(A2)

P(B)

=

Πn

i=1

P(B i/A2)P(A2)

P(B)

,已知

P(A2/B k)(k=1,2,…,n),则:

P(A2/B)=Πn

i=1

P(B i/A2)P(A2)

P(B)

=

Πn

i=1

P(A2/B i)Π

n

i=1

P(B i)

P(B)P(A2)n-1

(9)

同理:

P(A1/B)=Πn

i=1

P(A1/B i)Π

n

i=1

P(B i)

P(B)P(A1)n-1

(10)

故:

P(A2/B)/P(A1/B)=Πn

i=1

P(A2/B i)P(A1)n-1

Πn

i=1

P(A1/B i)P(A2)n-1

=Πn

i=1

P(A2/B i)

Πn

i=1

P(A1/B i)

μ

1-μ

n-1

(11)

只要公式(11)与λ比较即可得出结果。

本节提到了评价反垃圾邮件技术好坏的标准,也就是分类的准确程度,若算法的分类结果与真正的邮件分类结果越相近,分类的准确程度就越高。接下来分析模型的查全率、查准率[9]、召回率[10],即算法分类的准确程度。

查全率:正常邮件分类的完整度。其数学公式表示如下:

查全率=t_pos

t_pos+f_pos

(12)

其中t_pos表示正常邮件被判定为正常的数量, f_pos表示正常邮件被判定为垃圾的数量。

查准率:正常邮件分类的精确度。其数学公式表示如下:

查准率=t_pos

t_pos+f_neg

(13)

其中f_neg表示垃圾邮件被判定为正常邮件的数量。

召回率:正确判定为垃圾邮件占所有垃圾邮件的比例。这个指标反映了过滤垃圾邮件的能力,召回率越高,“漏网”的垃圾邮件就越少。其数学公式表示如下:

召回率=

t_neg

t_neg+f_neg

(14)

其中t_neg表示垃圾邮件被判定为垃圾邮件的数量。

以上三个指标从三个角度来分析贝叶斯过滤算法的分类质量。文献[9]用

F2score=

查全率3查准率32

查全率+查准率

(15)

作为评估指标,综合考虑。在具体应用中可以计算三个指标,而以F2score作为最重要关键指标。

2　贝叶斯算法的改进

遗传算法(genetic algorithm,G A)采用一种进化的方法来指导学习

一些其结果能表示最优“”,目标是最大化个体的“适应度”的问题创建的遗传算法是一种概率搜索算法,

换重新组合那些适应性好的串,模拟达尔文的遗传选择和自然淘汰的生物进化过程,对群体反复进行基于遗传学的操作,选择、交叉和变异。根据预定的目标适应度函数对每个个体进行评价,淘汰适应度低的个体,不断得到更优的群体,直到群体进化,群体中的每个个体都满足适应度函数[11]。

之前提取正文和主题作为邮件分类的依据,但在正文和主题两者之间的重要程度也不一。为了进一步提高贝叶斯过滤算法的分类质量,引进α、β作为正文和主题的系数,从而来区分两者在邮件判别中的不同地位。

具体操作:用P

IG A

(B

i

)=(α3P

1body

(B

i

)+β3 P1subject(B i))/(α+β)代替P1(B i),其中P1body(B i)表

示内容中包含t oken B

i

的正常邮件占总的正常邮件

的比例,P

1subject

(B

i

)表示主题中包含t oken B

i

的正常邮件占总的正常邮件的比例。

用P

2G A

(B

i

)=(α3P

2body

(B

i

)+β3P

2subject (B

i

))/(α+β)代替P

2

(B

i

),其中P

2body

(B

i

)表示内

容中包含t oken B

i

的垃圾邮件占总的垃圾邮件的比

例,P

2subject

(B

i

)表示主题中包含t oken B

i

的垃圾邮件占总的垃圾邮件的比例。

P G A(A2/B i)=P2G A(B i)/(P1G A(B i)+P2G A

(B

i

)),P

G A

(A

2

/B i)作为综合的指标用来判断邮件是垃圾邮件还是正常邮件,故最终邮件的判别式为:

P(A2/B)/P(A1/B)=

Πn

i=1

P G A(A2/B i)

Πn

i=1

[1-P G A(A2/B i)]

μ

1-μ

n-1

=

Πn

i=1

[α3P2body(B i)+β3P2subject(B i)]

Πn

i=1

[α3p1body(B i)+β3P1subject(B i)]

μ

μ-1

n-1

(16)

现在的关键就是要用遗传算法来确定α和β的值,这里α和β都非负。这里需要注意的是,如果公式(16)的分子为0,可以设定值为0.01,防止分子为

零的现象,影响求解的结果;如果分母的值为0,同理可以设定值为0.01。

(1)由于α和β分别代表正文和主题在邮件判别中占的比重大小,也就是说邮件判别中关心的是α和β的比值,设α=1(若α=0,即是只考虑标题不考虑正文的情况),求β的值,所以问题变成了求解一元函数极值的优化问题。

(2)产生初始种群的界限,分别取[0,1]、[1,2]和[2,9]进行验证。

(3)在“种群(populati on)”参数域中“size”决定每代种群的大小。增加种群的大小,能得到较好结果,但同时每代的运行时间也越长。考虑到较易得到最终结果,这里不能忽略性能的因素,设定群体规模n=20。利用MAT LAB的遗传算法工具箱中的deter2 m inistudy函数[12],得到最优交叉概率p c=0.8,默认父辈的优良计数(Elite count)为2,所以变异概率p

m =0.2;

(4)利用Java的Lucene包来对邮件样本集进行匹配的特征词搜索,保存结果,处理后供测试使用。把错误数作为目标函数,计算适应值(fitness),淘汰适应值低的基因,保留适应值高的基因,然后进行选择、交叉、变异操作,形成子代。错误数的数学公式表示如下:

错误数=误判的正常邮件数+误判的垃圾邮件数(17)

(5)重复步骤(4),进行新一轮遗传进化过程,直到迭代收敛,即适应值趋于稳定,就找到了最优解及β值。

得到β、误判的正常邮件数和误判的垃圾邮件数之后,可以进而计算精确率、召回率和F2score。

3　算法验证

从邮件样本集中随机抽取200封邮件,为了方便

计算,让μ=1

2

,正常邮件和垃圾邮件各抽100封。

根据CCERT提供的语料库资源,从中抽取了136个单词填充于本实验的邮件语料库,作为t oken。

3.1算法实现简介

(1)应用公式(11)在仅关注邮件body或subject 的内容的情况下来对某邮件进行分类,以上操作使用Java语言完成。

(2)应用公式(16)关注邮件body和subject内容的共同影响,利用MAT LAB7.0的遗传算法工具箱,对结果进行优化,计算出最优适应值和β值。

3.2测试环境

硬件配置:HP Pr obook4411s;

应用软件:MAT LAB7.0,MyEcli p se8.5,Lucene

工具包。

3.3测试结果及分析

首先要确定λ的值,以文献[13]的经验,分别以3,4,5为分类模型公式(11)的阈值进行测试。测试结果如表1。

表1　不同阈值λ的测试结果

阈值

λ

s pa m判

为ha m/封

ham判为

s pa m/封

查全

率/%

查准率

/%

F2score

/%

用时/

毫秒31819984.6291.2416

5549695.0595.5216 10549695.0595.5216 204496969616

从测试的结果得知,阈值λ取20较合适。这里之所以λ取值到20为止就停止了,是因为本实验的样本集200封邮件和语料库标识136个单词相对较小,所以某些数据比较迟钝。从表1的实验结果可以

看出,判定为正常邮件的值P(A

1

/B)比判定为垃圾

邮件的值P(A

2

/B)敏感,随着阈值的改变,第二列的值比第三列变化幅度大,不能一味地追求训练样本的最优阈值反而降低分类模型的价值,所以在这里λ取20。

确定了阈值λ之后,利用MAT LAB的G ATool中的遗传算法优化贝叶斯分类模型,测试结果统计如表2所示。

表2　邮件样本集测试结果和算法的性能

判断是

spa m

判断是

ha m

查全率

/%

查准率

/%

召回率

/%

F2score

/%

用时/

毫秒

传统的

贝叶斯

邮件

分类

实际是

s pa m

964

实际是

ham

496

总数100100

969696966.57

关注Body和

Subject不同

比重的贝叶

斯邮件

分类

实际是

s pa m

991

实际是

ham

397

总数10298

9798.999997.9933.67

从表2可见,利用本文的算法所得到的邮件分类的查全率、查准率、召回率和F2score值都是比较高的,说明了贝叶斯过滤算法对邮件分类的优势;采用遗传算法综合对邮件的body和subject进行考虑,从其结果来看能进一步提高邮件分类的水平。但实验结果的精确率、召回率和F2score提高的幅度不大,这是由于实验的样本集和语料库标识相对较小,许多邮件中body和subject部分对邮件最终分类已经确定,利用遗传算法对邮件分类模型进行优化不能起到原来分类的改变(这里指的是错误的(下转第132页)

[J].计算机工程与设计,2007,28(20):493124933. [4]　袁培燕,李腊元.一种能量感知的Ad Hoc网络路由协议

[J].微电子学与计算机,2009,26(3):1062108.

[5]　RFC1930,Guidelines for Creati on,Selecti on,and Registra2

ti on of an Aut onomous Syste m(AS)[S].

[6]　[美]Gil Held Kent Hundley.C I SC O访问表配置指南

[M].前导工作室译.北京:机械工业出版社,2009. [7]　L in S.Co mputer s oluti ons of the traveling sales man pr oble m

[J].Bell Syste m Technical Journal,1965,44(5):224522269. [8]　W arli m ont R.On the iterates of Euler’s functi on[J].A r2

chiv derMathe matik,2001,76(5):3452349.

[9]　D ing J in,Zhao L i,Medidi S R,et al.MAC p r ot ocols for ul2

tra2wide2band(UWB)wireless net w orks:I m pact of channel

acquisiti on ti m e[C]//Pr oceedings of the SP I E.2002,

4869:972106.

[10]于宏毅,等.无线移动自组织网[M].北京:人民邮电出

版社,2005.

[11]严军荣.基于802.11MAC协议的QOS研究[D].昆明:

昆明理工大学,2006.

[12]李青.移动自组网中MAC协议关键技术的研究与实现

[D].郑州:解放军信息工程大学,2003.

[13]Le Boudec Jean2Yves,M erz Ruben,Radunovic Bozidar,et

al.A MAC Pr ot ocol for UWB Very Low Power Mobile Ad2 hoc Net w orks Based on Dyna m ic Channel Coding with I n2

terference M itigati on[R].EPF L Technical Report,Lau2

sanne,S witzerland,2004.

[14]W in M Z,Scholtz R A.I m pulse radi o:How it works[J].

I EEE Communicati ons Letters,1998,2(2):36238.

(上接第128页)

分类)。从性能来看,使用遗传算法导致最后的贝叶斯过滤算法的分类质量提高幅度不大的结果。但换个角度来看,在高度精确的分类之中依然能起作用,显示出遗传算法时间由于计算的复杂性增加也相应增加,但因为绝对数较小(都是毫秒级的),从总体上不影响运行效率。

由MAT LAB的G ATool运行得到β值的区间大致为(3,5)。当适应度函数最优时变量取值不唯一,这里β取值依据是目标值收敛得最快的点。经过多次实验,选定了β=4.65。

4　结束语

本文通过引入阈值来降低邮件接收者因为贝叶斯过滤算法分类错误造成的损失,同时又用遗传算法来提高算法的准确分类程度,使贝叶斯过滤算法在反垃圾邮件中的应用得到了进一步的提高。由于本实验收集的数据较少,使用遗传算法改进贝叶斯邮件过滤算法对结果改变的余地不是很大。本文采用的邮件分类模型通过Java和MAT LAB编程实现,完全根据提出的算法进行,结果可信度较高。

参考文献:

[1]　中国反垃圾邮件联盟.垃圾邮件称雄哥本哈根气候变化

峰会[DB/OL].htt p://www.anti2s https://www.360docs.net/doc/7d48479.html,/A I D/813,

2009212215.[2]　羊裔高.反垃圾邮件新技术[J].河北师范大学学报:自

然科学版,2008,32(1):30232,36.

[3]　王斌,潘文锋.基于内容的垃圾邮件过滤技术综述[J].

中文信息学报,2005,19(5):1210.

[4]　薛松,张钟澍,殷知磊.贝叶斯算法在反垃圾邮件应用中

的改进方案[J].成都信息工程学院学报,2009,24(4):

3512355.

[5]　闫鹏,郑雪峰,李明祥,等.二值文本分类中基于Bayes

推理的特征选择方法[J].计算机科学,2008,35(7):

1732176.

[6]　顾小婴.浅议电子邮件———一种书面式“口语”[J].科

技信息:学术研究,2008(25):1692170.

[7]　陈琴.贝叶斯数据挖掘技术及其在反垃圾邮件中的应用

[D].南宁:广西大学,2004.

[8]　李闻天.基于贝叶斯过滤算法的反垃圾邮件策略[J].昆

明理工大学学报:理工版,2005,30(3):68271.

[9]　L iu B ing.W eb数据挖掘[M].余勇,薛贵荣,韩定一译.

北京:清华大学出版社,2009.

[10]曾春,邢春晓,周立柱.基于内容过滤的个性化搜索算法

[J].软件学报,2003,14(5):99921004.

[11][加]Han J iawei,Kamber M ichael.数据挖掘与概念技术

(第2版)[M].范明,孟晓峰译.北京:机械工业出版

社,2007.

[12]雷英杰,张善文,李续武,等.MAT LAB遗传算法工具箱

及应用[M].西安:西安电子科技大学出版社,2005. [13]闫鹏,郑雪峰,李明祥,等.关于贝叶斯推理的垃圾邮件

特征选择评估函数[J].计算机工程与应用,2008,44

(33):1052107,137.