垃圾邮件分类算法的研究与分析
垃圾邮件分类算法的研究与分析
西北工业大学计算机学院陕西西安 710129
(School of Computer, Northwestern Polytechnic University Xi’an 710129China)
摘要：随着互联网的高速发展,电子邮件已经成为人们信息获取和信息交流的一个重要的渠道。与此同时垃圾邮件也成为互联网上的一个日益严重的安全问题,引起了越来越多的社会大众和研究人员的重视和关注。为了有效的分辨垃圾邮件，本文通过对训练数据进行相应的预处理及特征提取，分别使用朴素贝叶斯、C4.5决策树、支持向量机三种方法来对垃圾邮件进行分类，通过测试结果，比对各个分类算法的优劣，并进行了详细的分析。
关键词：垃圾邮件朴素贝叶斯C4.5决策树支持向量机
Abstract：With the rapid development of the Internet, e-mail plays an important roles in people's information access and information exchange. At the same time, spam has become an increasingly serious security problem on the Internet, causing more and more attention of the community and researchers. In order to effectively distinguish the spam, this paper Pre-processings and extracts feature of the training data, and uses the NaiveBayes, C4.5 Decision Tree and SVM to classify the spam, Through the test results, compare and analysis the advantages and disadvantages of each classification algorithm.
Keywords:spam NaiveBayes C4.5 Decision Tree SVM
1 引言
Internet 的问世带来了电子邮件业务的出现，网络技术的飞速发展促进了邮件服务的广泛普及及繁荣，电子邮件已经成为生活在信息时代的人们日常生活一个重要部分。电子邮件不仅是一个信息交流的重要渠道，而且也是人们信息获取的重要途径之一。随着互联网的普及，不仅人们的日常事务可以通过电子邮件来进行处理，而且越来越多正式和重要的信息也通过电子邮件来进行传达和交流。
随着电子邮件越来越普及和重要性的持续增长，一些商家和不法分子开始利用垃圾邮件这种方式来进行广告信息的传播和用户消费行为信息的获取。根据无线服务机构Wireless Services Corporation 公司提供的一份最新调查显示，目前美国移动通信市场上所有的电子邮件服务当中，43%的都是垃圾信息，而年前垃圾邮件在电子邮件中的比例为18%。而在国内，据有关部门统计，国内的电子邮件用户，平均每天发送的短信数量超过了3亿条。邮件甚至被称为继报纸、广播、电视、网络之后的第五媒体。不过在数量庞大的电子邮件背后，垃圾邮件的问题也愈加严重。
垃圾邮件可以说是因特网带给人类最具争议性的副产品之一，它的泛滥已经使整个因特网不堪重负，人们不得不花费大量时间来对付邮箱里的垃圾邮件。在这样的情势下，制定切实可行的反垃圾邮件方案无疑是Internet的一个重要课题，而对于反垃圾邮件技术的研究也称为一个新的热点领域。本文根据现有邮件分类的知识，结合训练数据集的特点，选择合适的分类算法，来实现对垃圾邮件的分类。
2 相关工作
本文垃圾邮件的分类工作主要包括以下三个部分：文本数据预处理，数据集特征选择，分类算法的应用及结果分析。
2.1文本数据预处理
根据提供的训练数据集及测试数据集，编写程序，提取数据集中所有单词及对应的频率，并更改数据格式，以矩阵的形式存储。初步处理过后的训练数据集Pre-train1.csv第一行表示数据集中出现的所有单词、字母和数字属性共1000个，第2-9001行代表之前的9000条邮件训练数据集，对应第一行的单词，存储了
每个单词出现的频率。Pre-train1.csv 最后一列添加了label 标签，表明每一条数据的属性，ham 或spam 。在Pre-train1.csv 的基础上，我们开始对数据集中的属性进行筛选，去掉统计出来的单个字母，纯数字，以及无意义词汇属性143条，得到最终的数据集Pre-train2.csv 共包含857个可靠单词属性，如图1所示，基于Pre-train2.csv 数据集，我们进行后续的特征提取。
图1 数据集格式
2.2 特征提取
2.2.1熵与信息增益
熵是信息理论中一个非常重要的概念，表示任何一种能量在空间中分布的均匀程度，能量分布越均匀，越不确定，熵就越大。Shannon 将熵应有于信息处理，提出了“信息熵”的概念。信息熵是信息的量化度量，是衡量一个随机变量取值的不确定性程度令 X 为随机变量，如果 X 随机变量的变化越多，通过它获取的信息量就越大，X 的信息熵定义为：
))(lb()()(i i
i x p x p X H ∑-= （2-1）
通过观察随机变量 Y 获得的关于随机变量 X 的信息熵定义为：
))|(lb()|()()Y |(j i i
i i j
i y x p y x p y p X H ∑∑-= （2-2）
信息增益是信息熵的差，表示在消除不确定性后获得的信息量，定义为：
)|()()Y ,(IG Y X H X H X -= （2-3）
信息增益是信息论中的一个重要概念，被广泛应用在机器学习领域。对分类系统来说，计算信息增益是针对一个一个的特征项而言的，它通过统计某一个特征项t 在类别C 中出现与否的文档数来计算特征项t 对类别C 的信息增益[1]，定义为考虑出现前后的信息熵之差，某个特征项的信息增益值越大，表示其贡献越大，对分类也越重要。因此，在进行特征选择时，通常选取信息增益值大的若干个单词构造文本的特征向量。
本文中，训练数据集中有857个属性，全部参与训练效率过低，因此需要提取出有代表性的词汇，故选用信息增益的方式来从数据集中提取特征。将处理过后的训练数据集导入到WEKA 软件中，并在预处理阶段使用AttributeSelection 界面中InfoGainAttributeEval 来进行信息增益特征提取，同时，将提取出来的特征属性按信息增益由高到低进行排列，结果如图2所示：
图2 信息增益特征提取结果
根据特征提取结果，选择信息增益排列前400的单词作为最终的训练集，并生成Pre-train(3).arff 数据集文件。
3 算法实验与分析
实验部分采用自主程序设计和WEKA 数据挖掘工具相结合的方法，利用经过预处理的训练集，编写MA TLAB 程序进行垃圾邮件分类，同时，利用WEKA 软件中提供的多种常用的分类算法，进行实验。最后对各种分类方法的优劣进行总结。
3.1朴素贝叶斯算法
朴素贝叶斯分类器[2]是一种有监督的学习方法，其假设属性的值对给定类的影响而独立于其他属性值。用贝叶斯网表达朴素贝叶斯的分类器如图3所示。
图 3 朴素贝叶斯网
朴素贝叶斯后验概率[3]的计算公式如式（3-1）
(|)()
(|)()
k k k P X x C c P C c P C
c X x P X x ======
= (3-1)
其中X 表示单词序列，C 表示分类。其中(|)k P X
x C c ==的计算公式如式（3-2）
(|)(|)k i i k i
P X x C c P X x C c =====∏ (3-2)
则分类结果C 的选择方式为式（3-3）
((|))argmax i i
C P C c X x === (3-3)
实验部分使用两种方法来实现贝叶斯分类算法，分别是MATLAB 编写程序和WEKA 平台提供的NaiveBayes 算法。
MA TLAB 程序中，根据朴素贝叶斯公式，使用经过预处理的4000条数据作为训练集，实验结果如表1
所示：
表1 基于MATLAB的朴素贝叶斯实验结果
训练数量/条训练属性条错误率
4000 150 0.0970
在WEKA件中，使用9000条数据，400条属性作为训练集，在Classify条目下选择NaiveBayes分类算法，并选择Supplied test set作为训练模型评价方法，实验结果如表2所示：
表2 基于weka平台的朴素贝叶斯分类算法实验结果
ham spam total ham 169 51 420
spam 61 519 580
total 230 570 1000
3.2 C
4.5决策算法
C4.5 算法是目前最具影响的决策树算法, 已广泛应用于数据分类领域，C4.5算法是在ID3算法的基础上改进过来的，不仅可以处理离散型描述属性，还可以处理连续性属性。C4.5算法采用信息增益率作为选择分枝属性的标准，弥补了ID3算法在使用信息增益选择分枝属性时偏向于取值较多的属性的缺陷。
作为ID3 算法的改进算法，C4.5 算法克服了ID3算法的两大缺点：
(1)ID3 算法使用信息增益作为评价标准来选择根节点和各内部节点中的分枝属性，信息增益的缺点是倾向于选择取值较多的属性，在某些情况下这类属性可能不会提供太多有价值的信息，而C4.5 算法采用信息增益率作为评价标准，克服了ID3算法的这点不足；
(2)(2) ID3 算法只能处理描述属性为离散的数据集，而C4.5 算法既可以处理离散型描述性，又可以处理连续型描述属性。
C4.5 算法也是一种基于信息论的机器学习方法，其核心思想是通过分析训练数据集，在整个数据集上递归地建立一个决策树。
使用WEKA数据挖掘软件提供的C4.5 算法进行分类，实验结果如表3所示
表3 C4.5决策树算法实验结果
ham spam total ham 411 9 420
spam 11 569 580
total 422 578 1000
3.3支持向量机算法
支持向量机算法简称 SVM（Support Vector Machine）算法[4]，该算法建立在统计学习理论中的 VC 维和结构风险最小化基础之上，并结合最优化理论来得到分类决策函数的分类算法。其基本思想是寻找一个分类超平面，将两类样本分到超平面的两侧他在解决非线性问题、高维模式识别问题等许多问题中显示出许多优势，是统计学习理论中比较实用的算法之一，目前已在人脸识别、手写数字识别、文本分类[5]、信息检索等领域得到成功应用。
支持向量机的数学模型如式（3-4）和式（3-5），该模型保证在满足条件下，超平面距离各样本点距离最大。
w
b w 2
,2
1min （3-4）
n i b x w y t s i T
i ,...2,1,1)(..=≥- （3-5）
利用WEKA 软件实现支持矢量机（SMO ）算法的实验结果如表4所示
表 4 支持向量机算法实验结果
ham spam total ham 403 17 420 spam 13 567 580 total
416
584
1000
3.4实验结果评价与分析
3.4.1实验评价方法
测试邮件集合中垃圾邮件、非垃圾邮件的数量分别是Ns 、Nh ，垃圾邮件中正确分类和被错分的邮件数量分别为Nss 、Nsh ，非垃圾邮件中被正确分类和被错误分类的邮件数量分别为Nhh 、Nhs ，则垃圾邮件识别算法的性能可以根据以下几个指标进行衡量。 （1）垃圾邮件召回率(recall)
垃圾邮件样本集中能被算法正确分类的样本所占比例，记为r ，定义如式（3-6)
%100?+=
sh
ss ss
N N N r
（3-6）
可见当垃圾邮件召回率反应了算法对垃圾邮件的检测能力，该值越大说明检测能力越强，被遗漏的邮件越少。
（2）垃圾邮件识别准确率(precision)
被正确识别分类的邮件数占所有样本的比例，记为p ，定义如式（3-7)
h
s hh ss N N N N p ++=
（3-7）
准确率反应邮件被正确分类的概率，准确率越高，说明被错误分类的邮件数量就越少。 3.4.2实验结果分析
MATLAB 编写程序实现的朴素贝叶斯算法结果与WEKA 平台的实验结果存在一定的差异，对比结果如表5所示
表5 基于MATLAB的朴素贝叶斯实验结果
算法实现环境准确率
MA TLAB 0.903
WEKA平台0.888
实验结果存在差异的原因在于MATLAB程序仅仅是单纯使用朴素贝叶斯公式来进行结果计算，未考虑数据集中的噪音等因素，WEKA平台的算法包括更进一步的预处理，噪音数据去除，以及算法的优化，导致实验结果的准确率低于MATLAB程序结果。
基于WEKA平台提供的三种分类方法，对比结果如表6所示
表6三种算法分类效果对比
准确度召回率执行时间支持向量机97.0% 97.8% 8.24s
C4.5决策树98.0% 98.1% 4.12s
朴素贝叶斯88.8% 89.5% 0.87s
对比三种分类方法的实验结果，可以发现朴素贝叶斯分类算法的准确率和召回率最低，C4.5决策树的准确率和召回率最高，在执行时间方面，朴素贝叶斯所需的执行时间最短，支持向量机的执行时间最长。4总结
本文介绍了对数据集样本进行预处理及特征提取的方法，并使用支持向量机、朴素贝叶斯、C4.5决策树这三种垃圾邮件分类方法对样本集中垃圾邮件进行识别，对比分析了它们的分类效果，朴素贝叶斯方法执行效率高，但实验准确率不够理想，SVM和决策树的实验准确率较高，但执行时间较长，这三种分类算法都有各自的优势和不足。在进行垃圾邮件分类的时候，可以考虑结合三种方法的优点，更快速准确的实现垃圾邮件识别。
本文在数据预处理阶段使用信息增益来进行特征提取，可以考虑使用卡方统计量的方式来提取特征，或者两者相互结合，得到更加合理的数据集特征信息。
参考文献：
[1] 刘庆和，梁正友.一种基于信息增益的特征优化选择方法[J]. 计算机工程与应用 2011，47（12）:130-132.
[2] M. Sahami, S. Dumais, D. Heckerman. Bayesian Approach to Filtering Junk Email[J].
AAAI Technical Report, 1998.
[3] 刘文. 基于聚类算法和支持向量机算法的文本分类算法研究[D]. 江苏科技大学硕士论文，2012:03-19
[4] Joachims T. Transductive inference for text classification using support vector machines[C]//ICML. 1999, (99): 200-209.
[5] 王龙龙.基于贝叶斯算法的垃圾邮件过滤系统设计与实现[D]. 吉林大学硕士论文，2014:04-26
各种聚类算法及改进算法的研究
论文关键词：数据挖掘；聚类算法；聚类分析论文摘要：该文详细阐述了数据挖掘领域的常用聚类算法及改进算法，并比较分析了其优缺点，提出了数据挖掘对聚类的典型要求，指出各自的特点，以便于人们更快、更容易地选择一种聚类算法解决特定问题和对聚类算法作进一步的研究。并给出了相应的算法评价标准、改进建议和聚类分析研究的热点、难点。上述工作将为聚类分析和数据挖掘等研究提供有益的参考。 1 引言随着经济社会和科学技术的高速发展，各行各业积累的数据量急剧增长，如何从海量的数据中提取有用的信息成为当务之急。聚类是将数据划分成群组的过程，即把数据对象分成多个类或簇，在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。它对未知数据的划分和分析起着非常有效的作用。通过聚类，能够识别密集和稀疏的区域，发现全局的分布模式，以及数据属性之间的相互关系等。为了找到效率高、通用性强的聚类方法人们从不同角度提出了许多种聚类算法，一般可分为基于层次的，基于划分的，基于密度的，基于网格的和基于模型的五大类。 2 数据挖掘对聚类算法的要求(1)可兼容性：要求聚类算法能够适应并处理属性不同类型的数据。(2)可伸缩性：要求聚类算法对大型数据集和小数据集都适用。(3)对用户专业知识要求最小化。(4)对数据类别簇的包容性：即聚类算法不仅能在用基本几何形式表达的数据上运行得很好，还要在以其他更高维度形式表现的数据上同样也能实现。(5)能有效识别并处理数据库的大量数据中普遍包含的异常值，空缺值或错误的不符合现实的数据。(6)聚类结果既要满足特定约束条件，又要具有良好聚类特性，且不丢失数据的真实信息。(7)可读性和可视性：能利用各种属性如颜色等以直观形式向用户显示数据挖掘的结果。(8)处理噪声数据的能力。(9)算法能否与输入顺序无关。 3 各种聚类算法介绍随着人们对数据挖掘的深入研究和了解，各种聚类算法的改进算法也相继提出，很多新算法在前人提出的算法中做了某些方面的提高和改进，且很多算法是有针对性地为特定的领域而设计。某些算法可能对某类数据在可行性、效率、精度或简单性上具有一定的优越性，但对其它类型的数据或在其他领域应用中则不一定还有优势。所以，我们必须清楚地了解各种算法的优缺点和应用范围，根据实际问题选择合适的算法。 3.1 基于层次的聚类算法基于层次的聚类算法对给定数据对象进行层次上的分解，可分为凝聚算法和分裂算法。 (1)自底向上的凝聚聚类方法。这种策略是以数据对象作为原子类，然后将这些原子类进行聚合。逐步聚合成越来越大的类，直到满足终止条件。凝聚算法的过程为：在初始时，每一个成员都组成一个单独的簇，在以后的迭代过程中，再把那些相互邻近的簇合并成一个簇，直到所有的成员组成一个簇为止。其时间和空间复杂性均为O(n2)。通过凝聚式的方法将两簇合并后，无法再将其分离到之前的状态。在凝聚聚类时，选择合适的类的个数和画出原始数据的图像很重要。 [!--empirenews.page--] (2)自顶向下分裂聚类方法。与凝聚法相反，该法先将所有对象置于一个簇中，然后逐渐细分为越来越小的簇，直到每个对象自成一簇，或者达到了某个终结条件。其主要思想是将那些成员之间不是非常紧密的簇进行分裂。跟凝聚式方法的方向相反，从一个簇出发，一步一步细化。它的优点在于研究者可以把注意力集中在数据的结构上面。一般情况下不使用分裂型方法，因为在较高的层很难进行正确的拆分。 3.2 基于密度的聚类算法很多算法都使用距离来描述数据之间的相似性，但对于非凸数据集，只用距离来描述是不够的。此时可用密度来取代距离描述相似性，即基于密度的聚类算法。它不是基于各种各样的距离，所以能克服基于距离的算法只能发现“类圆形”的聚类的缺点。其指导思想是：只要一个区域中的点的密度（对象或数据点的数目）大过某个阈值，就把它加到与之相近的聚类中去。该法从数据对象的分布密度出发，把密度足够大的区域连接起来，从而可发现任意形状的簇，并可用来过滤“噪声”数据。常见算法有DBSCAN，DENCLUE 等。[1][2][3]下一页 3.3 基于划分的聚类算法给定一个N个对象的元组或数据库，根据给定要创建的划分的数目k，将数据划分为k个组，每个组表示一个簇类（<=N）时满足如下两点：(1)每个组至少包含一个对象；(2)每个对
电信业防毒、反垃圾邮件解决方案
电信业防毒、反垃圾邮件解决方案 各种信息技术的不断发展为电信运营商带来了广阔的商机，同时也带来了新的威胁和风险。作为基础网络提供商的电信企业，影响最大、威胁最大的风险就是那些消耗基础带宽、影响网络性能的威胁，主要包括混合型病毒和各种垃圾邮件。 适于电信级业务的防御技术 Symantec的方案从“主动防御、主动反应”这一观点出发，协助运营商建立适用电信业务、可伸缩、抗打击的防病毒网络，可在最新的混合型病毒没有出现之前就形成防御墙，避免病毒带来的损失。 １．通用漏洞利用阻截技术 正如只有形状正确的钥匙才能打开锁一样，当新漏洞出现时，研究人员可以描述经过网络到达漏洞计算机，并利用该漏洞实施入侵的数据的特征。对照该“形状”特征，就可以检测并阻截具有该明显“形状”的任何攻击。 ２．行为阻截技术 在系统中实时监控各种程序行为，一旦出现与预定的恶意行为相同的行为就立即进行阻截。使用了带行为阻截技术的Symantec防病毒软件之后，防病毒软件将监视计算机上的所有外发电子邮件。如果该电子邮件有附件，则将对附件进行解码，并将其代码与计算机中启动此次电子邮件传输的应用程序相比较。如果非常相似，防病毒软件将终止此次传输，从而中断蠕虫的生命周期。 ３．精确的多层过滤反垃圾邮件技术 Symantec通过采用全面的、多层级的过滤技术来防御垃圾邮件。通过为电信运营商设计智能、多层的混合型病毒和垃圾邮件防护架构，可以优化全系统内混合型病毒和垃圾邮件事件的监控，以便及早发现、及时通报、快速处理，缩短响应时间，有效降低病毒可能造成的损失。建立多层、分布式的混合病毒和垃圾邮件防御架构，既与电信运营商现有行政管理模式相匹配，提高管理效率，同时又能体现“统一规划，分级管理”的思想，让各省级单位分担总部，地市级单位分担省公司的运行维护负担。 解决方案三大支柱 １．Symantec Network Security 7100系列入侵防护设备 SNS 7100系列是新一代的网络安全产品，同时具备IPS（入侵防御）和IDS（入侵检测）两项功能。作为成熟的IPS产品，SNS是自动防御的网络安全产品，无需人工干预，可自动检测、屏蔽网络入侵行为，减少用户用于日常维护的人力成本。SNS可以透明（inline）方式部署在用户网络中，不用修改用户网络结构，也不用修改交换机配置。配合产品自带的安全策略，实现了即插即用。 ２．Symantec Brightmail Antispam反垃圾邮件解决方案
数据挖掘分类算法比较
数据挖掘分类算法比较 分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。 一、决策树（Decision Trees） 决策树的优点： 1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 4、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。 5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 7、可以对有许多属性的数据集构造决策树。 8、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。 决策树的缺点： 1、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。 2、决策树处理缺失数据时的困难。 3、过度拟合问题的出现。 4、忽略数据集中属性之间的相关性。 二、人工神经网络 人工神经网络的优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。 人工神经网络的缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。
K-means-聚类算法研究综述
K-means聚类算法研究综述 摘要:总结评述了K-means聚类算法的研究现状，指出K-means聚类算法是一个NP难优化问题，无法获得全局最优。介绍了K-means聚类算法的目标函数，算法流程，并列举了一个实例，指出了数据子集的数目K，初始聚类中心选取，相似性度量和距离矩阵为K-means聚类算法的3个基本参数。总结了K-means聚类算法存在的问题及其改进算法，指出了K-means 聚类的进一步研究方向。 关键词：K-means聚类算法；NP难优化问题；数据子集的数目K；初始聚类中心选取；相似性度量和距离矩阵 Review of K-means clustering algorithm Abstract: K-means clustering algorithm is reviewed. K-means clustering algorithm is a NP hard optimal problem and global optimal result cannot be reached. The goal，main steps and example of K-means clustering algorithm are introduced. K-means algorithm requires three user-specified parameters: number of clusters K，cluster initialization，and distance metric. Problems and improvement of K-means clustering algorithm are summarized then. Further study directions of K-means clustering algorithm are pointed at last. Key words: K-means clustering algorithm; NP hard optimal problem; number of clusters K; cluster initialization; distance metric K-means聚类算法是由Steinhaus1955年、Lloyed1957年、Ball & Hall1965年、McQueen1967年分别在各自的不同的科学研究领域独立的提出。K-means聚类算法被提出来后，在不同的学科领域被广泛研究和应用，并发展出大量不同的改进算法。虽然K-means聚类算法被提出已经超过50年了，但目前仍然是应用最广泛的划分聚类算法之一[1]。容易实施、简单、高效、成功的应用案例和经验是其仍然流行的主要原因。 文中总结评述了K-means聚类算法的研究现状，指出K-means聚类算法是一个NP难优化问题，无法获得全局最优。介绍了K-means聚类算法的目标函数、算法流程，并列举了一个实例，指出了数据子集的数目K、初始聚类中心选取、相似性度量和距离矩阵为K-means聚类算法的3个基本参数。总结了K-means聚类算法存在的问题及其改进算法，指出了K-means聚类的进一步研究方向。 1经典K-means聚类算法简介 1.1K-means聚类算法的目标函数 对于给定的一个包含n个d维数据点的数据集 12 {x,x,,x,,x} i n X=??????，其中d i x R ∈，以及要生成的数据子集的数目K，K-means聚类算法将数据对象组织为 K个划分{c,i1,2,} k C K ==???。每个划分代表一个类c k，每个类c k有一个类别中心iμ。选取欧氏距离作为相似性和 距离判断准则，计算该类内各点到聚类中心 i μ的距离平方和 2 (c) i i k i k x C J xμ ∈ =- ∑（1） 聚类目标是使各类总的距离平方和 1 (C)(c) K k k J J = =∑最小。 22 1111 (C)(c) i i K K K n k i k ki i k k k x C k i J J x d x μμ ==∈== ==-=- ∑∑∑∑∑ （2）其中， 1 i i ki i i x c d x c ∈ ? =? ? ? 若 若 ，显然，根据最小二乘 法和拉格朗日原理，聚类中心 k μ应该取为类别 k c类各数据点的平均值。 K-means聚类算法从一个初始的K类别划分开始，然
中海油垃圾邮件解决方案
中海油垃圾邮件解决方案 应用背景： 在近几年的时间里，大型传统行业随着电子信息化的大力推进，依赖网络开展业务和管理的模式逐渐普遍，而信息系统面临垃圾邮件的威胁也不可避免地呈指数级增长，垃圾邮件占电子邮件总通讯量的比例达到了75%以上，而这一数字在三年前仅为8%；与此同时，垃圾邮件的类型以及发送手段也愈加复杂化、多样化，电子邮件一跃成为病毒的主要传播方式；这一系列的变化对大型传统行业信息系统网络构成了严重的威胁， 中海油网络现状： 本次采用梭子鱼垃圾邮件防火墙的客户是中国最大的国家石油公司之一——中国海洋石油总公司（以下简称中国海油）。其是中国最大的海上油气生产商，公司成立于1982年，注册资本500亿元人民币，总部位于北京，现有员工4.4万人。 公司的内部管理和海外业务拓展，随着网络系统的建设而日益高效便利，只是伴随着病毒、木马、间谍软件的垃圾邮件对公司的危害已经到了非治理不可的地步：公司形象——这是电子邮件使用者的第一大问题，由于垃圾邮件的泛滥，对于中海油而言，可能造成员工弃用本公司邮箱，这不仅对公司以前网络建设的投入造成浪费，且有损公司在客户和公众心中的形象。 降低工作效率——使用者会浪费无谓的时间阅读并处理这些无用的电子邮件，而工作效率降低被认为是公司因垃圾邮件所导致的最大损失。 不当内容——垃圾邮件中可能包含攻击性文字，大多是政党攻击，此种邮件可能会伤害特定的群组，甚至牵连公司受到行政审查。此外，还有相当数量的色情、非法宗教、以及其他与国家法规相悖的信息，这些都将对收件人造成不同程度的冲击。 浪费IT资源——进入网络的大量垃圾邮件，会影响公司的网络使用带宽。 对安全和隐私造成危害——例如邮件病毒、Phisher诈骗邮件、身份盗窃信等，会造成公司及个人信息的外泄或流失等。 现代垃圾邮件技术和危害： 当前的垃圾邮件发送已经成为跨国性的、有组织的犯罪行为，单靠一个国家的行政力量或单纯依靠公司IT部门自有技术很难应对，因此中海油主动采取了相应手段，防御垃圾邮件的威胁。 电子邮件系统目前是中海油的关键业务系统之一，所有Internet电子邮件均统一发送到总邮件服务器，由邮件服务器通过网络分发到各分支机构的电子邮件客户端。目前邮件网关服务器，主要用于收发INTERNET邮件，操作系统Windows 2003，邮件系统为Exchange 20000，前置机部署在DMZ区，后台主要收发邮件的服务器部署位置在内部防火墙后边，高峰期邮件数大约为700－1000左右，每天的电子邮件流量在5万封左右。 目前大量垃圾邮件、病毒邮件通过电子邮件系统传播，并不定期对中海油邮件服务器进行洪水攻击、DDos攻击、列举式字典攻击等，初步估计5%左右的电子邮件为病毒邮件，而垃圾邮件数量占邮件总数量的85%以上，而这些垃圾邮件给邮件系统带来了大量潜在威胁： 钓鱼式攻击； 木马； 间谍软件； 病毒； 后门程序
垃圾邮件的危害及应对措施
０ 引言 垃圾邮件的泛滥，已经对互联网和现实社会造成了危害。对垃圾邮件的治理已成为与抗击网络病毒并列的重任。１ 垃圾邮件的概况 所谓垃圾邮件，包括下述属性的电子邮件： 收件人事先没有提出要求或者同意接收的广告、电子刊物、各种形式的宣传品等宣传性质的电子邮件；收件人无法拒收的电子邮件；隐藏发件人身份、地址、标题等信息的电子邮件；含有虚假的信息源、发件人、路由等信息的电子邮件。 垃圾邮件的分类从内容上看，主要是商业广告性质的邮件；另外，有少量政治，团体组织的宣传邮件。从邮件的发送形式上看，有直接发送和第三方转发两种。 所谓直接发送，就是邮件的发送者使用自己的服务器，ＩＰ 地址，自己的网络资源传送这些邮件。目前使用更多的是使用第三方服务器转发。对于这种垃圾邮件，只要关闭有关服务器的转发功能就可以了。 垃圾邮件的危害。占用网络带宽，造成邮件服务器拥塞，进而降低整个网络的运行效率；侵犯收件人的隐私权，侵占收件人信箱空间，耗费收件人的时间、精力和金钱。有的垃圾邮件还盗用他人的电子邮件地址做发信地址，严重损害了他人的信誉；被黑客利用成助纣为虐的工具；严重影响ＩＳＰ的服务形象， ＩＳＰ每年因垃圾邮件要失去７．２％的用户；妖言惑众，骗人钱财，传播色情等内容的垃圾邮件，已经对现实社会造成了危害。 ２ 技术上的应对措施 ２．１ 找出真正发件人 垃圾邮件一般采用了群发软件发送，发信人的地址是可以任意伪造的，查看信头可以让您找到真正的发件人。查看信头的方法是： （１）如果您是在Ｗｅｂ页面上看邮件的话，直接打开邮件，点击信件显示页面上方菜单中的“原文”，就可以看到信头。 （２）如果是用Ｏｕｔｌｏｏｋ Ｅｘｐｒｅｓｓ来收信的话，指向邮件，不要打开，点击鼠标右键，看信件的属性，再点击详细资料，就可以看到信头。如果有ｓｅｎｄｅｒ的话，ｓｅｎｄｅｒ后面就是真正的发件人；如果没有ｓｅｎｄｅｒ，最后一个ｒｅ－ｃｅｉｖｅｄ ｆｒｏｍ就是发件人所用的ＳＭＴＰ服务器。 Ｒｅｃｅｉｖｅ语句的基本表达格式是：ｆｒｏｍ Ｓｅｒｖｅｒ Ａ ｂｙＳｅｒｖｅｒ Ｂ，Ｓｅｒｖｅｒ Ａ为发送服务器，Ｓｅｒｖｅｒ Ｂ为接收服务器。 例如： ＲｅｔｕｒｎＰａｔｈ：＜ｏｗｎｅｒｅｎｅｗｓｄａｉｌｙ＠ｅｎｅｔ．ｃｏｍ．ｃｎ＞ Ｒｅｃｅｉｖｅｄ：ｆｒｏｍ ｎｓ．ｅｎｅｔ．ｃｏｍ．ｃｎ （［２０２．１０６．１２４．１６７］） ｂｙｍａｉｌ．７７７．ｎｅｔ．ｃｎ（８．９．３／８．８．７） ｗｉｔｈ ＳＭＴＰ ｉｄ ＴＡＡ１３０４３； Ｔｈｕ， ２８ Ｏｃｔ １９９９ １９：５１：２８ ＋０８００ Ｒｅｃｅｉｖｅｄ：（ｆｒｏｍ ｌｉｓｔ＠ｌｏｃａｌｈｏｓｔ） ｂｙ ｎｓ．ｅｎｅｔ．ｃｏｍ．ｃｎ （８．９．３／８．９．０） ｉｄ ＲＡＡ１９７１４ ｆｏｒ ｅｎｅｗｓｄａｉｌｙｌｉｓｔ；Ｔｈｕ， ２８ Ｏｃｔ １９９９ １７：５０：３０ ＋０８００ Ｒｅｃｅｉｖｅｄ：ｆｒｏｍ ｃｈｉｎａｎｅｔｗｅｅｋ．ｃｏｍ （［２１０．７２．２３５．２１８］） ｂｙ ｎｓ．ｅｎｅｔ．ｃｏｍ．ｃｎ （８．９．３／８．９．０） ｗｉｔｈ ＥＳＭＴＰ ｉｄ ＲＡＡ１９６９０ ｆｏｒ ＜ｅｎｅｗｓｄａｉｌｙ＠ｅｎｅｔ．ｃｏｍ．ｃｎ＞； Ｔｈｕ， ２８ Ｏｃｔ １９９９ １７：５０：２８ ＋０８００ Ｒｅｃｅｉｖｅｄ： ｆｒｏｍ ｃｈｉｎａｎｅｔｗｅｅｋ．ｃｏｍ （［１０．１．２．１０５］） ｂｙ ｃｈｉｎａｎｅｔｗｅｅｋ．ｃｏｍ （８．９．３／８．９．０） 作者简介：隆益民（１９６５－） ，男，副教授，硕士，研究方向为计算机及网络安全。 垃圾邮件的危害及应对措施 摘要：电子邮件是人们生活中加强沟通的重要交流工具，但垃圾邮件的泛滥已经使整个因特网不堪重负，垃圾邮件严重影响了人们使用互联网。治理垃圾邮件已成为与抗击网络病毒并列的重任。我国就垃圾邮件的处理上尚未制订相关的法律。也可参照国际通行的做法，针对垃圾邮件制订的较为严格的法律和规定，对垃圾邮件问题进行立法研究，从行政管理和法律角度加强对垃圾邮件的管理。 关键词：反垃圾邮件；群发；ＩＤ；电子邮票；黑名单；法律 隆益民 广东女子职业技术学院 计算机系 广东 ５１１４５０
聚类分析算法解析
聚类分析算法解析 一、不相似矩阵计算 1.加载数据 data(iris) str(iris) 分类分析是无指导的分类，所以删除数据中的原分类变量。 iris$Species<-NULL 2. 不相似矩阵计算 不相似矩阵计算，也就是距离矩阵计算，在R中采用dist()函数，或者cluster包中的daisy()函数。dist()函数的基本形式是 dist(x, method = "euclidean", diag = FALSE, upper = FALSE, p = 2) 其中x是数据框（数据集），而方法可以指定为欧式距离"euclidean", 最大距离"maximum", 绝对值距离"manhattan", "canberra", 二进制距离非对称"binary" 和明氏距离"minkowski"。默认是计算欧式距离，所有的属性必须是相同的类型。比如都是连续类型，或者都是二值类型。 dd<-dist(iris) str(dd) 距离矩阵可以使用as.matrix()函数转化了矩阵的形式，方便显示。Iris数据共150例样本间距离矩阵为150行列的方阵。下面显示了1~5号样本间的欧式距离。 dd<-as.matrix(dd)
二、用hclust()进行谱系聚类法（层次聚类） 1.聚类函数 R中自带的聚类函数是hclust()，为谱系聚类法。基本的函数指令是 结果对象<- hclust（距离对象, method=方法） hclust()可以使用的类间距离计算方法包含离差法"ward"，最短距离法"single"，最大距离法"complete"，平均距离法"average"，"mcquitty"，中位数法"median" 和重心法"centroid"。下面采用平均距离法聚类。 hc <- hclust(dist(iris), method="ave") 2.聚类函数的结果 聚类结果对象包含很多聚类分析的结果，可以使用数据分量的方法列出相应的计算结果。 str(hc) 下面列出了聚类结果对象hc包含的merge和height结果值的前6个。其行编号表示聚类过程的步骤，X1，X2表示在该步合并的两类，该编号为负代表原始的样本序号，编号为正代表新合成的类；变量height表示合并时两类类间距离。比如第1步，合并的是样本102和143，其样本间距离是0.0，合并后的类则使用该步的步数编号代表，即样本-102和-143合并为1类。再如第6行表示样本11和49合并，该两个样本的类间距离是0.1，合并后的类称为6类。 head (hc$merge,hc$height)
遥感图像分类方法的国内外研究现状与发展趋势
遥感图像分类方法的国内外研究现状与发展趋势
遥感图像分类方法的研究现状与发展趋势 摘要：遥感在中国已经取得了世界级的成果和发展，被广泛应用于国民经济发展的各个方面，如土地资源调查和管理、农作物估产、地质勘查、海洋环境监测、灾害监测、全球变化研究等，形成了适合中国国情的技术发展和应用推广模式。随着遥感数据获取手段的加强，需要处理的遥感信息量急剧增加。在这种情况下，如何满足应用人员对于大区域遥感资料进行快速处理与分析的要求，正成为遥感信息处理面临的一大难题。这里涉及二个方面，一是遥感图像处理本身技术的开发，二是遥感与地理信息系统的结合，归结起来，最迫切需要解决的问题是如何提高遥感图像分类精度，这是解决大区域资源环境遥感快速调查与制图的关键。 关键词：遥感图像、发展、分类、计算机 一、遥感技术的发展现状 遥感技术正在进入一个能够快速准确地提供多种对地观测海量数据及应用研究的新阶段，它在近一二十年内得到了飞速发展，目前又将达到一个新的高潮。这种发展主要表现在以下4个方面： 1. 多分辨率多遥感平台并存。空间分辨率、时间分辨率及光谱分辨率普遍提高目前，国际上已拥有十几种不同用途的地球观测卫星系统，并拥有全色0．8～5m、多光谱3．3～30m的多种空间分辨率。遥感平台和传感器已从过去的单一型向多样化发展，并能在不同平台
上获得不同空间分辨率、时间分辨率和光谱分辨率的遥感影像。民用遥感影像的空间分辨率达到米级，光谱分辨率达到纳米级，波段数已增加到数十甚至数百个，重复周期达到几天甚至十几个小时。例如，美国的商业卫星ORBVIEW可获取lm空间分辨率的图像，通过任意方向旋转可获得同轨和异轨的高分辨率立体图像；美国EOS卫星上的MOiDIS-N传感器具有35个波段；美国NOAA的一颗卫星每天可对地面同一地区进行两次观测。随着遥感应用领域对高分辨率遥感数据需求的增加及高新技术自身不断的发展，各类遥感分辨率的提高成为普遍发展趋势。 2. 微波遥感、高光谱遥感迅速发展微波遥感技术是近十几年发展起来的具有良好应用前景的主动式探测方法。微波具有穿透性强、不受天气影响的特性，可全天时、全天候工作。微波遥感采用多极化、多波段及多工作模式，形成多级分辨率影像序列，以提供从粗到细的对地观测数据源。成像雷达、激光雷达等的发展，越来越引起人们的关注。例如，美国实施的航天飞机雷达地形测绘计划即采用雷达干涉测量技术，在一架航天飞机上安装了两个雷达天线，对同一地区一次获取两幅图像，然后通过影像精匹配、相位差解算、高程计算等步骤得到被观测地区的高程数据。高光谱遥感的出现和发展是遥感技术的一场革命。它使本来在宽波段遥感中不可探测的物质，在高光谱遥感中能被探测。高光谱遥感的发展，从研制第一代航空成像光谱仪算起已有二十多年的历史，并受到世界各国遥感科学家的普遍关注。但长期以来，高光谱遥感一直处在以航空为基础的研究发展阶段，且主要
贝叶斯分类多实例分析总结
用于运动识别的聚类特征融合方法和装置 提供了一种用于运动识别的聚类特征融合方法和装置，所述方法包括：将从被采集者的加速度信号 中提取的时频域特征集的子集内的时频域特征表示成以聚类中心为基向量的线性方程组；通过求解线性方程组来确定每组聚类中心基向量的系数；使用聚类中心基向量的系数计算聚类中心基向量对子集的方差贡献率；基于方差贡献率计算子集的聚类中心的融合权重；以及基于融合权重来获得融合后的时频域特征集。 加速度信号 →时频域特征 →以聚类中心为基向量的线性方程组 →基向量的系数 →方差贡献率 →融合权重 基于特征组合的步态行为识别方法 本发明公开了一种基于特征组合的步态行为识别方法，包括以下步骤：通过加速度传感器获取用户在行为状态下身体的运动加速度信息；从上述运动加速度信息中计算各轴的峰值、频率、步态周期和四分位差及不同轴之间的互相关系数；采用聚合法选取参数组成特征向量；以样本集和步态加速度信号的特征向量作为训练集，对分类器进行训练，使的分类器具有分类步态行为的能力；将待识别的步态加速度信号的所有特征向量输入到训练后的分类器中，并分别赋予所属类别，统计所有特征向量的所属类别，并将出现次数最多的类别赋予待识别的步态加速度信号。实现简化计算过程，降低特征向量的维数并具有良好的有效性的目的。 传感器 →样本及和步态加速度信号的特征向量作为训练集 →分类器具有分类步态行为的能力 基于贝叶斯网络的核心网故障诊断方法及系统 本发明公开了一种基于贝叶斯网络的核心网故障诊断方法及系统，该方法从核心网的故障受理中心采集包含有告警信息和故障类型的原始数据并生成样本数据，之后存储到后备训练数据集中进行积累，达到设定的阈值后放入训练数据集中；运用贝叶斯网络算法对训练数据集中的样本数据进行计算，构造贝叶斯网络分类器；从核心网的网络管理系统采集含有告警信息的原始数据，经贝叶斯网络分类器计算获得告警信息对应的故障类型。本发明，利用贝叶斯网络分类器构建故障诊断系统，实现了对错综复杂的核心网故障进行智能化的系统诊断功能，提高了诊断的准确性和灵活性，并且该系统构建于网络管理系统之上，易于实施，对核心网综合信息处理具有广泛的适应性。 告警信息和故障类型 →训练集 —>贝叶斯网络分类器
反垃圾邮件系统实施项目解决方案
TOM网 反垃圾系统实施解决方案 客户项目建议书 Barracuda Networks (Shanghai) Co.,Ltd.
2005-12-21 第一章前言: 企业防治垃圾的重要性 在近几年的时间里，企业面临垃圾的威胁成指数级增长，垃圾占电子总通讯量的达到60%以上，而这一数字在三年前仅为8%；与此同时，垃圾的类型以及发送手段也愈加复杂化、多样化； 电子也一跃成为病毒的主要传播方式；这一系列的变化对企业网络构成了严重的威胁，这种威胁不仅仅是造成用户时间的损失，还包括系统资源的损耗，严重的还造成系统破坏。 因此，如何保护企业免受病毒及垃圾的侵袭，保证网络及企业信息安全成为每位网络或系统管理员的第一责任，也是企业信息化分管领导的重要职责所在。 垃圾对企业造成的危害： 1.垃圾已占全球电子的69%。（亚洲经济，2005年6月）在国际上每天有超过200亿封垃圾被发送 出去，2003年全国有470亿封流入了用户信箱，平均每人每天收到2.85封垃圾。根据IDC的分
析，到2006年，垃圾数量将在2003年数量的增加一倍。 ※根据Radicatti group预估调查(June，2003)，到2007年全球垃圾将占所有Email流量的70% 2.据Ferris Research研究报导指出，垃圾电子每年让美国及欧洲企业分别损失高达89亿美元 和25亿美元。(其中40亿美元是因员工删除垃圾而造成工作效率的降低，平均删除1封垃圾得花4.4秒钟。37亿美元的花费，是为了应对超大量的资料流量，企业因而添购带宽及性能更佳的服务器，其余的损失则是公司为降低员工因垃圾产生的困扰，为员工提供的支持的费用。) 3.除了上述金额的损失之外，垃圾对企业的损害还可归类为： ◆消费者的信任——这是电子使用者的第一大问题，由于垃圾的泛滥，用户失去了对电子 的信任；据调查约有29%的用户因此而减少了电子的使用，对于企业而言，则可能造成员 工弃用企业，这不仅对企业以前网络投入的浪费，且有损企业形象。 ◆降低工作效率—使用者会浪费无谓的时间阅读并处理这些无用的电子。使用者工作效率 降低被认为是企业因垃圾所导致的最大损失。 ◆不当容—垃圾中可能包含攻击性文字，大多是人身攻击，此种可能会伤害特定的个人或 群组。此外，还有相当数量的与、非法、以及其他与国家法规相悖的信息，也将对收件 人造成不同程度的冲击。 ◆浪费IT资源—进入网络的大量垃圾，会影响企业的网络使用带宽。
分类算法的研究进展
分类算法的研究进展 分类是数据挖掘、机器学习和模式识别中一个重要的研究领域，分类的目的是根据数据集的特点构造一个分类函数或分类模型，该分类模型能把未知类别的样本映射到给定类别中的某一个。分类和回归都可以用于预测，和回归方法不同的是，分类的输出是离散的类别值，而回归的输出是连续或有序值。 一、分类算法概述为了提高分类的准确性、有效性和可伸缩性，在进行分类之前，通常要对数据进行预处理，包括：（1）数据清理，其目的是消除或减少数据噪声处理空缺值。 （2）相关性分析，由于数据集中的许多属性可能与分类任务不相关，若包含这些属性将减慢和可能误导分析过程，所以相关性分析的目的就是删除这些不相关的或兀余 性。（3）数据变换，数据可以概化到较 高层概念，比如连续值属 为离散值：低、 可概化到高层概念“省”此外，数据也可以规范化，规 范化将给定的值按比例缩放，落入较小的区间，比如【0，1】等。
的属 性“收入”的数值可以概化 性“市” 中、高。又比如，标称值属 二、常见分类算法 2.1 决策树 决策树是用于分类和预测的主要技术之一，决策树学习是以实例为基础的归纳学习算法，它着眼于从一组无次序、无规则的实例中推理出以决策树表示的分类规则。构造决策树的目的是找出属性和类别间的关系，用它来预测将来未知类别的记录的类别。它采用自顶向下的递归方式，在决策树的内部节点进行属性的比较，并根据不同属性值判断从该节点向下的分支，在决策树的叶节点得到结论。 2.2贝叶斯分类贝叶斯分类是统计学分类方法，它足一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Naive Bayes, NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，且方法简单、分类准确率高、速度快。由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值,而此假设在实际情况中经常是不成立的,因此其分类准确率可能会下降。为此,就出现了许多降低独立性假设的贝叶斯分类算
FortiMail垃圾邮件案例
Orascom电信使用FortiMail垃圾邮件解决方案 Orascom电信是国际电信市场的领先运营商，最近它宣布将使用Fortinet 的统一威胁管理解决方案(Unified threat management，简称UTM)阻挡垃圾邮件。FORTINET是市场领先的网络安全提供商和全球解决方案的领先者。Orascom电信部署Fortinet的FortiMail是多层电子邮件安全平台，可保护企业电子邮件服务器和250万个用户不受垃圾邮件和病毒的侵害。 Orascom电信用户早在09年3月底就超过了8000万，同时，它又是中东，非洲和亚洲最大和综合性最强的运营商。所有企业总部和Orascom电信分支机构和制造商间的信息交换都是通过电子邮件，电子邮件是最大和重要的商业应用，企业所有人都要使用它。过去，公司安装在交换服务器上的第三方软件，无法解决大量的垃圾邮件问题。 为了解决上述面临的问题，Orascom经过对主要的电子邮件安全解决方案进行竞争性评估，决定选择Fortinet的FortiMail平台，因为这一解决方案的高精确性评分为99.8%。此外Orascom电信选择FortiMail解决方案还考虑到它的独一无二的架构选择，包括高使用率和透明模式的共享等。
飞塔长庆油田成功案例 一、用户概况描述 长庆石油公司隶属于中国石油天然气集团公司，总部设在中国西安。下设二级单位42个，职工总人数3.7万多人。下设的通信公司为长庆集团各公司办公及住宅区提供各种方式的网络服务及互联网接入业务。 长庆石油勘探局通信公司主要担负着长庆通信专网、长庆互联网的建设、运营、维护和管理。其管理的专用网是中国石油企业专用网内覆盖范围最大、业务种类最全的专用网之一，拥有近一亿元人民币的固定资产和近八万电话、计算机网络用户。 长庆互联网是以西安网控中心为核心，由西安园区网、庆阳园区网、银川园区网、延安园区网组成的通过100Mbps-1000Mbps带宽互联的计算机广域网。长庆互联网分别在西安以（400Mbps）、银川、庆阳以100Mbps带宽接入因特网，同时它与中国石油计算机专用网保持直联，是中国石油计算机专用网的重要组成部分。 二、用户安全需求 长庆油田的网络基本上可以划分为家属区接入，各园区办公网接入等。主要的安全需求是这样的： 1、整个网络所面临的问题是大量P2P、迅雷占据了网络的主要带宽，极大地降低了网络的使用率。 2、网络中的公网IP不是很多，需要防火墙作NAT转换和根据IP地址段和服务做大量的访问控制策略。 3、整个网络所面临着最为严重问题是，面临着来自Internet的各种网络层和应用层的安全威胁，如： a. 外网流窜进来的病毒、木马、蠕虫、间谍软件； b. 各种网络攻击和入侵； c. P2P、迅雷类的软件消耗了网络的可用资源。 d.垃圾邮件在内网肆虐，影响工作效率 三、推荐解决方案 由于不同的区域的安全需求不同，所以针对这两个区域各自进行了针对性的安全部署。
快速流分类算法研究综述
快速流分类算法研究综述 李振强 （北京邮电大学信息网络中心，北京 100876） 摘要 本文对流分类算法进行了综述，包括流分类的定义，对流分类算法的要求，以及各种流分类算法的分析比较。文章的最后指出了在流分类方面还没有得到很好解决的问题，作为进一步研究的方向。 关键词 流分类；服务质量；IP 背景 当前的IP网络主要以先到先服务的方式提供尽力而为的服务。随着Internet的发展和各种新业务的出现，尽力而为的服务已经不能满足人们对Internet的要求，IP网络必须提供增强的服务，比如：SLA(Service Level Agreement)服务，VPN(Virtual Private Network)服务，各种不同级别的QoS （Quality of Service）服务，分布式防火墙，IP安全网关，流量计费等。所有这些增强服务的提供都依赖于流分类，即根据包头(packet header)中的一个或几个域（field）决定该包隶属的流(flow)。典型的，包头中可以用来分类的域包括:源IP地址（Source IP Address）、目的IP地址（Destination IP Address）、协议类型（Protocol Type）、源端口（Source Port）和目的端口（Destination Port）等。 流分类算法描述 首先定义两个名词：规则（rule）和分类器(classifier)。用来对IP包进行分类的由包头中若干域组成的集合称之为规则，而若干规则的集合就是分类器。构成规则的域（我们称之为组件component）的值可以是某个范围，例如目的端口大于1023。流分类就是要确定和每个包最匹配的规则。表1是由6条规则组成的一个分类器。我们说这是一个5域分类器，因为每条规则由5个组件构成。我们假定分类器中的规则是有优先级的,越靠前的规则优先级越高,即规则1的优先级最高,规则6的最低。
贝叶斯分类算法
最近在面试中，除了基础& 算法& 项目之外，经常被问到或被要求介绍和描述下自己所知道的几种分类或聚类算法，而我向来恨对一个东西只知其皮毛而不得深入，故写一个有关聚类& 分类算法的系列文章以作为自己备试之用(尽管貌似已无多大必要，但还是觉得应该写下以备将来常常回顾思考)。行文杂乱，但侥幸若能对读者也起到一定帮助，则幸甚至哉。 本分类& 聚类算法系列借鉴和参考了两本书，一本是Tom M.Mitchhell所著的机器学习，一本是数据挖掘导论，这两本书皆分别是机器学习& 数据挖掘领域的开山or杠鼎之作，读者有继续深入下去的兴趣的话，不妨在阅读本文之后，课后细细研读这两本书。除此之外，还参考了网上不少牛人的作品(文末已注明参考文献或链接)，在此，皆一一表示感谢。 本分类& 聚类算法系列暂称之为Top 10 Algorithms in Data Mining，其中，各篇分别有以下具体内容： 1. 开篇：决策树学习Decision Tree，与贝叶斯分类算法(含隐马可夫模型HMM)； 2. 第二篇：支持向量机SVM(support vector machine)，与神经网络ANN； 3. 第三篇：待定... 说白了，一年多以前，我在本blog内写过一篇文章，叫做：数据挖掘领域十大经典算法初探(题外话：最初有个出版社的朋友便是因此文找到的我，尽管现在看来，我离出书日期仍是遥遥无期)。现在，我抽取其中几个最值得一写的几个算法每一个都写一遍，以期对其有个大致通透的了解。 OK，全系列任何一篇文章若有任何错误，漏洞，或不妥之处，还请读者们一定要随时不吝赐教& 指正，谢谢各位。 基础储备：分类与聚类 在讲具体的分类和聚类算法之前，有必要讲一下什么是分类，什么是聚类，都包含哪些具体算法或问题。 常见的分类与聚类算法 简单来说，自然语言处理中，我们经常提到的文本分类便就是一个分类问题，一般的模式分类方法都可用于文本分类研究。常用的分类算法包括：朴素的贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，k-最近邻法(k-nearest neighbor，
贝叶斯分类器工作原理
贝叶斯分类器工作原理原理 贝叶斯分类器是一种比较有潜力的数据挖掘工具，它本质上是一 种分类手段，但是它的优势不仅仅在于高分类准确率，更重要的是，它会通过训练集学习一个因果关系图（有向无环图）。如在医学领域，贝叶斯分类器可以辅助医生判断病情，并给出各症状影响关系，这样医生就可以有重点的分析病情给出更全面的诊断。进一步来说，在面对未知问题的情况下，可以从该因果关系图入手分析，而贝叶斯分类器此时充当的是一种辅助分析问题领域的工具。如果我们能够提出一种准确率很高的分类模型，那么无论是辅助诊疗还是辅助分析的作用都会非常大甚至起主导作用，可见贝叶斯分类器的研究是非常有意义的。 与五花八门的贝叶斯分类器构造方法相比，其工作原理就相对简 单很多。我们甚至可以把它归结为一个如下所示的公式： 其中实例用T{X0，X1，…，Xn-1}表示，类别用C 表示，AXi 表示Xi 的 父节点集合。 选取其中后验概率最大的c ，即分类结果，可用如下公式表示 () ()()() ()( ) 0011111 00011111 0|,, ,|,,, ,C c |,i i n n n i i X i n n n i i X i P C c X x X x X x P C c P X x A C c P X x X x X x P P X x A C c ---=---========= ===∝===∏∏()() 1 0arg max |A ,i n c C i i X i c P C c P X x C c -∈=====∏
上述公式本质上是由两部分构成的：贝叶斯分类模型和贝叶斯公式。下面介绍贝叶斯分类器工作流程： 1．学习训练集，存储计算条件概率所需的属性组合个数。 2．使用1中存储的数据，计算构造模型所需的互信息和条件互信息。 3．使用2种计算的互信息和条件互信息，按照定义的构造规则，逐步构建出贝叶斯分类模型。 4．传入测试实例 5．根据贝叶斯分类模型的结构和贝叶斯公式计算后验概率分布。6．选取其中后验概率最大的类c，即预测结果。 其流程图如下所示：
反垃圾邮件产品解决方案修订稿
反垃圾邮件产品解决方 案 Document number【AA80KGB-AA98YT-AAT8CB-2A6UT-A18GG】
TOM网 反垃圾邮件系统实施解决方案 客户项目建议书 Barracuda Networks (Shanghai) Co.,Ltd. 2005-12-21 第一章前言: 企业防治垃圾邮件的重要性 在近几年的时间里，企业面临垃圾邮件的威胁成指数级增长，垃圾邮件占电子邮件总通讯量的达到60%以上，而这一数字在三年前仅为8%；与此同时，垃圾邮件的类型以及发送手段也愈加复杂化、多样化；电子邮件也一跃成为病毒的主要传播方式；这一系列的变化对企业网络构成了严重的威胁，这种威胁不仅仅是造成用户时间的损失，还包括系统资源的损耗，严重的还造成系统破坏。 因此，如何保护企业免受病毒邮件及垃圾邮件的侵袭，保证网络及企业信息安全成为每位网络或系统管理员的第一责任，也是企业信息化分管领导的重要职责所在。 垃圾邮件对企业造成的危害： 1.垃圾邮件已占全球电子邮件的69%。（亚洲经济，2005年6月）在国际上每天有 超过200亿封垃圾邮件被发送出去，2003年全国有470亿封邮件流入了用户信
箱，平均每人每天收到封垃圾邮件。根据IDC的分析，到2006年，垃圾邮件数量将在2003年数量的增加一倍。 ※根据Radicatti group预估调查(June，2003)，到2007年全球垃圾邮件将占所有Email流量的70% 2.据Ferris Research研究报导指出，垃圾电子邮件每年让美国及欧洲企业分别损 失高达89亿美元和25亿美元。(其中40亿美元是因员工删除垃圾邮件而造成工作效率的降低，平均删除1封垃圾邮件得花秒钟。37亿美元的花费，是为了应对超大量的资料流量，企业因而添购带宽及性能更佳的服务器，其余的损失则是公司为降低员工因垃圾邮件产生的困扰，为员工提供的支持的费用。) 3.除了上述金额的损失之外，垃圾邮件对企业的损害还可归类为： 消费者的信任——这是电子邮件使用者的第一大问题，由于垃圾邮件的泛 滥，用户失去了对电子邮件的信任；据调查约有29%的用户因此而减少了电 子邮件的使用，对于企业而言，则可能造成员工弃用企业邮箱，这不仅对 企业以前网络投入的浪费，且有损企业形象。 降低工作效率—使用者会浪费无谓的时间阅读并处理这些无用的电子邮 件。使用者工作效率降低被认为是企业因垃圾邮件所导致的最大损失。 不当内容—垃圾邮件中可能包含攻击性文字，大多是人身攻击，此种邮件 可能会伤害特定的个人或群组。此外，还有相当数量的与色情、非法宗 教、以及其他与国家法规相悖的信息，也将对收件人造成不同程度的冲 击。 浪费IT资源—进入网络的大量垃圾邮件，会影响企业的网络使用带宽。 对安全和隐私造成危害——例如邮件病毒、Phisher诈骗邮件、身份盗窃信 等。