机器学习在P2P流量检测中的研究
基于机器学习模型的P2P网贷平台风险预警研究
（江西南昌 330013）
一、引言与文献综述 近年来，以 P2P 网贷为代表的新兴金融模式因 其利率不受限制，提供远超银行存款的高额回报受 到投资者的普遍青睐。同时，因为平台的灵活放贷 模 式 能 在 一 定 程 度 上 解 决 中 小 企 业 和 个 人“ 融 资 难、融资贵”的难题，从而很好的弥补了传统金融体 系在“末端”的缺位，一定程度上推动了普惠金融的 创新发展。然而，由于 P2P 平台进入门槛低、监管滞 后等原因导致平台安全问题频发，非法集资诈骗问 题严重，极大损害了投资者的利益，扰乱了金融市 场秩序。因此，如何及时有效侦测 P2P 平台的非法 集资风险成为了业界和学界讨论的重点。 由于不同国家在宏观经济政策、行业制度、社会 环境等方面存在着较大差异，导致国内外学者在对 P2P 研究的整体方向上存在着一定差异。相对而
国内外关于 P2P 网络借贷平台的研究主要集中 在影响因素的描述性分析，对于 P2P 网贷平台风险 预警的研究较为缺乏。鉴于此，本文基于互联网信 息爬取技术，整理收集了数家大型主流网贷网站上 的 P2P 网贷平台数据，利用主流机器学习模型进行 风险预警研究，探讨了机器学习模型在网贷平台风 险预警上的优越性，并特别提出决策树模型在检出 率 指 标 上 表 现 出 了 优 良 的 性 能 ，应 予 以 重 视 。 同 时，本文设计了特殊的动态预警框架以产生训练集 和测试集，动态观测机器学习模型在平台全生命周 期内的动态预测效果，并结合我国网贷平台的监管 实际，为进一步提升网贷平台的风险预警提出了经 验证据与改进意见。
ห้องสมุดไป่ตู้
秉（1988-），安徽合肥人，江西财经大学产业经济研究院，硕导，澳大利亚国立大学统计学博士，研究方向为
金融计量；蒋志慧（1992-），江西九江人，江西财经大学金融学院，硕士研究生，研究方向为金融计量；孔雯
基于机器学习的网络流量异常检测技术研究
基于机器学习的网络流量异常检测技术研究摘要：随着互联网的发展，网络攻击和恶意行为日益增多，网络流量异常检测成为网络安全领域中的重要研究课题。
传统的基于规则和签名的方法难以有效应对不断变化的网络攻击行为，因此基于机器学习的网络流量异常检测技术逐渐得到了广泛关注。
本文对基于机器学习的网络流量异常检测技术进行了综述，并讨论了当前存在的挑战和未来的发展方向。
1. 引言随着互联网的普及，网络攻击是一种常见且严重的威胁，网络流量异常检测成为保护网络安全的重要手段。
传统的基于规则和签名的方法无法应对越来越复杂的攻击手段，机器学习方法因其灵活性和自适应性成为了网络流量异常检测的研究热点。
本文将对基于机器学习的网络流量异常检测技术进行综述，并探讨其挑战和未来发展方向。
2. 基于机器学习的网络流量异常检测技术分类2.1 监督学习方法监督学习方法通过训练数据和已知的标签进行学习，能够检测已知网络攻击类型和异常行为。
代表性的方法包括支持向量机（SVM）、决策树和随机森林等。
这些方法在训练阶段需要标注好的数据集，并且对新的攻击类型泛化能力较差。
2.2 无监督学习方法无监督学习方法不需要标注好的数据集，可以自动发现网络中的异常行为和未知的攻击类型。
聚类算法（如K-means）和异常检测算法（如LOF）是常用的无监督学习方法，但这些方法容易受到正常流量的干扰，并且检测结果的可解释性较差。
2.3 半监督学习方法半监督学习方法在监督学习和无监督学习之间进行折中，通过少量的标记数据和大量的未标记数据进行网络流量异常检测。
对于标记样本不足的情况下，半监督学习方法可以有效提高检测性能。
3. 基于机器学习的网络流量异常检测系统框架基于机器学习的网络流量异常检测系统通常包括数据预处理、特征提取、模型训练和异常检测四个主要模块。
在数据预处理阶段，需要对原始网络数据进行清洗和过滤，提高模型的鲁棒性。
特征提取是网络流量异常检测的关键步骤，常用的特征包括统计特征、流量特征和行为特征等。
基于机器学习的网络流量异常检测研究
基于机器学习的网络流量异常检测研究一、引言随着互联网的不断普及和用户数量的日益增加，网络安全问题也越来越受到重视。
网络流量异常检测是网络安全中一个非常重要的方面，可以从大量的网络数据流中分析出突发的网络攻击甚至其他异常行为。
近年来，随着人工智能领域的快速发展，基于机器学习的网络流量异常检测技术被广泛应用于网络安全中，成为网络安全领域的研究热点。
二、网络流量异常检测网络流量是指在计算机网络中传输的数据包，包含源地址、目的地址、协议类型、数据长度等信息。
在网络中，用户的数据通信、云计算应用、物联网应用等都会产生网络流量。
然而，网络流量中也可能隐藏着黑客攻击或者其他异常行为。
基于机器学习的网络流量异常检测可以对网络流量数据进行分析，从中发现异常流量。
这是一种快速检测网络攻击的有效方法，可以快速准确地发现网络安全威胁，并及时采取对策保障网络安全。
三、基于机器学习的网络流量异常检测机器学习是指使用数据和统计算法来让机器不断学习的一种过程。
基于机器学习的网络流量异常检测就是指使用机器学习算法来训练模型，然后将模型应用于网络流量数据，进行异常检测。
机器学习算法可以分为监督学习和无监督学习两类。
监督学习算法需要训练数据集和标签来训练模型，可以用来预测新数据的标签。
而无监督学习算法则不需要标签，可以自动学习数据中的模式和结构来进行异常检测。
目前，最常用的基于机器学习的网络流量异常检测算法主要有以下几种：1.数据挖掘算法数据挖掘算法可以将带标签的训练数据进行分类，从而检测流量异常。
其中，最常用的数据挖掘算法包括决策树算法、支持向量机算法等。
2.聚类算法聚类算法是一种无监督学习算法，可以将流量数据聚类成不同的类别，从而检测异常流量。
其中，最常用的聚类算法包括K-means算法、DBSCAN算法等。
3.神经网络算法神经网络算法是一种监督学习算法，可以通过对训练数据的学习来进行异常检测。
其中，最常用的神经网络算法包括感知机算法、BP算法等。
P2P流量识别技术的研究
P2P流量识别技术的研究P2P（Peer-to-Peer）流量识别技术是指通过分析网络流量数据，识别出使用P2P协议进行通信的流量。
P2P协议广泛应用于文件共享、视频流媒体等领域，但同时也为网络安全带来了一定的挑战。
因此，研究P2P 流量识别技术对于网络安全和网络管理具有重要意义。
P2P流量的特点是多源、多目的地的分布式通信模式，其与普通Web 浏览、Email通信等方式有很大的不同。
因此，传统基于端口号、IP地址等特征进行流量识别的方法在P2P流量中往往效果并不理想。
为此，一些研究者提出了基于流量行为特征、统计学方法和机器学习等技术的P2P流量识别方法。
基于流量行为特征的P2P流量识别方法主要是通过分析流量数据包的各种特征，如数据包大小、方向、间隔时间等，来区分P2P流量和非P2P 流量。
例如，P2P流量通常具有比较大的数据包大小和不规则的数据包间隔时间，而非P2P流量通常具有较小的数据包大小和规则的数据包间隔时间。
因此，通过对这些特征进行统计和分析，可以有效识别出P2P流量。
统计学方法是一种基于概率统计原理的P2P流量识别方法。
该方法通过统计流量数据包的特征分布情况，并基于统计规律来进行识别。
例如，可以统计P2P流量中数据包的大小分布、方向分布等特征，并与非P2P流量进行对比。
如果两者的特征分布存在明显的差异，那么可以通过概率统计的方法来进行流量识别。
机器学习是一种借助于算法和模型进行自动识别和分类的方法，已被广泛应用于P2P流量识别研究中。
通过利用机器学习算法和模型，可以从大量的流量数据中学习到P2P流量的特征和规律，并利用这些特征和规律来进行流量识别。
常用的机器学习算法包括支持向量机（SVM）、随机森林（Random Forest）、神经网络等，这些算法可以根据已知的样本数据进行学习和训练，并在未知的数据上进行判别和分类。
除了以上几种方法，还可以结合多种技术和方法进行P2P流量识别。
例如，可以结合深度学习技术和机器学习方法进行流量特征提取和分类；可以结合模式识别和数据挖掘技术进行P2P流量的行为分析和异常检测等等。
机器学习在P2P流量检测中的研究
（ 南京 邮 电大 学 计 算机 学 院 ， 苏 南京 ２ ００ ） 江 １０ ３
摘 要 ：２ Ｐ Ｐ流量 逐 渐成 为 了互联 网 流量 的重 要组 成 部分 ， 对 Ｉｔ ｔ 巨 大推 动 作 用 的 同 时 ， 带 来 了因 资 源过 度 占 在 ｎｅ ｍｅ 起 也
用而 引起 的网络 拥塞 以及 安 全隐 患等 问题 ， 碍 了正 常 的 网络业务 的开展 。文 中提 出 了基 于 机 器学 习的 Ｐ Ｐ流 量识 别方 妨 ２
案， 并运 用 Ｆ Ｂ （ ａｔ ｏｒｌ ｉ —Ｂ ｓｄＦｌ ｒ特征 选 择算 法 形成 了流 量特 征子集 ， 建 了机器 学 习 Ｐ Ｐ流 量识 别模 型 并 ｃ Ｆ Ｆｓ Ｃ ｒ ａｏ ｅ ｔ ｎ ａ ｉｅ） ｅ ｔ 构 ２ 对 比 了几 种 常见 的机 器学 习算法 在流 量识 别 方 面的性 能 。测 试实 验结 果表 明 ， ４ ５ 法 和贝 叶斯 网络 算 法都 适合 于 Ｐ Ｐ Ｃ ．算 ２
ｄ ｔｉａｉ ａｅ ｎｍａｈｎ ａｎｎ ． ｉ ｔ ｅＦ Ｂ Ｆ ｓ ｏｒｌｔ ｎ ａｅ ｉｅ）ｆ ｔｒ ｌ ｔ ｎａ ｏｉ ｍ ｓｄｔ ｌ ｔ ｈ ｎ ｆ ｏ ｅ ｉｃｔ ｎｂｓｄｏ ｃ ｉｅｅｒｉ Ｆｒ ｌ ｔ Ｃ Ｆ（ ａｔ ｒｅ ｉ —Ｂ ｓｄＦｌ ｒ ｅ ｕｅ ｅｅ ｉ ｌ ｒｔ ｉｕｅ ｓ ｅ ｅ ｌ ｇ ｓｙ ｈ Ｃ ａｏ ｔ ａ ｓ ｃｏ ｇ ｈ ｓ ｏｅ ｃ ｔ
流量 检 测 ， 个别 模 型达 到 了 ９ ％ 以上 的识别 率 。 其 ０ 关键 词 ： 对等 网络 ； 量识 别 ； 流 机器 学 习算 法 ； 特征 选择 中图分 类号 ：］３ ｌ １Ｐ９ 文献标 识 码 ： Ａ 文章编 号 ：６３ ２ｘ（Ｏ ０ １ — １３ ４ １７ —６９ ２ １ ）１ ０ ３ 一Ｏ
基于机器学习的低效网络流量检测技术研究
基于机器学习的低效网络流量检测技术研究网络安全已经成为越来越多企业关注的重点，而其中一个非常重要的角色就是网络流量检测技术。
在网络流量中，即使只有极少一部分受到攻击，但是它仍然可能危及整个网络安全，甚至导致业务中断。
基于机器学习的低效网络流量检测技术研究成为了众多企业的研究重点。
一、机器学习在网络流量检测中的应用近年来，随着机器学习的不断发展，越来越多的技术应用到了网络流量的检测中。
机器学习算法可以根据经验数据、自主学习网络流量的特征，来判断输入的流量是否异常。
在实际应用中，机器学习算法可以通过对训练样本的大量测试，得出一些比较确定的特征值和对应的阈值，以便当新的流量数据输入时，能够识别是否非正常流量。
而当非正常流量被发现时，机器学习算法可以发出警报并提供一些详细信息，以帮助管理员进行更进一步的分析。
二、网络流量特征值的提取在机器学习算法中，通过特征值的提取，机器学习算法能够更加准确地进行识别。
因此，对网络流量中的特征进行提取，对于机器学习算法能否发挥其优势至关重要。
在网络流量中可能存在的特征有：包括IP地址、端口号、协议类型、带宽、数据包大小、请求方式等。
这些特征值的提取要基于数据包的完整性，同时要排除因路由器等网络设备的过滤或干扰所引起的误差。
三、机器学习在低效网络流量检测中的优缺点至今机器学习算法应用于网络流量检测已有多年的时间。
在现在的网络环境下，机器学习算法已经成为了网络流量检测中非常重要的一部分技术。
当网络流量遭受攻击时，机器学习模型可以自动识别异于正常的流量，极大地提高了网络安全性。
这种基于机器学习的方法非常适用于训练数据量较大、对网络流量分析要求不高的场景。
然而，基于机器学习的方法也存在一些弊端。
一是可能会存在误报、漏报的情况，需要不断的训练模型以保证准确度。
二是由于模型的训练过程需要大量的计算资源，需要使用高性能的计算设备进行模型训练，同时还需要不断地更新和维护数据集。
基于机器学习的网络流量检测技术其实还处于不断发展和提升的过程中。
机器学习在网络流量分析中的应用研究
机器学习在网络流量分析中的应用研究在当今数字化的时代，网络已经成为了人们生活和工作中不可或缺的一部分。
随着网络技术的不断发展，网络流量也呈现出爆炸式的增长。
如何有效地分析和管理这些海量的网络流量数据，成为了网络安全、性能优化等领域的关键问题。
机器学习作为一种强大的数据分析工具，为网络流量分析带来了新的思路和方法。
网络流量分析是指对网络中传输的数据流量进行监测、收集、分析和理解的过程。
其目的是为了获取有关网络行为、用户活动、应用程序使用情况等方面的信息，以便发现潜在的问题、优化网络性能、保障网络安全等。
传统的网络流量分析方法主要依赖于基于规则的检测和统计分析，然而，这些方法在面对日益复杂的网络环境和多样化的流量模式时，往往显得力不从心。
机器学习在网络流量分析中的应用具有诸多优势。
首先，机器学习算法能够自动从大量的数据中学习和发现模式，而无需人工预先定义规则。
这使得它能够适应不断变化的网络流量特征，发现一些隐藏在数据中的潜在规律和异常。
其次，机器学习可以处理高维度的数据，能够同时考虑多个因素对网络流量的影响，从而提供更全面和准确的分析结果。
此外，机器学习还可以进行预测和分类，帮助网络管理员提前采取措施应对可能出现的问题。
在网络流量分析中，机器学习可以应用于多个方面。
其中，异常检测是一个重要的应用领域。
通过对正常网络流量模式的学习，机器学习算法能够识别出与正常模式偏离较大的异常流量，如网络攻击、病毒传播等。
例如，基于聚类的算法可以将网络流量数据分为不同的簇，那些远离正常簇的数据点就可能被视为异常。
而支持向量机（SVM）等分类算法则可以通过训练，区分正常流量和异常流量。
流量分类也是机器学习在网络流量分析中的常见应用。
不同的应用程序和服务产生的网络流量具有不同的特征，如数据包大小、传输速率、端口号等。
机器学习算法可以利用这些特征对网络流量进行分类，以便更好地进行流量管理和资源分配。
例如，决策树算法可以根据一系列的特征判断流量所属的应用类型，从而为网络服务质量（QoS）的保障提供依据。
基于机器学习的网络流量检测技术研究
基于机器学习的网络流量检测技术研究近年来，随着网络技术的高度发展，网络安全问题也日益突出。
在网络空间中，由于数据信息的大量传输和共享，网络攻击的手法也愈加复杂和隐蔽，而网络流量观测和监测技术成为了网络安全的核心。
机器学习技术的出现，使得网络流量检测技术得以进一步提升，本文就基于机器学习的网络流量检测技术进行探讨和研究。
一、机器学习技术在网络安全领域的应用机器学习技术的应用在网络安全领域已经比较广泛，比如针对已知的网络攻击样本，进行自动化学习和识别，辅助网络安全人员有效地排查和捕获网络攻击行为。
机器学习技术所利用的特征可以更为全面地反映网络攻击的行为，辅助网络安全人员识别网络攻击的类型和攻击行为。
这些都使得机器学习技术在网络安全中的应用展现出了优越性。
二、基于机器学习的网络流量检测技术的研究现状1. 机器学习算法的选择目前机器学习算法可以分为基于规则的机器学习算法和基于模型的机器学习算法两种。
前者依赖于特征工程和预先定义的规则集，后者则不需要预先定义规则集，利用统计学习方法来自动寻找特征。
在网络流量检测技术中，基于模型的算法逐渐成为主流。
其中最常用的算法有支持向量机（SVM）、神经网络（NN）、决策树（DT）、随机森林（RF）、朴素贝叶斯（NB）等。
2. 特征工程的研究特征工程在网络流量检测技术中也扮演着重要的角色。
因为网络流量的数据量大、样本分布不均，所以如何准确地提取特征是关键。
曾经有很多学者针对网络流量的特征进行了研究，比如基于端口的特征、基于流量的特征、基于时间序列的特征等。
3. 异常检测算法的研究在网络流量检测技术中，异常检测算法也是至关重要的。
在实际中，即使是相同类型的网络，其流量时刻和数据量都会有所不同。
因此，普通的分类算法常常无法检测到未知的攻击类型。
因此，异常检测不仅能够减少误报，还能够发现未知的异常行为。
三、基于机器学习的网络流量检测技术的应用前景1. 面对未知攻击的检测优势在目前的网络安全环境中，网络攻击的类型和手段复杂且不断变化，传统的网络检测方案往往无法有效拦截所有的新型攻击。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收稿日期:2009-10-01;修回日期:2010-01-11基金项目:国家自然科学基金(60973139,60773041);江苏省自然科学基金(BK2008451);省级现代服务业发展专项资金;江苏高校科技创新计划项目(CX09B -153Z,CX08B -086Z);南京邮电大学青蓝工程项目(NY206034,NY208011);江苏省六大高峰人才项目(2008118)作者简介:吴 敏(1976-),女,江苏泰州人,讲师,博士研究生,研究方向为移动代理技术、分布式计算、计算机密码学和网格计算等;王汝传,教授,博士生导师,研究方向为计算机软件、计算机网络和网格、对等计算、信息安全、无线传感器网络、移动代理和虚拟现实技术等。
机器学习在P2P 流量检测中的研究吴 敏,王汝传,蔡涛涛(南京邮电大学计算机学院,江苏南京210003)摘 要:P2P 流量逐渐成为了互联网流量的重要组成部分,在对Internet 起巨大推动作用的同时,也带来了因资源过度占用而引起的网络拥塞以及安全隐患等问题,妨碍了正常的网络业务的开展。
文中提出了基于机器学习的P2P 流量识别方案,并运用FCBF(Fast Correlati on-Based Filter)特征选择算法形成了流量特征子集,构建了机器学习P2P 流量识别模型并对比了几种常见的机器学习算法在流量识别方面的性能。
测试实验结果表明,C4.5算法和贝叶斯网络算法都适合于P2P 流量检测,其个别模型达到了90%以上的识别率。
关键词:对等网络;流量识别;机器学习算法;特征选择中图分类号:T P391 文献标识码:A 文章编号:1673-629X(2010)11-0133-04Study on Applications of Machine Learning in P2P Traffic IdentificationWU Min,WANG Ru chuan,CAI Tao tao(College of Computer,N anjing U niversity of Posts and T elecommunications,N anjing 210003,China)Abstract:P2P traffic has taken great portions in the netw ork traffic.While having a significant i mpact on the Internet,it brings serious problems s uch as netw ork congestion and traffi c hindrance caused by the excessive occupati on in the bandw idth.Proposes a P2P traffic i dentifi cati on based on machine learning.Fi rstly th e FCBF(Fast Correlation-Based Fi lter)feature selection algorithm is used to select the attribute features subset,then P2P flow s identification model is built and several machine learni ng al gorithms are compared.The result show ed that in P2P traffic identification based on machine learning algorithms ,C4.5and Bayesian netw ork was feasible and the i dentifica tion accuracy of some m odels can reach above 90percent.Key words:P2P;identification of traffic;machine learning algori thm;feature selection0 引 言随着P2P 网络[1]技术的兴起,P2P 流量逐渐成为了互联网流量的重要组成部分。
精确地识别P2P 流量对于有效地管理网络和合理地利用网络资源都具有重要意义。
但是越来越多的P2P 应用使用任意端口及采用加密的方法,使得利用端口识别和关键字检测等P2P 流量识别方法已经逐步遭到淘汰[2]。
而且,人们需要实时地识别出P2P 流量以后才能够实现对P2P 流量的控制,从而提高网络的性能。
因此有研究人员将机器学习[3,4]应用到流量识别中[5~7],将流量作为分析粒度,每个流都由一系列相同的统计特征来代表,运用机器学习算法来找出流量之间的异同从而进行分类[8,9],然而现阶段对基于机器学习的流量分类算法的评判标准还未明确。
文中使用英国剑桥大学计算机实验室的网络公开数据源[10]作为训练数据集,采用了属性选择算法FCBF 选择出适用于P2P 应用分类的最佳特征子集,并应用了4种机器学习算法对之进行测试比较,分析各种机器学习方法的结果并评估各种机器学习算法在识别P2P 流量时的性能和效果。
1 特征选择特征选择,也叫属性约简,是指在不丧失特定的应用数据原有价值的基础上去除不相关和冗余的属性,选择最小部分的属性,形成子集。
这种方式能够提高第20卷 第11期2010年11月 计算机技术与发展COM PU TER TECHNOLOGY AND DEVELOPM ENTV ol.20 N o.11Nov. 2010数据的质量,并能够加快学习的速度,特征选择是机器学习过程中的重要的一部分。
从广义上可将属性选择的算法分为过滤器(Fil t er)和嵌入方式(Wrapper)两种算法,FCBF(Fast Corre lation-based Feature Select ion)属于后者,所以在处理数据量较大的网路数据上很有优势。
一般来说,如果一个特征和某个类的相关性足够,同时它与其它任意特征的相关性又都没达到某一水平,则认为这个特征对这个类来说是好的特征。
FCBF 用对阵不确定性(Symmetrical U ncertainty,SU )作为衡量指标,利用了SU 的值来进行特征选择,SU 取值在[0,1]之间,1表示两个随机变量可以相互完全预测对方的值,0则表示两个随机变量彼此独立。
SU 的值越大,越能代表其特征的优越性越大。
SU 定义如下:SU=2IG (X |Y )H (X )+H (Y )(1)其中IG (X |Y )表示信息增益(informat ion gain )。
公式如下:IG (X |Y)=H (X )-H (X |Y )(2)H (X )表示随机变量X 的熵:H (X )=- iP(x i )log 2(P(x i ))(3)这里,P(x i )为X 单个分量的先验概率,P(x i |y j )为Y 值已知条件下X 的条件概率。
在流量识别中进行属性选择不仅能够找到最合适于流量分类的最小属性集合,也能够提高算法性能。
实验结果表明在识别的准确率上使用全部的流属性只稍微高于利用属性选择算法选择出来的属性集的准确率,但是在算法效率上后者高出很多。
因此属性选择是流量识别过程中的关键的一步。
2 应用机器学习方法识别P2P 流量2.1 应用机器学习方法识别P2P 流量的实现过程机器学习的方法一般是结合数据挖掘理论用于观测数据(样本),发现数据之间的规律,预测新数据。
应用机器学习进行流量识别时,网络流量就是样本,通过学习流量的各种属性特征而发现的规律可以预测流量属于何种应用[10~12]。
对流量识别来说,每个流都可以由一系列相同的属性特征来代表,但是这些属性值不尽相同,所以使用机器学习算法利用这些不同的属性值将网络中的流量匹配到各自应用中。
图1表明了机器学习在P2P 流量识别中的实现过程。
文中使用了FCBF 的属性选择方法从文献[3]列举的248个流量属性识别中可挑选出最适用于P2P 应用和非P2P 应用准确分类的相关属性,并去除掉不相关的属性和冗余的属性,得到一个合适的属性集,然后结合具体的机器学习算法构建出不同的模型。
最后利用不同的模型对流量进行分类,并根据分类结果分析算法的准确率和性能。
2.2 算法选择应用在流量识别中的机器学习算法通常分为有监督学习、无监督学习以及半监督学习三类。
根据文献[4],文中只研究有监督学习算法在P2P 流量检测方面的性能。
使用了最常用的4种有监督机器学习算法[8]:朴素贝叶斯(Naive Bayes,N B)、贝叶斯网络(Bayesian Networks)、朴素贝叶斯决策树(N BT ree)、决策树算法。
1)朴素贝叶斯(N aive Bayes,NB)。
朴素贝叶斯分类器是基于贝叶斯理论的。
假设每个数据样本用一个n 维特征向量来描述其mn 个属性的值,即:X ={x 1,x 2, ,x m },假定有n 个类,分别用C 1,C 2, ,C n 表示。
对一个未知类别的样本X ,先分别计算出X 属于每一个类别C i 的概率P(X |C i )P(C i ),然后选择其中概率最大的类别作为其所属类别。
2)贝叶斯网络(Bayesian Networks)。
贝叶斯网络是一种基于概率推理的图形化网络,其中贝叶斯公式是该概率网络的基础。
它是在1988年由Pearl 提出后,日渐成为近几年来研究热点。
贝叶斯网络是一个有向无环图(Directed A cyclic Graph,DAG),包括变量节点和连接这些节点的有向边。
其中变量节点代表了随机变量,有向边代表了节点间的相互关系(由父节点指向其后代节点),通过条件概率表达关系强度,对于没有父节点则用先验概率进行信息表达。
任何问题都可以用变量节点进行抽象,例如:测试值,观测现象,意见征询等。
该方法比较适用于分析和表达不确定性和概率性的事件,能够应用于有条件地依赖多种控制因素的决策,该方法能够从不完全、不精确或不确定的知识或信息中做出推理。
3)朴素贝叶斯决策树(NBT ree)。
N BT ree 结合了决策树分类器和朴素贝叶斯分类器方法。
起初是被设计用来适应大训练数据集的N BT ree,在某些数据集上的准确度已经超越了C4.5和朴素贝叶斯算法。
4)决策树算法。
决策树学习是一种归纳学习算法,以实例为基础,主要是着眼于从一组无次序、无规则的事例中推理出分类规则,并用决策树表示。
该方法通常用来形成分类器和预测模型,并且可以对未知数据进行分类或预测、数据挖掘等。