基于熵的流量分析和异常检测技术研究与实现

合集下载

基于特征属性信息熵的网络异常流量检测方法

基于特征属性信息熵的网络异常流量检测方法刘奕1，李建华1，张一瑫2，孟涛1（1.空军工程大学信息与导航学院，西安 710077；2.空军工程大学职业教育中心，西安 710038）摘要：针对网络异常流量检测问题，文章提出一种基于网络流量特征属性信息熵的异常流量检测方法。

该方法首先计算描述网络流量特征变化的源端口号、目的端口号、源IP地址和目的IP地址这4种特征属性信息熵，并进行归一化处理，降低异常样本数据对分类性能的影响；然后利用自适应遗传算法对支持向量机分类器的惩罚参数和核函数参数进行优化，提高分类器泛化能力，同时改进遗传算法的交叉算子和变异算子，减少支持向量机分类器的训练时间；最后通过训练好的支持向量机分类器识别4种流量特征属性信息熵的变化以实现网络异常流量检测。

仿真实验表明，该方法提取的4种流量特征属性信息熵能够有效表征异常流量变化，在多种异常流量类型条件下，具有较高的异常流量识别率和较低的误判率，且检测方法的鲁棒性较好。

关键词：信息熵；异常流量检测；支持向量机；参数优化中图分类号：TP309 文献标志码： A 文章编号：1671-1122（2021）02-0078-09中文引用格式：刘奕，李建华，张一瑫，等.基于特征属性信息熵的网络异常流量检测方法[J].信息网络安全，2021，21（2）：78-86.英文引用格式：LIU Yi, LI Jianhua, ZHANG Yitao, et al. Network Abnormal Flow Detection Method Based on Feature Attribute Information Entropy[J].Netinfo Security, 2021, 21(2): 78-86.Network Abnormal Flow Detection Method Based on FeatureAttribute Information EntropyLIU Yi1, LI Jianhua1, ZHANG Yitao2, MENG Tao1(1. Information and Navigation College, Air Force Engineering University, Xi’an 710077, China;2. VocationalEducation Center of Air Force Engineering University, Xi’an 710038, China)Abstract: Aiming at the problem of network abnormal flow detection, this paper proposes an abnormal flow detection method based on network flow feature attribute informationentropy. This method firstly calculates the four feature attribute information entropies of sourceport number, destination port number, source IP address and destination IP address whichdescribe the change of network flow feature. At the same time, normalization is performed toreduce the impact of abnormal sample data on classification performance. Then, the adaptivegenetic algorithm is used to optimize the penalty parameters and kernel function parametersof the support vector machine classifier to improve the generalization ability of the classifier.收稿日期：2020-09-01基金项目：国家自然科学基金[61871396]作者简介：刘奕（1983—），女，江苏，博士研究生，主要研究方向为网络安全；李建华（1965—），男，陕西，教授，博士，主要研究方向为空天信息网络系统规划建设；张一瑫（1983—），男，陕西，讲师，硕士，主要研究方向为无线电通信与导航；孟涛（1967—），女，江苏，副教授，硕士，主要研究方向为通信对抗技术。

基于信息熵的网络流量分析研究

基于信息熵的网络流量分析研究网络流量分析是网络安全领域中极为重要的一项技术。

通过对网络数据包的分析，可以对网络中的异常流量、攻击行为等问题进行检测和排查，帮助网络管理员及时发现问题并采取相应的措施保证网络安全。

信息熵是一种常用的信息度量工具，可以用于评估网络数据包的复杂程度和随机性，从而分析网络流量特征。

本文将介绍基于信息熵的网络流量分析研究。

一、网络流量分析的意义随着互联网的发展，网络攻击的威胁也日益严重。

黑客不断利用各种漏洞和攻击手段进行攻击，窃取账号密码、非法访问、垃圾邮件等行为不断出现。

这些攻击行为给网络安全带来了极大的威胁，为了保障网络安全，网络流量分析就变得尤为关键。

通过对网络数据包的分析，可以发现和定位网络中的异常数据流，识别并定位攻击威胁，从而采取相应措施保护网络安全。

二、信息熵在网络流量分析中的应用2.1 信息熵的基本概念信息熵是信息学中的一个基本概念，用来度量信息的不确定性和随机性。

熵越大，信息的不确定性越大，信息越随机。

网络数据包也具有一定的随机性和复杂性，因此可以通过信息熵对网络数据包进行分析。

2.2 信息熵在网络流量分析中的作用网络数据包的信息熵可以反映其复杂度和随机性，因此可以用来区分不同类型的网络流量。

例如，大多数应用层协议的网络流量具有较高的熵值，而PING、ARP等协议的流量则较为规则，熵值较低。

因此，可以通过对网络数据包的熵值分析，对网络流量进行分类，并发现网络中的异常流量。

2.3 示例分析下面以一个简单的示例来说明信息熵在网络流量分析中的作用。

假设有如下两组网络数据包：流量A：00 11 22 33 44 55 66 77 88 99 AA BB CC DD EE FF流量B：11 22 44 55 66 77 99 AA BB CC DD FF EE 00 33 88通过计算两组数据包的信息熵，可以得到如下结果：流量A的信息熵为3.99流量B的信息熵为4.00可以发现，流量B的熵值略高于流量A，这意味着流量B的复杂度和随机性略高于流量A。

基于信息熵的网络流量分析与安全检测

基于信息熵的网络流量分析与安全检测随着网络技术的飞速发展，互联网已经成为了我们日常生活以及工作中不可缺少的一部分，我们需要借助网络来完成很多事情，比如打开网页浏览资讯，通过网络购物、聊天、工作等等。

然而，网络的使用也带来了一些潜在的安全风险，如网络病毒，黑客攻击等等，这些安全问题需要我们加强网络安全检测。

网络流量分析与安全检测已经成为信息安全领域非常重要的一部分，可以通过对网络流量的分析来发现和防范网络攻击，保护网络的安全。

信息熵在网络流量分析与安全检测中是一种很常见的分析方法。

信息熵的概念来源于热力学，是一个度量物理系统乱度的物理量，可以用来描述信息的随机程度。

在计算机科学中，信息熵被用来衡量各种消息及其概率分布的信息量，即用来衡量消息是否重要的指标。

信息量越大，熵值就越大，反之亦然。

在网络流量分析与安全检测中，信息熵可以用来分析流量的统计规律，可以发现网络流量中大量不同的特征组合，例如源地址，目标地址，协议类型，端口号，数据包大小等等。

通过计算这些组合的信息熵，可以了解流量的统计规律，进而提高网络的安全性。

在网络流量分析与安全检测方面，信息熵有以下应用：1. 网络流量分析信息熵可以用来分析网络流量的分布情况，例如对某一特定IP地址的流量进行分析，可以计算流量数据包的大小分布、端口号分布等等，通过这些信息可以分析出该IP地址的网络使用情况，从而可以进行针对性的优化。

2. DDoS攻击检测DDoS（分布式拒绝服务攻击）是一种常见的网络攻击形式，通过大量的恶意流量向目标服务器发起攻击，导致服务无法正常运行。

信息熵可以用来检测DDoS攻击，因为攻击流量的统计规律与正常流量有所不同，可以通过计算信息熵来判断流量是否属于DDoS攻击。

3. 木马攻击检测木马是一种常见的网络安全威胁，通过植入恶意代码实现对目标系统的控制和监控。

信息熵可以用来检测指向控制服务器的恶意流量，因为该类流量有时会带有加密头部，难以通过其他方法进行检测。

基于熵值检测的网络异常流识别

基于熵值检测的网络异常流识别网络异常流是指在网络通信中出现的与正常流量行为不符的数据流。

它可能是网络攻击或故障的表现，对网络安全和性能产生严重影响。

因此，网络异常流的识别和监测是网络管理和安全维护的重要任务之一。

为了准确地识别网络异常流，熵值检测成为一种广泛应用的方法。

熵值是信息论中的概念，用于度量数据集合的不确定性和随机性。

在网络流量分析中，熵值可以揭示流量的规律性和异常性。

一、熵值检测原理熵值检测基于信息熵的概念。

信息熵是信息论中度量信息量的一种方法，表示信息的不确定性。

在网络流量分析中，信息熵可用于度量数据流的随机性和规律性。

正常网络流量通常具有较低的熵值，而网络异常流则具有较高的熵值。

为了实现熵值检测，首先需要对网络流量数据进行采样和处理，以获取所需的特征。

常见的特征包括数据包大小、传输协议、源和目的IP地址等。

然后，通过计算数据流的熵值，可以得到该流的随机性程度。

根据事先设定的阈值，将熵值较高的流标记为异常流。

二、熵值检测的优势相比其他方法，熵值检测具有以下优势：1. 适用性广泛：熵值检测不依赖于特定网络协议或应用场景，适用于各种类型的网络环境。

2. 实时性强：由于熵值计算是基于数据流特征的累积统计，因此可以实时进行异常流识别。

3. 鲁棒性高：熵值检测对于网络流量的变化和背景噪声具有较强的鲁棒性。

三、熵值检测的应用熵值检测在网络异常流识别中具有广泛应用，下面介绍几个常见的应用场景：1. DDoS攻击检测：分布式拒绝服务（DDoS）攻击是网络安全的主要威胁之一。

熵值检测可以通过监测流量的熵值，及时发现DDoS攻击的异常流。

2. 僵尸网络识别：僵尸网络是黑客利用恶意软件控制大量主机进行攻击或传播的网络。

通过熵值检测，可以识别出僵尸网络中的异常流，从而有效阻止攻击行为。

3. 网络故障监测：网络故障可能导致流量的异常行为。

通过熵值检测，可以及时发现网络中的故障流量，并采取相应措施进行修复。

四、熵值检测的挑战和改进虽然熵值检测在网络异常流识别中取得了一定的成果，但仍面临以下挑战：1. 大数据处理：网络流量数据呈现指数增长趋势，导致熵值检测算法在处理大规模数据时效率低下。

基于机器学习的网络流量分析与异常检测

基于机器学习的网络流量分析与异常检测网络流量分析与异常检测是当今网络安全领域中的重要研究方向，它可以帮助企业和组织实时监测和检测网络中的异常活动，以及恶意攻击行为。

传统的网络流量分析方法通常只基于特定规则和模式进行检测，对于新型的网络攻击往往无法准确识别。

而基于机器学习的网络流量分析与异常检测则可以通过训练算法，自动识别和学习网络流量中的正常行为模式，并检测出不符合正常模式的异常行为。

本文将重点介绍基于机器学习的网络流量分析与异常检测的原理、方法和应用。

一、网络流量分析的背景与意义网络流量分析是指对网络中的数据包进行捕获、解析和处理，以获取有关网络流量特征的信息。

通过对网络流量的分析，可以获得网络中的通信行为、协议使用情况、带宽利用率等信息，对于网络性能优化、安全检测等方面具有重要意义。

而异常检测则是对网络流量中的异常活动进行识别和定位，帮助企业和组织及时发现并处理网络攻击行为。

二、基于机器学习的网络流量分析与异常检测方法1. 数据预处理在进行网络流量分析和异常检测之前，首先需要对原始网络数据进行预处理。

这包括数据清洗、特征提取和数据标准化等步骤。

数据清洗主要是去除噪声数据和无效信息，确保数据的有效性和准确性。

特征提取则是从原始数据中提取出具有代表性的特征，用于后续的建模和分析。

数据标准化则是将不同尺度和数值范围的特征统一到相同的数值范围内，避免特征之间的差异影响模型训练的效果。

2. 特征选择与构建特征选择是在众多的网络流量特征中选择出最具有代表性和重要性的特征，用于构建机器学习模型。

通常可以利用统计方法、信息熵等技术进行特征选择。

在特征选择的基础上，还可以通过特征构建来创建新的高级特征，以提高模型的准确性和表现能力。

3. 模型训练与评估基于机器学习的网络流量分析与异常检测需要通过训练算法建立模型，并对模型进行评估和优化。

常用的机器学习算法包括支持向量机（SVM）、朴素贝叶斯（Naive Bayes）和深度学习等。

基于信息熵的通信网络流量异常监测系统

1 通信网络流量异常监测系统硬件配置优化
当前网络技术飞速发展，通信网络的应用越来越广泛。人们对网络的依赖性日益增强，因此通信网
收稿日期：2020-09-14 基金项目：郑州工业应用技术学院 2018 年专科教学改革试点基金项目 - 计算机应用技术（201808）；2019 年郑州工业应用技术学院教育教学改革研究与实践项目（JG190230）。作者简介：尹光花（1990-），女，河南固始人，硕士，助教，主要研究方向为大数据；
一般来说，网络异常是指网络运行状态与正常状态发生偏差。由于网络流量异常具有加速扩散的特征，因此需要及时对其进行监控。针对不同粒度、类型以及传输时间的网络流量，需要对其进行划分，以提高监测效率 [3]。在监测具体线路和节点时，应设置相应的指标。采用上下法能有效提高指标的最大值和最小值，并通过计算得出平均值。设定通信处理中心的 IP 地址，并按 10 b/s 的频率定期向 IP 地址报告通信数据，包括通信源 IP、通信源端口以及通信源的协议类型。通信网络终端每次更新通信源和通信包
2.Business School，Shengda College of Zhengzhou，Zhengzhou 450000，China）
Abstract：In order to solve the problem of low accuracy of traditional system for mobile communication network traffic monitoring，a communication network traffic anomaly monitoring system based on information entropy is designed，and the software and hardware of the system are optimized. The hardware part includes communication network traffic data acquisition module，communication network traffic feature monitoring module and communication network traffic feature display module，which can ensure the performance of the system. The software part realizes the abnormal monitoring of communication network traffic mainly by optimizing the network traffic setting threshold， monitoring effect and data statistics results. Experiments show that the system can effectively improve the accuracy of abnormal traffic monitoring in communication network，and has high practical value.

基于熵的网络异常流量检测研究综述

Ａｂｓｔｒａｃｔ：Ｉｔｉｓａｎｅｓｓｅｎｔｉａｌｍｅａｎｓｔｏｄｅｔｅｃｔａｎｄａｎａｌｙｓｉｚｅｔｈｅａｂｎｏｒｍａｌｎｅｔｗｏｒｋｔｒａｉｃｆｉｎｎｅｔｗｏｒｋｓｕｐｅｒｖｉｓｉｏｎ．Ａｎｄｉｔｉｓ
摘
要：网络流量异常检测及分析作为一种重要的网络监管控制手段，是网络及安全管理领域的重要研究内容．
本文探讨了网络异常流量的种类，简述了基于传统的异常检测方法在网络异常流量检测中的应用以及存在的问题．针对基于信息熵、相对熵、活跃熵等熵值理论在网络异常流量检测中的研究，阐述了基于熵值理论的异常检测在国内外的研究进展情况．总结了当前基于熵值理论的异常检测研究工作中存在的问题及改进方向．关键词：网络安全；异常检测；异常流量；熵理论；信息熵
计算机系统应用
ｈｔｔｐ：ｆ｝ｗ．ｃ－Ｓ－ａ．ｏｒｇ．ｃｎ
２０１７年第２６卷第６期
基于熵的网络异常流量检测研究综述①
李蕊，张路桥，李海峰，刘恺
（成都信息工程大学信息安全工程学院，成都６１００００）
ＳｕｒｖｅｙｏｆＥｎｔｒｏｐｙ — ＢａｓｅｄＮｅｔｗｏｒｋＴｒａｆ！ｆｉｃＡｎｏｍａｌｙＤｅｔｅｃｔｉｏｎＭｅｔｈｏｄｓ
ＬＩＲｕｉ，ＺＨＡＮＧＬｕ－Ｑｉａｏ，ＬＩＨａｉ－Ｆｅｎｇ，ＬＩＵＫａｉ

一种SDN中基于熵值计算的异常流量检测方法

ｈｅｔＳＤＮｄａｔａｐｌａｎｅｅｎｔｉｔｙｆｏｒａｎａｌｙｚｉｎｇ．Ｔｈｅａｔｔａｃｋｓｃａｎｂｅｄｅｔｅｃｔｅｄｂａｓｅｄｏｎｔｈｅｅｎｒｔｏｐｙｖａｉｒａｔｉｏｎｏｆｔｈｅｉｄｅｎｔｉｉｆｅｒ
ＡｎＥｎｔｒｏｐｙＢａｓｅｄＡｎｏｍａｌｙＴｒａｉｃｆＤｅｔｅｃｔｉｏｎＡｐｐｒｏａｃｈｉｎＳＤＮ
ＷａｎｕＨｕａｃｈｕｎ，ＣｈｅｎＪｉａ，ＺｈａｎｇＨｏｎｇｋｅ
研究与开发
一
种ＳＤＮ中基于熵值计算的异常流量检测方法
王铭鑫。周华春，陈佳，张宏科
（北京交通大学电子信息工程学院北京１０００４４）
摘要：软件定义网络（ｓｏｆｔｗａｒｅｄｅｉｆｎｅｄｎｅｔｗｏｒｋｉｎｇ，ＳＤＮ）是一种新型网络创新架构，其分离了控制平面与转发
到的网络异常情况，安全中心通过与ＳＤＮ控制器的接口通告ＳＤＮ控制器上的安全处理模块，进行流表策略的
下发，进而缓解网络异常行为。通过本系统可以在不影响ＳＤＮ控制器性能的情况下，快速检测网络中的异常
平面，使得网络管理更为灵活。借助ＳＤＮ控制与转发分离的思想，在ＳＤＮ基础上引入一个集中式安全中心，在数据平面设备上采集数据，用于对网络流量进行分析，通过熵值计算和分类算法判断异常流量行为。对于检测

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ｌｙａｄｅｔｅｃｉｔｏｎｔｅｃｈｎｏｌｏｇｙｂｓｅａｄｏｎｊｏｉｎｔ－ｅｎｔｒｏｐｙｉｓｍｏｒｅｅｆｃｔｅｉｖｅ，ｎｄｔａｈｅｎａｖａｌｉｄａｎａｌｙｓｉｓｏｆｉｄｅａｓｔｏｄｅｔｅｃｔｈｅａｔｎｏｍａｌｙｏｆｒｔａｆｉｆｃｉｓｐｒｏ
崔锡鑫，苏伟，刘颖
（北京交通大学电子信息工程学院，北京１０００４４）
摘要：随着互联网的飞速发展，网络安全问题受到越来越多的关注。作为一种重要的网络监管控制手段，流量异常检测
技术也越来越受到人们的重视。目前流量异常检测方法有很多，基于熵的流量异常检测是近几年研究较多的一种方法。文中在基于熵的流量异常检测的基础上，先对两种算法进行编程实现，即基于信息熵的流量异常检测算法和基于联合熵的流量异常检测算法，而后对这两种算法进行实验测试与分析比较，结果表明基于联合熵的流量异常检测可以更为有效
地检测出异常。同时根据分析结果，提出一种有效的检测流量异常的分析思路。关键词：异常检测；熵；联合熵
中图分类号：ＴＰ３０９文献标识码：Ａ文章编号：１６７３ — ６２９Ｘ（２０１３）０５ — ０１２０ — ０４
ＣＵＩＸｉ－ｘｉｎ，ＳＵＷｅｉ，ＬＩＵＹｉｎｇ
（ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｏｎｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００４４，Ｃｈｉｎａ）
第２３卷
第５期
计算机技术与发展
ＣＯＭＰＵＴＥＲＴＥＣＨＮＯＬＯＧＹＡＮＤＤＥＶＥＬＯＰＭＥＮＴ
２０１３年５月
Ｖｏ１．２３Ｎｏ．５Ｍａｖ．２０１３
基于熵的流量分析和异常检测技术研究与实现
ａｒｅｐｒｏｇｒａｍｍｉｎｇｒｅａｌｉｚｅｄｉｎｔｈｉｓｐａｅｒｐ，ｈｅｔｎｍａｋｅａｎｅｘｅｒｐｉｍｅｎｔａｌｔｅｓｔｎｄａａｎａｎｌｙｓａｉｓａｃｃｏｒｄｉｎｇｔｏｔｈｅｔｗｏｗａｙｓ．Ｉｔｓｈｏｗｓｔｈａｔｔｈｅａｎｏｍ—
ｙｅａｒｓ．Ｆｉｒｓｔｔｈｅｎｏａｍａｌｙｄｅｔｅｃｉｔｏｎｔｅｃｈｎｏｌｏｇｙｂａｓｄｅｏｎｉｎｆｏｒｍａｉｔｏｎｅｎｒｔｏｐｙｎｄａｈｅｔｎｏａｍａｌｙｄｅｔｅｃｔｉｏｎｔｅｃｈｎｏｌｏｇｙｂｓｅａｄｏｎｊｏｉｎｔ－ｅｎｔｒｏｐｙ
ｏｆｎｅｔｗｏｒｋｍｏｎｉｔｏｉｎｒｇａｎｄｃｏｎｔｒｏｌ，ｈｅｔｒｔａｆｉｃｆｎｏａｍａｌｙｄｅｔｅｃｉｔｏｎｔｅｃｈｎｏｌｏｇｙｈａｓｂｅｅｎｒｅｌｉａｚｉｎｇｍｏｒｅｉｍｐｏｒｔａｎｔｂｙｐｅｏｐｌｅ．Ｎｏｗｈｅｔｒｅａｒｅ
Ａｂｓｔｒａｃｔ：ＷｉｔｈｈｅｔａｐｒｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆＩｎｔｅｒｎｅｔ，ｈｅｔｎｅｔｗｏｒｋｓｅｃｕｒｉｔｙｒｅｃｅｉｖｅｓｍｏｒｅａｎｄｍｏｒｅａｔ￣ｎｉｏｆｎ．Ａｓｏｎｅｏｆｈｅｔｉｍｐｏｒｔａｎｔｍｅｎｓａ
Hale Waihona Puke ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３ — ６２９Ｘ．２０１３．０５．０３１
ＲｅｓｅａｒｃｈａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＴｒａｉｃｆＡｎａｌｙｓｉｓａｎｄＡｎｏｍａｌｙＤｅｔｅｃｔｉｏｎＴｅｃｈｎｏｌｏｇｙＢａｓｅｄｏｎＥｎｔｒｏｐｙ
ｍａｎｙｗａｙｓｔｏｄｅｔｅｃｔｈｅｔｎｏａｍａｌｙｏｆｈｅｔｒａｔｉｃ，ｆｎｄａｈｅｔｎｏａｍａｌｙｄｅｔｅｃｉｏｔｎｔｅｃｈｎｏｌｏｇｙｂｓｅａｄｏｎｅｎｔｒｏｐｙｉｓｎａｉｍｐｏｒｔａｎｔｍｅａｎｓｉｎｒｅｃｅｎｔ