基于动态基线的业务运营支撑网异常流量检测研究
基于大数据的流量异常检测技术研究

基于大数据的流量异常检测技术研究近年来,随着互联网的高速发展以及人们对于数据的渴求,大数据技术已经成为了各个行业必不可少的一部分。
然而,随着互联网应用的广泛和网络攻击的日益增多,企业和个人日常使用的网络环境越来越不安全,网络安全问题也就成为了一个愈加严重的问题。
在众多的网络安全技术中,流量异常检测技术被广泛应用于互联网安全防护之中。
流量异常检测技术的主要任务是从网络传输中捕获流量数据,分析流量数据中潜在的异常行为,以便及时采取措施解决可能的安全问题。
那么,基于大数据的流量异常检测技术究竟是怎样发挥作用的呢?一、基于大数据的流量异常检测技术的概念流量异常检测技术指的是利用数据挖掘、机器学习、深度学习等技术,对网络数据通信流量进行分析,检测出网络中出现的通信异常,进而进行攻击及威胁评估,保证网络安全。
基于大数据的流量异常检测技术建立在传统的流量分析技术基础之上,通过对大量的网络数据进行采集、存储和分析,从中挖掘出网络中潜在的异常流量,为网络安全问题提供解决方案。
二、基于大数据的流量异常检测技术的应用基于大数据的流量异常检测技术应用广泛,常被应用于企业安全防护、网络攻击检测、恶意程序及漏洞评估等方面。
同时,大数据技术能够帮助企业发现网络流量中的异常偏差,对于保障流量的稳定性也有着极大的帮助。
在网络安全方面,基于大数据的流量异常检测技术可以帮助企业识别并预测威胁,对于网络攻击、恶意软件、漏洞利用、数据泄露等问题都具有较强的判断能力,并能够尽早对发现的问题进行解决,保证企业数据的安全性。
三、基于大数据的流量异常检测技术的原理基于大数据的流量异常检测技术的原理可以分为数据采集、数据分析、模型选择和结果判断四个环节。
在数据采集方面,基于大数据的流量异常检测技术需要使用网络欺诈检测设备来对网络中传输的数据流量进行采集,并对数据进行存储和预处理,以便后续的数据分析和处理。
在数据分析方面,由于现今网络中传输的流量数据过于庞大,单一的算法难以满足实时检测的要求,因此基于大数据的流量异常检测技术采用了分布式计算技术,通过并行计算对数据进行预处理并分类,有效提升分析效率。
基于大数据分析的网络流量异常检测模型研究

基于大数据分析的网络流量异常检测模型研究随着互联网的快速发展和普及,网络安全问题变得日益突出。
网络流量异常检测作为网络安全的重要组成部分,其研究对于及时发现和处理网络攻击具有重要意义。
基于大数据分析的网络流量异常检测模型就是为了解决这一问题而诞生的。
网络流量异常检测模型是利用大数据分析技术对网络流量数据进行实时监测和分析,以识别异常行为和攻击活动。
它基于网络流量数据的规律性和异常性,通过建立合适的模型和算法,对正常和异常网络行为进行区分和识别,从而提高网络安全性能。
首先,基于大数据分析的网络流量异常检测模型需要收集和分析大量的网络流量数据。
这些数据包含了网络中各种类型的流量,如网络包的大小、源地址和目的地址等信息。
通过分析这些数据,我们可以获得网络中的正常流量的特征,进而构建模型。
其次,大数据分析的网络流量异常检测模型需要建立适合的特征提取方法。
在大数据环境下,网络流量数据量庞大复杂,需要从中提取有效的特征以揭示潜在的攻击行为。
常用的特征提取方法包括统计学特征、时间序列分析特征、频谱分析特征等。
这些特征可以帮助识别出网络中的异常行为。
然后,基于大数据分析的网络流量异常检测模型需要建立合适的分类算法。
在特征提取之后,我们需要将网络流量数据进行分类,区分正常流量和异常流量。
常用的分类算法包括基于规则的方法、机器学习方法和深度学习方法等。
这些算法可以根据特征将网络流量进行有效分类,以及实时监测和分析网络中的异常行为。
此外,基于大数据分析的网络流量异常检测模型需要具备实时性和准确性。
网络攻击活动通常具有短暂的时间性,因此模型需要能够迅速识别出异常行为并及时采取相应的措施。
同时,模型要能够准确地识别出网络中的异常行为,避免误报与漏报。
为了提高基于大数据分析的网络流量异常检测模型的性能,我们可以采用多种方法。
首先,可以结合多种特征提取方法和分类算法,构建复合模型,以提高异常检测的准确性和鲁棒性。
其次,可以引入监督学习和无监督学习的方法,对网络流量数据进行分析和学习,以便更好地适应网络环境的变化。
网络安全中的异常流量检测与分析

网络安全中的异常流量检测与分析随着互联网的飞速发展,网络安全问题日益凸显。
网络攻击常常会导致重大的经济损失、数据泄露以及公共安全问题。
恶意攻击的手段和技术越来越高级和复杂,传统的防火墙、入侵检测等安全系统已经难以应对这些攻击。
因此,网络安全领域需要更加高效、智能的解决方案,异常流量检测与分析成为了网络安全的一个重要领域。
一、异常流量的概念和类型异常流量指网络中不符合正常流量特征的流量。
正常流量是具有一定规律性和重复性的网络数据传输,如基于HTTP协议的web访问、电子邮件传输等。
而异常流量则与正常流量相反,具有不规律、突发、高密度等特征,如DDoS攻击、僵尸网络、网络蠕虫等网络安全攻击常见的异常流量。
1. DoS/DDoS攻击DOS(Denial of Service)攻击和DDoS(Distributed Denial of Service)攻击是常见的网络攻击手段之一,旨在通过向目标主机发送大量的服务请求,引起主机的资源瓶颈,让其无法继续提供正常服务。
攻击者通过利用蠕虫、僵尸网络等方式使攻击源变得分散,加大攻击的威力和隐蔽性。
2. 网络蠕虫网络蠕虫是一种具有自我复制能力的恶意程序。
蠕虫扫描网络中的其他主机,通过利用程序漏洞传播自身。
随着蠕虫感染的主机数量增加,网络带宽消耗加大,造成网络拥塞,最终瘫痪整个网络。
3. 僵尸网络僵尸网络是一种通过感染大量的主机,将这些主机作为远程控制的终端,进行大规模的DDoS攻击等恶意活动。
通过远程控制多个僵尸主机,攻击者可以使用其合成的攻击能力来瞄准目标并执行各种攻击操作,如网络流量攻击、网络封锁、木马植入等。
二、异常流量检测的实现方法异常流量的检测可以通过以下方法实现:1. 基于流量统计方法基于流量统计方法是一种被广泛使用的异常流量检测方法,通过对网络流量进行统计和分析,识别不同类型的流量,当发生异常流量时,报警或进行相应的处理。
这种方法同样可以使用机器学习技术对大量的流量数据进行训练和分类,提高异常流量的准确性和细化程度。
基于网络流行为的异常流量检测技术的研究的开题报告

基于网络流行为的异常流量检测技术的研究的开题报告一、研究背景与意义随着互联网的迅速发展,网络攻击也日益猖獗,网络流量异常检测技术就成了企业和组织保障网络安全的重要手段之一。
传统的网络安全技术主要依靠防火墙、入侵检测系统等设备对网络流量分析,而这些设备往往需要大量的人力、物力、财力维护,同时也过于依赖规则库,无法满足复杂的攻击手法。
基于网络流行行为的异常流量检测技术可以通过分析网络流量中的正常行为,对网络流量中的异常行为进行识别和检测,从而提高对网络攻击的防护能力并降低网络安全维护成本。
因此,该技术研究具有积极的现实意义和应用价值。
二、研究内容本文将重点研究基于网络流行行为的异常流量检测技术,具体研究内容包括以下方面:1. 网络流量异常检测的基本概念和现状介绍网络流量异常检测的相关概念、流程及现状,深入探讨网络流量异常检测技术存在的问题和不足,以及需求的现实应用场景。
2. 基于网络流行行为的异常流量检测技术的研究运用机器学习、数据挖掘等技术,以网络流行行为为基础,研究如何从大量的网络流量中提取出有效的特征,并对其进行分析和建模,快速准确地识别和检测网络中的异常流量。
3. 基于深度学习的网络流行行为特征提取技术的研究利用神经网络、深度学习等技术,抽象出高维特征,从而更深入地理解和学习网络流量数据中的内在结构和规律,提高网络流量异常检测的准确率和效率。
4. 实验与应用研究阐述基于网络流行行为的异常流量检测技术的实验和应用研究,检验模型的准确性、可靠性和实用价值。
三、研究方法本研究将使用计算机网络与安全相关的理论知识,结合数据挖掘、机器学习和深度学习等技术,建立起基于网络流行行为的异常流量检测模型。
在分类器训练和网络流量数据预测过程中,采用大量的数据集进行建模,最终验证算法的准确性和可靠性。
四、拟解决的问题及预期结果本研究将针对网络安全领域中的网络流量异常检测技术问题,基于网络流行行为的异常流量检测技术进行研究,包括数据集构建、模型训练与预测、实验验证等方面。
基于深度学习的网络流量异常检测研究

基于深度学习的网络流量异常检测研究网络流量异常检测是保护网络安全的重要手段之一。
随着网络规模的不断扩大和网络攻击手段的不断进化,传统的基于规则和签名的安全防御手段已经无法满足日益增长的网络安全需求。
而基于深度学习的网络流量异常检测成为当前研究的热点和前沿技术之一。
本文将以深度学习为基础,研究并探讨基于深度学习的网络流量异常检测的相关技术和方法。
首先,我们需要了解什么是网络流量异常。
网络流量指的是在网络中传输的数据包,而网络流量异常则是指与正常网络流量行为有所不同的异常数据流。
网络流量异常通常是由于恶意攻击,网络故障或配置错误引起的。
准确检测网络流量异常对于及时阻止网络攻击和维护网络正常运行至关重要。
基于深度学习的网络流量异常检测利用深度神经网络模型来学习网络流量的正常行为和异常模式,并通过对输入数据进行分类或标记来判断流量是否异常。
深度学习通过多层非线性变换和抽象表示能力,具有对复杂模式进行高度自动识别和学习的能力,因此被广泛应用于网络安全领域。
在基于深度学习的网络流量异常检测研究中,常用的模型包括自动编码器(Autoencoder)、卷积神经网络(CNN)、长短期记忆网络(LSTM)和生成对抗网络(GAN)等。
自动编码器是一种无监督学习的神经网络模型,通过学习数据的压缩表示和解压缩重构,可以用于检测异常行为。
卷积神经网络可以提取网络流量数据中的空间和时间特征,从而实现网络流量的分类。
长短期记忆网络可以捕捉网络流量数据中的时序特征,对于依赖时间序列的网络流量异常检测具有良好的效果。
生成对抗网络通过生成虚假的网络流量数据来训练判别器模型,从而提高网络流量异常检测的鲁棒性和准确性。
此外,基于深度学习的网络流量异常检测还需要考虑数据集的选择和预处理方法。
网络流量数据集的选择要具有代表性、大规模和多样化的特点,以便使深度学习模型能够学习到更加全面准确的网络流量特征。
而预处理方法包括数据标准化、数据降维和数据增强等,可以提高深度学习模型的训练效果和鲁棒性。
基于机器学习的网络异常流量检测技术研究

基于机器学习的网络异常流量检测技术研究随着互联网的全球性发展,网络攻击事件也呈现愈演愈烈的趋势,其中网络异常流量攻击成为了重要的网络安全问题。
因此,在这种情况下进行网络安全的攻防对抗,无疑是网络安全和保密工作中所必不可少的部分。
目前,机器学习技术已经在网络安全领域得到了广泛应用,而在网络异常流量检测中更是发挥了不可替代的作用。
一、网络异常流量的概念及分类网络异常流量是指在网络运行中,由于某些外部行为、可能的错误或者故障,在流量数据中产生了异常的数据流。
虽然很多网络流量的变化是正常的,但一些数据流量的非正常变化可能暴露出恶意攻击的迹象。
没有办法为所有不同类型的流量提供一个单一的定义,但根据规律和特征的不同,几乎可以将网络异常流量分为以下类别:1. DoS/DDoS攻击:针对网络层、传输层或应用层的分布式服务拒绝攻击(DDoS)和拒绝服务攻击(DoS)将网络设施占满,导致所有网络流量都能进行干扰或阻断。
2. 公开渠道攻击:根据公开上的网络性能特点提出描述的攻击,例如TCP-SYN攻击。
3. 连接攻击:通过大量的半开放或临时进行连接,使连接的数量超过了网络设备的承受能力。
4. 恶意代码:通过系统漏洞、软件特殊制造、人员不当使用等方式入侵计算机,或者通过广告、电子邮件等方式传播病毒或病毒代码,达到窃取信息、盗取数据等目的。
5. 带宽洪泛攻击:利用网络带宽资源限制,产生大量的控制流量,占据网络资源来使备份和信息传输无法正常进行。
6. 资源消耗攻击:通过计算机资源相对消耗的方式将目标计算机资源占满,使其无法正常使用。
二、基于机器学习的网络异常流量检测技术研究随着技术的进步,目前网络异常流量检测技术主要包括基于特征分析的传统检测方法和基于机器学习的检测方法。
与传统的检测方法相比,基于机器学习的检测方法具有较高的检测效果和更为智能化的特点。
1. 基于传统方法的异常流量检测技术传统方法主要是基于计算的方法所构建的,主要通过对数据流进行统计,然后分析流量的峰值和波动情况进行判断,例如“Means+Variance”和“Standard Deviation”,然而传统方式仅仅使用数值特征来分析流量或统计分布情况而不会使用更多的特征信息,计算完毕后结果准确性相对较低。
基于网络流量行为的用户行为异常检测研究

基于网络流量行为的用户行为异常检测研究第一章:引言在今天的信息时代,网络安全已成为人们关注的热点问题。
随着互联网的快速发展,网络攻击者也越来越熟练和高科技化。
为了保护网络安全,实现快速及时的检测和响应,用户行为异常检测技术是必不可少的重要手段。
而基于网络流量行为的用户行为异常检测技术则是其中的重要研究方向。
本文将详细介绍基于网络流量行为的用户行为异常检测技术的发展现状和研究进展。
第二章:基本原理基于网络流量行为的用户行为异常检测技术,主要基于流量分析、流量识别、流量特征提取和统计分析等技术原理。
流量分析是指对网络流量的数据包进行精确、快速的分类和归纳,目的是为了分析网络中的数据流和合法节点之间的交互情况,确定网络流量特征,从中提取出用户的行为特征。
流量识别是指网络中数据流的标识和分类,目的是为了分析一个特定的数据流所承载的信息,便于进行下一步特征提取和异常检测分析。
流量特征提取是指从网络流量中提取特定的统计特征,目的是为了从众多的网络流量中提取有区分度、有代表性的特征,减少特征噪声对于异常检测的影响,提高检测准确率。
统计分析是指通过对相关统计数据的分析,建立正常流量模型并标记异常行为,以进一步实现基于网络流量行为的用户行为异常检测。
第三章:异常检测技术基于网络流量行为的用户行为异常检测技术主要有以下两种:1. 基于特征分析的异常检测技术基于特征分析的异常检测技术是利用用户的流量特征和模型库中的正常流量模型进行比对和分析,从而判断是否存在异常行为的一种技术。
当用户的流量特征与正常流量模型不符,则将其标识为异常行为。
该技术优点在于可靠性较高,但需要大量的训练数据和复杂的模型建立过程。
2. 基于行为分析的异常检测技术基于行为分析的异常检测技术则是通过对用户网络行为进行分析,从中提取出可疑行为并标识为异常行为。
该技术相较于基于特征分析的技术,不需要大量的训练数据和复杂的模型建立过程,但其精确度不及基于特征分析的技术。
网络环境下的异常流量检测与分析

网络环境下的异常流量检测与分析随着互联网的快速发展和普及,网络攻击的数量和复杂性也在不断增加。
为了保护网络安全和预防网络攻击,异常流量检测与分析成为了当今互联网安全领域的重要课题。
本文将介绍网络环境下的异常流量检测与分析的概念、方法和应用,并探讨一些常见的异常流量检测技术。
首先,什么是网络环境下的异常流量?网络流量是指在网络中传输的数据包的数量,正常流量是指在网络中传输的数据包符合一定的模式和规律。
而异常流量则是指与正常流量模式和规律不符的数据包。
异常流量的产生可能是由于网络攻击、网络故障、网络拥堵等原因导致。
异常流量的检测与分析可以帮助我们及时发现和应对网络攻击,提高网络安全性和稳定性。
异常流量检测与分析主要包括以下几个步骤:流量采集、流量预处理、异常流量检测和异常流量分析。
首先,流量采集是指通过监控网络中的数据包传输情况来收集网络流量数据。
流量预处理是指对采集到的流量数据进行清洗和处理,排除噪声和异常数据,以便于后续的分析工作。
异常流量检测是指通过比较采集到的流量数据和正常流量模式进行差异性分析,以便于判断是否存在异常流量。
异常流量分析是指对检测到的异常流量进行深入分析,确定异常流量的类型、原因和影响,并探索相应的防御和应对措施。
针对网络环境下的异常流量检测与分析,目前有许多有效的技术和方法可供选择。
其中,基于统计的方法是最常用和最经典的异常流量检测技术之一。
该方法通过对流量数据的统计分析,建立正常流量模型,并通过与实际流量数据进行比较来判断是否存在异常。
另外,基于机器学习的方法也得到了广泛应用。
这种方法通过对大量的流量数据进行训练和学习,建立流量模型,并通过与实际流量数据进行比较进行异常检测。
基于机器学习的方法具有较好的自适应性和准确性,可以有效应对复杂和多变的网络环境。
在实际应用中,异常流量检测与分析具有广泛的应用场景和重要的价值。
首先,异常流量检测与分析可以帮助网络管理员及时发现和应对网络攻击。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
基于动态基线的业务运营支撑网异常流量检测研究摘要:本文提出了一种基于动态基线的业务运营支撑网(BOSS)异常流量检测方法。
本系统克服了业务支撑网中流量分析仪固定告警阈值的诸多弊端,实现了告警系统智能化,为维护人员提供真实可靠的业务支撑网网络流量告警。
此外,三级预警机制,使维护人员更清晰、更有效地掌握告警的严重性程度,降低了由于异常网络流量带来的系统风险。
关键字:动态基线、网络流量、临界基线、分级告警0 引言随着互联网技术的发展,基于互联网的各种应用已经深入人们的日常生活,给人们的生活方式带来了巨大的变化,但同时也带来了很多安全隐患。
目前,网络异常流量的检测机制总体来说可以归纳为三种类型:基于流量大小的检测、基于数据包特征的检测和基于网络带宽动态基线的检测。
每种机制都有其自身的特点,在一定程度上都有较高的检测效率,但是也都有自身的不足。
基于流量大小的检测,提出了基于熵值的检测方案,这种检测方案以Shannon信息论中的熵值度量网络流量中的数据包属性的随机性,根据随机性强度的大小检测异常流量的发生,这种方法具有较高的实时性,但是这种方案关于熵值大小的阈值需手动设置,无法根据网络状态自行调整,不同时段、不同链路的网络流量,具有不同的波峰、波谷,单一临界值无法有效界定异常的流量,从而无法有效检测。
基于数据包特征的检测,从网络流量找出符合特征的数据包,使用这种异常流量监测方案,我们必须事先知道每一种异常流量的特征,并为每一种特征开发专属的监测程序。
由于异常流量数据包的种类越来越多,对BOSS网络维护人员而言,不停的添加异常流量特征监测程序将带来沉重的负担,管理方式的延展性差。
另一方面,新型的异常数据包特征出现初期,其特征尚未被了解,导致异常流量监测程序的失效,无法有效检测。
根据业务支撑网的特点,提出了一种利用动态基线分析网络进出带宽所占比率的监测方案,此方案根据平时对网络正常流量建立基本的基线资料,判断突然偏离基线的网络流量,进而找出网络中的异常流量。
1 固定阈值检测缺陷分析BOSS网络中的流量分析设备有一定的流量告警功能,其告警基线为固定阈值,告警效率低,漏报率和误报率高,告警结果无法为维护人员提供有效网络流量信息,如图1。
具体表现如下:1)告警阈值需手工设置,缺乏智能化变更:维护人员的经验对阈值设置起关键作用,系统风险大监控对象流量特征各不相同,阈值设置难度大监控对象众多,维护人员工作量大2)固定告警阈值,缺乏根据忙闲时调整的动态告警阈值:固定告警阈值设置较大,只对流量波峰有意义,而其他时段的流量处于失控状态固定告警阈值设置较小,无法满足波峰的状态告警,则峰值流量长时间处于告警状态,失去告警意义3)缺乏科学全面的分级告警机制:告警阈值单一漏报率和误报率很高,无法为维护人员提供可靠流量信息图1 固定阈值告警图网络流量监控告警是BOSS网络流量管理工作的重点之一。
异常网络流量告警,不仅为系统平台维护人员提供了判断系统健康度的重要依据,更为业务支撑网平稳运行提供了有力保障。
固定阈值的模式承担着BOSS网络所有网络流量的告警判别,造成了无法有效告警的弊端,运维风险很大,高漏报率和高误报率让运维工作难以应对。
因此,基于动态基线的异常网络流量智能化侦测是一个重要需求,包括对动态告警基线的建立和更新,以及科学的分级告警机制等。
2 动态基线检测基线分析是将一天分成多个时段并将每天相同时段的正常流量计算其平均值,这些连续不同时段的流量平均值便形成了流量基线;基线反映了网络正常行为下所呈现的流量变化趋势,是一项重要的流量指标。
而一旦网络中有异常流量发生,将直接反映于流量变化上。
利用每五分钟的各路由器、各链路、各应用服务的正常流量建立各自的流量基线,同时将网络流量与相同时段的基线值进行分析与比较,便可筛选出网络中的异常流量。
本系统利用Snmp、NetFlow网络流量监测工具,以其网络对象、时间、流量三个维度建立网络流量基线过滤与基线偏离的流量,从而找出可能的异常流量节点。
使用动态基线侦测方案,维护人员无须为每一异常流量数据包特征寻求或自行开发专属的侦测程序,且在新型异常特征流量开始感染发作之际,此方案便能发挥作用,提供维护人员重要的流量异常报警信息,能够有效协助计费人员尽早侦测和发现网络中的异常。
为了更清楚的说明如何进行网络流量基线分析,以图2以及图3为例解释如何利用动态基线监测异常流量。
首先根据不同时间段正常的网络平均流量建立动态基线(图2中的黑线),然后根据被测时刻历史数据的统计值与动态基线值的偏离程度建立动态临界线(图2中的蓝线),当某一时间段的流量超过了临界线,我们判定此时段为流量异常之时段。
图2中的红色水平虚线则是传统的流量异常监测所使用的固定临界线。
图2 动态基线示意图图3 网络流量与动态基线的比较示意图图3显示针对实际流量进行异常监测时,有些网络尖峰时段的正常流量高于固定临界值而被误判为异常流量,使用以基线为基础的动态临界机制,网络尖峰所造成的正常流量增加仍然低于临界值。
如图所示,与流量基线明显偏离的时段(如图3所标示三处)才会被视为异常流量。
3系统架构在综合考虑基线设计要点以及BOSS网络流量分析系统的设计原则,我们选定了利用动态基线分析网络进出带宽所占比率的检测方案,除了根据不同的时段从Snmp、NetFlow收集流量记录,还包括以下几个工作流程来完成我们的动态基线分析监测程序:(1)决定基线分析的对象与单元;(2)计算对象的基线值;(3)制订动态分级告警规则;(4)说明受感染网络的异常流量的大小强度、持续时间以及部分异常流量细节。
3.1 决定基线分析的对象与单元利用动态基线分析网络的异常流量,必须确定动态基线适应的对象,其必须满足网络流量具有一定的规律,基线分析的对象可以为用户比较关心的关键业务应用、路由器的出口链路以及某个重要部门的地址网段等。
从Snmp、NetFlow的流量记录中可以获得网络每天不同时段的流量,但我们尚需决定是否用网络流量作为基线分析的对象。
网络流量包含的封包数目(Packets)以及字节数(Bytes),异常流量的表现方式是发送大量的封包,且网络流量也会增加。
因此使用网络进出流量所占带宽比率建立基线比较容易监测异常流量的发生。
3.2 计算对象的基线值对于BOSS网络来说,其网络流量是由一群具有集体相似行为的组织成员所贡献。
随着组织成员的作息,网络流量通常会以一天为周期呈现规律性变化,或有明显的波峰波谷分布情况。
因此我们将每一天分成多个时段,假设y为今日时为至昨天为止的此时段的基线值,经过今日此时段段的正常情况的流量,而b1之后,新的基线值b更新如下:b = a * y + (1 – a) * b其中,0 < a < 1 (1)1a代表今日此时段的网络流量在基线中所占的比重,如果我们只针对周一至周五的网络流量进行基线分析,我们可以直觉的将a设为0.2即(1/5),意味着则代表五天之中前四天的加权平均。
y代表一周五天统计的其中一天的流量,b1事实上,a用于上述公式的加权平均是反映我们对最近一次流量的重视程度,这可使b很快的反映最近的正常网络流量变化,在进行基线值b更新计算时,我们必须首先确定y是正常流量的统计值,如果此时段的流量是异常流量,则不进行基线值b的更新。
由于基线值b将被用来作为判断流量是否正常的依据,所以在流量基线的计算初期,由于统计资料尚不够多,b值不具有一定的代表性,此时若使用基线值b筛选正常流量,很有可能将正确的流量y视为异常,而无法将y 反映至基线值b中,导致b本身的计算不正确,进而影响往后的异常监测和基线更新。
因此在流量基线计算初期应先搜集一段时间正常的网络流量,然后利用此时间段的y值建立正确的基线值b。
3.3 制订动态分级告警规则由于网络流量存在波峰与波谷,且根据流量告警分级制,每一个告警状态都是一个区域范围,只要在区域内,就适用相应的分级。
因此,单纯用动态基线值b来判断流量是否异常,会产生一定的误差,造成较多的异常流量信息的误报。
于是,我们制定了动态临界区域,进行网络流量分级告警,具体如下:假设前t天与待检验相同时刻的历史流量y1,y2,y3,……,yt为样本,则待检验流量与基线的偏离程度可表示为:(2)其中,b由式(1)表示,且下一时刻实际流量值为yt+1则有:当时:网络状况正常,下一时刻网络流量值相对动态基线的偏差在允许范围内。
当时:产生初级告警,下一时刻网络流量值相对动态基线有较小偏差。
当时,产生中级告警,下一时刻网络流量值相对动态基线有较大偏差。
当时,产生高级告警,下一时刻网络流量相对动态基线有很大偏差。
3.4说明流量异常的信息当某一时段的流量超过特定动态临界值时,该时段会被系统标示为异常时段,针对异常时段我们可以进一步分析该时段的NetFlow记录,找出可能出现问题的主机,一个被攻击的主机或者受到感染的主机会引起网络流量过多或过少,因此在NetFlow中会留下多笔流记录。
我们采用三个步骤来辨别异常流量的来源,分别是(a)计算流量偏离值;(b)依据NetFlow的流量进行主机排序;(c)累计主机的流量值至偏离值找出异常的主机。
(a)计算流量偏离值,是指此异常时段的流量与基线值间的距离,假设异常时段的流量偏离值为f,则此时段的流量偏离值为:f =| y – b | (3)f代表了异常流量所带来的流量偏差值,f越大则表示异常的强度越大,受感染的主机数目越多。
(b)根据NetFlow的流量排序,贡献较多流量偏差的主机,较可能是产生异常流量的主机,因此我们从NetFlow中将该异常时段的各相同主机的流量值相加,并根据相加结果进行递减排序,显示所有流量从高到低排列的主机名单。
(c)累计至偏离值找出异常主机:步骤(b)执行后所列出的主机排名中,前几名最有可能产生异常流量,我们可以推测偏离值f主要是由排列于名单前面的主机所造成,因此我们将名单中前n个主机的流量相加,当n为最小使得主机流量总合超过偏离值f时,即找到了异常流量增大的主机群。
另外,根据比对排名后n个主机的历史网络流量与异常时段流量,参考流量偏差值,亦可找出异常流量减少的主机群。
综上,可根据以上分析步骤,得出异常流量的持续时间、大小强度、以及相关主机特征,为最后确定产生异常流量的主机提供可靠依据。
3.5 优化后效果图4 业务支撑网流量图图4为业务支撑网中某端口一天的流量图。
其中,阴影部分为动态基线覆盖范围,超出阴影部分的流量即为异常流量。
异常流量告警由业务支撑网运营管理系统(BOMC)通过短信网关下发短信,通知维护人员相关告警内容。
4 结论通过对异常网络流量检测方法的动态基线改造,维护人员对业务运营支撑网中各安全域网络流量告警有了更具体、更精确的把握。