骨干网网间流量安全监测研究
网络防护中的网络流量监测与分析方法(二)

网络防护中的网络流量监测与分析方法随着互联网的快速发展,网络安全问题日益凸显。
网络攻击、黑客入侵等威胁时有发生,给个人和企业的信息资产造成了严重的威胁。
为了保障网络的安全,网络流量监测与分析成为了不可或缺的一环。
网络流量监测是指对网络中传输的数据进行实时监控和分析的过程。
通过对网络流量的监测,可以及时发现异常的网络流量行为,进而采取相应的措施保护网络安全。
下面将介绍几种常见的网络流量监测与分析方法。
一、基于状态的流量监测与分析方法基于状态的流量监测与分析方法是通过对网络流量的状态进行实时监测和分析来判断网络的安全状况。
主要包括以下几个方面:1.流量的统计分析:通过对网络流量的统计分析,可以获得网络的整体流量情况,识别出异常的流量行为。
2.异常流量检测:通过对网络流量的变化趋势进行监测和分析,可以发现异常的流量行为。
比如,当数据包的数量超过了正常范围,或者某个端口的流量明显增加,就可能存在网络攻击或黑客入侵。
3.流量的实时监测:通过实时监测网络流量的状态变化,可以及时发现并阻止恶意流量,保护网络安全。
二、基于行为的流量监测与分析方法基于行为的流量监测与分析方法是通过对网络流量的行为特征进行监测和分析来判断网络的安全状况。
它主要包括以下几个方面:1.基于模式识别的流量分析:通过对网络流量数据的特征进行模式识别,可以发现不同类型的流量行为。
比如,通过检测网络中大量的异常请求,可以判断是否存在DDoS攻击。
2.基于机器学习的流量分类:通过训练机器学习模型,可以对网络流量进行分类,识别出正常流量和恶意流量。
通过对网络流量的分类,可以及时发现并阻止攻击行为。
3.行为分析与异常检测:通过对网络流量的行为进行分析,可以发现一些异常的行为。
比如,当某个用户的网络流量突然增加,或者某个应用的流量与正常情况不符,就可能存在异常行为,需要进一步分析和处理。
三、基于流量日志的分析方法基于流量日志的分析方法是通过对网络中传输的数据进行分析,发现网络攻击和异常行为。
网络流量分析与监测技术研究

网络流量分析与监测技术研究随着互联网的普及和快速发展,网络安全问题日益凸显,网络流量分析与监测技术则成为了保障网络安全的重要手段。
网络流量分析与监测技术通过监听、收集、分析网络上的流量数据,旨在识别和阻止恶意攻击行为,并对网络性能进行优化和管理。
本文将深入探讨网络流量分析与监测技术的研究现状和未来发展方向。
首先,网络流量分析与监测技术起源于网络管理的需求。
随着互联网用户和网络设备的不断增加,网络流量也呈现出指数级增长的趋势。
网络管理员需要及时了解网络使用情况,以便进行性能优化和故障排查。
因此,网络流量分析与监测技术的发展是为了满足对网络状态和性能的实时监控需求。
其次,网络流量分析与监测技术主要包括流量捕获、流量识别、流量分析和流量可视化等几个关键步骤。
流量捕获是通过网络监听设备(例如交换机、路由器)来获取网络上的数据包,同时可以选择性地捕获特定流量。
流量识别是对捕获到的数据包进行分类和标记,以便后续的分析和处理。
流量分析则是对识别出的数据包进行深入分析,例如查找异常流量、检测恶意攻击、优化网络性能等。
最后,流量可视化将分析得到的结果以图形化的方式展示,方便运维人员直观了解网络状态。
在流量分析与监测技术的研究中,面临着许多挑战。
首先是海量数据的处理问题。
随着互联网的快速发展,网络数据量呈爆发式增长,网络流量分析与监测技术需要具备处理大规模数据的能力。
其次是流量识别问题。
在复杂的网络环境中,不同的应用和协议可能使用相同的端口号,使得传统的基于端口号的流量识别方法变得不准确。
因此,需要研究开发基于内容或行为特征的流量识别技术。
此外,对于加密流量的分析与监测也是一个挑战,现有的技术在处理加密流量时存在一定的限制。
为了应对这些挑战,研究者们提出了许多解决方案。
一种是使用深度学习技术进行流量识别和异常检测。
深度学习具有强大的自学习和特征提取能力,可以对大规模的网络流量数据进行建模和分析,从而提高识别准确率。
网络安全应急预案中的网络流量监测与分析方法

网络安全应急预案中的网络流量监测与分析方法网络安全应急预案是组织或个人在面对网络安全事件时采取的一系列措施和方法。
其中,网络流量监测与分析是确保网络安全的重要环节之一。
网络流量监测与分析能够及时发现异常网络流量,并对其进行深入分析,以便及时采取相应的防御措施。
本文将介绍网络流量监测与分析的方法及其在网络安全应急预案中的重要性。
一、网络流量监测方法1.1 抓包分析法抓包是指通过网络抓包工具,如Wireshark等,获取网络中传输的数据包,并进行分析。
抓包分析法能够获取每个数据包的详细内容,包括源IP地址、目标IP地址、协议类型等,从而判断是否存在异常流量。
通过抓取网络流量,分析者可以获取有关攻击者的行为信息,并识别潜在的安全威胁。
1.2 流量监测系统网络流量监测系统是一种集中式的流量监测工具,可以实时监测和分析整个网络中的流量。
这些系统通常由专业设备和软件组成,能够实时监测网络流量,提供统计信息和报告,并根据定义的规则自动触发报警。
流量监测系统可以帮助网络管理员及时发现异常流量,并快速采取应对措施。
二、网络流量分析方法2.1 统计分析方法统计分析是根据网络流量的数量和特征进行分析,以发现异常或异常行为。
统计分析可包括以下方面:- 流量量的统计:通过统计每个源IP地址、目标IP地址、协议类型等的流量数量,发现异常的高流量或低流量现象。
- 流量速度的统计:通过统计每个源IP地址、目标IP地址、协议类型等的流量速度,发现异常的高速率或低速率现象。
- 带宽利用率的统计:通过统计网络的整体带宽利用率,发现异常的带宽利用率波动。
2.2 行为分析方法行为分析是通过对网络流量中的行为模式进行分析,识别出潜在的安全威胁。
行为分析通常包括以下方面:- 基线建模:通过分析网络正常流量,建立基线模型,识别出与基线模型不符的异常流量。
- 异常检测:通过比较实时流量与历史流量的差异,发现异常行为,如大规模数据传输、未知的协议类型等。
网络安全中的网络流量监测与分析

网络安全中的网络流量监测与分析网络安全在当今信息时代变得越来越重要,网络流量监测与分析是网络安全的关键方面之一。
随着互联网的迅猛发展,网络攻击和安全威胁也在不断增加,因此对网络流量的监测和分析成为了确保网络安全的必要手段。
网络流量监测是指通过监控网络中的数据流量,以便对网络活动进行实时监控和分析。
流量监测可以帮助企业或组织识别和防范网络攻击,提前发现异常行为并采取相应措施。
同时,它还可以帮助网络管理员了解网络的使用情况,优化网络资源的分配和管理。
为了有效进行网络流量监测和分析,需要使用专业的监测工具和技术。
其中,流量分析是其中的重要环节。
流量分析是指对网络流量数据进行处理和解读,以获得有用的信息和洞察力。
通过流量分析,我们可以了解网络的使用情况、流量模式和流量分布等详细信息,从而为网络安全保障提供支持。
在进行网络流量监测和分析时,我们需要关注以下几个方面:1. 安全事件检测:流量监测可以帮助我们及时发现并回应网络安全事件,如恶意软件传播、漏洞利用和未授权访问等。
通过实时监测和分析网络流量,我们可以发现异常的流量模式,识别潜在的威胁,并及时采取措施进行干预和阻止。
2. 流量优化与管理:通过对网络流量的监测和分析,我们可以了解网络的繁忙时段、高峰期和低谷期等情况,从而优化网络资源的分配和管理。
通过对流量数据的分析,我们可以确定是否需要增加带宽以满足用户需求,或者是否存在网络拥堵和性能瓶颈等问题,以便及时调整和优化网络架构。
3. 用户行为分析:网络流量监测和分析还可以帮助我们了解用户的行为模式和习惯,监控员工的网络活动和资源使用情况。
通过分析流量数据,我们可以识别异常的用户行为,如非法下载、数据泄露和未授权的访问等,以便及时采取措施保护企业的机密信息和数据资产。
4. 威胁情报分析:通过对网络流量的监测和分析,我们可以搜集和分析来自不同来源的威胁情报,如黑名单IP地址、恶意软件样本和攻击行为等。
通过对威胁情报的分析,我们可以了解当前的网络威胁环境和趋势,及时采取相应的安全措施来应对威胁事件。
网络流量监测与分析方法在网络安全中的应用

网络流量监测与分析方法在网络安全中的应用随着互联网的普及和发展,网络安全问题日益突出,各类网络攻击和威胁不断增加。
为了保护网络安全,网络流量监测与分析成为一种关键的手段和方法。
它能够帮助组织机构及个人监测网络流量,发现异常活动和潜在威胁,并及时采取相应的防御措施。
本文将介绍网络流量监测与分析的基本原理和常用方法,并探讨其在网络安全中的应用。
网络流量监测是指对网络中传输的数据流进行实时监测和记录的过程。
它基于网络设备和软件,通过收集和分析数据流中的信息来获取关于数据传输量、源和目的地、传输协议等方面的详细数据。
网络流量监测可以有效地帮助管理员和安全专家识别和解决网络故障和安全问题。
网络流量分析是指对监测到的网络流量数据进行分析和解读的过程。
它包括对网络流量中的关键数据进行提取和识别,以及对异常行为和潜在威胁进行检测和分析。
通过分析网络流量,可以发现网络攻击、恶意软件、数据泄露等安全问题,帮助及时采取相应的防御措施,保护网络安全。
在网络安全中,网络流量监测与分析方法具有广泛的应用。
首先,它可用于入侵检测系统(IDS)和入侵预防系统(IPS)中。
IDS和IPS是用于监测和阻止网络入侵和攻击的关键设备和系统。
通过对网络流量数据的监测和分析,IDS和IPS可以识别和阻止恶意流量、异常行为和攻击尝试,提升网络的安全性。
其次,网络流量监测与分析方法可用于网络日志分析和审计。
网络日志中包含了关于网络连接、访问控制、错误日志等方面的详细信息。
通过对网络流量数据的分析,可以获取有关网络连接的日志信息,并进行分析和审计。
这有助于发现恶意行为、追踪攻击者、分析事件路径等,提供证据和支持后续的取证和调查工作。
此外,网络流量监测与分析方法还可用于网络性能优化。
通过监测和分析网络流量,可以了解网络的负载情况,识别瓶颈和性能问题,并针对性地进行优化。
这可以提高网络的可用性和性能,并减少故障和停机时间。
在实际应用中,网络流量监测与分析方法通常使用一些常用的工具和技术。
安全网络流量监测技术监测和分析网络流量中的安全威胁

安全网络流量监测技术监测和分析网络流量中的安全威胁安全网络流量监测技术是一种重要的网络安全措施,通过监测和分析网络流量中的安全威胁,可以及时发现和解决网络安全问题,保障互联网用户的信息安全和网络环境的稳定性。
本文将介绍安全网络流量监测技术的基本原理、监测方法和分析手段,并探讨其在网络安全防护中的应用。
安全网络流量监测技术主要基于网络流量的实时监测和分析。
通过监测网络流量数据包的特征信息,可以分析网络通信的各种行为和趋势,提取出隐蔽的网络威胁和攻击行为。
安全网络流量监测技术主要包括以下几个方面:1. 流量监测方法:传统的网络流量监测方法主要依靠网络节点的镜像端口和侦听设备进行流量捕获和分析。
而现如今,随着网络技术的不断发展,出现了一些新的监测方式,如深度包检测、网络流分析和威胁情报分析等。
这些方法可以更加精准地监测和分析网络流量,发现各种安全威胁。
2. 流量分析手段:安全网络流量监测技术可以通过流量数据包的分析手段,实现对网络流量的深入理解和分析。
通过对网络流量中的数据包进行协议分析、包头解析和会话追踪等操作,可以了解用户的行为和访问习惯,分析网络流量中的安全威胁。
同时,通过建立流量行为模型和异常检测等技术手段,可以预测网络攻击的出现,并及时采取相应的防护措施。
3. 安全威胁监测:安全网络流量监测技术的一个重要应用是安全威胁监测。
通过分析网络流量中的异常行为和恶意攻击等特征,可以发现各种网络威胁,如DDoS攻击、僵尸网络和木马病毒等。
同时,通过对威胁信息的监测和收集,可以建立威胁情报库,为网络安全防护提供有力的参考和支持。
安全网络流量监测技术在网络安全防护中起到了重要的作用。
它可以帮助企业和机构实时监测网络流量,及时发现和解决网络安全问题;可以帮助提供商和服务商检测和拦截网络攻击,保护用户的隐私和数据安全。
同时,安全网络流量监测技术还可以与其他安全防护技术相结合,形成多层次、多维度的网络安全保护体系。
网络流量监测与分析技术在网络安全中的应用研究
网络流量监测与分析技术在网络安全中的应用研究随着互联网的迅猛发展,网络安全问题日益严重,给个人和组织的信息安全带来了巨大的挑战。
为了保护网络安全,网络流量监测与分析技术应运而生。
本文将探讨网络流量监测与分析技术在网络安全中的应用研究,旨在提高我们对网络安全的认识和理解。
一、网络流量监测通过监测网络流量,我们可以了解网络中传输的数据包数量、类型、来源和目的地等信息。
网络流量监测是网络安全的重要组成部分,透过对网络流量的观察和记录,我们可以及时发现异常活动,阻止恶意攻击或入侵。
网络流量监测技术可以帮助网络管理员及时发现和解决网络安全问题,保证网络的稳定和安全运行。
网络流量监测技术通常包括数据包捕获、数据包过滤和分析等三个步骤。
数据包捕获是指通过网络设备或软件工具获取网络中的数据包,将其存储或传输到分析系统中。
数据包过滤是对获取的数据包进行筛选和过滤,以便快速识别出感兴趣的数据包。
数据包分析是对经过过滤的数据包进行全面的解析和分析,获取其中的关键信息并生成相应的报告。
二、网络流量分析网络流量分析是对网络中的数据流进行深入研究和分析,从而了解网络的状态、性能和安全情况。
网络流量分析技术可以帮助我们发现网络中的异常行为、病毒传播、入侵以及其他网络安全威胁。
通过对网络流量的分析,我们可以及时采取相应的措施来保护网络安全,防止数据泄露和损坏。
网络流量分析技术主要包括深度数据包检测、行为分析和异常侦测等。
深度数据包检测是对数据包中的协议、源地址、目的地址等关键信息进行分析,以识别出潜在的威胁和漏洞。
行为分析是通过对网络流量的历史数据进行统计和分析,从而识别出与正常行为相悖的异常活动。
异常侦测是通过对网络流量的实时监测和分析,发现异常流量并及时采取相应的安全措施。
三、网络安全中的应用实例网络流量监测与分析技术在网络安全中有着广泛的应用实例。
以入侵检测为例,通过对网络流量的监测和分析,可以及时发现入侵者的非法行为,并在最短的时间内采取相应的措施,保护网络的安全。
网络安全防护的流量监测与分析
网络安全防护的流量监测与分析随着互联网的快速发展,网络安全问题日益严峻,各种网络攻击和恶意行为层出不穷。
为了保障网络安全,流量监测与分析成为必不可少的手段。
本文将探讨网络安全防护中的流量监测与分析技术,旨在帮助读者全面了解并提高网络安全防护水平。
一、流量监测的重要性在网络安全防护中,流量监测是首要且关键的一环。
通过对网络流量的实时监测,可以追踪和记录网络中的各类数据流动,进而发现和预防可能的安全威胁。
流量监测可以帮助管理员及时掌握网络的状态,快速发现异常行为,及时采取相应的安全措施。
其次,流量监测是网络安全事件的重要证据。
当网络遭受攻击或遭遇其他安全事件时,流量监测记录的数据可以提供有力的证据,帮助安全团队或执法机关进行调查和取证。
二、流量监测的方法和工具1. 网络设备日志监测网络设备如防火墙、路由器、交换机等都会记录网络流量相关的日志信息。
通过定期分析这些日志,可以发现网络中的异常行为。
例如,可以通过检查防火墙日志来发现是否有异常的连接请求或拒绝信息。
2. 流量数据包捕获流量数据包捕获是一种全面的流量监测方法,通过捕获传输在网络中的数据包,可以还原网络通信的全过程。
常用的流量数据包捕获工具有Wireshark、Tcpdump等。
通过分析这些捕获的数据包,可以深入了解网络流量状况,及时发现并应对潜在威胁。
3. 流量分析工具流量分析工具可以对捕获的数据包进行解析和分析,提取有用的信息,以便进一步判断网络安全状况。
常用的流量分析工具有Snort、Bro、Suricata等。
这些工具可以通过预定义的规则检测网络中的异常流量,如入侵行为、恶意软件传播等。
三、流量分析在网络安全防护中的应用1. 攻击检测和防御通过对网络流量进行实时监测和分析,可以及时发现网络攻击行为。
例如,通过识别异常流量模式和特征,可以迅速发现并拦截DDoS(分布式拒绝服务)攻击、端口扫描等恶意行为。
此外,流量分析工具还可以检测到入侵行为,例如SQL注入、XSS等常见的网络攻击。
网络流量监测与分析技术研究
网络流量监测与分析技术研究随着互联网的迅猛发展和全球网络的互联互通,网络流量监测与分析技术变得越来越重要。
网络流量指的是网络中传输的数据包的数量和速率。
通过监测和分析网络流量,可以帮助网络管理员了解网络的使用情况、排查网络故障、检测和防范网络攻击。
网络流量监测是指实时监测网络中的数据流量并收集相关的信息。
网络流量监测可以分析网络中的实时流量和历史流量,并生成相应的报告。
网络流量监测可以通过网络流量分析仪、嗅探技术、数据包捕获等技术手段来实现。
网络流量监测可以帮助网络管理员监测网络的带宽利用率、流量峰值、网络流量的分布情况等,并及时发现网络中的异常流量和网络故障。
网络流量分析是指对网络流量进行深入分析、挖掘和解释,以获取有价值的信息。
网络流量分析可以帮助网络管理员了解网络的使用情况、识别网络攻击行为、发现潜在的网络安全隐患。
网络流量分析可以通过使用网络入侵检测系统(IDS)和入侵防御系统(IPS)来实现,这些系统可以通过比对已知攻击特征来识别和阻止网络攻击。
网络流量监测与分析技术在网络管理、网络安全和网络优化等方面发挥着重要的作用。
首先,通过监测网络流量,网络管理员可以了解网络的使用情况,对网络资源进行合理分配和配置。
其次,通过分析网络流量,可以发现网络中的异常流量,及时排查网络故障。
再次,通过网络流量监测与分析技术,可以及时识别并阻止网络攻击,保护网络的安全。
最后,通过分析网络流量,可以挖掘出有价值的信息,为网络决策提供支持。
随着网络流量的不断增长和网络攻击的不断升级,网络流量监测与分析技术也在不断发展和创新。
首先,网络流量监测与分析技术需要通过使用先进的设备和软件来实现。
例如,使用高速数据包捕获设备可以更精确地监测网络流量,使用机器学习和人工智能算法可以更准确地分析网络流量。
其次,网络流量监测与分析技术需要不断学习和适应新的网络攻击手段。
网络攻击者的攻击手段在不断演化,网络流量监测与分析技术也需要不断更新和改进,以应对新的攻击。
网络流量监测技术研究
网络流量监测技术研究随着互联网的发展和普及,人们已经习惯了随时随地上网。
然而,这也带来了一个问题,即如何对网络流量进行监测。
网络流量监测技术的研究和应用成为了一个重要的课题。
首先,我们需要了解什么是网络流量监测。
简而言之,网络流量监测就是对网络中的数据流进行实时的监测和分析。
通过监测网络流量,我们可以了解用户的行为和网络的状况,从而提供更好的网络服务和网络安全。
在过去,网络流量监测依靠传统的网络设备,如路由器和交换机。
这些设备可以提供一些基本的流量信息,如流量量和数据包丢失率。
然而,随着网络的复杂性和流量的增加,传统的网络设备监测已经无法满足需求。
因此,研究人员开始探索新的网络流量监测技术。
一种常见的方法是使用深度包检测技术。
深度包检测技术可以对网络数据包进行深入的分析,包括协议类型、数据内容等。
通过分析数据包,我们可以更准确地了解网络中的各种应用,例如视频流、文件传输等。
这对于网络管理和服务质量的提高至关重要。
另一个重要的研究方向是可扩展流量监测技术。
随着互联网的发展,网络流量的数量呈指数级增长。
传统的流量监测技术很难应对如此大规模的流量。
因此,研究人员正在开发新的可扩展的流量监测方法,以适应未来的网络需求。
除了流量监测技术,网络流量数据的收集和处理也是一个关键问题。
大规模的网络流量数据需要高效的存储和处理方式。
一种常见的方法是使用分布式存储和计算技术。
这样可以将流量数据分散到多个节点上,并通过分布式计算处理数据。
这种方法有效地解决了大规模流量数据处理的问题。
此外,隐私问题也是网络流量监测技术研究中需要考虑的一个重要方面。
在网络流量监测过程中,会涉及到大量用户的个人数据。
为了保护用户的隐私,必须采取一系列措施,如匿名处理、数据加密等。
只有在保护用户隐私的前提下,网络流量监测技术才能得到广泛应用。
综上所述,网络流量监测技术的研究和应用具有重要意义。
通过流量监测,我们可以更好地了解网络和用户行为,从而提供更好的网络服务和网络安全。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
恶意移动应用传播
• 核心问题是移动互联网流量识别(DPI)
– 移动软件迅猛增长 • Google Play应用软件数量超过70万 • 国内超过10个以上软件市场 – 移动流量在过去三年 以5000%的速度增长 – 大部分的移动App采用HTTP协议,移动互联网流量识 别分析需要着眼于更高的应用级别 • 应用版本更新频繁,流量特征分析提取困难
23
DrDoS监测
• ICMP Smurf Flood • TCP SYN/ACK Flood [Gibson, 2002] • UDP Flood:NTP 、DNS、SNMP、CHARGEN、网游
– 2013.3 Spamhaus vs. Cyberbunker DNS 300Gbps – 2014.2 Cloudflare NTP 400Gbps – DDoS攻击的200-400Gbps时代
17
骨干网间被动监测系统设计:模式二
监控中心
大数据平台 原始流量 汇聚分流设备 流日志/ 监测分析设备 CDR日志
18
骨干网间被动监测系统设计
• 优化思路
– 流监测引擎前置硬件化 – 软硬件联动过滤不关注的业务流量,减少流量对于后端x86计算平 台的冲击,流量收敛比可达4:1 – 在线定制化的监测模型/统计聚合
CHARGEN 23
Routing table Request 520
– – – –
知名服务(DNS、NTP等),UDP端口固定 攻击包大小固定或有明显特征 存在网络管理员对滥用行为的干涉 服务协议限制了返回的应答(攻击)消息大小,放大系数较低 • [Rossow-NDSS’14、Yu-ISPA’08] 25
传 输 层 端口(发端/收端) 会话开始时间、结束时间、持续时间 TCP标志位(发端/收端) TCP握手的第1个包与第2个包之间的时延 TCP握手的第2个包与第3个包之间的时延 TCP握手成功后到发出的第一个包之间的时延 TCP SYN请求次数 TCP窗口大小(发端/收端) TCP MSS大小 TCP 乱序包数量(发端/收端) TCP 重传包数量(发端/收端) TCP连接状态
DrDoS监测:P2P SF-DrDoS
• Store-and-flood DrDos
– IEEE ICCCN‘’14, 最佳论文提名 – 本质上,仍然是一种基于文件索引污染的攻击
26
DrDoS监测:P2P SF-DrDoS
<nodes>
任何互联网目标
<node, KeyID>
索引条目有效 期长达24小时
– 骨干网间带宽资源宝贵:过网流量的激增是正常的忙时拥塞 (需进行链路扩容!)、流量疏导变化(需改变流量疏导策 略!)还是大规模攻击流量? – 过网访问重点信源质量变差:是链路拥塞(需扩容!)、企 业间干扰(需追究障碍责任!)还是遭受攻击所致?
• 服务于国家互联网安全监管的需要
– DDoS监测、僵尸网络(控制端)监测、恶意代码(包括恶 意移动互联网应用)传播监测…
– 每10Gbps骨干网间流量,x86板卡需处理约60万pps,其中原 始流量包约54万pps
• 14槽位ATCA整机处理能力240Gbps
– 具体性能指标取决于在线监测规则数量与复杂度
22
报告提纲
• 背景介绍 • 研究动机 • 问题与挑战 • 网间流量被动监测平台 • 若干监测问题探讨
– DrDoS攻击、恶意移动互联网应用传播
15
报告提纲
• 背景介绍 • 研究动机 • 问题与挑战 • 网间流量被动监测平台 • 若干监测问题探讨
16
骨干网间被动监测系统设计:模式一
监控中心
原始流量 汇聚分流设备 原始 流量 汇聚分流 原始 流量
监测日志 监测分析设备 流监测 DPI(应用识别) 特定业务分析
数据仓库
网络层 传输层 应用层
34
谢谢!
大数据、大流量持续冲击现有互联网
互联网迎来ZB时代,全球互联网流量年增32%,未来5年将翻两番
1EB=1百万TB IZB=10亿TB
资料来源:CISCO VNI
•
- 互联网在2016年进入ZB时代。未来5年互联网流量增长4倍,2016年全球互联网年总流量将 达到1.3ZB,约合10亿TB。
<KeyID, file>
27
DrDoS监测:P2P SF-DrDoS
• 理论放大倍数可 达9600,实验结 果2400 • 利用整个eMuleKad网络可发起 670Gbps的攻击, 攻击代价仅需280 Mbps • 利用整个BT-DHT 网络可发起 10Tbps级别的攻 击
28
DrDoS监测:P2P SF-DrDoS
31
移动应用流量特征学习
• 已有方法
– User-Agent:[Xu, Q. et al.,IMC’11] • 在移动智能终端平台上非强制执行,Android平台的 应用经常填写通用字符串而不是App特定信息 – Host: [Falaki, H. et al., IMC’10] • 同一台主机可能提供不同服务 – 手工运行程序:[Wei,X., et al., MobiCom’12] • 需要大量人工参与
32
移动互联网应用自动分析平台
33
移动互联网应用自动分析平台
指纹提取
网络流
HTTP 解析
网络流
流标记
流簇
聚类
指纹生成
网络流 网络指纹
*.apk
随机测试
导向测试
Hosts:{...}
Droid驱动
• [Dai et al., INFOCOM‘13]
– 网络指纹:Host,以及HTTP头中的字符串状态机
• 攻击特征
– 攻击者-反射器 / 攻击者-僵尸网络 • 源IP地址欺骗 • 部分类型攻击包存在特征 – 僵尸网络-反射器 – 反射器-受害方 • 部分类型的攻击包存在特征
29
DrDoS监测
• 监测方法
– “攻击者-反射器”阶段、“反射器-受害者”阶段:1:N或N:1 – 基本思路 1. 小时间窗口(5~1 5分钟)流量/访问量TOPN信源/信宿 统计:在线监测,经典的“分组排序取TopN”问题优化; 计数型Bloom Filter技术 2. 特定应用识别:DPI技术 3. 特定模式的异常值(如熵) – 需要考虑骨干网网间不对称路由/单向流的影响
38
流日志数据定义
流日志数据定义 应用分组、应用类型 服务状态 应 HTTP 首字节时延 用 HTTP页面传送时延 层 HTTP页面大小 HTTP页面传送速率 HTTP URL DNS域名信息
在线聚合分析
• SELECT … FROM task_name [ WHERE [ 维度 = 值 ] [ AND task_type = task_type AND condition [, ...] ] ] [ GROUP BY 维度 [, …] ] [ DIVIDE BY 维度 [, …] ] [ HAVING condition [, ...] ] [ ORDER BY 维度 [ ASC | DESC ] [, …] ] [ WITH TRUNC count ] • 支持复杂查询条件,如((sip=ip1 or sip=ip2) and (dip=ip3 or dip=ip4) ),in(x1, x2, …) • 支持经典的“分组排序取TopN”问题,通过自定义 DIVIDE BY和WITH TRUNC保留字将传统的三层 SELECT嵌套简化为一条SELECT语句
高密度前置处理板
大容量交换板 流量采集分析一体化设备
• 设备的核心计算节点,支持多达800 种应用协议的精确识别 • 提供类SQL在线可定制化监测(统 计聚合)规则接口 • 指定IP和时间窗口的流量录制功能 x86多核业务处理板
20
网间流量采集分析一体化系统
前置处理板 原始流量 汇聚分流
交换板 原始流量
监测任务模式+类SQL监测规则
监控中心
统计 聚合 流量采集分析一体化设备 小时间窗口(5~15分钟) 监测分析数据
19
更高层统计聚合与分析
网间流量采集分析一体化系统
• 基于高性能FPGA,支持80100Gbps POS/Ethernet输入,支 持各种2层/3层封装及隧道协议 • 单板支持多达6400万五元组流的 管理和细粒度流监测功能 • 具备灵活的汇聚分流功能 • 单板提供640Gbps的数据汇 聚交换能力, • 赋予设备整机1.92Tbps的 最大交换容量,板间交换 带宽达到40-80Gbps
X86业务处理板 DPI(应用识别) 应用分组、 应用类型
流锁定
流锁定指令
特定业务分析 业务KPI
流监测
流日志/CDR日志
在线聚合分析
监测结果
用于离线安全分析的 部分流日志/CDR日志
21
网间流量采集分析一体化系统
• 接口板
– 单板80Gbps采集与预处理能力
• x86处理板:双路E5-2658处理器(10核)处理器、 128GB内存
• P2P、在线视频应用导致大量平均时长数千秒的长连接 • 移动互联网应用蓬勃发展
13
问题与挑战:不对称路由
北京
南京
单向流94%~99% 其中,上行单向流: 南京97%、郑州 99.7%
14
问题与挑战:其他
• 在线 vs. 离线
– Stream processing vs. Batch processing – 实时监测模型 vs. 离线分析模型 – 小时间窗口 vs. 大时间尺度 – 抽样 vs. 全量
骨干网网间流量安全监测研究
长安通信科技有限责任公司 张建宇(zhangjianyu@)
报告提纲
• 背景介绍 • 研究动机 • 问题与挑战 • 网间流量被动监测平台 • 若干监测问题探讨