流量大数据安全分析平台的设计与实现
2018年9月
Journal on Communications
September 2018
2018172-1
第39卷第Z1期 通 信 学 报 V ol.39 No.Z1
流量大数据安全分析平台的设计与实现
杨敏，何海涛，赵琼
（中山大学网络与信息技术中心，广东 广州 510275）
摘 要：通过对校园网边界网络传输的流量数据完整码流进行数据采集和解析提取后，形成一定格式的应用级流量日志数据。然后对其进行大数据分析和挖掘，分析和管理校园网络和业务信息系统的安全、性能，真正精准地感知威胁情报，深入到安全事件的细节，用最直接的数据呈现来证实安全威胁的存在和威胁行为的发展态势。以中山大学校园网络流量安全分析平台为例，证实了大数据应用于安全态势感知的可行性和有效性。 关键词：流量分析；大数据；态势感知；安全分析 中图分类号：TP393 文献标识码：A
doi: 10.11959/j.issn.1000-436x.2018172
Design and implementation of traffic big data security
analysis platform
YANG Min, HE Haitao, ZHAO Qiong
Network and Information Technology Center, Sun Yat-sen University, Guangzhou 510275, China
Abstract: Through the data collection and analysis of the full traffic stream data in the boundary of the campus network, the application level traffic log data was formed in a certain format. Then the data was digged and analyzed to analyze and manage the security and performance of campus network and information system. Really be aware of threat intelligence and go into detail about security incidents, which using the most direct data presentation to confirm the existence of security threats and the development trend of threat behavior. The campus network traffic security analysis platform was taken as an example, and demonstrates the feasibility and effectiveness of large data application in security situation awareness. Key words: flow analysis, big data, situation awareness, safety analysis
1 引言
网络安全问题具有很强的隐蔽性，一些技术漏洞、安全风险可能隐藏几年都没有被发现。很多用户单位已经在网络安全防护上做了大量投入，他们部署了防火墙、入侵检测系统和杀毒产品，这样网络就安全了，但往往攻击者已经绕过或控制了这些设备，长期潜伏，重要资料被泄露、用户数据被窃取等安全事件时有发生。Gartner Group 公司作为信息安全领域专业顶级的分析公司，曾在2012年发表的报告中指出，信息安全问题正在成为一个大数
据分析问题[1]。
采用大数据技术进行网络安全分析并感知整个网络的安全态势是当前业界研究的一个热点，本文利用开源大数据技术搭建流量大数据安全分析平台，全天候全方位感知网络安全态势。通过对校园网边界网络传输的流量数据完整码流进行数据采集和解析提取后，形成一定格式的应用级流量日志数据，针对网络流量日志进行分析和监测，在网络安全态势感知领域做了初步的探索和实践，主动发现了许多在用被动安全防护设备所不能检测和防护到的安全事件，包括敏感数据窃取、密码爆破
收稿日期：2018-09-08
基金项目：2016年改善办学基本条件资助项目——网络与信息安全防护体系建设（一期）（No.05010-31031602）
Foundation Item: Improving the Basic Conditions for Running Schools in 2016—Network and Information Security Protection System Construction (Phase1)(No.05010-31031602)
万方数据