网络安全数据可视化概述

网络安全数据可视化概述
随着网络通信技术的进步，飞速发展的网络应用对网络安全提出了很高的要求.一直以来，各种网络监控设备采集的大量日志数据是人们掌握网络状态和识别网络入侵的主要信息来源.网络安全分析人员在处理网络安全问题时，首先通过分析相应的数据来了解网络状态和发现异常现象，然后对异常事件的特征以及对网络的影响进行综合诊断，最后采取对应的响应措施.然而，随着网络安全需求的不断提升，网络安全分析人员在分析网络安全数据时遇到了很多新的困难：1)异构的数据源和持续增长的数据量给分析人员带来了繁重的认知负担;
2)新攻击类型的出现和攻击复杂度的提高，使得很多传统的数据分析方法不再有效;
3)大量漏报和误报是一些自动化异常检测系统的弊病;
4)侧重于局部异常分析的传统思路，使得分析人员很难掌握宏观网络态势.如何帮助网络安全分析人员更高效地分析网络安全数据，已成为网络安全领域一个十分重要而且迫切的问题.
在解决网络安全问题的过程中，人的认知和判断能力始终处于主导地位，一个能帮助人们更好地分析网络安全数据的实用办法就是将数据以图形图像的方式表现出来，并提供友好的交互手段，建立人与数据之间的图像通信，借助人们的视觉处理能力观察网络安全数据中隐含的信息，以进一步提高分析人员的感知、分析和理解网络安全问题
的能力.因此，许多学者提出将可视化技术引入到网络安全研究领域中来，并逐步形成了网络安全可视化这一新的交叉研究领域.
早在1995年Becker等就提出对网络流量状况进行可视化，之后Girardind等在1998年曾使用多种可视化技术来分析防火墙日志记录.从2004年开始举办的国际网络安全可视化年会[6](visualization for cyber security，VizSec)，标志着该领域的正式建立，并且在2004～2006年集中涌现了一批高质量的研究成果，如图1所示.从2011年开始，国际可视分析挑战赛[7](VAST challenge)连续3年都采用了网络安全数据作为竞赛题目，推动着该领域呈现出一个新研究热潮.国内网络安全可视化的研究起步相对较晚，哈尔滨工程大学、天津大学、北京邮电大学、吉林大学、北京大学和中南大学等研究机构的一些团队已开展了相关研究.经过十多年的发展，在网络安全可视化领域，学者们提出了许多新颖的可视化设计，并开发了诸多实用的交互式可视分析工具，这也为传统的网络安全研究方法和分析人员的工作方式注入了新的活力：
1)分析人员的认知负担得以减轻;
2)异常检测和特征分析变得更为直观;
3)人们可以更自主地探索事件关联和复杂攻击模式，甚至发现新的攻击类型;
4)网络安全态势的察觉和理解效率得以提高.
本文首先介绍网络安全分析人员需要处理的各种网络安全数据源，并重点从网络安全问题和网络安全可视化方法这2个角度，对已有研
究成果进行了系统的梳理，最后对网络安全可视化的发展趋势进行了展望.
1 网络安全数据介绍
网络安全分析人员需要处理的网络安全数据种类非常多，其中最重要数据源来自各种网络监控设备.根据位于不同逻辑层次和不同物理位置的各种网络监控设备所采集信息的特点，可以将网络监控数据分3类：流量监控数据、状态监控数据和事件监控数据，流量监控数据主要来自包级和流级2个采集层次.包级的流量监控会记录每个数据包的TCP?IP包头信息和载荷内容;流级的流量监控会将一次网络会话的数据流聚合起来，只记录会话信息的方式数据量更小，也更加易于理解和管理.状态监控数据是指网络中各种软硬件资源的运行状态信息，如CPU 利用率、网络吞吐率、邮件服务是否正常等等，它们可以通过SNMP协议或者通过安装一些专业的状态监控产品获得.事件监控数据又分为异常检测日志和日常操作记录.异常检测日志主要来自自动化的网络防御设备产生的报警事件，如防火墙和入侵检测系统，它们是以流量数据、状态数据等原始监控数据为基础，通过规则匹配和算法处理生成.日常操作记录来自各种网络服务和应用在运行过程中获取的用户操作信息，如管理服务器的用户登陆记录、域名服务器的域名解析请求记录等等.另外，也可以将网络漏洞扫描数据和通过蜜罐获取的攻击者信息看作事件监控数据.网络安全分析人员在日常工作中还需要面对一些非监控型网络安全数据，如防火墙配置文件、网络路由表、病毒样本等.针对这些数据的可视化可以为分析人
员提供多方面的帮助，如Nataraj等将恶意软件样本可视化为灰度图像，并利用图像特征对样本进行分类.Mansmann等采用Sunburst图形将防火墙配置规则树可视化，帮助管理员理解复杂的规则和辅助调优.
2 主要研究方法与发展现状
网络安全可视化的研究，首先是确定网络安全分析人员关心的问题，也就是有什么数据，需要从数据中获取什么信息;然后是设计可视化结构来表示数据，建立数据到可视化结构的映射;最后是设计缩放、聚焦、回放和关联更新等人机交互功能，完成人与可视化工具的交流，从而帮助分析人员观察网络安全数据中隐含的信息，进一步提高分析人员的感知、分析和理解网络安全问题的能力.无论是针对网络扫描、拒绝服务攻击、蠕虫传播等具体的网络入侵事件，还是针对网络监控、特征分析、态势感知等抽象的网络安全需求，面对不同的网络安全问题和数据源，设计不同的可视化结构和交互手段、采用不同的技术路线和分析思路，便可以形成不同的网络安全可视化研究方法.
从网络安全分析人员的角度出发，按照从简单到复杂、从单一到整体、从低层到高层的思路，可以将人们关心的网络安全问题和网络安全可视化在网络安全中的应用分为5类：网络监控、异常检测、特征分析、关联分析和态势感知.本节将逐类介绍主要的网络安全可视化研究方法和发展现状，所示为常见的网络安全问题和主要的网络安全可视化研究方法结合情况的整体概览.
从各种网络监控设备获取的数据中了解网络运行状态是网络安全分
析人员关注的最基本问题，也是网络优化、异常检测、态势感知的基础.可视化的网络监控主要研究是按照时间顺序，如何将主机和端口等监控对象、流量和事件等监控内容使用图形图像的方式表达出来，以帮助分析人员快速了解网络运行状态.
3总结与展望
网络安全可视化将网络安全数据分析和可视化技术结合起来，通过提供图形化的交互工具，提高网络安全分析人员感知、分析和理解网络安全问题的能力.从本文的介绍中可以看出，网络安全可视化已经取得了丰硕的研究成果，但是面对越来越严重的网络安全威胁和越来越复杂的攻击手段，研究者们还面临着诸多的挑战：
1)如何实时显示和处理大规模网络数据.目前大部分研究仍然停留在离线数据的分析上，但是实时分析远比离线分析重要.实时的网络安全可视化需求对数据预处理速度、图形绘制速度、交互响应速度都提出了更高的要求.
2)如何搭建网络安全可视化的协同工作环境.解决大范围的复杂网络问题往往需要多数据源、多视图、多人的协同分析，因此现有的数据融合和多视图技术以及多人参与的网络安全协同可视分析环境都有较大的发展空间.
3)如何提高网络安全可视化系统的易用性.对于目前大部分网络安全可视化系统，即使是有丰富经验的分析人员，都需要一定程度的培训后才能熟练使用，但网络安全可视化的受众本应更为广泛，因此需要加强网络安全可视化的易用性研究.。