大数据环境下网络安全态势感知研究

合集下载

基于大数据的网络安全态势感知与分析系统

基于大数据的网络安全态势感知与分析系统

基于大数据的网络安全态势感知与分析系统随着网络的发展和普及,网络安全问题日益突出。

传统的网络安全体系已经不能满足实时监测和预防网络攻击的需求。

为了应对不断增长的网络威胁,基于大数据的网络安全态势感知与分析系统成为了一种有效的解决方案。

在传统的网络安全防御中,常常使用一个规则库来识别已知的威胁。

然而,由于网络攻击日益复杂多变,传统方法很难有效识别全新的威胁。

大数据技术则可以分析海量的网络数据,挖掘出潜在的威胁,并提供实时的态势感知。

基于大数据的网络安全态势感知与分析系统主要包括三个环节:数据采集、数据分析和态势感知。

首先,数据采集是系统的基础。

网络安全数据主要包括网络流量数据、日志数据和安全设备数据等。

通过采集这些数据,并进行整合和清洗,建立起庞大的数据仓库。

同时,还可以引入其他数据源,如社交媒体数据和漏洞信息数据等,以获得更全面的信息。

其次,数据分析是系统的核心。

通过采用机器学习和数据挖掘等算法,可以对海量的数据进行分析和挖掘,从中发现潜在的威胁。

例如,通过监测网络流量数据,可以识别出异常的网络行为;通过分析日志数据,可以发现非法的用户访问;通过分析安全设备数据,可以追踪和阻止正在进行的攻击。

通过这些分析和挖掘,系统可以得出网络的安全态势。

最后,态势感知是系统的输出。

通过将数据分析的结果可视化呈现,提供给安全人员进行实时监测和决策。

安全人员可以通过系统提供的分析图表和报告,了解当前的网络安全状况,及时采取相应的措施进行应对。

同时,系统还可以根据历史数据和趋势分析,提供预测性的安全策略,帮助安全人员制定更加有效的防御措施。

基于大数据的网络安全态势感知与分析系统具有以下优势:首先,系统可以实时监测网络中的异常行为和攻击,及时发现并应对潜在的威胁。

相对于传统方法,大数据分析可以更好地识别新型的攻击方式,提高了安全防护的能力。

其次,系统可以提供准确的安全状况报告和分析结果,帮助安全人员快速判断和应对网络威胁。

网络安全态势感知技术研究现状

网络安全态势感知技术研究现状

网络安全态势感知技术研究现状摘要:随着科技的发展,各领域的技术水平逐渐提高,信息技术的应用更加广泛。

各种网络威胁也变得更加复杂多样化,其技术水平也随之提高,传统的计算模式已经不能满足抵御网络威胁的要求,这就需要基于大数据的应用对多种领域的计算模式进行创新,尤其是对数据信息应用以及协同计算方面的提升有着非常重要的推动作用。

关键词:网络安全态势;感知技术;研究现状引言在信息化技术和计算机网络技术的飞速发展下,也促进了城市信息化建设的步伐,面临愈加频繁的网络攻击,将人工智能应用至信息网络安全体系中势在必行,利用人工智能高效的信息收集与处理能力以及高精度的判断能力,能够实现将网络攻击成功阻截的目的,因此应当梳理并明晰其中所蕴含的态势感知技术,进一步增强信息网络的安全性。

1态势感知技术态势感知源于航天的“人因工程”研究,之后在交通、军事、医疗等领域都有广泛的应用。

态势既可以是对目前情况的一种定性定量描述,也可以是对未来发展趋势的一种预测,它是对整个网络运行状态的全局描述,从宏观的角度来进行理解和分析,所以说任何单一状态或者单一事件都不能称为态势,而近年来态势感知也慢慢被应用到了网络安全领域。

2网络安全态势感知技术研究现状2.1关联分析关联分析又称关联挖掘,是一种用于发现存在于海量数据集的关联性或相关性的分析技术。

通过关联分析,查找存在于项目集合或对象集合之间的频繁模式、关联规则、相关性或者因果结构。

例如网络中的防火墙、WAF、入侵检测行为审计等安全设备(探针)都会对进入网络的安全事件进行日志记录,当出现某一特定的安全事件,各安全探针均会产生大量的告警日志,而这些日志之间存在着很多的冗余和关联。

因此关联分析的任务就是将这些分散的原始日志转换为直观的、易于理解的事件。

对提取的事件基于规则、统计、资产等属性进行分析,通过逻辑符号and、and、not来表示属性的逻辑关系。

当符合相应的限制条件时,则激活相应的规则进行误报排除、事件源推论、安全事件级别重新定义、阈值关联、黑名单等动作。

基于大数据分析的网络安全态势感知

基于大数据分析的网络安全态势感知

基于大数据分析的网络安全态势感知一、引言随着互联网的快速发展,个人和组织在日常生活和工作中越来越依赖于网络。

然而,网络安全威胁的不断增加给个人和组织带来了严重的风险和挑战。

为了及时发现、识别和应对网络攻击,网络安全态势感知变得至关重要。

基于大数据分析的网络安全态势感知成为了一种有效的解决方案。

本文将介绍基于大数据分析的网络安全态势感知的概念、原理和应用。

二、网络安全态势感知基础网络安全态势感知是指通过收集、分析和综合网络中的各种安全信息,实时感知网络安全状况并提供决策支持。

它可以及时识别异常行为、网络攻击和威胁,并提供有效的应对措施。

网络安全态势感知的基础是大数据分析技术。

1. 大数据分析技术大数据分析技术是一种利用计算机和网络对大量、多样化、实时的数据进行收集、存储、处理和分析的技术。

它可以从数据中发现隐藏的模式、规律和异常,并为决策提供有效的支持。

大数据分析技术具有高效、高准确性和实时性等特点,可以应对网络安全威胁的复杂性和多变性。

2. 网络安全数据源网络安全数据源包括网络日志、入侵检测系统(IDS)、防火墙日志、入侵检测和预防系统(IPS)、流量数据、安全设备日志等。

这些数据源包含了丰富的网络安全信息,可以通过大数据分析进行有效的挖掘和分析,发现网络威胁并提供决策支持。

三、基于大数据分析的网络安全态势感知方法基于大数据分析的网络安全态势感知方法主要包括数据采集、数据预处理、特征提取、异常检测和决策支持等步骤。

1. 数据采集数据采集是指从各种网络安全数据源中收集数据,并将其转化为结构化的数据以便进行分析。

这一步骤需要考虑数据的完整性、准确性和实时性等因素。

2. 数据预处理数据预处理是指对采集到的数据进行清洗、筛选和整合的过程。

它可以去除冗余数据、处理缺失值、归一化数据等,保证数据的质量和一致性。

3. 特征提取特征提取是指从预处理后的数据中提取与网络安全相关的特征。

这些特征可以包括网络流量、访问模式、行为模式等。

基于大数据的网络安全态势感知与分析

基于大数据的网络安全态势感知与分析

基于大数据的网络安全态势感知与分析随着全球数字化进程的推进,网络已经成为人们日常工作和生活中不可或缺的一部分。

在数字经济时代,大数据已经成为了企业和政府决策的重要依据。

然而,随着数字化进行的同时,网络安全问题也日益严重。

因此,如何在海量数据中快速有效地找到安全隐患,成为数字时代最重要的一环。

基于大数据的网络安全态势感知与分析,便是在这一背景下得以迅速发展的。

一、网络安全态势感知的定义与原理网络安全态势感知是通过对网络数据的采集、整合、分析与挖掘,快速有效地对网络中潜在的安全威胁进行预警和感知的一种技术手段。

它依托大数据处理和人工智能技术,通过对网络海量数据进行深入分析,识别网络安全隐患和威胁,及时提供预警预测,为网络安全管理提供有力的支持和保障。

网络安全态势感知的原理可以概括为:数据采集、数据处理、威胁识别和应急响应。

首先,通过网络数据采集工具,采集网络数据并存储起来。

接着,通过大数据处理技术,对海量网络数据进行处理和分析,以便更好地发现相关信息。

然后,对数据进行威胁识别和安全评估,从而快速发现网络威胁事件。

最后,采取相应的紧急响应措施,以保障网络安全。

二、基于大数据的网络安全态势感知技术大数据的发展给网络安全态势感知带来了革命性的变化。

传统的安全技术往往是基于特定条件的检测和响应,而基于大数据的网络安全态势感知则提供了更全面的视角和更完整的安全态势感知能力。

下面分别介绍在大数据平台上的网络安全态势感知技术:1. 数据挖掘技术数据挖掘技术是基于大数据平台的网络安全态势感知的核心技术。

数据挖掘技术可以通过挖掘网络数据流量,发现网络漏洞以及对网络攻击进行预警等工作。

通过这种技术,可以快速而准确地发现网络的漏洞和脆点,防止网络攻击的发生。

2. 机器学习技术机器学习是一种用来让计算机自主学习的技术,可应用于各种大数据的分类、预测和模型构建。

在网络安全领域,机器学习技术可以用于对大规模网络攻击样本的训练和分类,提高网络攻击检测的准确度和及时性。

网络安全态势感知与大数据分析

网络安全态势感知与大数据分析

网络安全态势感知与大数据分析在当今数字化高速发展的时代,网络已经成为了人们生活和工作中不可或缺的一部分。

从日常的社交娱乐到重要的商业交易,从便捷的在线服务到关键的基础设施运行,网络的触角几乎延伸到了社会的每一个角落。

然而,随着网络的日益普及和复杂,网络安全问题也日益凸显。

网络攻击手段不断翻新,攻击规模不断扩大,给个人、企业乃至国家带来了巨大的威胁。

在这样的背景下,网络安全态势感知与大数据分析应运而生,成为了保障网络安全的重要手段。

网络安全态势感知是一种对网络安全状态进行实时监测、分析和评估的技术。

它能够帮助我们全面了解网络中的安全状况,及时发现潜在的安全威胁,并对可能发生的安全事件进行预测。

通过收集和整合来自网络各个节点的安全数据,如防火墙日志、入侵检测系统警报、服务器日志等,态势感知系统可以构建出一个完整的网络安全态势图。

这张图不仅能够展示当前网络中正在发生的安全事件,还能够揭示出潜在的安全风险和趋势。

大数据分析在网络安全态势感知中发挥着至关重要的作用。

在网络环境中,每天都会产生海量的数据,这些数据包含着丰富的安全信息。

然而,如果没有有效的分析手段,这些数据就只是一堆杂乱无章的数字和字符,无法为我们提供有价值的洞察。

大数据分析技术的出现,为我们解决了这一难题。

它能够快速处理和分析大规模的数据,从中提取出关键的安全信息。

首先,大数据分析可以帮助我们发现隐藏在海量数据中的异常行为。

例如,通过对用户访问行为的分析,如果发现某个用户在短时间内频繁访问了大量敏感数据,或者其访问模式与正常用户有显著差异,那么这可能就是一个潜在的安全威胁。

其次,大数据分析能够对网络攻击进行溯源和追踪。

当发生网络攻击时,攻击者往往会在网络中留下一些痕迹。

通过对相关数据的深入分析,我们可以追溯到攻击的源头,了解攻击者的手段和目的,从而采取针对性的防御措施。

此外,大数据分析还可以用于预测网络安全事件的发生。

通过对历史数据的分析,建立起相应的预测模型,提前发现可能出现的安全风险,为我们争取更多的应对时间。

基于大数据的网络安全态势感知技术研究

基于大数据的网络安全态势感知技术研究

基于大数据的网络安全态势感知技术研究【摘要】本文基于大数据的网络安全态势感知技术研究,旨在探讨如何利用大数据技术提升网络安全防御能力。

首先介绍了大数据在网络安全领域的应用情况,然后概述了网络安全态势感知技术的基本原理。

接着详细分析了基于大数据的网络安全态势感知技术的具体实现方式,并通过案例分析验证了其有效性。

最后展望未来网络安全领域的发展趋势,总结了本研究的成果并提出了创新点。

通过本文的研究,可以更好地理解和应用大数据技术在网络安全领域的作用,为提升网络安全防御水平提供新的思路和方法。

【关键词】大数据、网络安全、态势感知、技术研究、网络安全应用、原理、案例分析、发展趋势、研究成果、展望未来、创新点1. 引言1.1 研究背景网络安全是当今数字化社会不可忽视的重要问题,随着互联网的普及和信息化程度的提升,网络安全问题也变得日益严峻。

网络攻击手段不断更新和演进,传统的安全防御手段已经不能满足对抗各类威胁的需求。

基于大数据的网络安全态势感知技术应运而生,通过收集、处理和分析海量的网络数据,能够更准确、快速地发现网络安全威胁,提高网络安全的防御能力。

网络安全态势感知技术的出现,为网络安全管理提供了新的思路和工具,有助于实现对网络安全态势的全面感知和有效应对。

通过大数据分析技术,能够从海量的网络数据中提取出有价值的信息和规律,快速发现潜在的威胁,并及时采取相应的防范和应对措施。

基于大数据的网络安全态势感知技术被广泛应用于各种网络安全领域,成为当前网络安全领域的研究热点和发展方向。

1.2 研究意义网络安全在当今信息社会中占据着至关重要的地位,随着互联网的快速发展,网络攻击的形式和手段也越来越复杂和隐蔽。

传统的网络安全防御手段已经难以满足对抗各种网络威胁的需求,研究基于大数据的网络安全态势感知技术具有非常重要的意义。

基于大数据的网络安全态势感知技术可以帮助网络安全人员更加全面地了解网络环境中的威胁和风险,及时调整网络防御策略,提高网络安全防护的效率和准确性。

基于大数据的网络安全态势感知模型研究

基于大数据的网络安全态势感知模型研究

基于大数据的网络安全态势感知模型研究随着互联网的快速发展,网络安全问题越来越严重,威胁着人们的生命财产安全。

针对这种情况,基于大数据的网络安全态势感知模型应运而生。

本文将介绍该模型的研究和应用。

一、大数据的背景和意义大数据指的是规模、速度或者复杂度等方面超过传统数据处理能力的数据集合。

大数据的背景包括网络、移动设备、物联网等新兴技术的发展。

它对于社会生产、人类生活和国家安全等方面的影响越来越大。

大数据的背景下,数据管理、数据分析和数据挖掘等技术得到了广泛的应用。

二、网络安全态势感知模型的研究网络安全态势感知模型是一种基于大数据的网络安全防护技术。

它主要通过网络流量、日志信息以及主机信息等多种数据源,实现对网络的全方位监控和信息收集。

通过对这些数据进行处理,可以实时掌握网络的安全态势,及时发现和解决网络安全问题。

网络安全态势感知模型研究过程中主要需要解决的问题有两个,第一个是如何从大量的网络数据中筛选出有价值的信息,第二个是如何将这些信息实时呈现。

为了解决这些问题,研究人员采用了多种技术手段。

例如,可以通过机器学习算法分析数据,实现对网络攻击行为的自动识别;还可以通过数据可视化技术将数据呈现为图表形式,帮助安全人员快速了解网络的状态。

此外还可以利用深度学习、自然语言处理等技术实现对网络攻击的智能感知和相应策略的制定。

三、应用与展望网络安全态势感知模型已经应用于很多网络安全防御系统之中,并取得了出色的效果。

它可以帮助企业组织实现网络的快速响应和有效防御,提高信息安全保障能力。

未来,随着技术的不断发展和应用场景的不断丰富,网络安全态势感知模型还将发挥更加重要的作用。

总之,基于大数据的网络安全态势感知模型是网络安全的一种新兴技术。

它通过对大量数据源的收集和处理,实现对网络的实时监控和攻击检测。

未来,这一技术将会在实践中面临很多挑战,但也必将得到更好的应用和发展。

基于大数据和云计算的网络安全态势感知与监测技术研究

基于大数据和云计算的网络安全态势感知与监测技术研究

基于大数据和云计算的网络安全态势感知与监测技术研究随着互联网的快速发展,网络安全已经成为现代社会中不可忽视的重要问题。

为了保护网络免受各种威胁和攻击,网络安全监测和感知技术变得尤为关键。

大数据和云计算技术的出现为网络安全态势感知和监测提供了新的解决方案。

本文将介绍基于大数据和云计算的网络安全态势感知与监测技术的研究现状和重要性。

网络安全态势感知是指通过收集、分析和处理网络中的数据,对网络状况和安全事件进行监测和感知的能力。

它能够实时监测网络中的异常行为和安全事件,帮助网络管理员及时发现和应对可能的威胁。

而大数据技术则具备处理大规模数据的能力,可以从海量的网络数据中提取重要信息。

云计算则提供了强大的计算能力和存储资源,使得大规模数据的处理和分析变得可行。

基于大数据和云计算的网络安全态势感知与监测技术主要包括以下几个方面:数据采集与处理、异常检测与分析以及态势感知与可视化。

首先,数据采集与处理是网络安全态势感知的基础。

大数据技术可以帮助网络安全系统实时收集和存储大规模的网络数据,包括网络流量数据、日志数据、入侵检测数据等。

采集到的数据需要进行预处理和清洗,以去除噪声和冗余信息,并提取关键特征用于后续的分析和检测。

其次,异常检测与分析是网络安全态势感知的核心。

通过对采集到的数据进行异常检测和分析,可以识别出网络中的异常行为和安全事件。

大数据技术可以帮助构建精准的异常检测模型,识别出网络中不正常的流量模式或者异常的用户行为。

同时,云计算的计算资源可以大幅提升异常检测的效率和准确性。

异常检测的结果可以帮助网络管理员及时采取相应的措施,以保护网络的安全。

最后,态势感知与可视化是网络安全态势感知的关键环节。

通过将采集到的数据进行分析和处理,可以得到对网络安全态势的全面认知。

大数据技术可以帮助网络管理员将海量的数据转化为有用的信息,形成直观的图表和报告。

这些图表和报告可以帮助网络管理员快速了解网络的安全状况,并及时采取相应的措施。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

□ 曹蓉蓉 / 南京政治学院上海校区军事信息管理系 上海 200433大数据环境下网络安全态势感知研究摘要:随着网络规模和应用的迅速扩大,网络安全威胁不断增加,单一的网络安全防护技术已经不能满足需要。

网络安全态势感知能够从整体上动态反映网络安全状况并对网络安全的发展趋势进行预测,大数据的特点为大规模网络安全态势感知研究的突破创造了机遇。

文章在介绍网络安全态势相关概念和技术的基础上,对利用大数据开展基于多源日志的网络安全态势感知研究进行了探讨。

关键词:网络安全,态势感知,大数据,数据融合,态势预测DOI:10.3772/j.issn.1673—2286.2014.02.0031 引言随着计算机和通信技术的迅速发展,计算机网络的应用越来越广泛,其规模越来越庞大,多层面的网络安全威胁和安全风险也在不断增加,网络病毒、Dos/ DDos攻击等构成的威胁和损失越来越大,网络攻击行为向着分布化、规模化、复杂化等趋势发展,仅仅依靠防火墙、入侵检测、防病毒、访问控制等单一的网络安全防护技术,已不能满足网络安全的需求,迫切需要新的技术,及时发现网络中的异常事件,实时掌握网络安全状况,将之前很多时候亡羊补牢的事中、事后处理,转向事前自动评估预测,降低网络安全风险,提高网络安全防护能力。

网络安全态势感知技术能够综合各方面的安全因素,从整体上动态反映网络安全状况,并对网络安全的发展趋势进行预测和预警。

大数据技术特有的海量存储、并行计算、高效查询等特点,为大规模网络安全态势感知技术的突破创造了机遇,借助大数据分析,对成千上万的网络日志等信息进行自动分析处理与深度挖掘,对网络的安全状态进行分析评价,感知网络中的异常事件与整体安全态势。

2 网络安全态势相关概念2.1 网络态势感知态势感知(Situation Awareness,SA)的概念是1988年Endsley提出的,态势感知是在一定时间和空间内对环境因素的获取,理解和对未来短期的预测。

整个态势感知过程可由图1所示的三级模型直观地表示出来。

图1 态势感知的三级模型态势理解(二级)态势预测(三级)态势要素获取(一级)所谓网络态势是指由各种网络设备运行状况、网络行为以及用户行为等因素所构成的整个网络当前状态和变化趋势。

网络态势感知(Cyberspace Situation Awareness,CSA)是1999年Tim Bass首次提出的,网络态势感知是在大规模网络环境中,对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及预测最近的发展趋势。

态势是一种状态、一种趋势,是整体和全局的概念,任何单一的情况或状态都不能称之为态势。

因此对态势的理解特别强调环境性、动态性和整体性,环境性是指态势感知的应用环境是在一个较大的范围内具有一定规模的网络;动态性是态势随时间不断变化,态势信息不仅包括过去和当前的状态,还要对未来的趋2014年第02期(总第117期)11势做出预测;整体性是态势各实体间相互关系的体现,某些网络实体状态发生变化,会影响到其他网络实体的状态,进而影响整个网络的态势。

2.2 网络安全态势感知网络安全态势感知就是利用数据融合、数据挖掘、智能分析和可视化等技术,直观显示网络环境的实时安全状况,为网络安全提供保障。

借助网络安全态势感知,网络监管人员可以及时了解网络的状态、受攻击情况、攻击来源以及哪些服务易受到攻击等情况,对发起攻击的网络采取措施;网络用户可以清楚地掌握所在网络的安全状态和趋势,做好相应的防范准备,避免和减少网络中病毒和恶意攻击带来的损失;应急响应组织也可以从网络安全态势中了解所服务网络的安全状况和发展趋势,为制定有预见性的应急预案提供基础。

网络安全态势感知的主要任务包括风险感知和事件感知两个方面。

风险感知包括网络资产感知和网络脆弱性感知,网络资产感知是指自动、快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息;网络脆弱性感知是分析、发现网络的脆弱性,对脆弱性进行统一标识和管理,网络脆弱性包括不可见脆弱性和可见脆弱性。

事件感知主要包括安全事件感知和异常行为感知,安全事件感知是指能够确定安全事件发生的时间、地点、起因、经过和结果;异常行为感知是指通过异常行为判定风险,以弥补对不可见脆弱性、未知安全事件发现的不足,主要面向的是感知未知的攻击。

3 网络安全态势感知相关技术对于大规模网络而言,一方面网络节点众多、分支复杂、数据流量大,存在多种异构网络环境和应用平台;另一方面网络攻击技术和手段呈平台化、集成化和自动化的发展趋势,网络攻击具有更强的隐蔽性和更长的潜伏时间,网络威胁不断增多且造成的损失不断增大。

为了实时、准确地显示整个网络安全态势状况,检测出潜在、恶意的攻击行为,网络安全态势感知要在对网络资源进行要素采集的基础上,通过数据预处理、网络安全态势特征提取、态势评估、态势预测和态势展示等过程来完成,这其中涉及许多相关的技术问题,主要包括数据融合技术、数据挖掘技术、特征提取技术、态势预测技术和可视化技术等。

3.1 数据融合技术由于网络空间态势感知的数据来自众多的网络设备,其数据格式、数据内容、数据质量千差万别,存储形式各异,表达的语义也不尽相同。

如果能够将这些使用不同途径、来源于不同网络位置、具有不同格式的数据进行预处理,并在此基础上进行归一化融合操作,就可以为网络安全态势感知提供更为全面、精准的数据源,从而得到更为准确的网络态势。

数据融合技术是一个多级、多层面的数据处理过程,主要完成对来自网络中具有相似或不同特征模式的多源信息进行互补集成,完成对数据的自动监测、关联、相关、估计及组合等处理,从而得到更为准确、可靠的结论。

数据融合按信息抽象程度可分为从低到高的三个层次:数据级融合、特征级融合和决策级融合,其中特征级融合和决策级融合在态势感知中具有较为广泛的应用。

3.2 数据挖掘技术网络安全态势感知将采集的大量网络设备的数据经过数据融合处理后,转化为格式统一的数据单元。

这些数据单元数量庞大,携带的信息众多,有用信息与无用信息鱼龙混杂,难以辨识。

要掌握相对准确、实时的网络安全态势,必须剔除干扰信息。

数据挖掘就是指从大量的数据中挖掘出有用的信息,即从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律的、事先未知的,但又有潜在用处的并且最终可理解的信息和知识的非平凡过程(Nontrivial Process)[1]。

数据挖掘可分为描述性挖掘和预测性挖掘,描述性挖掘用于刻画数据库中数据的一般特性;预测性挖掘在当前数据上进行推断,并加以预测。

数据挖掘方法主要有:关联分析法、序列模式分析法、分类分析法和聚类分析法。

关联分析法用于挖掘数据之间的联系;序列模式分析法侧重于分析数据间的因果关系;分类分析法通过对预先定义好的类建立分析模型,对数据进行分类,常用的模型有决策树模型、贝叶斯分类模型、神经网络模型等;聚类分析不依赖预先定义好的类,它的划分是未知的,常用的方法有模糊聚类法、动态聚类法、基于密度的方法等。

2014年第02期(总第117期)12大数据环境下网络安全态势感知研究曹蓉蓉3.3 特征提取技术网络安全态势特征提取技术是通过一系列数学方法处理,将大规模网络安全信息归并融合成一组或者几组在一定值域范围内的数值,这些数值具有表现网络实时运行状况的一系列特征,用以反映网络安全状况和受威胁程度等情况。

网络安全态势特征提取是网络安全态势评估和预测的基础,对整个态势评估和预测有着重要的影响,网络安全态势特征提取方法主要有层次分析法、模糊层次分析法、德尔菲法和综合分析法。

3.4 态势预测技术网络安全态势预测就是根据网络运行状况发展变化的实际数据和历史资料,运用科学的理论、方法和各种经验、判断、知识去推测、估计、分析其在未来一定时期内可能的变化情况,是网络安全态势感知的一个重要组成部分。

网络在不同时刻的安全态势彼此相关,安全态势的变化有一定的内部规律,这种规律可以预测网络在将来时刻的安全态势,从而可以有预见性地进行安全策略的配置,实现动态的网络安全管理,预防大规模网络安全事件的发生。

网络安全态势预测方法主要有神经网络预测法、时间序列预测法、基于灰色理论预测法。

3.5 可视化技术网络安全态势生成是依据大量数据的分析结果来显示当前状态和未来趋势,而通过传统的文本或简单图形表示,使得寻找有用、关键的信息非常困难。

可视化技术是利用计算机图形学和图像处理技术,将数据转换成图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术。

它涉及计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域。

目前已有很多研究将可视化技术和可视化工具应用于态势感知领域,在网络安全态势感知的每一个阶段都充分利用可视化方法,将网络安全态势合并为连贯的网络安全态势图,快速发现网络安全威胁,直观把握网络安全状况。

4 基于多源日志的网络安全态势感知随着网络规模的扩大以及网络攻击复杂度的增加,入侵检测、防火墙、防病毒、安全审计等众多的安全设备在网络中得到广泛的应用,虽然这些安全设备对网络安全发挥了一定的作用,但存在着很大的局限,主要表现在:一是各安全设备的海量报警和日志,语义级别低,冗余度高,占用存储空间大,且存在大量的误报,导致真实报警信息被淹没。

二是各安全设备大多功能单一,产生的报警信息格式各不相同,难以进行综合分析整理,无法实现信息共享和数据交互,致使各安全设备的总体防护效能无法得以充分的发挥。

三是各安全设备的处理结果仅能单一体现网络某方面的运行状况,难以提供全面直观的网络整体安全状况和趋势信息。

为了有效克服这些网络安全管理的局限,我们提出了基于多源日志的网络安全态势感知。

4.1 基于多源日志的网络安全态势感知要素获取基于多源日志的网络安全态势感知是对部署在网络中的多种安全设备提供的日志信息进行提取、分析和处理,实现对网络态势状况进行实时监控,对潜在的、恶意的网络攻击行为进行识别和预警,充分发挥各安全设备的整体效能,提高网络安全管理能力。

基于多源日志的网络安全态势感知主要采集网络入口处防火墙日志、入侵检测日志,网络中关键主机日志以及主机漏洞信息,通过融合分析这些来自不同设备的日志信息,全面深刻地挖掘出真实有效的网络安全态势相关信息,与仅基于单一日志源分析网络的安全态势相比,可以提高网络安全态势的全面性和准确性。

4.2 利用大数据进行多源日志分析处理基于多源日志的网络安全态势感知采集了多种安全设备上以多样的检测方式和事件报告机制生成的海量数据,而这些原始的日志信息存在海量、冗余和错误等缺陷,不能作为态势感知的直接信息来源,必须进行关联分析和数据融合等处理。

采用什么样的技术才能快速分析处理这些海量且格式多样的数据?大数据的出现,扩展了计算和存储资源,大数据自身拥有的Variety支持多类型数据格式、Volume大数据量存储、Velocity快速处理三大特征,恰巧是基于多源日志的网络安全态势感知分析处理所需要的。

相关文档
最新文档