基于大数据的网络空间态势感知

合集下载

基于大数据的网络安全态势感知与预警技术

基于大数据的网络安全态势感知与预警技术

基于大数据的网络安全态势感知与预警技术随着互联网的迅速发展和智能设备的普及,网络安全问题变得越来越突出。

网络攻击频频发生,给个人、企业甚至整个国家的信息安全带来了巨大威胁。

为了及时识别和应对网络威胁,保护网络安全,基于大数据的网络安全态势感知与预警技术应运而生。

网络安全态势感知是指通过对网络环境中的各种信息和数据进行采集、分析和识别,及时感知网络中存在的威胁和漏洞。

基于大数据的网络安全态势感知技术将大数据分析技术与网络安全相结合,能够对网络中的各种数据进行实时分析和处理,从而获取网络安全态势的全局视角。

这对于及时发现和应对网络攻击事件具有重要意义。

大数据在网络安全态势感知中的应用主要表现在以下几个方面:1. 数据采集和存储:基于大数据的网络安全态势感知技术可以从各种源头采集网络数据,包括网络流量、日志数据、网络设备信息等。

这些数据需要进行有效存储和管理,以便后续的分析和挖掘。

2. 数据分析和处理:通过将大数据分析技术运用于网络安全,可以对庞大的网络数据进行实时分析和处理。

通过数据挖掘和机器学习算法,可以及时识别网络攻击行为、异常流量和潜在的威胁。

同时,还可以对历史数据进行分析,挖掘网络攻击的模式和规律,为网络防御提供参考。

3. 信息可视化和报警:基于大数据的网络安全态势感知技术能够将分析结果以可视化的方式展示,通过图表、地图等形式呈现网络安全状况,便于决策者和安全团队快速了解当前网络的安全态势。

同时,系统还可以通过自动报警功能,及时向相关人员发送预警信息,提醒其采取必要的防护措施。

基于大数据的网络安全态势预警是指在感知网络安全状态的基础上,及时发出预警,为网络防御提供决策支持。

其主要包括以下几个方面的技术:1. 威胁情报分析:基于大数据的网络安全态势预警技术可以对来自各种安全情报源的威胁情报进行分析和处理,包括黑客活动、恶意软件传播和网络漏洞等信息。

通过对威胁情报的分析,可以及时识别出网络攻击的目标和方式,从而提前做好防护措施。

基于大数据的网络安全态势感知与分析系统

基于大数据的网络安全态势感知与分析系统

基于大数据的网络安全态势感知与分析系统随着网络的发展和普及,网络安全问题日益突出。

传统的网络安全体系已经不能满足实时监测和预防网络攻击的需求。

为了应对不断增长的网络威胁,基于大数据的网络安全态势感知与分析系统成为了一种有效的解决方案。

在传统的网络安全防御中,常常使用一个规则库来识别已知的威胁。

然而,由于网络攻击日益复杂多变,传统方法很难有效识别全新的威胁。

大数据技术则可以分析海量的网络数据,挖掘出潜在的威胁,并提供实时的态势感知。

基于大数据的网络安全态势感知与分析系统主要包括三个环节:数据采集、数据分析和态势感知。

首先,数据采集是系统的基础。

网络安全数据主要包括网络流量数据、日志数据和安全设备数据等。

通过采集这些数据,并进行整合和清洗,建立起庞大的数据仓库。

同时,还可以引入其他数据源,如社交媒体数据和漏洞信息数据等,以获得更全面的信息。

其次,数据分析是系统的核心。

通过采用机器学习和数据挖掘等算法,可以对海量的数据进行分析和挖掘,从中发现潜在的威胁。

例如,通过监测网络流量数据,可以识别出异常的网络行为;通过分析日志数据,可以发现非法的用户访问;通过分析安全设备数据,可以追踪和阻止正在进行的攻击。

通过这些分析和挖掘,系统可以得出网络的安全态势。

最后,态势感知是系统的输出。

通过将数据分析的结果可视化呈现,提供给安全人员进行实时监测和决策。

安全人员可以通过系统提供的分析图表和报告,了解当前的网络安全状况,及时采取相应的措施进行应对。

同时,系统还可以根据历史数据和趋势分析,提供预测性的安全策略,帮助安全人员制定更加有效的防御措施。

基于大数据的网络安全态势感知与分析系统具有以下优势:首先,系统可以实时监测网络中的异常行为和攻击,及时发现并应对潜在的威胁。

相对于传统方法,大数据分析可以更好地识别新型的攻击方式,提高了安全防护的能力。

其次,系统可以提供准确的安全状况报告和分析结果,帮助安全人员快速判断和应对网络威胁。

基于大数据分析的网络安全态势感知

基于大数据分析的网络安全态势感知

基于大数据分析的网络安全态势感知一、引言随着互联网的快速发展,个人和组织在日常生活和工作中越来越依赖于网络。

然而,网络安全威胁的不断增加给个人和组织带来了严重的风险和挑战。

为了及时发现、识别和应对网络攻击,网络安全态势感知变得至关重要。

基于大数据分析的网络安全态势感知成为了一种有效的解决方案。

本文将介绍基于大数据分析的网络安全态势感知的概念、原理和应用。

二、网络安全态势感知基础网络安全态势感知是指通过收集、分析和综合网络中的各种安全信息,实时感知网络安全状况并提供决策支持。

它可以及时识别异常行为、网络攻击和威胁,并提供有效的应对措施。

网络安全态势感知的基础是大数据分析技术。

1. 大数据分析技术大数据分析技术是一种利用计算机和网络对大量、多样化、实时的数据进行收集、存储、处理和分析的技术。

它可以从数据中发现隐藏的模式、规律和异常,并为决策提供有效的支持。

大数据分析技术具有高效、高准确性和实时性等特点,可以应对网络安全威胁的复杂性和多变性。

2. 网络安全数据源网络安全数据源包括网络日志、入侵检测系统(IDS)、防火墙日志、入侵检测和预防系统(IPS)、流量数据、安全设备日志等。

这些数据源包含了丰富的网络安全信息,可以通过大数据分析进行有效的挖掘和分析,发现网络威胁并提供决策支持。

三、基于大数据分析的网络安全态势感知方法基于大数据分析的网络安全态势感知方法主要包括数据采集、数据预处理、特征提取、异常检测和决策支持等步骤。

1. 数据采集数据采集是指从各种网络安全数据源中收集数据,并将其转化为结构化的数据以便进行分析。

这一步骤需要考虑数据的完整性、准确性和实时性等因素。

2. 数据预处理数据预处理是指对采集到的数据进行清洗、筛选和整合的过程。

它可以去除冗余数据、处理缺失值、归一化数据等,保证数据的质量和一致性。

3. 特征提取特征提取是指从预处理后的数据中提取与网络安全相关的特征。

这些特征可以包括网络流量、访问模式、行为模式等。

基于大数据的网络安全态势感知与分析

基于大数据的网络安全态势感知与分析

基于大数据的网络安全态势感知与分析随着全球数字化进程的推进,网络已经成为人们日常工作和生活中不可或缺的一部分。

在数字经济时代,大数据已经成为了企业和政府决策的重要依据。

然而,随着数字化进行的同时,网络安全问题也日益严重。

因此,如何在海量数据中快速有效地找到安全隐患,成为数字时代最重要的一环。

基于大数据的网络安全态势感知与分析,便是在这一背景下得以迅速发展的。

一、网络安全态势感知的定义与原理网络安全态势感知是通过对网络数据的采集、整合、分析与挖掘,快速有效地对网络中潜在的安全威胁进行预警和感知的一种技术手段。

它依托大数据处理和人工智能技术,通过对网络海量数据进行深入分析,识别网络安全隐患和威胁,及时提供预警预测,为网络安全管理提供有力的支持和保障。

网络安全态势感知的原理可以概括为:数据采集、数据处理、威胁识别和应急响应。

首先,通过网络数据采集工具,采集网络数据并存储起来。

接着,通过大数据处理技术,对海量网络数据进行处理和分析,以便更好地发现相关信息。

然后,对数据进行威胁识别和安全评估,从而快速发现网络威胁事件。

最后,采取相应的紧急响应措施,以保障网络安全。

二、基于大数据的网络安全态势感知技术大数据的发展给网络安全态势感知带来了革命性的变化。

传统的安全技术往往是基于特定条件的检测和响应,而基于大数据的网络安全态势感知则提供了更全面的视角和更完整的安全态势感知能力。

下面分别介绍在大数据平台上的网络安全态势感知技术:1. 数据挖掘技术数据挖掘技术是基于大数据平台的网络安全态势感知的核心技术。

数据挖掘技术可以通过挖掘网络数据流量,发现网络漏洞以及对网络攻击进行预警等工作。

通过这种技术,可以快速而准确地发现网络的漏洞和脆点,防止网络攻击的发生。

2. 机器学习技术机器学习是一种用来让计算机自主学习的技术,可应用于各种大数据的分类、预测和模型构建。

在网络安全领域,机器学习技术可以用于对大规模网络攻击样本的训练和分类,提高网络攻击检测的准确度和及时性。

基于大数据的网络安全态势感知研究与应用

基于大数据的网络安全态势感知研究与应用

基于大数据的网络安全态势感知研究与应用网络安全是当今互联网时代面临的一大挑战。

随着网络攻击技术日益复杂和网络威胁事件的增加,对网络安全态势感知的需求也越来越迫切。

基于大数据的网络安全态势感知研究与应用成为了当前解决网络安全问题的重要途径之一。

本文将对基于大数据的网络安全态势感知进行研究和应用的相关内容进行探讨。

首先,我们需要明确什么是网络安全态势感知。

网络安全态势感知是指通过对网络流量、日志、事件等海量数据进行分析和处理,提取出网络中的安全威胁信息,对网络安全态势进行评估和分析的过程。

它可以帮助网络管理员及时发现和应对各种网络安全问题,降低网络威胁造成的损失。

大数据技术在网络安全态势感知中的应用具有重要意义。

网络安全数据产生速度快、种类繁多,传统的安全技术已经无法满足对大规模数据的处理和分析需求。

大数据技术可以对庞大的安全数据进行高效处理和分析,提高处理效率和准确性。

基于大数据的网络安全态势感知需要涵盖多个方面的技术和方法。

首先,数据采集和存储是基础。

网络安全数据涵盖网络流量数据、安全日志、事件信息等,如何高效地采集这些数据并进行存储是基于大数据的网络安全态势感知的一项重要工作。

其次,数据预处理和清洗。

网络安全数据中存在众多的无效数据和噪声,对数据进行预处理和清洗,提取有效信息,排除无效数据和噪声,可以提高后续分析的准确性和效率。

再次,特征提取和分析。

基于大数据的网络安全态势感知需要从海量的数据中提取特征,发现异常行为和威胁信号。

通过对数据进行聚类、分类、关联等分析技术,可以识别出网络中存在的安全威胁和攻击行为。

最后,安全态势分析和预警。

基于大数据的网络安全态势感知的最终目标是对网络安全态势进行分析和评估,及时发现并预警潜在的安全威胁,为网络管理员提供决策支持。

大数据在网络安全态势感知中的应用是多方面的。

首先,大数据可以帮助网络管理员实现网络攻击的快速响应。

通过实时监测网络流量和分析网络安全事件,可以快速发现网络中的安全问题,并及时采取对应的措施,阻止网络攻击造成的损失。

基于大数据的网络安全态势感知技术研究

基于大数据的网络安全态势感知技术研究

基于大数据的网络安全态势感知技术研究【摘要】本文基于大数据的网络安全态势感知技术研究,旨在探讨如何利用大数据技术提升网络安全防御能力。

首先介绍了大数据在网络安全领域的应用情况,然后概述了网络安全态势感知技术的基本原理。

接着详细分析了基于大数据的网络安全态势感知技术的具体实现方式,并通过案例分析验证了其有效性。

最后展望未来网络安全领域的发展趋势,总结了本研究的成果并提出了创新点。

通过本文的研究,可以更好地理解和应用大数据技术在网络安全领域的作用,为提升网络安全防御水平提供新的思路和方法。

【关键词】大数据、网络安全、态势感知、技术研究、网络安全应用、原理、案例分析、发展趋势、研究成果、展望未来、创新点1. 引言1.1 研究背景网络安全是当今数字化社会不可忽视的重要问题,随着互联网的普及和信息化程度的提升,网络安全问题也变得日益严峻。

网络攻击手段不断更新和演进,传统的安全防御手段已经不能满足对抗各类威胁的需求。

基于大数据的网络安全态势感知技术应运而生,通过收集、处理和分析海量的网络数据,能够更准确、快速地发现网络安全威胁,提高网络安全的防御能力。

网络安全态势感知技术的出现,为网络安全管理提供了新的思路和工具,有助于实现对网络安全态势的全面感知和有效应对。

通过大数据分析技术,能够从海量的网络数据中提取出有价值的信息和规律,快速发现潜在的威胁,并及时采取相应的防范和应对措施。

基于大数据的网络安全态势感知技术被广泛应用于各种网络安全领域,成为当前网络安全领域的研究热点和发展方向。

1.2 研究意义网络安全在当今信息社会中占据着至关重要的地位,随着互联网的快速发展,网络攻击的形式和手段也越来越复杂和隐蔽。

传统的网络安全防御手段已经难以满足对抗各种网络威胁的需求,研究基于大数据的网络安全态势感知技术具有非常重要的意义。

基于大数据的网络安全态势感知技术可以帮助网络安全人员更加全面地了解网络环境中的威胁和风险,及时调整网络防御策略,提高网络安全防护的效率和准确性。

基于大数据的网络安全态势感知模型研究

基于大数据的网络安全态势感知模型研究

基于大数据的网络安全态势感知模型研究随着互联网的快速发展,网络安全问题越来越严重,威胁着人们的生命财产安全。

针对这种情况,基于大数据的网络安全态势感知模型应运而生。

本文将介绍该模型的研究和应用。

一、大数据的背景和意义大数据指的是规模、速度或者复杂度等方面超过传统数据处理能力的数据集合。

大数据的背景包括网络、移动设备、物联网等新兴技术的发展。

它对于社会生产、人类生活和国家安全等方面的影响越来越大。

大数据的背景下,数据管理、数据分析和数据挖掘等技术得到了广泛的应用。

二、网络安全态势感知模型的研究网络安全态势感知模型是一种基于大数据的网络安全防护技术。

它主要通过网络流量、日志信息以及主机信息等多种数据源,实现对网络的全方位监控和信息收集。

通过对这些数据进行处理,可以实时掌握网络的安全态势,及时发现和解决网络安全问题。

网络安全态势感知模型研究过程中主要需要解决的问题有两个,第一个是如何从大量的网络数据中筛选出有价值的信息,第二个是如何将这些信息实时呈现。

为了解决这些问题,研究人员采用了多种技术手段。

例如,可以通过机器学习算法分析数据,实现对网络攻击行为的自动识别;还可以通过数据可视化技术将数据呈现为图表形式,帮助安全人员快速了解网络的状态。

此外还可以利用深度学习、自然语言处理等技术实现对网络攻击的智能感知和相应策略的制定。

三、应用与展望网络安全态势感知模型已经应用于很多网络安全防御系统之中,并取得了出色的效果。

它可以帮助企业组织实现网络的快速响应和有效防御,提高信息安全保障能力。

未来,随着技术的不断发展和应用场景的不断丰富,网络安全态势感知模型还将发挥更加重要的作用。

总之,基于大数据的网络安全态势感知模型是网络安全的一种新兴技术。

它通过对大量数据源的收集和处理,实现对网络的实时监控和攻击检测。

未来,这一技术将会在实践中面临很多挑战,但也必将得到更好的应用和发展。

基于大数据的网络安全态势感知技术研究

基于大数据的网络安全态势感知技术研究

基于大数据的网络安全态势感知技术研究随着互联网的不断发展和普及,网络安全问题日益突出。

网络攻击的种类和手法也愈发复杂和隐蔽,传统的安全防护手段已经无法满足对抗网络攻击的需求。

基于大数据的网络安全态势感知技术成为网络安全领域的研究热点。

网络安全态势感知技术是指通过收集、分析和挖掘庞大的网络安全数据,提取其中的有用信息,对网络攻击进行实时预警和智能决策,为网络安全保卫工作提供决策支持和战略指导的技术。

该技术的核心是通过大数据分析来全面了解网络安全环境,发现潜在的威胁,并及时采取措施进行应对。

基于大数据的网络安全态势感知技术可以对网络数据进行实时采集和存储。

网络安全数据是指包括网络流量、攻击数据、日志记录等在内的各类与网络安全相关的信息。

这些信息的采集和存储是实现网络安全态势感知的基础。

利用大数据技术,可以实现对海量的网络安全数据进行高效地收集、处理和存储,为后续的分析提供基础。

基于大数据的网络安全态势感知技术可以通过数据挖掘和机器学习算法,对网络数据进行分析和挖掘。

数据挖掘是指从大量的数据中,找出其中隐藏的、以往未知的、有价值的模式和知识的过程。

通过数据挖掘技术,可以对网络安全数据进行特征提取、行为分析、异常检测等操作,从而找出潜在的网络攻击或异常行为。

基于大数据的网络安全态势感知技术可以构建网络攻击的模型和预测系统。

通过分析历史数据和当前的网络安全形势,可以建立网络攻击的模型,包括攻击类型、攻击来源、攻击目标等方面的特征。

基于这些模型,可以进行网络攻击的预测和预警,帮助网络安全人员及时发现潜在的网络攻击威胁,并采取相应的防护措施。

基于大数据的网络安全态势感知技术是网络安全领域的一项重要技术,它通过收集、分析和挖掘海量的网络数据,实现对网络安全状况的全面了解和预测,为网络安全保卫工作提供有效的支持和指导。

随着云计算和物联网的快速发展,网络安全问题将变得更加复杂和严峻,基于大数据的网络安全态势感知技术将成为网络安全的重要保障。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

基于大数据的安全感知研究摘要:随着“互联网+”的到来,网络数据爆发性增长,传统的安全分析手段已经无法分析处理如此大量的数据。

随着大数据技术的成熟、应用和推广,网络安全态势感知技术有了新的发展方向大数据技术特有的海量存储、并行计算、高效查询等特点,为大规模网络安全态势感知的关键技术创造了突破的机遇。

本文将对大规模网络环境下的安全态势感知、大数据技术在安全感知方面的促进做一些探讨。

关键词:大数据网络安全态势感知并行计算Network Security Situation Awareness Based on Big DataLi Yingzhuang1Wang Yao2 Zhou Zhengcheng2Zou Xueqin2(China Mobile Group Hainan Co., Ltd.,Hainan,570125)Abstract: With the "Internet plus" the arrival of the explosive growth of network data security analysis, the traditional method has been unable to deal with such a large amount of data analysis. Along with the promotion and application of big data technology, mature, situational awareness of network security technology has the characteristics of a new direction for the development of mass storage, unique big data technology of parallel computing, efficient query, creating a breakthrough opportunity is the key technology of large-scale network security situation awareness. In this paper, we will discuss the security situation awareness and the promotion of large data technology in large scale network environment.Keywords: Big Data,Network Security,Situation Awareness, Parallel computing1. 引言随着“互联网+”、智能制造等新兴业态的快速发展,互联网快速渗透到工业各领域各环节,客观上导致工业行业原有相对封闭的使用环境被逐渐打破,传统网络与信息安全威胁加速向各类网络、系统、设备渗透,病毒、木马日益猖獗。

提出新的挑战,而且我国目前信息系统安全产业和信息安全法律法规和标准不完善,导致国内信息安全保障工作滞后于信息技术发展。

面对复杂严峻的网络与信息安全形势,2015年1月,公安部颁布了《关于加快推进网络与信息安全通报机制建设的通知》(公信安[2015]21号)文件。

《关于加快推进网络与信息安全通报机制建设的通知》要求建立省市两级网络与信息安全信息通报机制,积极推动专门机构建设,建立安全态势感知监测通报手段和信息通报预警及应急处置体系。

明确要求建设网络与信息安全态势感知监测通报平台。

实现对重要网站和网上重要信息系统的安全监测、网上计算机病毒木马传播监测、通报预警、应急处置、态势分析、安全事件(事故)管理、督促整改等功能,为开展相关工作提供技术保障。

2016年4月19日,习总书记在讲话中指出:我们要保持清醒头脑,各方面齐抓共管,切实维护网络安全。

其中很重要的一点就是建立“全天候全方位感知网络安全态势。

知己知彼,才能百战不殆。

没有意识到风险是最大的风险。

”随着信息化的发展,网络安全案件向着高频率,高危害,难追溯的方向发展。

急需一种安全监测手段,提供网络安全监测,攻击溯源能力,能够发现多种安全事件线索,发现攻击源头,大大增强了网络安全防御能力和威慑能力。

2. 安全态势感知研究2.1.1 大数据体系建设大数据在电商、互联网等行业的广泛应用,各行各业已经开始认识到大数据对于行业未来发展的意义。

对于信息安全领域不断涌现的高级攻击手段,以及云计算技术在一些企业、政府部门中的应用,传统的安全设备已无法容纳大量的数据信息来进行安全分析和防御。

因此将大数据技术应用在信息安全领域,建立信息安全领域的大数据存储分析平台非常必要。

系统支持针对海量历史网络通信数据进行综合分析,挖掘具有强潜伏性和持续时间长等特征的高级、复杂的窃密行为及网络攻击活动:通过各种数据挖掘分析技术,进行海量历史数据的数据挖掘分析,获得更多更有效的结论和报告。

辅助应用系统快速定位安全事件和问题。

2.1.2 关键技术方案构建面向信息安全领域的大数据平台,自动、智能、快速的对复杂来源的海量数据进行采集,并针对大数据分布式计算特性和算法特性对数据进行统一预处理,形成统一的分布式存储管理系统。

利用分布式计算架构对数据进行快速计算和挖掘分析,以采集的大数据为基础,构建相应的业务模型和可视化分析,从而发现和揭示隐含的要素和关联。

图 2.1 安全大数据分析1、数据源采集信息安全领域的数据源根据类型的不同,包括结构化数据,非结构化数据和半结构化数据,数据采集方式主要通过syslog和flow技术进行采集,对于大量多源异构数据源,采用前置探针,对数据进行集中收集、规范化等工作,将数据整合后统一发送到大数据应用系统,应用系统将根据安全事件之间的相关性,进行关联分析,得到更为准确的监测信息,发现攻击源。

2、大数据预处理原始数据中存在着大量杂乱的、重复的、不完整的数据,严重影响到数据挖掘算法的执行效率,甚至可能导致挖掘结构的偏差。

因此,在数据挖掘算法执行之前,必须对收集到的原始数据进行预处理,从而改进数据的质量,提高数据挖掘过程的效率、精度和性能。

大数据预处理利用数据切片,数据分类,数据聚合,数据索引标记等技术对原始数据进行层级化的聚合、重组、清洗、提取、转换、管理、切分等预处理操作,统一标准接口,统一数据标准,并通过分布式存储管理技术,在满足一致性要求的基础上,实现安全、可靠、快速、有效的对多类型、多格式的数据统一存储管理。

3、大数据分布式计算大数据分布式计算通过两个或多个计算机互相共享信息,将需要进行大量计算的数据分割成小块,由多台计算机分别计算,再对运算结果进行统一合并。

采用分布式任务调度机制,动态灵活的将计算资源进行分配和调度,从而达到资源利用最大化,计算节点不会出现闲置和过载的情况,采用分布式实时计算框架和分布式离线计算框架相结合的分布式计算框架和模块化设计,构建一个支持多种分布式计算模型的统一动态调度、管理和计算的大数据分布式计算平台,有效的支撑大数据挖掘分析。

4、大数据挖掘分析通过上述数据采集、数据预处理、数据分布式计算等过程,大数据已纳入分布式存储管理中,这些数据信息已可以用于查询、统计、分析,得到大量对业务有用的信息,然而,隐藏和淹没在这些大数据之中更重要的信息,如数据整体特征描述、关联分析、精细化分类、模式识别等,是无法用传统查询统计方法来获取的。

为了得到这些有用的信息,需要采用数据挖掘分析技术,自动智能的对大数据分析、探索、挖掘,探寻数据的模式及特征,寻找数据被的信息变化,从而最终使用蕴藏在数据中的信息和知识。

数学模型库是针对所有算法的特征,构建一个通用库,实现了大数据格式的数据结构定义,对算法参数,数学模型库,模型评估体系和挖掘分析的结果等进行统一管理,提供了数据挖掘分析的入口,根据输入的算法参数,自动调用挖掘分析所用的算法及其相应的模型等。

数据挖掘算法工具库针对大数据分布式存储管理,分布式计算的特性,统一匹配各种数据挖掘算法,根据具体业务需求,工具库可配置相应的算法进行挖掘,具备灵活的动态扩展和分布式任务调度机制。

数据挖掘接口封装是屏蔽底层算法的细节差异,统一向上层提供数据挖掘的处理接口,接口封装在保证了系统功能独立的同时增加了系统的可扩展性和灵活性,当与之互联的外围系统发生变化时,只需修改相应接口程序。

5、信息安全数据应用随着大数据技术的不断创新和广泛应用,信息安全领域越来越迫切需要依托大数据处理技术来实现网络攻击的分析,面向信息安全领域的大数据分析平台在大数据采集、预处理、分布式计算和挖掘分析的基础上,需面向信息系统提供信息安全保证服务。

2.1.3 安全分析模型安全态势感知使用大量安全分析模型,如事件理解引擎设计事件理解引擎将归并后的日志,基于一定的事件理解规则,进行关联分析,将日志理解为安全事件,提高告警准确性,并降低日志量。

过去服务人员通过手动的形式,将各种安全日志进行关联分析,分析出事件,现在,我们将过去积累的东西,抽象成分析模型,并将分析模型在Spark-streaming 中进行代码实现,从而完成了从过去的安全服务分析,到现在的大数据智能化分析方案。

图 2.2 事件理解引擎攻击链模型设计攻击链分析模型通过分析各个网络安全设备收集的安全日志和流量日志生成网络安全事件,进行正反双向推理,正向推理预警潜在威胁,反向推理还原攻击情景。

攻击链挖掘程序在网络安全事件的基础之上,按照目的资产的维度将各个安全事件进行聚合,并对应到攻击链的各个阶段,从而发现当前网络中的脆弱主机。

网络安全管理员通过分析攻击链的结果,可以了解整个网络当前的安全态势,并且有针对性的对脆弱资产进行加固,提升网络的安全性和抗攻击能力。

图 2.3 攻击链模型情报关联模型设计通过云端情报与本地事件的关联分析,大幅度提高安全事件告警准确度,并能够基于云端情报信息,实现潜在威胁报警。

云端情报,能够给企业端分析引擎提供知识库输入,如恶意IP 、恶意URL 等,安全日志经过分析引擎时,与知识库进行匹配,将日志打上标签,产生安全事件,事件再上传到云端情报,进行情报验证,提高分析准确性,此外,查询云端情报中恶意IP 信息,分析恶意IP 其他攻击行为,并反馈,实现预警功能。

图 2.4 情报关联分析风险评估模型设计外部威胁、系统脆弱性,都会为资产带来风险,我们通过风险评估模型,将外部威胁、资产脆弱性,结合资产价值,进行风险评估,通过风险评估,得到风险计分,基于风险评分,产生处置方式的决策,进行脆弱性修补,威胁阻断。

系统对整个系统的风险进行评估,针对每个资产,都会对其外部发起的一些安全事件,如入侵事件、异常流量事件、僵木蠕事件等作为威胁进行评分;又会对其内部自身的一些脆弱性,如系统漏洞、网站安全等进行评分。

相关文档
最新文档