360态势感知与安全运营平台
态势感知三要素缺一不可
态势感知三要素缺一不可作者：来源：《中国信息化周报》2017年第13期据悉360安全态势感知系统已经在全国多地监管部门、金融等重要行业和大型企业落地实施。
360企业安全集团副总裁韩永刚在接受媒体采访时表示，态势感知是一种基于环境的、动态的、整体的洞悉安全风险的能力，是以安全大数据为基础，从全局视角提升对安全威胁的发现识别、理解分析、响应处置能力的一种方式，最终是为了决策与行动，是安全能力的落地。
态势感知必备三大核心韩永刚介绍，目前态势感知主要有三大应用方向：一类是监管机构，更多从国家层面，或者是省市大地域层面，关注跟国计民生相关的关键信息基础设施，对它们的安全态势进行整体的监测与关注。
还有一类是大型行业，如政府、金融、大型企业，他们从自己的体系内部去做态势感知，首先是其内部系统的安全运营，发现重要威胁，解决问题，把安全能力，通过态势感知这样的体系和平台去落地。
这些大型机构也会有很多分支或二级单位，也需要通过态势感知对这些单位进行外部监管，以提升整体的安全状态的掌握能力。
同时与监管机构进行在事件应急处置及威胁情报方面的合作。
最后一类是机构或企业内部的态势感知，对自己内部有价值的核心资产、业务系统，从日常的安全工作角度出发，发现各类威胁与内部异常违规，保证业务系统能够比较平稳、顺畅的运行，更偏向内部安全的运营型能力的落地。
“态势感知系统是个体系，需要结合新技术、数据、系统平台和人的能力”，韩永刚认为一个完整的态势感知系统需要包含以下几大核心部分：首先是对整个周边安全态势要素的完整获取，也就是对数据的理解和获取、采集的能力。
比如流量数据的还原与监控、云端数据的理解、扫描类的数据、各类日志数据等。
把来自不同的源头、不同类型的数据融合在一起、产生关联，通过进一步分析去发现问题。
这也就要求一个大数据平台能把海量数据高效地存储与计算处理，在此基础上做深度的安全检测、事件捕猎、调查分析，发现、定位、溯源安全事件。
网络安全态势感知平台
网络安全态势感知平台网络安全态势感知平台网络安全态势感知平台是一个能够帮助用户实时了解网络安全态势的工具。
随着互联网的普及和信息技术的发展，网络安全问题日益突出，传统的防御手段已经无法满足复杂多变的网络安全威胁。
而网络安全态势感知平台的出现，则为我们提供了一种全新的解决方案。
网络安全态势感知平台基于大数据分析和智能算法，能够从海量的网络数据中提取关键信息，并进行实时分析和处理。
它可以对网络中的各种安全事件进行监测和感知，包括恶意软件攻击、黑客入侵、DDoS 攻击等。
通过对这些安全事件的分析，平台能够及时发现和预警网络安全威胁，帮助用户采取有效的应对措施。
网络安全态势感知平台具有以下特点和优势：首先，平台具备高度的实时性和准确性。
它能够实时监控网络中的各种异常行为，并及时做出反应。
通过对网络数据的实时分析，平台可以准确地判断哪些行为是正常的，哪些是异常的，并根据异常行为的特征进行识别和分类。
其次，平台具备强大的自动化分析和处理能力。
它可以对大量的网络数据进行自动化分析，提取出有价值的信息。
同时，平台还能够自动识别和隔离网络中的安全威胁，阻止其进一步传播和扩大。
这种自动化的分析和处理能力，大大提高了网络安全的效率和准确性。
再次，平台具备良好的可扩展性和灵活性。
它可以根据用户的需求和环境进行定制化配置，满足不同用户的特定需求。
同时，平台还支持与其他安全产品和系统的集成，形成一个整体的网络安全防护体系。
最后，平台具备友好的用户界面和操作体验。
它采用直观简洁的界面设计，使用户能够轻松地使用和管理平台。
同时，平台还提供了丰富的图表和报表功能，帮助用户更好地了解和分析网络安全态势。
综上所述，网络安全态势感知平台是一种强大而智能的工具，能够帮助用户实时了解网络安全态势。
它的出现对于提高网络安全防护能力，及时应对网络安全威胁具有重要意义。
随着网络安全威胁的不断演变和升级，网络安全态势感知平台将继续发挥重要作用，为我们提供更安全的网络环境。
360态势感知与安全运营平台
360态势感知与安全运营平台产品技术白皮书█文档编号█密级█版本编号█日期1引言 (2)2产品设计目标 (4)2.1产品价值 (5)3产品关键技术 (6)3.1万兆网络及IPv4/IPv6网络环境下数据还原技术 (6)3.2数据处理与计算分析的自动化关联技术 (8)3.3规模化沙箱动态检测技术 (9)3.4基于大数据挖掘的恶意代码智能检测技术 (10)3.5基于搜索引擎技术的大流量行为检索与存储 (13)3.6云端基于大数据的APT发现与跟踪技术 (13)3.7可视化技术 (16)4产品组成与架构 (17)4.1产品组成 (17)4.2产品功能架构 (19)5产品功能 (20)6产品部署 (22)7产品优势与特点 (23)1引言近年来，关于APT（Advanced Persistent Threats，高级持续性威胁）攻击的报道日益增多，例如：2010年攻击伊朗核电站的“震网病毒”、针对Google邮件服务器的“极光攻击”、2013年韩国金融和电视媒体网络被大面积入侵而瘫痪、卡巴斯基在 2014 年揭露的 Darkhotel 组织和 2015 曝光的方程式组织（Equation Group）等等。
2016年初，360天眼实验室发布了《2015年中国APT研究报告》。
报告中指出，截至2015 年 11 月底，360威胁情报中心监测到的针对中国境内科研教育、政府机构等组织单位发动APT攻击的境内外黑客组织累计29个，其中15个APT 组织曾经被国外安全厂商披露过，另外14个为360威胁情报中心首先发现并监测到的APT组织。
中国是 APT攻击的受害国，国内多个省、市受到不同程度的影响，其中北京、广东是重灾区，行业上教育科研、政府机构是APT攻击的重点关注领域。
图1 APT组织主要攻击行业分布根据调研，我们发现这些APT攻击的受害者中几乎都是具备一定规模的企事业单位，而且都已经部署了大量的安全设备或系统，也有明确的安全管理规范和制度。
网络安全态势感知平台
网络安全态势感知平台
网络安全态势感知平台是一种通过对网络数据进行实时监测和分析，实现对网络安全态势的感知和评估的系统。
该平台具有以下几个重要特点：全网覆盖、实时监测、智能分析和定制化报表。
首先，网络安全态势感知平台能够实现全网覆盖，即监测和分析所有与网络有关的数据源。
这包括网络流量数据、安全事件日志、网络设备日志等，可以从多个维度全面监测网络安全状况，减少遗漏和盲区。
其次，平台能够实现实时监测，及时发现异常行为和攻击事件。
通过实时监测，可以及时发现警报，进行紧急处理和应对措施，防止攻击者进一步入侵和扩大损害。
同时，平台还能够进行异常行为分析，识别出具有潜在风险的用户或设备，并采取相应的措施进行干预。
智能分析是网络安全态势感知平台的核心功能之一。
通过对收集到的海量数据进行智能分析，能够准确地识别出恶意行为和攻击活动，并评估其对网络安全的威胁程度。
平台可以利用机器学习和人工智能等技术，对数据进行模式识别、异常检测和行为分析，以便更好地预测和防范各类安全威胁。
最后，网络安全态势感知平台还提供定制化报表，根据用户的需求生成相应的安全报表。
报表可以包含系统的安全事件统计、攻击类型分布、安全隐患分析等信息，便于用户对网络安全状况进行全面了解和评估，并根据报表结果制定相应的安全策略。
综上所述，网络安全态势感知平台通过全网覆盖、实时监测、智能分析和定制化报表等功能，能够帮助用户全面了解网络安全状况，及时发现和防范各类威胁，提高网络安全防御能力。
这对于保护个人隐私和企业信息资产的安全具有重要意义，也是网络安全技术发展的重要方向之一。
安全态势感知平台
点击文章中飘蓝词可直接进入官网查看安全态势感知平台安全态势感知平台通过收集各类安全日志，实时监控网络流量，利用大数据实时分析，采取主动的安全分析和实时态势感知，快速发现威胁，控制威胁。
今天给大家谈一谈一下安全态势感知平台的特点，并介绍一下安全态势感知平台哪家比较好。
事件收集，安全态势感知平台提供主动获取和被动接收多种事件获取方式，可收集所有类型的事件信息。
利用模式匹配进行数据解析，可解析所有格式的事件与日志，事件解析过程中，对解析规则进行智能学习，自动进行规则分类，可实现快速解析。
正则表达式可灵活配置，灵活接入新的事件与日志信息，产品可自由扩容，具备灵活的事件合并策略及强大的事件合并能力。
流量监控，安全态势感知平台流量监控实时监控网络流入流出的网络流量，通过对流量进行协议识别和深度包检测，并对数据包进行还原与重组，提取数据流量中的内容，并对内容进行检测，通过对检测结果的分析，发现数据流量中的异常行为，携带的病毒、木马以及恶意软件，隐藏的泄密行为等。
事件分析，安全态势感知平台基于僵尸网络活动模式的僵尸网络检测、多维交叉关联的网络安全事件分析挖掘、基于协作的慢速DDoS检测、基于推理空间划分的大规模并行推理引擎、多种预测方式有机结合的网络安全态势预测、基于特征事件序列频繁情节的预测技术、基于高容错、自适应神经网络的预测技术。
通过大数据实时、多维度关联分析，挖掘真正的威胁，利用数据挖掘与机器学习提升网络安全态势预测能力。
产品内置丰富的关联分析规则，并提供灵活的规则配置界面，可根据需要自由配置，关联分析引擎可自由扩展，通过调度中心灵活控制，产品具有自由的扩容能力与强大的分析能力。
告警分析与处理，安全态势感知平台告警分析对关联分析结果进行深入分析，结合漏洞信息、资产信息、告警策略信息等，分析告警事件与资产之间的关联关系，告警事件与漏洞之间的关联关系，利用网络安全指标体系计算网络风险值，发现高风险事件，高风险资产，并对整体威胁告警情况进行自动调整。
网络安全态势感知平台
网络安全态势感知平台随着互联网的快速发展，网络安全问题日益突出，各种网络攻击事件层出不穷，给个人和企业的信息安全带来了巨大的威胁。
为了及时发现和应对网络安全威胁，网络安全态势感知平台应运而生。
网络安全态势感知平台是指利用大数据分析、人工智能等技术手段，对网络安全态势进行实时监测、分析和预警的平台。
它可以全面感知网络安全态势，及时发现异常行为和潜在威胁，为网络安全防护提供有力支持。
首先，网络安全态势感知平台通过对网络流量、日志、设备状态等数据的实时监测和分析，能够及时发现网络中的异常行为。
比如，对于大规模DDoS攻击、僵尸网络、恶意软件等网络攻击行为，网络安全态势感知平台可以通过数据分析和行为识别技术进行精准检测和预警，帮助网络管理员及时采取相应的防护措施，避免网络被攻击瘫痪。
其次，网络安全态势感知平台还可以通过对网络安全事件的实时监测和分析，对网络威胁进行智能识别和预警。
通过对网络异常行为、漏洞利用、恶意程序等安全事件的分析，网络安全态势感知平台可以及时发现潜在的网络威胁，并提供相应的安全建议和应对方案，帮助网络管理员及时采取措施，加强网络安全防护。
此外，网络安全态势感知平台还可以通过对网络安全态势的全面感知和分析，为企业和组织提供全面的网络安全态势报告和分析，帮助他们了解自身网络安全状况，及时发现和解决潜在的安全隐患，提升网络安全防护能力。
总的来说，网络安全态势感知平台的出现，为网络安全防护提供了强大的技术支持。
它能够帮助网络管理员及时发现和应对网络安全威胁，提高网络安全的防护能力，保障网络和信息的安全。
未来，随着大数据分析、人工智能等技术的不断发展和应用，网络安全态势感知平台将会更加智能化、精准化，为网络安全保驾护航。
网络空间安全态势感知与可视化平台
网络空间安全态势感知与可视化平台现代社会对网络空间安全的需求日益迫切，如何有效地感知网络空间的安全态势以及将其可视化呈现成为了亟待解决的问题。
为满足这个需求，网络空间安全态势感知与可视化平台应运而生。
本文将从该平台的定义、功能、技术、应用以及未来发展等方面进行论述。
一、网络空间安全态势感知与可视化平台的定义网络空间安全态势感知与可视化平台，简称安全态势平台，是一种用于综合、全面地感知和监控网络空间安全态势的工具。
通过采集、处理和分析网络数据，将复杂的网络安全信息转化为直观、可视化的形式，提供决策者对网络空间中威胁和风险的直观了解和预警。
二、网络空间安全态势感知与可视化平台的功能1. 数据采集和整合：安全态势平台能够接收来自各个网络节点和终端设备的安全数据，并将这些数据按照一定的规则进行整合和处理。
2. 安全态势分析：通过对采集到的数据进行分析和挖掘，安全态势平台能够识别出网络中的异常行为、攻击事件和威胁情报，提供实时的安全态势分析。
3. 可视化展示：安全态势平台将分析结果以直观的图表、地图或其他形式进行可视化展示，使决策者能够迅速了解网络空间安全的整体状况。
4. 风险评估与预警：基于安全态势分析的结果，平台可以评估网络中的风险程度，并及时向相关人员发出预警信息，帮助其做出应对措施。
5. 安全态势监控：安全态势平台能够实时监控网络中的安全事件和风险，帮助及时发现和处理安全问题，保护网络系统的安全。
三、网络空间安全态势感知与可视化平台的技术1. 大数据技术：为了处理海量的网络数据，安全态势平台采用了大数据技术，包括数据存储、获取、处理和分析等。
通过这些技术，平台能够快速高效地处理庞大的网络数据。
2. 数据挖掘与分析技术：安全态势平台利用数据挖掘和分析技术，从网络数据中发现隐藏的安全威胁和攻击行为。
这些技术包括机器学习、数据聚类、异常检测等，能够识别出网络中的异常事件。
3. 可视化技术：为了将复杂的网络数据以直观的形式展示，安全态势平台采用了可视化技术，如图表、地图、网络拓扑图等。
网络安全威胁情报分析范例
网络安全威胁情报分析范例1、威胁情报继续升温2023年威胁情报受到热捧，预计2023年威胁情报需求将持续升温。
2023年，360公司以90多亿样本、数万亿条防护日志和数十亿DNS解析记录、国内最大的漏洞库等海量数据为基础，在国内建成首个威胁情报中心，并开始商用。
安全威胁情报创业企业----微步在线则完成千万元天使轮融资。
很多安全厂商都表示将会为自己的安全产品提供威胁情报源支持，以提升其产品发现安全威胁的能力。
缺乏威胁情报收集能力的企业会考虑采集成第三方的威胁情报服务。
要发挥威胁情报的价值，离不开安全厂商、用户以及政府相关机构的威胁情报共享。
2023年将会看到安全厂商之间在威胁情报方面的更多合作。
2、安全态势感知成热点安全态势感知并非新概念，但长期以来，安全态势感知更多停留在理论研究层面。
随着大数据分析技术的成熟和应用，安全态势感知才真正进入实用阶段。
依靠分布式、近实时、自动化的大数据分析手段和可视化能力，安全人员实现对不同安全设备、IT系统的信息进行分析，及对内部用户行为的监测，从而可以全面、快速、准确地感知过去、现在、未来的安全威胁，实时了解网络的安全态势，实现了安全威胁看得见、防得住、可溯源。
它可以帮助用户了解自身任意时间所发生的一切，能以最理想的方式应对安全状况变化，改变了那种部署了安全设备却无法感知威胁的情况。
3、大数据安全分析获认可4、终端检测响应产品兴起对于很多企业安全主管来说，实时了解每个终端的状况和运行程序，提升安全检测和响应能力是最迫切的需求。
Gartner副总裁兼著名分析师Neil MacDonald认为，信息安全的关键是纵深防御，单靠预防来抵御攻击是徒劳的，更重要的是快速检测和响应攻击。
这也是被称为EDR(终端检测与响应)产品最近备受推崇的原因。
EDR 工具使企业IT部门可以关注企业运营，而不是精疲力竭地跟踪数据泄露趋势和发展。
它可以整合威胁情报数据并进行自动化处理，帮助公司对攻击迹象即刻做出反应。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
360态势感知与安全运营平台产品白皮书█文档编号█密级█版本编号█日期目录1 产品概述 (2)2 平台介绍 (2)2.1 产品组成 (2)2.2 产品架构 (4)3 技术特点 (6)3.1 全面的数据采集与分析 (6)3.2 大数据基础架构 (7)3.3 高性能关联分析 (7)3.4 丰富的威胁情报 (9)3.5 精准的多维度威胁检测 (9)4 产品功能 (10)4.1 威胁管理 (10)4.2 资产管理 (11)4.3 拓扑管理（收费模块） (11)4.4 漏洞管理（收费模块） (12)4.5 日志搜索 (12)4.6 调查分析（收费模块） (13)4.7 报表管理 (14)4.8 仪表展示 (14)4.9 态势感知（收费模块） (15)5 服务支持 (16)5.1 安全规则运营服务 (16)5.2 全流量威胁分析服务 (16)6 应用价值 (17)6.1 安全监控的范围更大 (17)6.2 威胁发现及时性提升 (17)6.3 安全管理效率提升 (17)6.4 降低宏观安全理解成本 (18)1产品概述360 态势感知与安全运营平台（以下简称NGSOC，Next Generation Security Operation Center）是360企业安全集团基于大数据架构自主构建的一套面向政企客户的新一代安全管理系统。
该系统利用大数据等创新技术手段，结合360的安全能力和传统安全技术积累针对各种网络安全数据进行分析处理，可以为政企客户的安全管理者提供资产、威胁、脆弱性的相关管理，并能提供对威胁的事前预警、事中发现、事后回溯功能，贯穿威胁的整个生命周期管理。
NGSOC产品继承了360企业安全集团下属网神子公司长期以来在SOC产品上的历史经验，同时将来自互联网公司的大数据技术注入到了产品的开发过程中，可以既满足海量日志下的快速计算分析需要，又能够兼顾大量基础管理功能，同时也汲取了国内SOC 经常无人使用的失败经验，有针对性的在产品设计中考虑了更多有关提升使用效率、分析效率的相关实现，并对产品的后续服务提供了一整套相关方案以帮助用户更好的使用NGSOC产品。
NGSOC产品在架构演进以外，也使用了大量新型安全技术，其中威胁情报能够快速的帮助单一企业补足在安全知识上的短板，既可以帮助企业发现威胁，也可以提供更广泛的威胁分析手段和能力。
而其他诸如依赖于机器学习的web攻击发现功能等一系列威胁检测手段则能有效增强针对传统安全问题的检测率和准确度。
在架构革新和新技术的推动下，NGSOC产品正在引领国内安全管理产品市场的变革，同时也获得着国内客户的认可。
据权威资讯机构赛迪顾问的统计数据，360企业安全的NGSOC产品在2016年中国安全管理平台产品市场中市场占有率第一。
2平台介绍2.1产品组成NGSOC产品主要包括流量传感器、日志采集探针、关联规则引擎和分析平台4个硬件组件，同时能够对接360天眼新一代威胁感知系统中的文件威胁鉴定器和360天擎系统的EDR组件，如下图所示：图1 ：NGSOC产品组成1)流量传感器流量传感器的功能主要是采集网络中的流量数据，将原始的网络全流量转化为按session方式记录的格式化流量日志，全流量日志会加密传输给分析平台存储用于后期的审计和分析。
同时对网络流量中传输的文件进行还原，还原后的文件会传输给文件威胁鉴定器用于判定文件是否有威胁。
流量传感器内置了一级流量检测引擎，主要有三类检测规则：WEB漏洞利用检测引擎、webshell活动检测引擎、以及网络入侵检测引擎等，可实时的发现流量中存在攻击特征的行为。
流量传感器通常部署在网络出口交换机旁，或者其他需要监听流量的网络节点旁，接收镜像流量。
2)日志采集探针日志采集探针的主要功能是对网络内各业务应用系统、设备、服务器、终端等设备通过主动采集或被动接收等方式对日志进行采集并进行归一化预处理，方便数据流后面的关联规则和数据分析能够快速使用。
同时日志采集探针还负责对内网资产进行扫描识别，收集资产数据。
3)关联规则引擎关联规则引擎主要负责对来自日志采集探针的大量日志信息进行实时流解析，并匹配关联规则，对异常行为产生关联告警。
通常关联规则引擎与分析平台和日志采集探针部署在同一位置。
4)分析平台分析平台用于存储流量传感器和日志采集探针提交的流量日志、设备日志和系统日志，并同时提供应用交互界面。
分析平台底层的数据检索模块采用了分布式计算和搜索引擎技术对所有数据进行处理，可通过多台设备建立集群以保证存储空间和计算能力的供应。
5)文件威胁鉴定器（360天眼新一代威胁感知系统相关组件）文件威胁鉴定器接收流量中传输的文件，并通过静态和动态检测方法对文件特征和文件行为进行检测，及时发现有恶意行为的文件并产生告警。
文件分析结果也会作为安全数据的一部分传给分析平台存储，以便威胁分析过程中进行调用。
6)360天擎终端安全管理系统NGSOC可以实现和360天擎终端安全管理系统的数据对接，由终端安全管理系统实时的将发生在终端上的各种主机行为日志发送至分析平台进行存储，为网络高级威胁发现及事件追踪溯源提供有力支撑。
相关日志覆盖包含了终端进程网络行为日志、终端DNS 请求行为、注册表更改、文件操作、文件传输（包含IM、U盘、邮箱等多种方式）等多个方面。
NGSOC也可提供EDR自动响应功能，将相关告警推送到天擎终端管理系统执行在主机上的调查分析和阻断操作，完成威胁检测与响应闭环。
2.2产品架构NGSOC将覆盖安全管理与运营的各个环节，下图为整个平台的缩略架构图。
图2 NGSOC功能架构图由图可见,NGSOC将建设成一个以多种安全问题管理为目标、以数据为核心、威胁情报为特色、打通安全运营中的检测、响应、预警、防御多个领域环节的完整安全体系。
NGSOC数据采集部分，除了传统的Syslog、Flow、各种系统日志和安全设备日志以外还突破性的针对原始流量日志（依赖于流量传感器）和终端日志（依赖于天擎EDR组件）进行采集。
依赖于更加原始的日志信息，NGSOC产品可以发现隐藏更深的各种威胁，同时能够提供完整的事件回溯分析能力。
拥有更加全面的日志虽然提供了更强的分析能力，但也对产品架构提出了严苛的挑战。
为此NGSOC产品在数据的存储和分析中大量使用大数据相关技术，在标准化产品组件中可以依赖于分布式全文检索技术提供接近PB级日志量的存储和快速计算，同时能够提供良好的可靠性保证，以解决意外断电、磁盘故障可能对系统带来的可靠性问题。
存储和分析能力之上，NGSOC产品使用多种分析引擎针对不同的使用和管理目标提供相应支撑，关联分析、统计分析、快速搜索等功能相较于传统产品具有明显的性能优势。
产品最外层，针对安全分析与运营人员，NGSOC产品可以提供友好、高效的交互管理页面，既满足了使用需求，又能够提升工作效率。
再结合威胁情报、安全服务等来自于360特有的安全知识输入，NGSOC可以极大的提升本地安全运营的相关效率。
3技术特点3.1全面的数据采集与分析NGSOC产品为实现对企业内部安全管理的全面监控，在数据采集方面支持更加全面的采集范围。
针对传统事件（event）的采集，NGSOC可以支持对各种安全设备、网络设备的syslog 和flow日志进行采集，并能够提供适配linux与windows双平台的专业Agent针对数据库、系统日志、中间件日志、其他文本日志提供全方位的采集。
在传统的事件（event）采集外，还支持原始流量行为的还原与采集，区别于netflow 等采样式流量采集方法，NGSOC使用专有的流量采集设备-流量传感器对流量中的会话行为、事务、应用动作进行还原并形成相关日志进入存储和分析环节。
由于并无采样，所以NGSOC能够还原的流量日志可以更加完整的还原流量行为，不存在类似netflow的丢具体会话信息的情况。
在传统事件信息、流量行为日志以外，NGSOC还能对接来自360企业安全集团天擎终端安全管理系统的各种终端行为日志，目前能够采集包括终端进程流量行为、终端文件行为、U盘文件传输、邮件文件传输、IM文件传输等行为日志，由于终端日志相比网络日志更加具体、可以帮助分析人员发现启动恶意进程的相关文件，所以在整个威胁的发现、回溯过程中也会体现重大价值。
3.2大数据基础架构更全面的日志采集，即带来了分析的便利也带来了性能的烦恼。
传统SOC产品在10亿条日志规模下会出现性能的剧烈下降，该问题主要受限于传统SOC产品普遍使用的关系型数据库自身设计上的局限性。
如果由该架构实现来承接流量日志和终端日志，甚至是操作系统日志都可能导致灾难性的后果。
为解决相关问题，NGSOC产品在国内开创性的使用了大数据基础架构更替了传统的数据存储和计算方式。
为解决海量数据的快速存储和读取问题，NGSOC产品使用了分布式全文检索技术，该技术可以在日志入库前针对日志建立全文索引，并进行分片存储于多台设备或多块磁盘。
系统在进行日志查询时可以将对应查询指令分发到多台设备执行，并利用大内存再次提升检索性能。
最终NGSOC产品可以面向千亿条日志提供存储查询功能，查询效率为秒级。
在海量日志场景下，数据的可靠性成为另一难题。
NGSOC产品可以将接收到的日志进行自动备份，并进行分片，再存储于不同的磁盘。
通过该实现可以保证任意一块硬盘损坏后系统数据不丢失，可恢复。
同时系统提供了良好的扩展机制，存储和计算能力都支持即插即用式的扩展，所有存储和计算的负载均衡均在后台自动处理，无需人工干预。
3.3专业化日志搜索分析用户的业务场景千差万别，针对用户不同的数据统计及呈现需求，传统SOC/SIEM 产品往往需要通过定制化开发实现，将极大增加交付及维护成本。
NGSOC产品设计了专家搜索模式，将 SQL 的最佳功能与 Unix 管道语法封装为脚本命令，用户直接在搜索框里输入相关命令即可实现对海量日志的搜索、关联、分析和可视化。
NGSOC产品可提供30多种搜索命令，可灵活适应不同的应用场景。
例如使用功能强大的"stats"命令，以及 20 多种不同参数选项，能够计算统计数据并生成趋势。
然后，在一定任何时间范围和粒度内图表化并可视化这些结果和统计数据。
图3 NGSOC专家模式日志搜索结果呈现3.4高性能关联分析关联分析作为传统SIEM产品的必备功能，往往承担了威胁发现的主要职责。
但与定位相左的现实情况是，传统的关联分析往往仅能提供3000EPS（Event per Second）到5000EPS的性能，这种性能完全无法应对当前动辄上百台安全设备、上千台服务器的客户IT环境。
为此，NGSOC产品重新设计了关联分析的核心引擎，将CEP（复杂事件处理）的技术实现结合安全业务场景进行了大量的实现加速、逻辑优化，最终可以提供20000EPS （50条规则）的关联性能。