网络安全等级保护：深信服安全感知平台白皮书_V3.0
深信服安全感知平台白皮书文档密级：公开
深信服科技
安全感知平台
（Security Intelligence Platform）
产品白皮书
网络安全等级保护
目录
1. 引言 (4)
1.1背景 (4)
1.2新的威胁 (5)
1.3应对措施 (5)
2. 设计理念 (5)
2.1产品理念 (5)
2.2产品定位 (6)
2.3方案设计 (7)
2.4整体价值 (7)
3. 产品架构 (9)
3.1分层设计 (9)
3.2大数据架构 (11)
3.3产品组件 (13)
4. 关键技术应用 (15)
4.1 UEBA行为画像 (15)
4.2追踪溯源可视化 (16)
4.2.1流量可视 (16)
4.2.2威胁追捕 (17)
4.2.3统一检索 (17)
4.3机器学习技术使用 (17)
4.3.1精准的已知威胁检测 (18)
4.3.2发现内鬼和未知威胁 (18)
4.4威胁深度分析 (19)
4.4.1攻击事件深度挖掘 (19)
4.4.2成功的攻击事件检测 (20)
4.5威胁情报结合 (20)
4.5.1热点事件 (21)
4.5.2情报来源 (21)
5. 功能价值呈现 (22)
5.1有效数据提取 (22)
5.2全面的实时监测体系 (24)
5.3.1脆弱性感知 (24)
5.3.2外部威胁感知 (25)
5.3.3内部异常感知 (26)
5.3多维度的安全可视预警 (28)
5.3.1宏观决策视角 (28)
5.3.2微观运维视角 (31)
5.4易运营的运维处置 (32)
5.4.1应急处置 (32)
5.4.2影响面分析 (34)
5.4.3主动溯源 (35)
5.4.4会话分析 (36)
5.5可感知的威胁告警 (37)
5.6实用工具箱 (38)
5.6.1等保管理 (38)
5.6.2情报与数据共享 (39)
5.6.3绿色查杀工具 (40)
6. 产品部署 (40)
6.1流量监测（高级威胁监测） (41)
6.2安全运营中心 (42)
6.3作为第三方SOC/SIEM的流量检测组件 (43)
1.引言
1.1背景
互联网技术的飞速发展使得互联网承载的价值越来越多、网络的规模和复杂度越来越大，因此，黑客有了越来越多的动机和手段来窃取企业的机密信息和资源，甚至是对企业资产造成破坏。在某些行业中，黑客还经常被企业雇佣对竞争对手进行恶意打击，例如发动一次中等规模的DDoS攻击数只需花费数千美金。可惜的是，大多数企业对网络安全问题都没有足够的重视和清晰的认识，这也是为什么近年来黑客频频得手、造成了重大损失的重要原因。
Verizon对安全事件进行了调查，得出的结论是：不计算前期侦察与信息获取的过程，攻击者从实施攻击到入侵得手仅需花费数小时的时间，相比之下，62%以上的企业需要花上数周甚至超过一个月的时间才能发现黑客攻击，随后还需要数天至数周的时间完成响应和补救工作；在另外一项统计调查中，Ponemon Institute从全球252个机构的1928起攻击事件的中发现，攻击事件的平均解决时间为46天，而每延迟发现和解决攻击事件一天，企业就会损失21155美元。
图1-1 黑客攻击的发现窗口越来越长（Source：Mandiant研究报告）由此可见，在网络复杂性极大、网络弱点极多的今天，想利用边界防护设备阻止黑客进入企业内网是难以做到的，出现了攻防不对等的情况。
1.2新的威胁
过去几年中，网络攻击的数量呈指数级增长影响各种规模、行业的企业网络。而传统的基于黑白名单、签名和规则特征的安全威胁发现手段，已经不能应对不断发展的网络威胁和IT环境。
在这些威胁中，尤其是以高级持续性恶意攻击（APT 攻击）为代表的新威胁，更是让企业防不胜防。现有的任何防御手段在APT 攻击这种定向攻击面前都显得苍白无力。
针对高级威胁，传统的头痛医头脚痛医脚的安全防御并无法解决问题，反而还带来了割裂的安全，缺乏全过程的防护。同时多异构设备的叠加带来了安全的碎片化，缺乏统一的视角和关联能力，无法打破数据孤岛，协同防御。
1.3应对措施
随着高级威胁的不断演进，攻击事后检测成本增高而事件影响加大，业界对安全威胁检测防御的思路已经发生了巨大的变化，认识到需要从过去单一设备、单一方法、仅关注防御转变为检测、防御、响应为一体的自适应防护体系，围绕攻击链进行整体安全可视。权威机构Gartner认为，到2020年，企业安全部门会将60%的预算投入到安全检测与响应中来，以应对日趋复杂的网络安全环境。
因此基于大数据技术和智能分析的威胁检测体系产品应运而生。深信服推出安全感知平台，旨在协助企业更快更准地检测黑客入侵攻击和内鬼行为，从而减少企业造成的损失。
2.设计理念
2.1产品理念
通过分析Verizon的调查结果，我们发现攻防不对等的原因较多，包括传统防御绕过、高级威胁技术的使用、攻击工具化等，而这些安全现状会让大部分的运维人员越来越担忧：
结合我司多年的网络安全运维经验，认为上述现状为当前业界对内部网络安全均存在的共性问题。
因此，基于当前安全困惑，我们基于如下理念为来设计安全感知平台：
2.2产品定位
传统的网络安全建设方案，容易导致割裂的安全防御，无法协同作战，提供有效的整体安全防护，甚至导致安全运维复杂化。基于割裂的安全防御所产生的安全现状数据也将成为一座座安全孤岛，难以协同共享，导致碎片化的安全认知，只能看见碎片化的局部安全，无法形成统一的整体可视。
因此，安全需要如同人的大脑，协同控制身体各个组件，形成一套完整的协同指挥作战中心。
结合理念，安全感知平台的产品定位为：
2.3方案设计
如上图所示，产品设计以全流量分析为基础，基于探针等安全组件（见 3.3章节）采集全网的关键数据，以安全感知平台为安全大脑核心，结合威胁情报、行为分析、UEBA、机器学习、大数据关联分析、可视化等技术对全网流量实现全网业务可视和威胁感知，从而实现全面发现各种潜伏威胁。同时，提供易运营的支撑体系，便于安服专家或运维体系的介入和应急响应，提高事件响应的速度和高级威胁发现能力。
2.4整体价值
深信服安全感知平台，是一款面向通用行业的大数据安全分析产品，旨在为企业/单位/组织构建一套集检测、可视、响应于一体的安全大脑。产品价值：
1. 全局安全可视
通过全流量分析、多维度的有效数据采集和智能分析能力，实时监控全网的安全态势、内部横向威胁态势、业务外连风险和服务器风险漏洞等，让管理员可以清楚的感知全网是否安全、哪里不安全、具体薄弱点、攻击入口点等，围绕攻击链（kill-chain）来形成一套基于“事前检查、事中分析、事后检测”的安全能力，看清全网威胁，从而辅助决策。
2. 大数据分析、检索能力
深信服安全感知平台基于hadoop大数据框架，结合Eleastic Search 引擎进行设计，产品默认具备TB级别的海量数据存储、关联分析能力，并可通过集群等方式进行扩充。
同时，应用深信服数据分析团队在大数据性能优化方向多年的研发能力积累，让安全感知平台具备万亿级数据的超大规模数据管理和秒级查询能力。
3. 智能分析能力，应对未知威胁
随着黑客的技术发展以及变种、逃逸技术的不断改进，传统安全设备的静态规则防御手段已经捉襟见肘，依靠规则仅能防御小部分已知威胁，已无法检测最新攻击、未知威胁。深信服安全平台具备智能分析技术，利用机器学习、关联分析、UEBA等新技术，能够检测APT攻击、网络内部的潜伏威胁等高级威胁，无需更新检测规则亦能发现最新威胁。
4. 实时监测，精准预警
安全感知平台通过对全网流量、主机日志和第三方日志的采集分析，实现对已知威胁（僵木蠕毒、异常流量、业务漏洞等）和未知威胁（网络僵尸、APT、0day漏洞等）的全天候实时监测，同时结合智能分析和可人工干预的便捷运营支撑，对已发现的威胁进行精准化预警，简化运维，有效通报预警。
5. 高效协同响应，阻断风险扩散，辅助闭环
安全感知平台可联动深信服自有安全设备体系作为基础组件（组件详见3.3章节），不仅作为安全数据采集，当发生重要安全事件或风险在内部传播时，亦可通过联动进行阻断、控制，避免影响扩大。联动方式涉及到网络阻断、上网管理、终端安全查杀，可有效辅助管理员进行问题闭环（联动详见4.1章节）。
6. 威胁举证与影响面评估
传统的安全分析主要以日志为核心，以IP为分析源，难以实现详细的事
件级举证呈现，无法全面的了解受损情况。
安全感知平台通过自动化的将IP以资产类型进行划分，区分业务安全、终端安全维度来展示不同类型的受损情况，迎合运维人员对业务资产的侧重点。结合详细的攻击内容举证、多维度潜伏威胁、基于流量可视的威胁黄金眼，可清晰直观看清威胁影响面，评估受损情况。
7.追踪溯源支撑
做好追踪溯源的本质在于有效数据提取。深信服安全感知平台基于全流量和第三方日志（中间件、操作系统、安全设备等）的有效数据提取能力，实时提取有助于威胁分析和追踪溯源的关键元数据（详见5.1章节），结合TB级别的超大存储空间及集群部署能力，可存储至少1年以上的元数据。同时，利用可视化技术形成以流量可视、潜伏威胁黄金眼、威胁攻击链可视、统一检索及大数据能力等技术为主的追踪溯源支撑体系，为安全专家的溯源分析提供有力支撑。（详见4.3章节）
3.产品架构
3.1分层设计
安全感知平台采用分层的数据处理结构设计，从数据采集到最终的数据分析呈现形成完整的处理逻辑过程。层次划分如下：
图3-6整体框架分层设计
数据采集层
采集包括终端数据、流量采集、中间件数据、第三方设备日志、威胁情报对接。该层提供多种接口进行流量、日志数据的采集和对接，支持syslog、webservie、restful api、wmi等方式采集。
数据预处理层
对采集的数据进行预处理，包括数据清洗、数据归并、数据富化，最终数据转换为平台可理解的格式化数据，以文件的形式进行存在，等待分析。
大数据分析层
读取经过预处理后的数据进行离线计算，或读取ES（Eleastic Search）数据进行实时机算。在此进行全网安全数据的检测、分析和统计，并结合威胁情报、行为分析、智能分析等技术，发现安全威胁现状，同时，内置的多条安全关联规则可将数据进行归并告警。
数据存储层
分析数据和结果存储在ES引擎（Eleastic Search）中，可提供快速的检索
能力。同时，对用于近期需要快速呈现的统计结果数据存放到MongoDB，可快速读取，相比ES引擎无需渲染和消耗内存。
数据服务层
基于APP的方式设计整个数据可视化的展示，基于从数据存储层获取数据的接口，读取展示数据，提供各种数据的安全可视服务及对外接口服务。
可视化使用ext作为JS框架，基于ECharts作为图形库，以vue架构作为大屏可视化呈现支撑
3.2大数据架构
整体设计框架具备如下大数据特性：
●采用大数据技术架构
●支持集群部署
●智能分析技术支撑
●大数据处理和可视化
●高性能分析能力
单台设备（2U）达到每天亿级实时日志分析，约合3TB左右数据。数据处理性能达到如下：
3.3产品组件
上图为安全感知平台数据处理流程，整个过程依赖接入的组件来提供数据来源。整体组件包括基础组件和扩展组件，具体如下：
1. 基础组件（探针、文件威胁鉴定）
●潜伏威胁探针
基于X86的硬件结构，用于旁路部署在外网各个关键区域节点（交换机），对全流量进行采集和检测，提取有效数据上报给安全感知平台。
潜伏威胁探针具备IDS检测能力，包含WEB应用攻击检测规则和漏洞利用攻击检测规则，可从流量中检测已知威胁，为平台输送安全日志。同时，内置异常行为检测引擎，实时匹配流量，当发现存在异常行为时会将流量片段在采集的流量数据中进行标记，传给平台，由平台进行深度关联分析，挖掘潜在的威胁。
●文件威胁鉴定系统（可选）
提供软件版本，对接安全感知平台，用于提供文件威胁、邮件威胁检测能力。
创造性的将国内外知名的小红伞、火绒、Clamav这三个静态分析引擎与深信服自研的机器学习引擎（SAVE）进行深度结合，对探针从流量中还原的文件（由平台传递）进行静态的威胁鉴定，在提升检测率的同时结合各家所长来抑制误判。
针对APT攻击等未知威胁，内置的沙箱系统可对文件进行动态行为分析，提取异常行为，结合风险行为规则来为未知文件进行威胁评分，输出可视化的文件分析报告，为分析人员提供依据。
注：没有该组件，平台亦可以通过威胁情报关联和行为分析等来识别文件和邮件威胁。该组件可提升在已知威胁变种及未知威胁的检出率。
2. 扩展组件（AC、云眼、云镜、SSL VPN、EDR、NGAF）
以下组件为深信服自有安全体系的设备，用于作为安全感知平台的扩展组件，在提供有针对性的安全数据输入的同时，可联动进行安全防护、检测。
4.关键技术应用
4.1 UEBA行为画像
UEBA(用户和实体行为分析)，属于目前在安全业界新兴的分析技术，其旨在基于用户或实体的行为分析，来发现可能存在的异常。UEBA可识别不同类型的异常用户行为，这些异常用户行为可被视作威胁及入侵指标，包括分析异常行为、发现内鬼等。
安全感知平台利用UEBA技术进行内部用户和资产的行为分析，对这些对象进行持续的学习和行为画像构建，以基线画像的形式检测易于基线的异常行为作为入口点，结合以降维、聚类、决策树为主的计算处理模型发现异常用户/资产行为，对用户/资产进行综合评分，识别内鬼行为和已入侵的潜伏威胁，提前预警。
在UEBA行为画像过程中，安全感知平台还会通过聚类等方式识别和划分具有相似行为、属性的群体，通过群体分析来实现小概率事件发现及未来风险的趋势预测：
●通过群体发现异常。
如不同类型（例如Web服务和数据库服务器）的服务器如果被识别到同一个群体里，有可能是感染了相同的僵木蠕毒才有相似的群体行为，结合识别依据可发现异常，定位问题源。以此为模型可以延伸到帐号异常的行为检测模型。
●通过群体关系异常预测未来风险趋势。
如通过群体内的访问关系，预测异常主机或已失陷主机是否会对同群组内的核心资产产生影响，是否应切断其到达核心资产的路径。
4.2追踪溯源可视化
安全感知平台创新性的将网络流量访问进行可视，同时形成“基于正常（未检测到问题）发现异常”的追踪溯源思路。以采集全流量NETFLOW，并结合几十种协议的深度解析和元数据采集、存储、关联分析，形成了一套可视化工具，结合伴随的追溯指引让安全分析人员可快速进行追踪溯源，还可结合业务相关差异实现从“正常”发现异常的行为。
4.2.1流量可视
安全感知平台将采集的全网流量进行深度审计和数据关联，梳理形成访问关系。通过可视化技术，将流量从“横向访问”“外连访问”“外对内访问”等各个维度进行可视化呈现。
横向的访问（内对内），聚焦在横向的扫描扩散行为、可疑主动访问、风险应用访问等，通过对访问目标数排行来快速分析出潜在的“扫描行为”。
外连则可以快速服务器或终端访问了哪些地区，让安全分析师可以快速从“可疑的地区”“可疑的应用、端口”来切入开始下一步的检索追踪。
通过可视化的逐层下钻，可讲可视化呈现的异常路径下钻到具体的源主机责任人、访问的应用、持续时间、传输数据大小等具体流量细节，深挖隐藏在正常流量下的真实面貌。
4.2.2威胁追捕
网络威胁追捕指对潜伏威胁进行主动搜索的一种积极网络防御活动。
深信服安全感知平台结合云脑的威胁情报及本地流量可视，构建成本地威胁情报中心，基于流量可视的形式建设了一个统一的威胁追捕入口。分析人员将可疑的IOC进行搜索，即可找到与该IOC有关的详细访问关系，可清晰看到谁访问了它，或者它访问了谁，以及使用的端口和应用等，结合下钻来追溯内网存在的共性现象和违规行为。
4.2.3统一检索
为快速检索具体IOC匹配情报的相关数据，安全感知平台提供了威胁追捕的统一检索入口，参考kibana框架实现对所有安全日志、第三方日志和流量元数据的统一检索引擎，细化到每个日志字段的关联查询和多个正则条件的组合查询，并提供亿万级日志的秒级查询性能，便于快速溯源分析。
4.3机器学习技术使用
传统的规则检测技术无法应对最新威胁，通过机器学习不断构建的检测模型
可适用于发现未知威胁和可疑行为，提升检出率，避免规则库依赖。
安全感知平台将机器学习技术应用到整个攻击链的每个过程中，为威胁溯源/追捕、攻击路径可视、安全可视提供基础。主要应用于以下两个场景，来增强产品对已知、未知威胁的应对能力。
4.3.1精准的已知威胁检测
场景：与特征检测结合，提升准确率和检出率。
目的：主要解决当前已有能力在应对已知威胁上的不足，如检出率低、性能消耗等问题，甚至是以机器学习算法模型来直接替代规则检测，发现已知威胁。
举例：使用LSA, AutoEncoder, LogicRegression, SVM等机器学习算法结合特征检测应用到邮件安全中，发现伪造邮件、垃圾邮件等威胁。
4.3.2发现内鬼和未知威胁
场景：发现变种行为、未知威胁及内鬼行为。
目的：在规则无法检测的情况下，通过机器学习技术应用到行为分析中，发现小概率事件和异常用户行为。
举例：深信服SA VE人工智能分析引擎。类似国外知名的Cylance、WebRoot 软件，不依赖病毒库，紧靠AI学习即可进行恶意文件威胁鉴定。
SA VE（Sangfor Anti-Virus Engine）是由深信服打造的人工智能恶意文件检测引擎。该引擎利用深度学习技术对数亿维的原始特征进行分析和综合，结合安全专家的领域知
识，最终挑选了数千维最有效的高维特征进行恶意文件的鉴定。相比基于病毒特征库的传统检测引擎，SA VE的主要优势有：
1）强大的泛化能力，甚至能够做到在不更新模型的情况下识别新出现的未知病毒；
2）对已知家族变种的查杀能力强。如勒索病毒检测达到业界领先的检出率，包括影响广泛的WannaCry、BadRabbit等病毒；
3）云+ 端联动，依托于深信服安全云脑基于海量大数据的运营分析，SA VE能够持续进化，不断更新模型并提升检测能力。
4.4威胁深度分析
4.4.1攻击事件深度挖掘
暴露在互联网的资产每天都可能遭受到大量的攻击，万级甚至亿级的日志告警容易掩盖针对性的攻击和潜在威胁，使IT运维复杂化，靠人工又难以分析出有效的风险，导致重要威胁被遗漏，未能及时发现风险。
安全感知平台针对攻击日志进行深度挖掘分析，通过内置关联分析模型将亿级日志进行事件化，减少大量冗余的无效告警。区别于传统的归并方式，安全感知平台的攻击事件化是针对相似攻击意图进行关联，用于挖掘针对性的攻击，并结合攻击事件给出相应的处置建议，形成攻击闭环。攻击事件深度挖掘结果如下举例：
1.多个攻击源攻击同一目标的同一位置，持续时间非短暂。
结果：遭受针对性攻击，此处可能存在漏洞风险或已成为暴露面（如端口）。
建议：利用扫描器进行漏洞发现或专家验证，并修复漏洞。
2.目标遭受某个攻击源（或多个相似攻击源）的持续性攻击，攻击类型多，无上下文连续。
结果：遭受扫描攻击，根据持续攻击的时间长短、当前攻击位置来判定攻击源是否从扫描状态转为定向攻击（发现可疑漏洞后结束扫描并进行针对性试探）。
建议：封锁该IP。若进入已试探阶段，建议对目标位置进行漏洞扫描，修复风险。
4.4.2成功的攻击事件检测
针对绕过的外部攻击或内部发起的攻击行为，若不能及时知道其对受损主机的影响，就难以及时发现受控情况，从而导致未知风险。
因此，结合我司安全实验室的多年研究，安全感知平台构建了基于机器学习方式的“攻击命令和响应模型”，结合主机正常网络请求的基线学习，形成了针对重要攻击是否成功的入侵检测能力，协助评估受损情况。
主要围绕“重要漏洞利用、暴力破解”等一旦成功就能造成影响的攻击类型。如针对Struts2漏洞攻击，能识别攻击是否成功、攻击的命令语句和执行结果等，识别攻击影响；而针对暴力破解，可识别爆破的协议、被爆破成功的账号等信息，结合流量审计可直接判定主机是否已失陷且已被登陆。
4.5威胁情报结合
安全感知平台通过从深信服云脑（云端威胁情报中心）获取可机读的威胁情报，结合本地智能分析引擎，对本地网络中采集的流量元数据进行实时分析比对，发现已知威胁及可疑连接行为，增加智能分析技术的准确性和检出率。如通过行为分析发现的隐蔽隧道通信行为（如DNS隧道）仅为可疑行为，但若其连接的地址信息与威胁情报的僵木蠕毒情报相关联，通过分析模型可检测为远控行为。
同时，下发的威胁情报结合本地流量数据，可形成本地化的威胁情报，安全专家可利用威胁情报及时洞悉资产面临的安全威胁进行准确预警，了解最新的威胁动态，实施积极主动的威胁防御和快速响应策略，准确地进行威胁追踪和攻击溯源。