Netflow 网络异常流量的监测原理
Netflow 网络异常流量的监测原理
Netflow 网络异常流量的监测原理Netflow 对网络数据的采集具有大覆盖小成本的明显优势，在Netflow在安全领域的应用与传统的DPI的方式和系统扫描的方式，却有着明显的不同。
使得这类产品在定位和实现的功能上和传统大IDS／IPS也不一样。
Network Behavior Anomaly Detection（网络行为异常检测）是NetFlow安全的原理基础。
Netflow流量数据只能分析到协议的第四层，只能够分析到IP 地址、协议和端口号，但是受限制于无法进行包的内容分析，这样就无法得到网络中一些病毒、木马行为的报文特征。
它是从网络流量的行为特征的统计数据进行网络异常的判定的。
网络行为的异常很大一方面是对网络基线数据的违背，反应到一个监控网段范围，往往呈现的就是网络流量的激增和突减。
而在针对网络单个IP的监测的时候分析的是这单个IP来源或者目的IP流量的行为模式，TCP的流量模型等等来进行判断。
GenieATM对网络异常流量的NBAD的检测具体如下面三点：1.1流量异常(Traffic Anomaly) 侦测流量异常模型是将基线模板(Baseline Template)应用于使用者所设定的监测范围内（因特网、互联自治域、子网、路由器、服务器、interface、监测条件等多种模型），流量异常侦测模型主要凭借系统实时对网络中正常流量形成流量基线，再根据网络正常的网络流量模型来动态分析网络中的异常流量，以期最早时间发现网络中流量的激增和突减。
针对不同的网络监测范围，用户可使用定义不同的流量基线模板进行监控。
系统支持自动建立及更新流量基线，也允许管理员手动设定和调整基线的参数和取值期间，并排除某些受异常流量攻击的特定日列入计算，以免影响基线的准确性。
通过参数的设定，系统能根据对网络效能的影响，将网络异常流量的严重性分为多个等级，包括：正常、中度异常(yellow)、高度异常(red)，并允许使用者透过参数设定，对每个检测范围设定合适的参数。
netflow analyzer原理
netflow analyzer原理NetFlow Analyzer是一种用于网络流量分析的工具，可以帮助网络管理员监控和管理网络流量。
它的原理是通过收集和分析网络设备上的NetFlow数据，提供实时的流量统计和分析报告。
NetFlow是一种由思科开发的网络流量记录和分析技术，它可以在网络设备上捕获流经设备的数据包，并将相关信息记录下来。
这些信息包括源IP地址、目的IP地址、源端口、目的端口、协议类型、数据包数量、数据包大小等。
NetFlow Analyzer通过解析这些信息，可以得到关于网络流量的详细信息，包括流量的来源、目的地、协议、端口等。
NetFlow Analyzer的工作原理可以分为三个主要步骤：数据收集、数据分析和报告生成。
首先，它通过与网络设备进行通信，收集和获取NetFlow数据。
这些数据可以通过网络设备上的NetFlow功能或者通过配置路由器、交换机等设备来获取。
一旦数据被获取到，NetFlow Analyzer会对这些数据进行解析和分析。
在数据分析阶段，NetFlow Analyzer会对收集到的NetFlow数据进行处理和分析。
它会根据设定的规则和算法，对流量数据进行分类和统计。
例如，可以根据源IP地址或目的IP地址对流量进行分类，统计每个IP地址的流量量；也可以根据端口号或协议类型对流量进行分类，统计每个端口或协议的流量量。
通过对这些数据的分析，可以得到网络流量的整体情况和特征。
在报告生成阶段，NetFlow Analyzer会根据分析得到的结果生成报告。
报告可以以图表、表格等形式展示，并提供详细的统计数据和分析结果。
这些报告可以帮助网络管理员了解网络的使用情况，发现异常流量和网络瓶颈，并采取相应的措施进行优化和改进。
NetFlow Analyzer的原理和功能使其成为网络管理和安全监控的重要工具。
通过实时监控网络流量，可以及时发现和解决网络问题，提高网络的性能和可靠性。
s03-流量分析技术-netflow
3-19
Flow tools
IP网络流量分析
3-20
Arbor
• 支持NetFlow V5，V7，V9，probe
• Peakflow SP（最新的arbor主页无法看到DoS和
Traffic，合并了？）
– Peakflow DoS：主要侧重于网络内的异常行为 – Peakflow Traffic：主要侧重于流量和路由行为
期的flow记录以UDP方式导出
IP网络流量分析
3-5
NetFlow原理－2
IP网络流量分析
3-6
支持NetFlow的设备
NE系列
IP网络流量分析
3-7
对于不支持netflow的设备
• • • •
读入流量，生成netflow数据 Nprobe v5/v9/nFlow Probe for IPv4/v6 Packet Size (Bytes): Throughtput (Pkt/sec)
IP网络流量分析
3-29
NetFlow配置－2
• 配置netflow服务器地址和端口号
– config全局状态下： – (config)#ip flow-export destination xxx.xxx.xxx.xxx 55888 – xxx.xxx.xxx.xxx为netflow服务器地址，即运 行netflow版流量监视程序主机的IP地址
IP网络流量分析
3-14
NetFlow实测对比
• CISCO实测
– 某省骨干端口GE口 GSR12416 – CPU前后没有变化2％ – 平均入流量在650M，采样 率为500的时候 – 15分钟平均flow条数为 110000万条 – 每秒122条flow – 122*1.4k=171k/sec – 预期：650M的百分之一 6.5兆=6500k
网络流量分析NetFlow协议解析
网络流量分析NetFlow协议解析网络流量分析在网络安全和性能监控中起着重要的作用。
而NetFlow协议作为其中一种流量分析的关键工具，在网络管理领域中被广泛应用。
本文将对NetFlow协议进行详细解析，介绍其原理、功能和应用。
一、NetFlow协议简介NetFlow协议是由思科公司于1996年推出的一种网络流量分析技术。
它能够提供流量统计、流量分析和流量监控等功能。
NetFlow协议通过在路由器和交换机上收集、处理和导出流量数据，为网络管理员提供实时的流量信息和网络性能的评估。
二、NetFlow协议的工作原理NetFlow协议的工作原理可以分为三个阶段：数据收集、数据处理和数据导出。
1. 数据收集在网络中的路由器和交换机上，通过配置使其能够将经过设备的流量数据进行收集。
NetFlow支持两种收集方式：Full Flow和Sampled Flow。
Full Flow是指完整地收集每一个流量数据进行处理；Sampled Flow是指以一定的频率采样流量数据进行处理，减少处理开销。
2. 数据处理收集到的流量数据会经过设备内部的处理引擎进行处理。
处理引擎会提取关键信息，如源IP地址、目的IP地址、源端口、目的端口、协议类型等，并基于这些信息生成流记录。
3. 数据导出处理后的流记录会根据配置的规则进行导出。
导出方式有两种：NetFlow v5和NetFlow v9。
NetFlow v5是早期版本，具有广泛的兼容性；NetFlow v9则是最新版本，支持更多的字段，并且具有灵活的配置能力。
三、NetFlow协议的功能NetFlow协议具有以下几个主要功能：1. 流量统计NetFlow可以对流量进行实时统计，包括流量量、带宽利用率、流量峰值等。
这些统计数据可以帮助网络管理员了解网络的负载情况，有助于进行容量规划和性能优化。
2. 流量分析通过对收集到的流量数据进行分析，NetFlow可以帮助管理员发现网络中的异常情况和潜在安全威胁。
【豆丁-精品】-采用Netflow数据的典型异常流量检测方法
第38卷 增刊 电 子 科 技 大 学 学 报 V ol.38 Suppl2009年11月 Journalof University of Electronic Science and Technology of China Nov. 2009 采用Netflow 数据的典型异常流量检测方法田 杨，王 宏，陈晓梅(国防科技大学计算机学院 长沙 410073)【摘要】基于Netflow 数据提出了根据流量特征进行异常检测的方法；分析了造成异常流量的DDoS 和端口扫描的流量特征两种网络攻击行为；并根据其特征进行用户可控的实时异常流量检测，给出告警，报告异常的时空坐标。
用户可以调整自己的参数设置，在计算时间和空间上平衡自己的参数，得到满意的结果。
采用Web 形式和CS 架构模式进行异常监控的实时显示，用户可以实时地在任何连接到服务器的主机设置参数和查看检测结果。
关 键 词 DdoS; 流量特征; netflow; 端口扫描; 实时检测中图分类号 TP393 文献标识码 A doi:10.3969/j.issn.1001-0548.2009.z1.009Typical Traffic Abnormal Detection Based on NetflowTIAN Yang, WANG Hong, and CHEN Xiao-mei(School of Computer, National University of Defence Technology Changsha 410073)Abstract The paper presents a method based on Netflow data and flow’s character to detect abnormal activities in the network. Two behaviors which induce abnormal activities: the properties of DDoS and port scan’s flows are analyzed. And abnormal flows in real time according to the user’s setup is detected, then alert the user and show the abnormal activities coordinates of the time-space. User can balance the time and space’s parameters to get satisfactory result. The CS model on Web is used to detect abnormal flows in real time, the users who connect to the server can setup the parameters and get the result.Key words DDoS; flow character; netflow; port scaning; real time detecting收稿日期： 2009 − 09 − 15作者简介：田 杨(1983 − )，男，硕士，主要从事计算机网络安全方面的研究.网络异常流量是指网络的流量行为偏离其正常行为的情形，引起网络流量异常的原因很多，如网络设备的软硬件异常、网络操作异常、闪现拥挤(flash crowd)、网络攻击行为等。
Netflow网络流量分析手册
Netflow网络流量分析手册Netflow网络流量分析手册作者：聂晓亮（毛蛋哥）目录一、作者简介 (4)二、为什么会有这本书 (5)三、流量分析原理 (6)(一)原始流量分析方式 (6)(二)Netflow分析方式 (6)四、流量采样 (8)(一)在网络设备上开启Netflow功能 (8)(二)网络设备不支持Netflow (9)1.部署方式 (9)2.安装Fprobe (11)3.启动Fprobe (11)4.镜像流量至Fprobe服务器 (12)5.检测是否收到Netflow数据 (12)五、部署服务器 (13)(一)硬件需求 (13)(二)安装FreeBSD (13)(三)安装Nfsen (14)1.安装apache22 (14)2.安装php5 (14)3.安装nfsen (15)(四)安装PortTracker (15)(五)访问Nfsen (16)六、抓贼攻略 (18)(一)了解网络运行状况 (18)(二)什么协议吞了带宽 (22)(三)抓出罪魁祸首 (25)七、感谢 (30)一、作者简介本书作者聂晓亮，网名毛蛋哥。
2004年毕业于北京联合大学信息工程学院，热爱网络相关知识及摄影，机缘巧合参加了Cisco认证培训，并获得了一些成绩。
本书写于2008年10月，作者目前状态工作较为舒适，故有空闲时间完成此书。
聂晓亮（毛蛋哥）拥有自己的Blog及Wiki空间，其中记录了作者的工作、生活、学习。
作者希望通过此书以及Blog、Wiki同全世界的网络爱好者分享其知识与快乐。
聂晓亮（毛蛋哥）的Blog：聂晓亮（毛蛋哥）的Wiki：欢迎交流：********************二、为什么会有这本书在工作的几年当中，经常有朋友和一些网友问我一些关于流量分析的问题，诸如：●我们局域网怎么这么慢，是不是有人在下BT？●192.168.0.1也没人用，怎么网卡疯狂闪烁，它在做什么？●老板让我查查服务器为什么总是那么大流量，可我不知道从何下手。
使用NetFlow分析网络异常流量
一、前言近年来，随着互联网在全球的迅速发展和各种互联网应用的快速普及，互联网已成为人们日常工作生活中不可或缺的信息承载工具。
然而，伴随着互联网的正常应用流量，网络上形形色色的异常流量也随之而来，影响到互联网的正常运行，威胁用户主机的安全和正常使用。
本文从互联网运营商的视角，对互联网异常流量的特征进行了深入分析，进而提出如何在网络层面对互联网异常流量采取防护措施，其中重点讲述了NetFlow分析在互联网异常流量防护中的应用及典型案例。
二、NetFlow简介本文对互联网异常流量的特征分析主要基于NetFlow数据，因此首先对NetFlow做简单介绍。
1. NetFlow概念NetFlow是一种数据交换方式，其工作原理是：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow 缓存同时包含了随后数据流的统计信息。
一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。
2. NetFlow数据采集针对路由器送出的NetFlow数据，可以利用NetFlow数据采集软件存储到服务器上，以便利用各种NetFlow数据分析工具进行进一步的处理。
Cisco提供了Cisco NetFlow Collector（NFC）采集NetFlow数据，其它许多厂家也提供类似的采集软件。
下例为利用NFC2.0采集的网络流量数据实例：211.*.*.57|202.*.*.12|Others|localas|9|6|2392|80|80|1|40|1出于安全原因考虑，本文中出现的IP地址均经过处理。
NetFlow数据也可以在路由器上直接查看，以下为从Cisco GSR路由器采集的数据实例，：gsr #att 2 （登录采集NetFlow数据的GSR 2槽板卡）LC-Slot2>sh ip cache flowSrcIf SrcIPaddress DstIf DstIPaddress Pr SrcP DstP PktsGi2/1 219.*.*.229 PO4/2 217.*.*.228 06 09CB 168D 2Gi2/1 61.*.*.23 Null 63.*.*.246 11 0426 059A 1本文中的NetFlow数据分析均基于NFC采集的网络流量数据，针对路由器直接输出的Neflow数据，也可以采用类似方法分析。
基于NetFlow流量行为分析的网络异常检测
１ 引言 、
行为模式簇质心集合 ｛ ｌ 上 中找不到与 相近的模式， ｆ １ ｉ ｝ 即
随着 网络 技 术 的 不断 发 展 和 网络 规 模 的不 断 扩大 ， 网络 入 侵 的 Ｄｉ（ ， ） ｓ Ｘ， 相对 较 大 。 ｔ 机 会也 越 来 越 多 ， 络安 全 已 经成 为 一个 全 球 性 的 重要 问题 ． 网 网 在 络 安 全 问题 日益 突 出 的今 天 ， 何 迅 速 、 效地 发 现 各 类 新 的入 侵 如 有 ３ 异常 检测 算 法 ， 网络流量中不 同协议的流密度分布可以描述网络行为 ， 网络行 行为 ， 保 证系 统和 网络 资 源 的安全 显得 十分 重要 。 对于 本文 提 出 了… 种 新 的 基 于 ＮｅＦｏ ｔ ｌｗ流量 分析 的 网 络 异 常检 测 为问的距离可 以描述不同网络行为之 间的区别 ， 本文用关联度来描 方 法 ， 利 用 Ｃｓｏ 司 开 发 的ＮｅＦｏ 它 ｉ 公 ｃ ｔ ｌｗ交换 协议 提 高 了采 集 数 据 述不 同网络 行为 之 间 的区别 ， 法如 下 ： 算 的性 能 ， 立 了 具有 自适 应 性 的 网 络 流量 正 常 行 为模 式 ， 关联 度 建 用 设 有 两个 网 络行 为 和 ，则其 间 的关 联度 定义 为 ， 算法 Ｘ Ｎ ｔｌｗ流量 数 据 的 网络 行 为分 布 进行 分 析 ， 而 发现 异 常 ｉ ， ｅＦｏ 从 的 网络数 据流 。
ｓ（） Ａ ／ ｘ （） ｍ ＋３ ｉ ￣ ｎ ２
式 中△ （） Ｉｉ ） Ｘ （）， Ｎ（） 七 ＝Ｘ （ 一 ｊ Ｊ１ 七 ｋ ３
Ａ ＝ｍａ ｛ １ Ａ （） ． Ｊ） ｘ Ａ （ ， ２ ， （ ｝ ） Ａ Ⅳ
Ａ ＝ｍｉ ｛ １ △ （ ） Ａ （ ｝ … ｎ 分辨 系 数 ， 取 ｐ＝ ． 一般 ０ ５ 设 待检 测 的网 络行 为 和根 据定 义４ 计算 得 到 的正 常 网络 行为 模式 ， 根据（） １式可得 Ｘｌ Ｘ 与 的关联度 。根据实验统计 ， 。 在正 常 情 况 下一 个 网络 中的正 常 网 络 行为 与 的 关联 度 在较 小 的 范 围
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Netflow 网络异常流量的监测原理
Netflow 对网络数据的采集具有大覆盖小成本的明显优势，在Netflow在安全领域的应用与传统的DPI的方式和系统扫描的方式，却有着明显的不同。
使得这类产品在定位和实现的功能上和传统大IDS／IPS也不一样。
Network Behavior Anomaly Detection（网络行为异常检测）是NetFlow安全的原理基础。
Netflow流量数据只能分析到协议的第四层，只能够分析到IP 地址、协议和端口号，但是受限制于无法进行包的内容分析，这样就无法得到网络中一些病毒、木马行为的报文特征。
它是从网络流量的行为特征的统计数据进行网络异常的判定的。
网络行为的异常很大一方面是对网络基线数据的违背，反应到一个监控网段范围，往往呈现的就是网络流量的激增和突减。
而在针对网络单个IP的监测的时候分析的是这单个IP来源或者目的IP流量的行为模式，TCP的流量模型等等来进行判断。
GenieATM对网络异常流量的NBAD的检测具体如下面三点：
1.1流量异常(Traffic Anomaly) 侦测
流量异常模型是将基线模板(Baseline Template)应用于使用者所设定的监测范围内（因特网、互联自治域、子网、路由器、服务器、interface、监测条件等多种模型），流量异常侦测模型主要凭借系统实时对网络中正常流量形成流量基线，再根据网络正常的网络流量模型来动态分析网络中的异常流量，以期最早时间发现网络中流量的激增和突减。
针对不同的网络监测范围，用户可使用定义不同的流量基线模板进行监控。
系统支持自动建立及更新流量基线，也允许管理员手动设定和调整基线的参数和取值期间，并排除某些受异常流量攻击的特定日列入计算，以免影响基线的准确性。
通过参数的设定，系统能根据对网络效能的影响，将网络异常流量的严重性分为多个等级，包括：正常、中度异常(yellow)、高度异常(red)，并允许使用者透过参数设定，对每个检测范围设定合适的参数。
根据不同的网络范围，也提供不同监测模板让用户选择，从模板的部分可设定各种流量监测的临界值，不同的网络边界可设定不同的流量监测临界值。
模板的类型有系统开发、用户自定义以及自动学习三种。
此外，系统也提供多种单位，方便用户选择。
异常发生后，系统将自动分析当时的流量特征，并可藉由异常查看器读取这些讯息(参
阅下方图6.2)，包含细部图形与发生的时间区块、来源地址与目的地址分析、协议与端口号分析、网络界面分析等。
图6.2 客户网流量异常产生ACL与流量快照
1.2 协议滥用异常(Protocol-Misuse Anomaly) 侦测
即使在流量不大的情况下，对于网络中常见的DoS/DDoS攻击和协议滥用，GenieATM 也能透过系统内建的攻击流量模式定义比对流量，并配合检测基线参数的检查，有效发现网络上的攻击流量。
目前GenieATM系统内建协议滥用异常的攻击流量模式定义(Protocol-Misuse Anomaly Definition)，详列如下：
ICMP Misuse 大量发送的ICMP封包，超过了临界值
IP Protocol Null IP Protocol = 0的异常流量
TCP Flag Null or Misuse 透过比对通讯协议TCP，发现TCP Flag = 0，或其他SYN+FIN, SYN+RST, FIN 与ACK及RST等使用异常
Land Attack 来源IP地址等于目地的IP地址
TCP Fragment TCP通讯协议封包，来源端埠号及目的端埠号等
于0
UDP Fragment UDP通讯协议封包，来源端埠号及目的端埠号等
于0
UDP Flooding 大量发送UDP的封包，超过了临界值
TCP SYN Flooding 大量发送的TCP SYN 封包，超过了临界值
TCP RST Flooding 大量发送的TCP RST 封包，超过了临界值
Host Total Traffic 对某台主机大量发送的流量，超过了临界值
用户可在“网络> 异常> 协议滥用异常”中自行设定：包含启用与否、判定是否为攻击的测试时间和在上述的协议滥用侦测类型的警戒值(参阅图 6.5)。
此外，用户可针对客户网与外部网络设定不同的协议异常滥用的阈值，使网络管理更加方便。
图6.5 设定协议异常临界值
在异常查看器报表中，可针对协议滥用，作更进一步的侦测(参阅图6.6)，包含细部图形与发生的时间区块、被攻击的IP主机地址、流量特征(如：协议与端口号/TCP Flag)、路由器接口的攻击流量分析等，还可针对特定的IP产生ACL档案，供路由器作流量管控，将被攻击的IP讯息送至流量清洗设备，以隔绝攻击流量，或对发生协议滥用的计算机执行实时流量快照。
图6.6 异常事件的详细分析
1.3 网络应用异常(Application Anomaly/Signature) 侦测
GenieATM系统提供的第三种侦测模型是网络应用异常(Application Anomaly)。
系统可以封包长度、联机封包数、联机位数、通讯协议、端口号、TCP Flag、TOS值、网络非法地址(Dark IP Address)、及网络地址(Prefix)等流量特征，进行定义比对的异常流量侦测模型，用以支持针对网络蠕虫（病毒）与DoS/DDoS攻击特性所设计的特征比对，侦测已知的网络攻击。
除系统内建的攻击特征定义外(如MS Blaster、Sasser、Code Red、SQL Slammer 等)，使用者也可手动增加/修改攻击/病毒的特征信息。
此外，系统会自动透过BGP路由表的查找或是系统管理员的设定，检
测该流量的来源或目地的IP地址是否为网络非法地址(Dark IP Address)。
值得注意的是，GenieATM系统能自动地透过「本域网络(Home Network)」中的设定检验，判断某地址是否为网络非法地址或是网络运营商所分发的私
有地址(Private Address)，并能产生网络非法地址区块的异常流量报告。
用户可在“网络> 异常> 网络应用异常” 中自行设定，包含启用与否、以持续时间判定是否为攻击、和警戒阈值。
对某些蠕虫攻击，在网络应用异常中，也可针对某些已知蠕虫特性(Code Red、SQL Slammer)作设定与防护(例如某些特定已知的埠号攻击或封包长度)。
图6.7 针对流量特性判定为异常或攻击
在“状态> 异常查看器”中还可针对网络应用异常，作更进一步的侦测(参阅图6.8)，包含细部图形与发生的时间区块，除此之外，在更精细的数据中可针对特定IP产生ACL档案，或是对发生网络应用异常的计算机执行实时流量快照。
图6.8 对特定IP产生ACL与流量快照(网络应用异常) 异常查看器报表的资源类型与异常类型数据，详列如下：。