基于NetFlow流量采样的误差分析
Netflow 网络异常流量的监测原理
Netflow 网络异常流量的监测原理Netflow 对网络数据的采集具有大覆盖小成本的明显优势，在Netflow在安全领域的应用与传统的DPI的方式和系统扫描的方式，却有着明显的不同。
使得这类产品在定位和实现的功能上和传统大IDS／IPS也不一样。
Network Behavior Anomaly Detection（网络行为异常检测）是NetFlow安全的原理基础。
Netflow流量数据只能分析到协议的第四层，只能够分析到IP 地址、协议和端口号，但是受限制于无法进行包的内容分析，这样就无法得到网络中一些病毒、木马行为的报文特征。
它是从网络流量的行为特征的统计数据进行网络异常的判定的。
网络行为的异常很大一方面是对网络基线数据的违背，反应到一个监控网段范围，往往呈现的就是网络流量的激增和突减。
而在针对网络单个IP的监测的时候分析的是这单个IP来源或者目的IP流量的行为模式，TCP的流量模型等等来进行判断。
GenieATM对网络异常流量的NBAD的检测具体如下面三点：1.1流量异常(Traffic Anomaly) 侦测流量异常模型是将基线模板(Baseline Template)应用于使用者所设定的监测范围内（因特网、互联自治域、子网、路由器、服务器、interface、监测条件等多种模型），流量异常侦测模型主要凭借系统实时对网络中正常流量形成流量基线，再根据网络正常的网络流量模型来动态分析网络中的异常流量，以期最早时间发现网络中流量的激增和突减。
针对不同的网络监测范围，用户可使用定义不同的流量基线模板进行监控。
系统支持自动建立及更新流量基线，也允许管理员手动设定和调整基线的参数和取值期间，并排除某些受异常流量攻击的特定日列入计算，以免影响基线的准确性。
通过参数的设定，系统能根据对网络效能的影响，将网络异常流量的严重性分为多个等级，包括：正常、中度异常(yellow)、高度异常(red)，并允许使用者透过参数设定，对每个检测范围设定合适的参数。
基于NetFlow网络流量分析的研究及应用[1]
![基于NetFlow网络流量分析的研究及应用[1]](https://img.taocdn.com/s3/m/f463faeeaeaad1f346933fb5.png)
收稿日期:2003208216.作者简介:孟学军(19712),男,讲师;武汉,武汉大学网络教育学院(430072).基于Net Flow 网络流量分析的研究及应用孟学军武汉大学网络教育学院吴黎兵武汉大学计算中心石 岗武汉大学网络教育学院摘要:在分析Net Flow 交换及其特点的基础上设计了一个具体的网络流量分析模型.它的主要特点是提供了数据输出网关和计费接口,易于扩展.该模型重点讨论了数据采集点的选择和采样间隔等关键参数的设置方法.关 键 词:Net Flow ;数据采集;采样间隔中图分类号:TP393.03 文献标识码:A 文章编号:167124512(2003)S120253203 网络流量分析对一个网络的管理来说是不可缺少的重要组成部分.网管人员可以利用它来监控网络的数据流量,分析网络的使用情况及性能,尽早发现网络的瓶颈,便于调整网络的路由,合理分配网络流量,保证网络高效、稳定、可靠地运行.1 Net Flow 交换及其特点Net Flow 交换在网络层实现高性能的交换,它提供一个高效的机制,可用来处理安全访问列表,不必像其他传统的交换方式那样,为完成同样的任务而付出很高的性能代价.Net Flow 交换识别主机之间的网络流量,并在提供相关服务的同时,对网络流量中的分组进行交换.在Net Flow 交换中,查询过程仅对分组流中的第一个分组进行,在一个网络流被识别并确定了与其相关的服务后,那么后面所有的分组都作为该信息流的一部分,在面向连接的基础上进行处理,这样就绕过了访问列表的检查,进而依次对分组进行交换和获取统计信息.Net Flow 记录的流包含了丰富的信息,它使用源和目的端点的IP 地址和传输层端口号、协议类型、服务类型(Tos )以及输入接口等来标记网络流.可用来捕获、显示和分析网络流信息.Net Flow 不需要其他硬件流量设备的支持,开启和关闭非常方便.2 系统实现的基本原理与技术2.1 数据采集系统框架a .N FCD 模块:系统后台控制服务器,监视和控制N FCollector 和N FO GW 的操作状态.b .N FCollector 模块:流量收集器,接收来自路由器的Net Flow 数据,并进行过滤、总结、集合和数据管理等功能.c .N FCU I 模块:用户配置接口,为用户和Net Flow 提供一个交互界面.用户可以方便地对Net Flow 进行配置及查看内部的一些运行情况,比如计划集信息、过滤器信息、源地址和目的地址、发送数据的IP 地址以及正在接受数据的情况.d .N FO GW 模块:数据输出网关,通过网关以SOC KET 方式发送信息到其他网管分析软件,如Cisco 公司的Net Flow FlowAnalyzer 流量分析软件.例如将这些数据应用到网络仿真中,仿真出实际网络运行的性能参数,为网络设计和规划、营运维护等广泛领域服务.e .N FAnalyzer 模块:提供图形用户界面(GU I )分析和显示来自N FCollector 的Net Flow 数据.数据可以以多种集合方式观看,并配有不同的图形、分类和图表功能.数据系统采集框架见图1.2.2 Net Flow 数据格式Net Flow 以UDP 数据报输出信息流.版本1的格式是最初颁布的版本;版本5是最新的增强版[1],增加了边界网关协议(B GP4)自治系统(AS )信息和流顺序号.版本5的流记录格式为(0～3)Scraddr ,源IP 地址;(4～7)Dstaddr ,目的IP地址;(8～11)Nexthop ,下一个“跳”路由器的IP地址;(12～15)input and output ,输入和输出接口的SNMP 索引;(16～19)dPkts ,流中的信息包;第31卷增刊 华 中 科 技 大 学 学 报(自然科学版) Vol.31 Sup.2003年 10月 J.Huazhong Univ.of Sci.&Tech.(Nature Science Edition ) Oct. 2003图1 数据采集系统框架(20～23)dOctets,在流的信息包中第3层字节的总数;(24～27)First,流起始时的SysUptime;(28～31)Last,收到流的最后的信息包时的SysUp2 time;…2.3 配置Net Flow交换Net Flow的数据输出要求先在路由器或交换机上定制Net Flow流输出,并选择输出流的版本、个数、缓存区的大小等,配置相应Net Flow流收集器的IP地址、端口等信息.另外,需要在Net Flow 流收集器端、配置接收端口号、设置汇聚、过滤策略、流量文件存放目录、格式等.configure terminal/进入全局配置模式/interface interface3/0/0/指定接口,进入接口配置模式/ip route2cache distributed/在接口上启动IP 信息包的V IP分布交换/ip route2cache flow/指定流交换/ip flow2export1.1.15.10version5peer2as/将Net Flow缓存的存入项传送到工作站/3 需要重点考虑的两个问题3.1 数据采集点的选择Cisco7500系列路由器除了有一个集成的路由/交换处理器(RSP)并使用路由缓存来转发信息包外,它还使用了多功能接口处理器(V IP).这个基于RISC的接口处理器接受并缓存来自RSP 的路由信息.使用了路由缓存,V IP卡就可在本地作出交换决定,不需要RSP的参与就可加速总的吞吐量.由于V IP从RSP卸载了这些IP交换和服务功能,因此RSP可以将其所有CPU周期用于处理其他关键任务.因此,使用V IP的分布式体系结构是Cisco7500可伸缩性的关键.文献[2]通过在实际运行网络的GSR12012和Cata2 lyst6509两种典型路由设备上开启Net Flow进行测试,实际评估了其对网络性能的影响.试验数据表明:开启Net Flow对具有V IP分布交换功能的12012的CPU利用率无任何影响,内存下降也不明显;而对不具有V IP分布交换功能的6509影响较为明显,CPU利用率下降超过5%,内存下降也大.因此,数据采集点放在C7507上合适.这样,不会造成网络拥塞,如图2所示.图2 边界路由器和中心交换机位置分布3.2 采样间隔考虑到网络流量在不同的时间段内是不均衡的,如果在全部时间段内采取不变的间隔采样,必定造成N FCollector与路由器的频繁通信,进而影响路由器的性能.如果根据信道的繁忙程度设定不同的取样间隔,就可减少通信频度,提高路由器的利用率.根据排队论,客户端发起的会话请求可以用分段平稳泊松流来模型化[3].因此,可以认为在平衡状态下t时间内路由器建立的会话次数为泊松分布.P[n(t)=m]=e-λt(λt)m/(m!)(1) t时间缓存内的平均会话个数 n为:n=∑mi=1i P[n(t)=i]=∑mi=1e-λt(λt)i(i-1)!,(2)式中λ是会话到达流的强度.此时若设缓存区的长度为m,则t时间内不溢出的概率是:p=∑mi=1P[n(t)=i]=e-λt∑mi=1(λt)ii!.(3)由于流量为分段的平稳泊松流,因此,如果以小时为单位对其进行分段,则每个时间段上的到达流强度λi=1-24,利用(3)式,根据给定的P和λi 可以计算出t i值作为该时间段内的采样间隔.借助已完成的数据采集工具,可以收集到任何地点的网络流量情况.这为下一步的数据分析提供了丰富的数据资源以及数据间的联系等重要信息.在随后的分析工作中,将尝试分离出可能影响数据流的各个因素(包括网络主机的数量、用户的访问特性、网络通信协议算法及网络的拓扑结构).通过对现有的网络框架增加网络监测和流量分析功能,可以改善网络环境的整体安全性.参考文献[1]Cisco Systems公司.Cisco IOS交换服务.北京:电子工452 华 中 科 技 大 学 学 报(自然科学版) 第31卷业出版社,1999.[2]梁喜秋,梁 洁.Net Flow 对网络性能的影响.广州通信技术,2002,22(3):24～26[3]丁 伟,吴剑章.基于会话的网络计费管理系统.小型微型计算机系统,1998,19(1):10～13R esearch and application of net work traff ic analysis based on N etFlowMeng X uej un W u L ibi ng ShiGangAbstract :The paper designs a material network traffic analysis model after analyzing Net Flow exchange and its key characteristics.Adapting and extension are main trait of the model by providing data output gateway and IP accounting interface.At the end of the paper ,some key parameters ,such as choice of data collection site and sampling interval are discussed in detail based on network traffic model.K ey w ords :Net Flow ;data collection ;sampling intervalMeng Xuejun Lect.;School of Network Education ,Wuhan University ,Wuhan 430072,China.552增刊 孟学军等:基于Net Flow 网络流量分析的研究及应用 。
【豆丁-精品】-采用Netflow数据的典型异常流量检测方法
第38卷 增刊 电 子 科 技 大 学 学 报 V ol.38 Suppl2009年11月 Journalof University of Electronic Science and Technology of China Nov. 2009 采用Netflow 数据的典型异常流量检测方法田 杨，王 宏，陈晓梅(国防科技大学计算机学院 长沙 410073)【摘要】基于Netflow 数据提出了根据流量特征进行异常检测的方法；分析了造成异常流量的DDoS 和端口扫描的流量特征两种网络攻击行为；并根据其特征进行用户可控的实时异常流量检测，给出告警，报告异常的时空坐标。
用户可以调整自己的参数设置，在计算时间和空间上平衡自己的参数，得到满意的结果。
采用Web 形式和CS 架构模式进行异常监控的实时显示，用户可以实时地在任何连接到服务器的主机设置参数和查看检测结果。
关 键 词 DdoS; 流量特征; netflow; 端口扫描; 实时检测中图分类号 TP393 文献标识码 A doi:10.3969/j.issn.1001-0548.2009.z1.009Typical Traffic Abnormal Detection Based on NetflowTIAN Yang, WANG Hong, and CHEN Xiao-mei(School of Computer, National University of Defence Technology Changsha 410073)Abstract The paper presents a method based on Netflow data and flow’s character to detect abnormal activities in the network. Two behaviors which induce abnormal activities: the properties of DDoS and port scan’s flows are analyzed. And abnormal flows in real time according to the user’s setup is detected, then alert the user and show the abnormal activities coordinates of the time-space. User can balance the time and space’s parameters to get satisfactory result. The CS model on Web is used to detect abnormal flows in real time, the users who connect to the server can setup the parameters and get the result.Key words DDoS; flow character; netflow; port scaning; real time detecting收稿日期： 2009 − 09 − 15作者简介：田 杨(1983 − )，男，硕士，主要从事计算机网络安全方面的研究.网络异常流量是指网络的流量行为偏离其正常行为的情形，引起网络流量异常的原因很多，如网络设备的软硬件异常、网络操作异常、闪现拥挤(flash crowd)、网络攻击行为等。
流量计产生误差的原因.doc
流量计产生误差的原因标准孔板是由机械加工获得的一块圆形穿孔的薄板。
它的节流孔圆筒形柱面与孔板上游端面垂直，其边缘是尖锐的，孔板厚与孔板直径比是比较小的。
孔板在测量管内的部分应该是圆的并与测量管轴线同轴，孔板的两端面应始终是平整的和平行的3.1孔板偏心根据GB2624-81规定，孔板应与节流装置中的直管段对中。
实验表明，孔板偏心引起的计量误差一般在2%以内，孔径比β值愈高，偏心率影响愈大，应不用值高的孔板。
3.2孔板弯曲由于安装或维修不当。
使孔板发生弯曲或变形，导致流量测量误差较大。
在法兰取压的孔板上进行测试，孔板弯曲产生的最大误差约为3.5%，3.3孔板边缘尖锐度孔板入口边缘磨损变钝不锐或受腐蚀发生缺口，或孔板管道内部的焊缝或计量法兰垫片，都将使实际流量系数增大和差压降低，造成计算气量偏小。
二、提高计量精度的措施1.消除气流中的脉动流管道中由于气体的流速和压力发生突然变化，造成脉动流，它能引起差压的波动，而节流装置的流量计算公式是以兰孔板的稳定流动为基础的，当测量点有脉动现象时，稳定原理不能成立，从而影响测量精度，产生计量误差。
脉流流量总不确定度等于按GB/T2624-93计算的测量误差与脉动附加不确定度的合成。
式中：ET-脉动附加不确定度，无量纲； -轴向时均速度，m/s； -速度脉动分量均方根值，m/s。
(公式应用条件≤0.32) 因此，为了保证天然气计量精度，必须抑制脉动流。
常用的措施有：(1)在满足计量能力的条件下，应选择内径较小的测量管，提高差压和孔径比；(2)采用短引压管线，减少管线中的阻力件，并使上下游管线长度相等，减少系统中产生谐振和压力脉动振幅增加；(3)从管线中消除游离液体，管线中的积液引起的脉动可采用自动清管系统或低处安装分液器来处理。
2.计量装置的设计安装应符台SY/T 6143-1996由于影响孔板流量计测量精度的根本原因是节流装置的几何形状和流动动态是否偏离设计标准。
Netflow网络流量分析手册
Netflow网络流量分析手册Netflow网络流量分析手册作者：聂晓亮（毛蛋哥）目录一、作者简介 (4)二、为什么会有这本书 (5)三、流量分析原理 (6)(一)原始流量分析方式 (6)(二)Netflow分析方式 (6)四、流量采样 (8)(一)在网络设备上开启Netflow功能 (8)(二)网络设备不支持Netflow (9)1.部署方式 (9)2.安装Fprobe (11)3.启动Fprobe (11)4.镜像流量至Fprobe服务器 (12)5.检测是否收到Netflow数据 (12)五、部署服务器 (13)(一)硬件需求 (13)(二)安装FreeBSD (13)(三)安装Nfsen (14)1.安装apache22 (14)2.安装php5 (14)3.安装nfsen (15)(四)安装PortTracker (15)(五)访问Nfsen (16)六、抓贼攻略 (18)(一)了解网络运行状况 (18)(二)什么协议吞了带宽 (22)(三)抓出罪魁祸首 (25)七、感谢 (30)一、作者简介本书作者聂晓亮，网名毛蛋哥。
2004年毕业于北京联合大学信息工程学院，热爱网络相关知识及摄影，机缘巧合参加了Cisco认证培训，并获得了一些成绩。
本书写于2008年10月，作者目前状态工作较为舒适，故有空闲时间完成此书。
聂晓亮（毛蛋哥）拥有自己的Blog及Wiki空间，其中记录了作者的工作、生活、学习。
作者希望通过此书以及Blog、Wiki同全世界的网络爱好者分享其知识与快乐。
聂晓亮（毛蛋哥）的Blog：聂晓亮（毛蛋哥）的Wiki：欢迎交流：********************二、为什么会有这本书在工作的几年当中，经常有朋友和一些网友问我一些关于流量分析的问题，诸如：●我们局域网怎么这么慢，是不是有人在下BT？●192.168.0.1也没人用，怎么网卡疯狂闪烁，它在做什么？●老板让我查查服务器为什么总是那么大流量，可我不知道从何下手。
使用NetFlow分析网络异常流量
一、前言近年来，随着互联网在全球的迅速发展和各种互联网应用的快速普及，互联网已成为人们日常工作生活中不可或缺的信息承载工具。
然而，伴随着互联网的正常应用流量，网络上形形色色的异常流量也随之而来，影响到互联网的正常运行，威胁用户主机的安全和正常使用。
本文从互联网运营商的视角，对互联网异常流量的特征进行了深入分析，进而提出如何在网络层面对互联网异常流量采取防护措施，其中重点讲述了NetFlow分析在互联网异常流量防护中的应用及典型案例。
二、NetFlow简介本文对互联网异常流量的特征分析主要基于NetFlow数据，因此首先对NetFlow做简单介绍。
1. NetFlow概念NetFlow是一种数据交换方式，其工作原理是：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow 缓存同时包含了随后数据流的统计信息。
一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。
2. NetFlow数据采集针对路由器送出的NetFlow数据，可以利用NetFlow数据采集软件存储到服务器上，以便利用各种NetFlow数据分析工具进行进一步的处理。
Cisco提供了Cisco NetFlow Collector（NFC）采集NetFlow数据，其它许多厂家也提供类似的采集软件。
下例为利用NFC2.0采集的网络流量数据实例：211.*.*.57|202.*.*.12|Others|localas|9|6|2392|80|80|1|40|1出于安全原因考虑，本文中出现的IP地址均经过处理。
NetFlow数据也可以在路由器上直接查看，以下为从Cisco GSR路由器采集的数据实例，：gsr #att 2 （登录采集NetFlow数据的GSR 2槽板卡）LC-Slot2>sh ip cache flowSrcIf SrcIPaddress DstIf DstIPaddress Pr SrcP DstP PktsGi2/1 219.*.*.229 PO4/2 217.*.*.228 06 09CB 168D 2Gi2/1 61.*.*.23 Null 63.*.*.246 11 0426 059A 1本文中的NetFlow数据分析均基于NFC采集的网络流量数据，针对路由器直接输出的Neflow数据，也可以采用类似方法分析。
浅析流量测验中的误差
浅析流量测验中的误差发表时间：2020-04-23T06:09:40.481Z 来源：《防护工程》2020年2期作者：刘文军[导读] 目前，流量测验在水文领域中广泛应用，流量测验的精确度关系着水利资源利用效率，也影响着水库设施的防洪功能。
北京市京密引水管理处北京 101300摘要：目前，流量测验在水文领域中广泛应用，流量测验的精确度关系着水利资源利用效率，也影响着水库设施的防洪功能。
在流量测验实践中，应采用有效措施将误差值降至最低水平或消除，进而获得精确度高的测验结果。
鉴于此，文章在列举流量测验常用方法手段基础上，分析测量误差性质及来源，并提出几点切实可行的防控措施。
关键词：流量测验；测量误差；来源分析；防控措施在水库防洪、河道治理、开发利用水资源过程中，流量数据是重要的参照资料，其能较直观的呈现出水体水量改变状况等水文特征。
流量测验在规划设计水利项目实践中，其数据应用在水工建筑物规划、设计及管理，防洪调控及水体质量监测等诸多领域中均有应用，这间接阐释提升流量测验结果精确的必要性。
但是在流量测验实践中，人为误差、仪器误差等在多种主客观因素作用下，误差难以完全规避，但是人为误差应自觉减少规避，本文主要分析加强并提高天然河道中面积流速法流量测验人为误差的减少。
1、流量测验概述通俗的讲，流量就是单位时间内流过某一过水断面的水体体积称为流量,水文流量测验就是对江河、渠道流量进行的实地测流工作。
按照工作原理可分为四大类；有面积流速法、水力学法、化学法、物理法，其中面积流速法应用最广泛，也是水文中流量测验主要的应用方法。
面积流速法：基本原理为按一定原则，沿河道横断面取若干垂线，将河道横断面划分为若干个部分面积，在各个垂线上施测流速，在与部分面积相乘即得到部分流量，各部分流量相加为河道横断面流量。
根据测定流速的方法不同，又分为流速仪法和浮标法。
（1）流速仪法；在面积流速法中使用流速仪测量是最基本的方式。
常规操作时使流速仪停留在测深垂线预定点上检测流速，局部面积与局部平均流速的乘积就是局部的流量值，局部流量整合表示断面流量。
一流量测验误差与控制
随机误差
定义
随机误差也称为偶然误差，是由于一 些随机的、偶然的因素引起的误差。
特点
随机误差具有随机性、不可预测性和 不可重复性。
产生原因
随机误差产生的原因可能包括环境因 素的变化、测量人员操作的微小差异 等。
控制方法
控制随机误差的方法包括增加测量次 数、采用合适的统计方法对测量数据 进行处理等。
粗大误差
#O2
流量测验误差的 分类
#2022
系统误差
系统误差具有重复性、单向性和可测 性。
控制系统误差的方法包括对测量仪器 进行定期校准、改善测量环境、采用 更精确的测量方法和模型等。
定义
特点
产生原因
控制方法
系统误差是由于测量系统本身的不完 善、不稳定或测量原理、方法的不完 善而引起的误差。
系统误差产生的原因可能包括仪器校 准不准确、测量环境不稳定、测量人 员操作习惯等。
误差的图解法
误差棒图
通过在图上绘制误差棒（也称为误差条）来表示各个测量环节的误 差范围，有助于直观地了解误差的大小和分布。
误差箱线图
通过绘制箱线图（也称为箱状图）来表示一组数据的误差分布特性， 包括上四分位数、下四分位数、中位数和异常值等。
误差曲线图
通过绘制误差曲线来表示测量过程中误差的变化趋势，有助于发现和 解决潜在的误差源。
量。
03
噪声污染源流量测量误差控制
通过合理布设噪声监测点位和采用高精度测量仪器，降低噪声污染源流
量测量的误差。
WATCHING
THANKS FOR
感谢您的观看
定义
特点
粗大误差是由于测量人员疏忽、不细心等原 因引起的明显超出正常范围的误差。
粗大误差具有明显的大幅括测量人员疏忽、 记录错误等。