NetFlow学习笔记
NETFLOW技术介绍
1. 流量流向监测技术1.1 概述传统的网络流量监测技术的局限性SNMP采集端口的数据主要是在网元层用来监控网络流量和设备的性能，而且SNMP 采集的数据是基于端口的，无法提供端到端的准确的流量信息，因此对流向的统计手段不明确。
利用RMON探针对运营商网络进行流量和流向管理可以部分弥补SNMP的技术局限性，其业务分析和协议分析功能较强。
但是，采用RMON探针建设的流量监测系统也有处理性能不足和难以在大型网络普遍部署的局限性。
提出新的流量监测技术为克服现有网管系统对网络流量和流向分析功能的技术局限性，运营商迫切需要寻找一种功能丰富、成熟稳定的新技术，对现有管理系统中流量信息的采集和分析方式进行改造和升级。
新的流量信息采集和分析技术应具备对运营商的运行网络影响小、无需对网络拓扑进行改变就能平滑升级的技术特征，既可以对网络中各个链路的带宽使用率进行统计，又可以对每条链路上不同类型业务的流量和流向进行分析和统计。
本文主要介绍应用广泛的Cisco NetFlow技术、华为Netstream技术、Sflow 、Cflowd 和IPFIX 以及支持上述流监测技术的厂家和设备情况。
1.2 相关厂家及设备2Netflow2.1 流原理netflow 的信息单元是flow。
flow是一个单向的带有唯一标识字节组的传输流。
基本的标识为：source-IP-address, source-port, destination-IP-address, destination-port, IP-protocol, TOS, input interface ID。
当路由器接收到一个没有flow入口的数据包时，一个flow的结构将被初始化以保存其状态信息如：交换的字节数、IP地址、端口、自治区域等。
随后所有满足这个flow结构的数据包都将增加flow结构的字节计数和包计数，直至这个flow中止并输出。
Netflow功能是在一个路由器独立完成，它不涉及路由器之间的任何连接设置协议，也不要求对数据包本身或其它任何网络设备进行任何外部修改。
netflow原理
1、Natflow原理：2、输出流信息的格式3、natflow用途a)网络监控b)应用监控c)用户监控d)网络规划e)安全分析f)记账3、netflow网络设备的配置和相关参数Cisco Netflow配置命令a)ip route-cache flow 在接口上配置Netflow采样。
b)ip flow-export destination ip_address port 将Netflow的采样信息输出到Netflow的流量分析系统上，这里2055是NI系统的Netflow默认端口号，如果是其他的Netflow系统可以在下面的命令行里更改端口号，NI系统也可以在全局配置下更改端口号。
c)ip flow-export source interface_name 配置发送Netflow采样信息的源接口，建议使用Loopback接口。
ip flow-export version 5 配置Netflow的版本号为5。
d)ip flow-cache timeout active x 生成告警和显示故障排除数据为x分钟。
snmp-server ifindex persist 全局启用ifIndex持续化(接口名)。
配置举例：router#configure terminalrouter(config)#interface FastEthernet 0/0router(config-if)#ip route-cache flowrouter(config-if)#exitrouter(config)#ip flow-export destination 10.10.10.25 2055router(config)#ip flow-export source loopback 0router(config)#ip flow-export version 5router(config)#ip flow-cache timeout active 1router(config)#snmp-server if验证命令show ip flow export 显示当前Netflow的配置。
网络流量分析NetFlow协议解析
网络流量分析NetFlow协议解析网络流量分析在网络安全和性能监控中起着重要的作用。
而NetFlow协议作为其中一种流量分析的关键工具，在网络管理领域中被广泛应用。
本文将对NetFlow协议进行详细解析，介绍其原理、功能和应用。
一、NetFlow协议简介NetFlow协议是由思科公司于1996年推出的一种网络流量分析技术。
它能够提供流量统计、流量分析和流量监控等功能。
NetFlow协议通过在路由器和交换机上收集、处理和导出流量数据，为网络管理员提供实时的流量信息和网络性能的评估。
二、NetFlow协议的工作原理NetFlow协议的工作原理可以分为三个阶段：数据收集、数据处理和数据导出。
1. 数据收集在网络中的路由器和交换机上，通过配置使其能够将经过设备的流量数据进行收集。
NetFlow支持两种收集方式：Full Flow和Sampled Flow。
Full Flow是指完整地收集每一个流量数据进行处理；Sampled Flow是指以一定的频率采样流量数据进行处理，减少处理开销。
2. 数据处理收集到的流量数据会经过设备内部的处理引擎进行处理。
处理引擎会提取关键信息，如源IP地址、目的IP地址、源端口、目的端口、协议类型等，并基于这些信息生成流记录。
3. 数据导出处理后的流记录会根据配置的规则进行导出。
导出方式有两种：NetFlow v5和NetFlow v9。
NetFlow v5是早期版本，具有广泛的兼容性；NetFlow v9则是最新版本，支持更多的字段，并且具有灵活的配置能力。
三、NetFlow协议的功能NetFlow协议具有以下几个主要功能：1. 流量统计NetFlow可以对流量进行实时统计，包括流量量、带宽利用率、流量峰值等。
这些统计数据可以帮助网络管理员了解网络的负载情况，有助于进行容量规划和性能优化。
2. 流量分析通过对收集到的流量数据进行分析，NetFlow可以帮助管理员发现网络中的异常情况和潜在安全威胁。
NetFlow协议介绍
0x0
input ifIndex:
8
src AS:
0
output ifIndex: 55
dst AS:
321
src port: 12043
src masklen: 20
dst port: 80
dst masklen: 0
pkts:
6
TCP flags: 0x1b
bytes:
680
engine type: 1
Netflow V8，增加了网络设备对Netflow统计数据进行自动汇聚 的功能，可以大大降低对数据输出的带宽需求。
Netflow V9，一种全新的灵活和可扩展的Netflow数据输出格式 ，采用了基于模板（Template）的统计数据输出。方便添加需 要输出的数据域和支持多种Netflow新功能，如 Multicase Netflow，MPLS Aware Netflow，BGP Next Hop V9 ，Netflow 平台支持
Cisco IOS™ 软件 版本支持
11.1CA, 11.1CC 11.2, 11.2P 11.2P 11.3, 11.3T 12.0
支持的 NetFlow 输出版本
v1, v5 v1 v1 v1 v1, v5
12.0T 12.0S 12.0(3)T and later 12.0(3)S and later
源地址 目的地址 源端口 目的端口 协议类型 分组数 字节数 其它...
理解 NetFlow 的关键
基于 Flow 的分析 ！
导出的 NetFlow 数据
1. 源地址 2. 目标地址 3. 源端口 4. 目标端口 5. 第 3 层协议 ...........
一个NetFlow流定义为在一 个源IP地址和目的IP地址 间传输的单向数据包流， 且所有数据包具有共同的 传输层源、目的端口号！
netflow字段解释
first和last 分别是流中第一个包和最后一个包的时间戳
srcaddr和dstaddr 分别是是源IP和目的IP地址
srcport和dstport 分别是源IP和 比如TCP或者UDP
src_mask和dst_mask 分别是源的最长匹配IP前缀的长度和目的IP地址
1285804501,0,2442636503,127.0.0.1,1,40,2442590868,2442590868,0,0,128.103.176.0,24.8.80.0,64.57.28.75,213,225,80,51979,6,0,17,16,0,1742,0
这就表示，你有一个流，里面有40 byte的包，在2442590868时刻到达，这个包由128.103.176.0源地址发往24.8.80.0目的地址，其中最后11位置0，是为了数据的匿名。源端口是80，目的端口是51979；假定这是一个web服务器到web客户端的流。协议号是6，tcp_flag是17表示ACK和FINbit位被设置为1，考虑这是一个FIN-ACK包。Web传输的其他传输的其他包可能没有包括在这个流记录中，这是由于报文抽样导致的。源和目的mask是16和0,表示源前缀128.103.0.0/16和目的前缀都是未知的或者是0.0.0.0/0，源AS是1742，由于各种原因原因目的AS未知。
src_as和dst_as 分别是匹配源地址和目的地址的IP前缀的AS
举例来说
#:unix_secs,unix_nsecs,sysuptime,exaddr,dpkts,doctets,first,last,engine_type,engine_id,srcaddr,dstaddr,nexthop,input,output,srcport,dstport,prot,tos,tcp_flags,src_mask,dst_mask,src_as,dst_as
NetFlow学习笔记
NetFlow是一种数据交换方式。
Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。
也许它不能象tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。
Netflow由Cisco创造。
工作原理：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。
NetFlow有两个核心的组件：NetFlow缓存，存储IP流信息；NetFlow的数据导出或传输机制，NetFlow利用此机制将数据发送到网络管理采集器。
概念：一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。
确定Flow的标识：SIP+DIP+SPORT+DPORT +Layer 3 protocol type + TOS byte() + Router or switch interface数据采集格式NFC(Cisco NetFlow Collector) 可以定制多种NetFlow数据采集格式，下例为NFC2.0采集的一种流量数据实例，本文的分析都基于这种格式。
61.*.*.68|61.*.*.195|64917|Others|9|13|4528|135|6|4|192|1数据中各字段的含义如下：源地址|目的地址|源自治域|目的自治域|流入接口号|流出接口号|源端口|目的端口|协议类型|包数量|字节数|流数量cache缓存空间可配置的Cache维护机制一般情况下Cache空间的占用是与所监控的Flow数量呈正比的，但是当链路中充斥着大量的短连接Session时，Flow表项数量可能会因为没有得到及时释放而过多占用有限的Cache空间。
为此，NetFlow 提供了一种非常复杂、高效的算法以快速定位一个数据包在该Cache中的位置或判断是否应新建表项，并且通过管理员给定的阀值进行各类表项的超时导出，从而及时释放老的表项以容纳新建Flow信息。
netflow技术讲解
IP网络承载能力与所提供的应用业务规模向来都是相辅相成的，一方面IP网络的建设将给新应用技术的推广提供有效的实施平台，另一方面应用业务也会随着自身系统发展需要而对现有IP网络提出更高的资源需求，从而推动IP网络基础建设进入新的建设周期。
在这种类似于“鸡生蛋、蛋生鸡”的逻辑悖论中，另外一个问题却是毋庸置疑的凸现了出来，那就是如何把应用业务与其所占用的IP资源(如带宽)清晰、准确的对应起来，如何保证有限的IP资源能够被合理应用的到主要利润业务中。
以NetFlow为代表的Flow技术正是为响应这种挑战而出现的新型解决途径。
什么是Flow在最开始，Flow是网络设备厂商为了在网元设备内部提高路由转发速度而引入的一个技术概念，其本意是将高CPU消耗的路由表软件查询匹配作业部分转移到硬件实现的快速转发模块上(如Cisco的CEF模式)。
在这种功能模式中，数据包将通过几个给定的特征定义归并到特定的集合中，这个集合就是Flow。
每个Flow的第一个数据包除了促使该Flow记录的产生以外，还要驱动网元三层模块完成路由查询并将查询结果同期放入Flow记录中，而该Flow集合的后续数据包将直接在Flow的已有记录中获得路由转发信息，从而提高了网元设备的路由转发效率。
作为网元设备内部路由机制优化的副产物，Flow记录能够提供传统SNMP MIB 无法比拟的丰富信息，因此Flow数据被广泛用于高端网络流量测量技术的支撑，以提供网络监控、流量图式分析、应用业务定位、网络规划、快速排错、安全分析(如DDOS)、域间记帐等数据挖掘功能。
相对于会话(“Session”)而言，“Flow”具备更细致的标识特征，在传统的TCP/IP五元组的基础上增加了一些新的域值，至少包括以下几个字段：源IP地址目的IP地址源端口目的端口IP层协议类型ToS服务类型输入物理端口以上七个字段可以唯一地确定任意一个数据包属于哪个特定的Flow，换而言之任何一个字段出现了差异都意味着一个新Flow的发生。
netflow 解析
netflow 解析
NetFlow是一种网络监测功能，可以收集进入及离开网络界面的IP封包的数量及资讯。
最早由思科公司研发，应用在路由器及交换器等产品上。
经由分析NetFlow收集到的资讯，网络管理人员可以知道封包的来源及目的地，网络服务的种类，以及造成网络拥塞的原因。
NetFlow的版本有：
NetFlow V1：为NetFlow技术的第一个实用版本，在如今的实际网络环境中已经不建议使用。
NetFlow V5：增加了对数据流BGP AS信息的支持，是当前主要的实际应用版本。
NetFlow V7：思科Catalyst交换机设备支持的一个版本，需要利用交换机的MLS或CEF 处理引擎。
NetFlow V8：增加了网络设备对NetFlow统计数据进行自动汇聚的功能，大大降低对数据输出的带宽需求。
NetFlow的IP Flow和NetFlow Cache是两个重要的概念。
IP Flow可以用于网络设备之间的流量信息交换，帮助网络管理人员更好地了解网络流量情况。
而NetFlow Cache则可以用于存储NetFlow收集到的流量信息，以便后续分析和处理。
以上信息仅供参考，如有需要，建议您咨询专业技术人员。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
NetFlow学习笔记
标签：网络ciscocacheheaderinterface路由器
2012-03-19 23:16 21498人阅读评论(1) 收藏举报
分类：
NetFlow（2）network（11）
版权声明：本文为博主原创文章，未经博主允许不得转载。
NetFlow是一种数据交换方式。
Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。
也许它不能象tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。
Netflow由Cisco创造。
工作原理：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。
NetFlow有两个核心的组件：NetFlow缓存，存储IP流信息；NetFlow的数据导出或传输机制，NetFlow利用此机制将数据发送到网络管理采集器。
概念：一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。
确定Flow的标识：SIP+DIP+SPORT+DPORT +Layer 3 protocol type + TOS byte() + Router or switch interface
数据采集格式
NFC(Cisco NetFlow Collector) 可以定制多种NetFlow数据采集格式，下例为NFC2.0采集的一种流量数据实例，本文的分析都基于这种格式。
61.*.*.68|61.*.*.195|64917|Others|9|13|4528|135|6|4|192|1
数据中各字段的含义如下：
源地址|目的地址|源自治域|目的自治域|流入接口号|流出接口号|源端口|目
的端口|协议类型|包数量|字节数|流数量
cache缓存空间
可配置的Cache维护机制
一般情况下Cache空间的占用是与所监控的Flow数量呈正比的，但是当链路中充斥着大量的短连接Session时，
Flow表项数量可能会因为没有得到及时释放而过多占用有限的Cache空间。
为此，NetFlow提供了一种非常复杂、
高效的算法以快速定位一个数据包在该Cache中的位置或判断是否应新建表项，并且通过管理员给定
的阀值进行各类表项的超时导出，从而及时释放老的表项以容纳新建Flow信息。
Flow Cache表项Timed-Out操作可由以下几项因素进行驱动：
该表项已经空闲了指定的时间长度(Inactive Timer，缺省15 seconds)；
长连接会话强制超时(Active Timer，缺省30minutes)；
缓存空间耗尽所触发的强制超时；
TCP FIN/RST触发的超时。
规范的导出报文格式
NetFlow采用了主动式数据推送机制，一般用UDP传送。
NetFlow的封装格式分为1个Header和若干个Record：
Header：主要包括版本号、序列号、后续Record数量、系统启动时间等；
Record：提供对每个Flow的详细数据记录。
下文以NetFlow V9为例，输出报文Header与Record整体结构如下所示：
在上述格式中，各字段的具体含义描述如下：
通过Template功能NetFlow V9获得了前所未有的扩展灵活性。
Template描述了NetFlow输出记录的各字段定义，无需改变现有
规范即可支持将来可能出现的增强功能，从而无需重新编译、
修改流量采集分析系统即可快速支持新增功能特征。
Flow具备详尽的会话描述能力。
在NetFlow V9中，缺省提供了多达89种字段类型，并允许通过Template和
Aggregation机制进行任意组合、汇聚，能够详细描述流量分布的各类特征.
NetFlow与SNMP的不同
无论是MIB还是后来的RMON，SNMP所针对的信息一般都围绕网元设备展开，如Interface 吞吐率、
接收到的坏帧数量、CPU/RAM利用率等。
而NetFlow正如同它的名字一样，其所关注的重点在于网络链
路上所传输流量的特征信息，并且这些信息能够更直接的反映出当前网络上访问行为分
布以及合同客户此时所得到的真实的服务质量水平。
NetFlow与SNMP的主要差异可以从以下几点得到说明：
NetFlow关注流量特征，SNMP关注设备状态；
NetFlow直接围绕Session会话连接进行数据提取，而SNMP则以物理接口为基本单位进行数据统计；
从Agent角度来看，NetFlow采用数据主动推送技术，SNMP则主要采取被动轮询机制；
NetFlow数据信息更为丰富、描述能力更强；
NetFlow支持抽样操作，具备良好的扩展弹性，能够更好适应高端网络实际需求；
SNMP功能通常随着设备销售而免费提供，而在很多现有设备中，NetFlow作为增值功能则需要额外
购买许可License或特定软件包。
因此，在网络流量测量及分析系统中，如异常流量分析系统，NetFlow已经成为一个重要的数据提取方式，
为高端网络骨干链路的实时流量采集
分析提供高效、准确的数据摘要提取服务，是网络流量分析阵营不可或缺的基础技术。
限制条件
需要网络设备对NetFlow的支持，需要分析NetFlow数据的工具软件，需要网络管理员准确区分正常流量数据和异常流量数据等。
挑战者SFlow
同NetFlow一样，sFlow是一种向采集器发送报告的推送技术。
所不同的是，NetFlow 是一种基于软件的技术，而sFlow则采用内置在硬件中的专用芯片。
这种做法消除了路由器或交换机的CPU和内存的负担。
sFlow系统的基本原理为：分布在网络不同位置的sFlow代理把sFlow数据报源源不断地传送给中央sFlow采集器，采集器对sFlow数据报进行分析并生成丰富的、实时的、全网范围的传输流视图。
sFlow是一种纯数据包采样技术，即每一个被采样的X包的长度被记录下来，而大部分的包则被丢弃，只留下样本被传送给采集器。
由于这项技术是基于样本的，如果没有复杂的算法来尝试推测准确的会话字节量，那么几乎不可能获得每台主机流量100%的准确值。
在使用这项技术时，交换机每隔100个数据包（可配置）对每个接口采一次样，然后将它传送给采集器。
sFlow的规格也支持1比1的采样率，即对每一个数据包都进行“采样”。
对数据包最大采样频率的限制取决于具体的芯片厂商和sFlow实现情况。
NetFlow更多的是在路由器上得到支持，而sFlow则在交换机上更加流行。
两者都是开放标准，但在非常大的流量传输环境中，sFlow采样架构可能要优于NetFlows汇集方式。
其他Flow
参考：流量分析新贵
--NetFlow /ediy/inforcenter/enet_z.jsp?articleid=2006080915 8100
百度百科/view/490587.htm
NetFlow还是
SFlow /cso/htm2008/20080225_382116.shtm
NetFlow流量采集与聚合的研究实
现/app/analog/200907/44851.htm
Introduction to Cisco IOS NetFlow - A Technical Overview
/en/US/prod/collateral/iosswre l/ps6537/ps6555/ps6601/prod_white_paper0900aecd80406232.html。