NETFLOW技术介绍
netflow analyzer原理
netflow analyzer原理NetFlow Analyzer是一种用于网络流量分析的工具，可以帮助网络管理员监控和管理网络流量。
它的原理是通过收集和分析网络设备上的NetFlow数据，提供实时的流量统计和分析报告。
NetFlow是一种由思科开发的网络流量记录和分析技术，它可以在网络设备上捕获流经设备的数据包，并将相关信息记录下来。
这些信息包括源IP地址、目的IP地址、源端口、目的端口、协议类型、数据包数量、数据包大小等。
NetFlow Analyzer通过解析这些信息，可以得到关于网络流量的详细信息，包括流量的来源、目的地、协议、端口等。
NetFlow Analyzer的工作原理可以分为三个主要步骤：数据收集、数据分析和报告生成。
首先，它通过与网络设备进行通信，收集和获取NetFlow数据。
这些数据可以通过网络设备上的NetFlow功能或者通过配置路由器、交换机等设备来获取。
一旦数据被获取到，NetFlow Analyzer会对这些数据进行解析和分析。
在数据分析阶段，NetFlow Analyzer会对收集到的NetFlow数据进行处理和分析。
它会根据设定的规则和算法，对流量数据进行分类和统计。
例如，可以根据源IP地址或目的IP地址对流量进行分类，统计每个IP地址的流量量；也可以根据端口号或协议类型对流量进行分类，统计每个端口或协议的流量量。
通过对这些数据的分析，可以得到网络流量的整体情况和特征。
在报告生成阶段，NetFlow Analyzer会根据分析得到的结果生成报告。
报告可以以图表、表格等形式展示，并提供详细的统计数据和分析结果。
这些报告可以帮助网络管理员了解网络的使用情况，发现异常流量和网络瓶颈，并采取相应的措施进行优化和改进。
NetFlow Analyzer的原理和功能使其成为网络管理和安全监控的重要工具。
通过实时监控网络流量，可以及时发现和解决网络问题，提高网络的性能和可靠性。
网络流量分析NetFlow协议解析
网络流量分析NetFlow协议解析网络流量分析在网络安全和性能监控中起着重要的作用。
而NetFlow协议作为其中一种流量分析的关键工具，在网络管理领域中被广泛应用。
本文将对NetFlow协议进行详细解析，介绍其原理、功能和应用。
一、NetFlow协议简介NetFlow协议是由思科公司于1996年推出的一种网络流量分析技术。
它能够提供流量统计、流量分析和流量监控等功能。
NetFlow协议通过在路由器和交换机上收集、处理和导出流量数据，为网络管理员提供实时的流量信息和网络性能的评估。
二、NetFlow协议的工作原理NetFlow协议的工作原理可以分为三个阶段：数据收集、数据处理和数据导出。
1. 数据收集在网络中的路由器和交换机上，通过配置使其能够将经过设备的流量数据进行收集。
NetFlow支持两种收集方式：Full Flow和Sampled Flow。
Full Flow是指完整地收集每一个流量数据进行处理；Sampled Flow是指以一定的频率采样流量数据进行处理，减少处理开销。
2. 数据处理收集到的流量数据会经过设备内部的处理引擎进行处理。
处理引擎会提取关键信息，如源IP地址、目的IP地址、源端口、目的端口、协议类型等，并基于这些信息生成流记录。
3. 数据导出处理后的流记录会根据配置的规则进行导出。
导出方式有两种：NetFlow v5和NetFlow v9。
NetFlow v5是早期版本，具有广泛的兼容性；NetFlow v9则是最新版本，支持更多的字段，并且具有灵活的配置能力。
三、NetFlow协议的功能NetFlow协议具有以下几个主要功能：1. 流量统计NetFlow可以对流量进行实时统计，包括流量量、带宽利用率、流量峰值等。
这些统计数据可以帮助网络管理员了解网络的负载情况，有助于进行容量规划和性能优化。
2. 流量分析通过对收集到的流量数据进行分析，NetFlow可以帮助管理员发现网络中的异常情况和潜在安全威胁。
NetFlow技术与高校网络管理
随着网络应用的蓬勃发展，很多学校网络带宽大幅增加，而网络使用的效能却没有成正比的提升。
要做到有效的网络管理，就需要通过网络监控机制搜集相关信息，主动找出问题点并加以解决。
NetFlow 就是一种提供网络流量相关信息的协议，网管人员通过NetFlow 可以快速有效地掌握所管辖网络的状态。
接下来我们会依序介绍NetFlow 与之前网络管理机制的差异及其运作机制，最后介绍目前NetFlow 的相关应用。
NetFl ow的由来。
传统上的网络管理者通常是通过SNMP （Simple Network Management Protocol）协议的工具从支持SNMP的网络设施搜集网络流量数据，虽然通过这种方式取得信息不会造成处理上过重的负担，但是SNMP 提供的只是粗糙、简略的资料。
这些信息只能让管理者发现问题，却无法进一步解决问题。
那么有没有另外一种能提供更详细网络信息的技术呢？网络探针（sniffer）或是类似的监听工具开始被部署在网络设备上，用来捕捉流过的数据包并将数据包加以翻译，找出数据包头中字段的相关信息，并进一步分析其内容以取得更详细的信息。
虽然通过数据包监听工具可以取得更详细的网络信息，但监听工具通常专注在单一网络数据包的内容，所以网络管理者很难从监听工具所提供的信息来掌握整体网络的状态。
此外，分析数据包非常耗费时间，而且数据包监听所储存并需要分析的数据量非常庞大，对于资源和人员的消耗是惊人的，这种方式显然不适合高校环境下的网络管理。
NetFlow 便是在这种情况下应运而生并成为网管人员热门工具的，越来越多的学校在通过这一工具了解网络使用情形。
NetFlow 不仅能提供更详细的网络信息，而且其分析方式避免了网络频宽及运算资源过重的负担。
NetFlow 是由Cisco 公司的Darren Kerr 和Barry Bruins 在1996 年开发的一套网络流量监测技术，目前已内建在大部分Cisco 路由器上，Juniper、Ex-treme、港湾网络等网络设备供货商也支持NetFlow 技术，它已逐渐成为大家都能接受的标准。
NetFlow协议介绍
0x0
input ifIndex:
8
src AS:
0
output ifIndex: 55
dst AS:
321
src port: 12043
src masklen: 20
dst port: 80
dst masklen: 0
pkts:
6
TCP flags: 0x1b
bytes:
680
engine type: 1
Netflow V8，增加了网络设备对Netflow统计数据进行自动汇聚 的功能，可以大大降低对数据输出的带宽需求。
Netflow V9，一种全新的灵活和可扩展的Netflow数据输出格式 ，采用了基于模板（Template）的统计数据输出。方便添加需 要输出的数据域和支持多种Netflow新功能，如 Multicase Netflow，MPLS Aware Netflow，BGP Next Hop V9 ，Netflow 平台支持
Cisco IOS™ 软件 版本支持
11.1CA, 11.1CC 11.2, 11.2P 11.2P 11.3, 11.3T 12.0
支持的 NetFlow 输出版本
v1, v5 v1 v1 v1 v1, v5
12.0T 12.0S 12.0(3)T and later 12.0(3)S and later
源地址 目的地址 源端口 目的端口 协议类型 分组数 字节数 其它...
理解 NetFlow 的关键
基于 Flow 的分析 ！
导出的 NetFlow 数据
1. 源地址 2. 目标地址 3. 源端口 4. 目标端口 5. 第 3 层协议 ...........
一个NetFlow流定义为在一 个源IP地址和目的IP地址 间传输的单向数据包流， 且所有数据包具有共同的 传输层源、目的端口号！
6-IPFIX和NetFlow
Address
Source AS Number Source Subnet Mask
Interface Application
Input physical interface Source TCP/UDP port Packet count Byte count
Statistics
Start timestamp End timestamp
因特网是全球性的工具 因特网有统一的基本规则、协议、流程 谁来制订这些统一的标准？ 主要组织：IETF
– – –
3
Internet Engineering Task Force 通过发布RFC的形式制订标准
l
l l
4
IPFIX-网络流量监测系统参考模型
详见RFC5470
5
监测系统各个组件
• Observation Points：探针，连接到网络接口，获取流量。 • Metering Process：测量程序，将网络流量转化为流记录。 • Exporter：上报设备，运行一个或多个上报程序 • Exporting Process：上报程序，发送流记录到一个或多个采集程 序，流记录由一个或多个测量程序产生。
–
仅有HP、Foundry和Extreme Networks等厂商的部分型号 的交换机支持sFlow。
主流的流技术
l
J-Flow
–
Juniper开发的网络监测技术，类似于cisco的 Netflow。 目前有版本v5，v8，其中v5最常用。 华为制订的私有技术协议，类似于Cisco公司的 Netflow。 应用于华为、华为3com的部分型号网络设备。
Netflow技术
Netflow技术最早是于1996年由思科公司的Darren Kerr和Barry Bruins发明的，并于同年5月注册为美国专利，专利号为6,243,667。
Netflow技术首先被用于网络设备对数据交换进行加速，并可同步实现对高速转发的IP数据流(Flow)进行测量和统计。
经过多年的技术演进，Netflow原来用于数据交换加速的功能已经逐步由网络设备中的专用ASIC芯片实现，而对流经网络设备的IP数据流进行测量和统计的功能也已更加成熟，并成为了当今互联网领域公认的最主要的IP/MPLS流量分析，统计和计费行业标准。
Netflow技术能对IP/MPLS网络的通信流量进行详细的行为模式分析和计量，并提供网络运行的详细统计数据。
在Netflow技术的演进过程中，思科公司一共开发出了5个主要的实用版本，即：Netflow V1，为Netflow技术的第一个实用版本。
支持IOS 11.1，11.2，11.3和12.0，但在如今的实际网络环境中已经不建议使用。
Netflow V5，增加了对数据流BGP AS信息的支持，是当前主要的实际应用版本。
支持IOS 11.1CA和12.0及其后续IOS版本。
Netflow V7，思科Catalyst交换机设备支持的一个Netflow版本，需要利用交换机的MLS 或CEF处理引擎。
Netflow V8，增加了网络设备对Netflow统计数据进行自动汇聚的功能（共支持11种数据汇聚模式），可以大大降低对数据输出的带宽需求。
支持IOS12.0(3)T，12.0(3)S，12.1及其后续IOS版本。
Netflow V9，一种全新的灵活和可扩展的Netflow数据输出格式，采用了基于模板（Template）的统计数据输出。
方便添加需要输出的数据域和支持多种Netflow新功能，如Multicase Netflow，MPLS A ware Netflow，BGP Next Hop V9，Netflow for IPv6等。
NetFlow学习笔记
NetFlow是一种数据交换方式。
Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。
也许它不能象tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。
Netflow由Cisco创造。
工作原理：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。
NetFlow有两个核心的组件：NetFlow缓存，存储IP流信息；NetFlow的数据导出或传输机制，NetFlow利用此机制将数据发送到网络管理采集器。
概念：一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。
确定Flow的标识：SIP+DIP+SPORT+DPORT +Layer 3 protocol type + TOS byte() + Router or switch interface数据采集格式NFC(Cisco NetFlow Collector) 可以定制多种NetFlow数据采集格式，下例为NFC2.0采集的一种流量数据实例，本文的分析都基于这种格式。
61.*.*.68|61.*.*.195|64917|Others|9|13|4528|135|6|4|192|1数据中各字段的含义如下：源地址|目的地址|源自治域|目的自治域|流入接口号|流出接口号|源端口|目的端口|协议类型|包数量|字节数|流数量cache缓存空间可配置的Cache维护机制一般情况下Cache空间的占用是与所监控的Flow数量呈正比的，但是当链路中充斥着大量的短连接Session时，Flow表项数量可能会因为没有得到及时释放而过多占用有限的Cache空间。
为此，NetFlow 提供了一种非常复杂、高效的算法以快速定位一个数据包在该Cache中的位置或判断是否应新建表项，并且通过管理员给定的阀值进行各类表项的超时导出，从而及时释放老的表项以容纳新建Flow信息。
Netflow实时监控
Netflow实时监控需求分析一、概述Netflow是CISCO公司提出的网络数据包交换技术，该技术首先应用于网络设备对数据交换进行加速，并可同步实现对高速转发的IP数据流进行测量和统计。
经过多年的技术演进，NetFlow原来用于数据交换加速的功能已经逐步改由网络设备中的专用集成电路(ASIC)芯片实现，而对流经网络设备的IP Flow进行测量和统计的功能却更加成熟，并成为当今互联网领域公认的最主要的IP流量分析、统计和计费行业标准。
目前，天清汉马USG设备支持NETFLOW V9版本，并通过数据中心实现对NETFLOW数据的采集与分析。
二、3.0版本Netflow实时监控需求：天清汉马数据中心虽然支持NETFLOW的查询，但并不支持图形化显示，所有NETFLOW数据都必须通过查询显示在表格中，缺乏直观的分类和显示方式，这样的操作方式也失去了实时的效果，从实际使用效果来看，并不理想。
结合市场一些Netflow分析工具的操作方式，并根据数据中心的操作流程，建议3.0版本的实时监控部分应增加如下改进：1、增加图形显示在预定义设备组或IP组后，在点击实时流量查询时能直观的以饼图、柱状图显示相关内容，并在图形下方显示数字明细。
其中饼图可以显示各设备所占总流量的百分比（以设备组为例）柱状图则以时间为轴显示流量变化。
该页面应支持自定义设置，依照设备组、IP、安全策略及协议显示。
图形下方显示相关详细内容：总流量及平均流量默认根据颜色显示一小时内所有设备组的流量变化情况。
2、支持协议分类在Netflow实时显示中，应支持对协议的分类显示。
其中除了传统的固定端口的内容显示外，还支持对于P2P/VOIP等业务的流量显示。
3、显示CPU、内存及接口流量显示指定设备的相关接口流量，CPU、内存显示4、支持TOP N显示支持统计单位时间内的TOP N流量：如协议、源地址、目的地址、5、支持Netflow流采样模式可设置Netflow的流采样模式，根据设定的比例采集数据包。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1. 流量流向监测技术1.1 概述传统的网络流量监测技术的局限性SNMP采集端口的数据主要是在网元层用来监控网络流量和设备的性能，而且SNMP采集的数据是基于端口的，无法提供端到端的准确的流量信息，因此对流向的统计手段不明确。
利用RMON探针对运营商网络进行流量和流向管理可以部分弥补SNMP的技术局限性，其业务分析和协议分析功能较强。
但是，采用RMON探针建设的流量监测系统也有处理性能不足和难以在大型网络普遍部署的局限性。
提出新的流量监测技术为克服现有网管系统对网络流量和流向分析功能的技术局限性，运营商迫切需要寻找一种功能丰富、成熟稳定的新技术，对现有管理系统中流量信息的采集和分析方式进行改造和升级。
新的流量信息采集和分析技术应具备对运营商的运行网络影响小、无需对网络拓扑进行改变就能平滑升级的技术特征，既可以对网络中各个链路的带宽使用率进行统计，又可以对每条链路上不同类型业务的流量和流向进行分析和统计。
本文主要介绍应用广泛的Cisco NetFlow技术、华为Netstream技术、Sflow 、Cflowd 和IPFIX 以及支持上述流监测技术的厂家和设备情况。
1.2 相关厂家及设备2Netflow2.1 流原理netflow 的信息单元是flow。
flow是一个单向的带有唯一标识字节组的传输流。
基本的标识为：source-IP-address, source-port, destination-IP-address, destination-port, IP-protocol, TOS, input interface ID。
当路由器接收到一个没有flow入口的数据包时，一个flow的结构将被初始化以保存其状态信息如：交换的字节数、IP地址、端口、自治区域等。
随后所有满足这个flow结构的数据包都将增加flow结构的字节计数和包计数，直至这个flow中止并输出。
Netflow功能是在一个路由器内独立完成，它不涉及路由器之间的任何连接设置协议，也不要求对数据包本身或其它任何网络设备进行任何外部修改。
Netflow交换中要创建一个信息高速缓存，第一个数据包到来时，路由器利用标准的快速交换处理信息包，同时生成一个Netflow高速缓存，随后到来的数据包即可以依据高速缓存信息被交换，对于所有活动信息流，在Netflow高速缓存中保留相应的信息流信息。
当一定时间内没有相应的数据包通过，则结束这个数据流的交换和统计，并释放高速缓存，数据输出的条件在后续部分描述。
在netflow中到期的flow被绑在UDP数据报中发出。
在V5的版本中最多30个flow记录，V1中25个记录，V8中28个记录。
至少每秒钟发一次flow。
虽然netflow只提供单向的流量统计。
如果希望得到表现双向的统计数据，netflow提供了“canned”的SQL程序来获得一个IP地址对的流量统计数据。
典型的路由器netflow的资源占用率为8％～30％。
一般情况下一个netflow收集器接收3－5个路由器的netflow输出。
2.2 输出缓存条件NetFlow是通过建立高速缓存来实现的，该缓存存放所有活动的流信息。
当有一个报文符合流定义时，NetFlow缓存将被建立。
缓存终止并输出数据的条件如下：**传输完成（当看到TCP FIN或RST标志）**缓存满**非活动时间超时。
空闲流超过n秒，默认15秒，可通过Router(config)# ip flow-cache timeout inactive 130改变默认值**活动时间超时。
流超过n分钟，默认30分钟，可通过Router(config)# ip flow-cache timeout active 20改变默认值NetFlow缓存如图1所示。
图1 NetFlow Cache示例2.3 Netflow 报文格式说明2.3.1V1头格式字段值Version 0x0001Count 该报文含有的流记录数System Uptime 该设备启动的时间（毫秒）UNIX Seconds 自0000 UTC 1970计的时间（秒）UNIX NanoSenconds 自0000 UTC 1970计剩余时间（十亿分之一秒）输出报文格式0 1 2 3 byte srcaddrdstaddrnexthopinput outputdPktsdOctetsfirstLastsrcport dstportPad1 prot tos Tcp_flagsPad2 Pad3 reservedBytes 字段值0-3 srcaddr 源ip地址4-7 dstaddr 目的ip地址8-11 nexthop 下一跳路由器地址12-13 input SNMP入口接口ifIndex14-15 output SNMP出口接口ifIndex16-19 dPkts 该流的Packets数20-23 dOctets 该流的Bytes数24-27 first 流开始系统时间28-31 Last 流结束系统时间32-33 srcport 四层源端口34-35 dstport 四层目的端口36 Pad1 未用（0）37 prot 四层协议（如TCP=6，UDP=17）38 tos 服务类型NETFLOW技术介绍39 Tcp_flags Cumulative OR of TCP flags40 Pad2 未用（0）41-42 Pad3 未用（0）43 reserved 保留2.3.2V5头格式备注：红色部分是Version 5较V ersion 1新添字段。
字段值Version 0x0005Count 该报文含有的流记录数System Uptime 该设备启动的时间（毫秒）UNIX Seconds 自0000 UTC 1970计的时间（秒）UNIX NanoSenconds 自0000 UTC 1970计剩余时间（十亿分之一秒）Sequence Number 流序号Engine Type 流转发引擎，0代表RP，1代表VIP/LCEngine ID VIP或LC插槽号码输出报文格式备注：红色部分是Version 5不同于V ersion 1的字段。
Version 5新增了4个字段用以标示自治域和掩码位。
0 1 2 3 bytesrcaddrdstaddrnexthopinput outputdPktsdOctetsfirstLastsrcport dstportPad1 Tcp_flags prot tossrc_as dst_assrc_mask dst_mask pad2Bytes 字段值0-3 srcaddr 源ip地址4-7 dstaddr 目的ip地址8-11 nexthop 下一跳路由器地址NETFLOW技术介绍12-13 input SNMP入口接口ifIndex14-15 output SNMP出口接口ifIndex16-19 dPkts 该流的Packets数20-23 dOctets 该流的Bytes数24-27 first 流开始系统时间28-31 Last 流结束系统时间32-33 srcport 四层源端口34-35 dstport 四层目的端口36 Pad1 未用（0）37 Tcp_flags Cumulative OR of TCP flags38 prot 四层协议（如TCP=6，UDP=17）39 tos 服务类型40-41 src_as 源AS号42-43 dst_as 目的AS号44 Src_mask 源地址掩码位数45 Dst_mask 目的地址掩码位数46-47 Pad2 未用（0）2.3.3V7头格式备注：红色部分是Version 7较V ersion 1新添字段。
字段值Version 0x0007Count 该报文含有的流记录数System Uptime 该设备启动的时间（毫秒）UNIX Seconds 自0000 UTC 1970计的时间（秒）UNIX NanoSenconds 自0000 UTC 1970计剩余时间（十亿分之一秒）Sequence Number 流序号输出报文格式备注：红色部分是Version 7不同于V ersion 5的字段0 1 2 3 byte SrcaddrDstaddrNexthopinput OutputdPktsdOctetsFirstLastsrcport Dstportflags Tcp_flags prot Tossrc_as dst_assrc_mask dst_maskpad2 MLS RPBytes 字段值0-3 srcaddr 源ip地址4-7 dstaddr 目的ip地址8-11 nexthop 下一跳路由器地址12-13 input SNMP入口接口ifIndex14-15 output SNMP出口接口ifIndex16-19 dPkts 该流的Packets数20-23 dOctets 该流的Bytes数24-27 first 流开始系统时间28-31 Last 流结束系统时间32-33 srcport 四层源端口34-35 dstport 四层目的端口36 flags flow mask in use37 Tcp_flags Cumulative OR of TCP flags38 prot 四层协议（如TCP=6，UDP=17）39 tos 服务类型40-41 src_as 源AS号42-43 dst_as 目的AS号44-45 Src_mask 源地址掩码位数46-47 Dst_mask 目的地址掩码位数48 Pad2 未用（0）49-50 MLS RP IP address of MLS router2.3.4V8注意：支持IOS12.0(3)T，12.0(3)S12.1及其后续IOS版本头格式备注：红色部分是Version 8较V ersion 5新增字段，该字段体现汇聚功能。
字段值Version 0x0008Count 该报文含有的流记录数System Uptime 该设备启动的时间（毫秒）UNIX Seconds 自0000 UTC 1970计的时间（秒）UNIX NanoSenconds 自0000 UTC 1970计剩余时间（十亿分之一秒）Sequence Number 流序号Engine Type 0代表RP，1代表VIP/LCEngine ID VIP或LC插槽号码Aggregation 标识汇聚模式需添加具体值Agg_version 汇聚版本= 2汇聚模式Version 8支持汇聚功能，不同的汇聚模式有其相应的报文格式，下文分别叙述11种汇聚模式的、报文格式。