NETFLOW技术介绍
netflow analyzer原理
netflow analyzer原理NetFlow Analyzer是一种用于网络流量分析的工具，可以帮助网络管理员监控和管理网络流量。
它的原理是通过收集和分析网络设备上的NetFlow数据，提供实时的流量统计和分析报告。
NetFlow是一种由思科开发的网络流量记录和分析技术，它可以在网络设备上捕获流经设备的数据包，并将相关信息记录下来。
这些信息包括源IP地址、目的IP地址、源端口、目的端口、协议类型、数据包数量、数据包大小等。
NetFlow Analyzer通过解析这些信息，可以得到关于网络流量的详细信息，包括流量的来源、目的地、协议、端口等。
NetFlow Analyzer的工作原理可以分为三个主要步骤：数据收集、数据分析和报告生成。
首先，它通过与网络设备进行通信，收集和获取NetFlow数据。
这些数据可以通过网络设备上的NetFlow功能或者通过配置路由器、交换机等设备来获取。
一旦数据被获取到，NetFlow Analyzer会对这些数据进行解析和分析。
在数据分析阶段，NetFlow Analyzer会对收集到的NetFlow数据进行处理和分析。
它会根据设定的规则和算法，对流量数据进行分类和统计。
例如，可以根据源IP地址或目的IP地址对流量进行分类，统计每个IP地址的流量量；也可以根据端口号或协议类型对流量进行分类，统计每个端口或协议的流量量。
通过对这些数据的分析，可以得到网络流量的整体情况和特征。
在报告生成阶段，NetFlow Analyzer会根据分析得到的结果生成报告。
报告可以以图表、表格等形式展示，并提供详细的统计数据和分析结果。
这些报告可以帮助网络管理员了解网络的使用情况，发现异常流量和网络瓶颈，并采取相应的措施进行优化和改进。
NetFlow Analyzer的原理和功能使其成为网络管理和安全监控的重要工具。
通过实时监控网络流量，可以及时发现和解决网络问题，提高网络的性能和可靠性。
网络流量分析NetFlow协议解析
网络流量分析NetFlow协议解析网络流量分析在网络安全和性能监控中起着重要的作用。
而NetFlow协议作为其中一种流量分析的关键工具，在网络管理领域中被广泛应用。
本文将对NetFlow协议进行详细解析，介绍其原理、功能和应用。
一、NetFlow协议简介NetFlow协议是由思科公司于1996年推出的一种网络流量分析技术。
它能够提供流量统计、流量分析和流量监控等功能。
NetFlow协议通过在路由器和交换机上收集、处理和导出流量数据，为网络管理员提供实时的流量信息和网络性能的评估。
二、NetFlow协议的工作原理NetFlow协议的工作原理可以分为三个阶段：数据收集、数据处理和数据导出。
1. 数据收集在网络中的路由器和交换机上，通过配置使其能够将经过设备的流量数据进行收集。
NetFlow支持两种收集方式：Full Flow和Sampled Flow。
Full Flow是指完整地收集每一个流量数据进行处理；Sampled Flow是指以一定的频率采样流量数据进行处理，减少处理开销。
2. 数据处理收集到的流量数据会经过设备内部的处理引擎进行处理。
处理引擎会提取关键信息，如源IP地址、目的IP地址、源端口、目的端口、协议类型等，并基于这些信息生成流记录。
3. 数据导出处理后的流记录会根据配置的规则进行导出。
导出方式有两种：NetFlow v5和NetFlow v9。
NetFlow v5是早期版本，具有广泛的兼容性；NetFlow v9则是最新版本，支持更多的字段，并且具有灵活的配置能力。
三、NetFlow协议的功能NetFlow协议具有以下几个主要功能：1. 流量统计NetFlow可以对流量进行实时统计，包括流量量、带宽利用率、流量峰值等。
这些统计数据可以帮助网络管理员了解网络的负载情况，有助于进行容量规划和性能优化。
2. 流量分析通过对收集到的流量数据进行分析，NetFlow可以帮助管理员发现网络中的异常情况和潜在安全威胁。
网络工程师技术知识点总结
网络工程师技术知识点总结作为一名网络工程师，有一定的技术知识是必不可少的。
在当前信息化时代，网络技术已经成为各个行业发展的重要基础。
因此，网络工程师需要具备一定的技术知识，以应对各种网络问题和挑战。
下面将从网络基础知识、网络安全、网络管理、网络协议以及新兴技术等方面，进行详细的技术知识总结。
网络基础知识1. OSI七层网络模型OSI七层网络模型是网络工程师必须掌握的知识。
这一模型将计算机网络通信的过程划分为七个层次，分别是物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。
每个层次都有其特定的功能和协议。
了解这一模型有助于工程师更好地理解网络通信的整个过程。
2. TCP/IP协议TCP/IP协议是互联网的基础协议，也是现代计算机网络的基础协议。
它将网络通信过程划分为四层，包括网络接口层、网络层、传输层和应用层。
工程师需要深入了解每一层的功能和协议，并掌握TCP/IP协议的配置和管理技巧。
3. IP地址和子网划分IP地址是互联网中的网络设备在网络中的唯一标识，网络工程师需要了解IP地址的分类及其使用、子网划分的方法和技巧，以便为网络设备配置正确的IP地址和子网掩码。
4. VLAN和Trunk技术VLAN（Virtual Local Area Network）是一种虚拟局域网技术，可以将不同物理位置的设备通过逻辑上的方式划分到同一个局域网中，有利于网络管理和安全。
Trunk技术则是一种交换机端口上的技术，可以在一条物理链路上传输多个VLAN的数据。
了解VLAN和Trunk技术对网络工程师来说很重要。
网络安全1. 防火墙和安全策略防火墙是网络安全的第一道防线，网络工程师需要掌握不同类型的防火墙技术和安全策略，在网络中配置和管理防火墙，以保护网络免受各种网络威胁和攻击。
2. VPN和加密技术VPN（Virtual Private Network）是一种通过公共网络建立安全通信通道的技术，可以用于远程访问和网络连接，网络工程师需要了解各种VPN技术和加密技术，实现网络通信的安全和保密。
NetFlow协议介绍
0x0
input ifIndex:
8
src AS:
0
output ifIndex: 55
dst AS:
321
src port: 12043
src masklen: 20
dst port: 80
dst masklen: 0
pkts:
6
TCP flags: 0x1b
bytes:
680
engine type: 1
Netflow V8，增加了网络设备对Netflow统计数据进行自动汇聚 的功能，可以大大降低对数据输出的带宽需求。
Netflow V9，一种全新的灵活和可扩展的Netflow数据输出格式 ，采用了基于模板（Template）的统计数据输出。方便添加需 要输出的数据域和支持多种Netflow新功能，如 Multicase Netflow，MPLS Aware Netflow，BGP Next Hop V9 ，Netflow 平台支持
Cisco IOS™ 软件 版本支持
11.1CA, 11.1CC 11.2, 11.2P 11.2P 11.3, 11.3T 12.0
支持的 NetFlow 输出版本
v1, v5 v1 v1 v1 v1, v5
12.0T 12.0S 12.0(3)T and later 12.0(3)S and later
源地址 目的地址 源端口 目的端口 协议类型 分组数 字节数 其它...
理解 NetFlow 的关键
基于 Flow 的分析 ！
导出的 NetFlow 数据
1. 源地址 2. 目标地址 3. 源端口 4. 目标端口 5. 第 3 层协议 ...........
一个NetFlow流定义为在一 个源IP地址和目的IP地址 间传输的单向数据包流， 且所有数据包具有共同的 传输层源、目的端口号！
6-IPFIX和NetFlow
Address
Source AS Number Source Subnet Mask
Interface Application
Input physical interface Source TCP/UDP port Packet count Byte count
Statistics
Start timestamp End timestamp
因特网是全球性的工具 因特网有统一的基本规则、协议、流程 谁来制订这些统一的标准？ 主要组织：IETF
– – –
3
Internet Engineering Task Force 通过发布RFC的形式制订标准
l
l l
4
IPFIX-网络流量监测系统参考模型
详见RFC5470
5
监测系统各个组件
• Observation Points：探针，连接到网络接口，获取流量。 • Metering Process：测量程序，将网络流量转化为流记录。 • Exporter：上报设备，运行一个或多个上报程序 • Exporting Process：上报程序，发送流记录到一个或多个采集程 序，流记录由一个或多个测量程序产生。
–
仅有HP、Foundry和Extreme Networks等厂商的部分型号 的交换机支持sFlow。
主流的流技术
l
J-Flow
–
Juniper开发的网络监测技术，类似于cisco的 Netflow。 目前有版本v5，v8，其中v5最常用。 华为制订的私有技术协议，类似于Cisco公司的 Netflow。 应用于华为、华为3com的部分型号网络设备。
Netflow技术
Netflow技术最早是于1996年由思科公司的Darren Kerr和Barry Bruins发明的，并于同年5月注册为美国专利，专利号为6,243,667。
Netflow技术首先被用于网络设备对数据交换进行加速，并可同步实现对高速转发的IP数据流(Flow)进行测量和统计。
经过多年的技术演进，Netflow原来用于数据交换加速的功能已经逐步由网络设备中的专用ASIC芯片实现，而对流经网络设备的IP数据流进行测量和统计的功能也已更加成熟，并成为了当今互联网领域公认的最主要的IP/MPLS流量分析，统计和计费行业标准。
Netflow技术能对IP/MPLS网络的通信流量进行详细的行为模式分析和计量，并提供网络运行的详细统计数据。
在Netflow技术的演进过程中，思科公司一共开发出了5个主要的实用版本，即：Netflow V1，为Netflow技术的第一个实用版本。
支持IOS 11.1，11.2，11.3和12.0，但在如今的实际网络环境中已经不建议使用。
Netflow V5，增加了对数据流BGP AS信息的支持，是当前主要的实际应用版本。
支持IOS 11.1CA和12.0及其后续IOS版本。
Netflow V7，思科Catalyst交换机设备支持的一个Netflow版本，需要利用交换机的MLS 或CEF处理引擎。
Netflow V8，增加了网络设备对Netflow统计数据进行自动汇聚的功能（共支持11种数据汇聚模式），可以大大降低对数据输出的带宽需求。
支持IOS12.0(3)T，12.0(3)S，12.1及其后续IOS版本。
Netflow V9，一种全新的灵活和可扩展的Netflow数据输出格式，采用了基于模板（Template）的统计数据输出。
方便添加需要输出的数据域和支持多种Netflow新功能，如Multicase Netflow，MPLS A ware Netflow，BGP Next Hop V9，Netflow for IPv6等。
NetFlow学习笔记
NetFlow是一种数据交换方式。
Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。
也许它不能象tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。
Netflow由Cisco创造。
工作原理：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。
NetFlow有两个核心的组件：NetFlow缓存，存储IP流信息；NetFlow的数据导出或传输机制，NetFlow利用此机制将数据发送到网络管理采集器。
概念：一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。
确定Flow的标识：SIP+DIP+SPORT+DPORT +Layer 3 protocol type + TOS byte() + Router or switch interface数据采集格式NFC(Cisco NetFlow Collector) 可以定制多种NetFlow数据采集格式，下例为NFC2.0采集的一种流量数据实例，本文的分析都基于这种格式。
61.*.*.68|61.*.*.195|64917|Others|9|13|4528|135|6|4|192|1数据中各字段的含义如下：源地址|目的地址|源自治域|目的自治域|流入接口号|流出接口号|源端口|目的端口|协议类型|包数量|字节数|流数量cache缓存空间可配置的Cache维护机制一般情况下Cache空间的占用是与所监控的Flow数量呈正比的，但是当链路中充斥着大量的短连接Session时，Flow表项数量可能会因为没有得到及时释放而过多占用有限的Cache空间。
为此，NetFlow 提供了一种非常复杂、高效的算法以快速定位一个数据包在该Cache中的位置或判断是否应新建表项，并且通过管理员给定的阀值进行各类表项的超时导出，从而及时释放老的表项以容纳新建Flow信息。
流量采集常用技术
1. Sniffer
嗅探法是一种常用的网络技术，通过在交换机的镜像端口设置数据采集点，来捕获数据报文的，这种方式采集的信息最全面，可以完全复制网络中的数据报文。但是Sniffer技术的应用也受到了一定的限制，大多数厂商的设备不支持跨VLAN或者跨模块镜像数据，因此可能需要在多个网段安装装探针，在部署上比较复杂，一般企业网络VLAN数量很多，一般都不可能实现全部VLAN的监控。流量很大的网络中采用端口镜像对网络设备的性能也会造成一定的影响，而且对所有数据报文都进行采集在吞吐量很大的网络中也是难以实现的。
2. SNMP
Snmp是一种主动的采集方式，采集程序需要定时取出路由器内存中的IPAccounting记录，同时清空相应的内存记录，才能继续采集后续的数据，这对路由器的性能造成较大的影响，取得的数据只包含口层的数据，没有MAC地址信息，对于伪造源口地址的蠕虫病毒无能为力。
3. Netflow
Netflow是Cisco公司的专有技术，早期的Netflow版本需要统计所有的网络数据报文，因此对网络设备性能影响较大，v8以后的版本提供了采样功能，但是Netflow数据中只有基于流的统计信息，只记录口、端口等数据，也没有MAC地址信息。
4. sFlow
sflow采用采样的方式，通过设置一定的采样率，进行数据捕获，对网络设备的性能影响很小。sFlow agent一般采集数据报文前128个字节，通过封装后发往sFlow receiver，数据报文中包括了完整的源和目标的MAC地址、协议类型、TCP/UDP、端口号、应用层协议，甚至URL信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1. 流量流向监测技术1.1概述传统的网络流量监测技术的局限性SNMP采集端口的数据主要是在网元层用来监控网络流量和设备的性能，而且SNMP采集的数据是基于端口的，无法提供端到端的准确的流量信息，因此对流向的统计手段不明确。
利用RMON探针对运营商网络进行流量和流向管理可以部分弥补SNMP的技术局限性，其业务分析和协议分析功能较强。
但是，采用RMON探针建设的流量监测系统也有处理性能不足和难以在大型网络普遍部署的局限性。
提出新的流量监测技术为克服现有网管系统对网络流量和流向分析功能的技术局限性，运营商迫切需要寻找一种功能丰富、成熟稳定的新技术，对现有管理系统中流量信息的采集和分析方式进行改造和升级。
新的流量信息采集和分析技术应具备对运营商的运行网络影响小、无需对网络拓扑进行改变就能平滑升级的技术特征，既可以对网络中各个链路的带宽使用率进行统计，又可以对每条链路上不同类型业务的流量和流向进行分析和统计。
本文主要介绍应用广泛的Cisco NetFlow技术、华为 Netstream技术、Sflow 、Cflowd 和IPFIX 以及支持上述流监测技术的厂家和设备情况。
1.2相关厂家及设备2Netflow2.1流原理netflow 的信息单元是flow。
flow是一个单向的带有唯一标识字节组的传输流。
基本的标识为：source-IP-address, source-port, destination-IP-address, destination-port, IP-protocol, TOS, input interface ID。
当路由器接收到一个没有flow入口的数据包时，一个flow的结构将被初始化以保存其状态信息如：交换的字节数、IP地址、端口、自治区域等。
随后所有满足这个flow结构的数据包都将增加flow结构的字节计数和包计数，直至这个flow中止并输出。
Netflow功能是在一个路由器内独立完成，它不涉及路由器之间的任何连接设置协议，也不要求对数据包本身或其它任何网络设备进行任何外部修改。
Netflow 交换中要创建一个信息高速缓存，第一个数据包到来时，路由器利用标准的快速交换处理信息包，同时生成一个Netflow高速缓存，随后到来的数据包即可以依据高速缓存信息被交换，对于所有活动信息流，在Netflow高速缓存中保留相应的信息流信息。
当一定时间内没有相应的数据包通过，则结束这个数据流的交换和统计，并释放高速缓存，数据输出的条件在后续部分描述。
在netflow中到期的flow被绑在UDP数据报中发出。
在V5的版本中最多30个flow记录，V1中25个记录，V8中28个记录。
至少每秒钟发一次flow。
虽然netflow只提供单向的流量统计。
如果希望得到表现双向的统计数据，netflow提供了“canned”的SQL程序来获得一个IP地址对的流量统计数据。
典型的路由器netflow的资源占用率为8％～30％。
一般情况下一个netflow 收集器接收3－5个路由器的netflow输出。
2.2输出缓存条件NetFlow是通过建立高速缓存来实现的，该缓存存放所有活动的流信息。
当有一个报文符合流定义时，NetFlow缓存将被建立。
缓存终止并输出数据的条件如下：**传输完成（当看到TCP FIN或RST标志）**缓存满**非活动时间超时。
空闲流超过n秒，默认15秒，可通过Router(config)# ip flow-cache timeout inactive 130改变默认值**活动时间超时。
流超过n分钟，默认30分钟，可通过Router(config)# ip flow-cache timeout active 20改变默认值NetFlow缓存如图1所示。
图1 NetFlow Cache示例2.3Netflow 报文格式说明2.3.1V1头格式字段值Version0x0001Count该报文含有的流记录数System Uptime该设备启动的时间（毫秒）UNIX Seconds自0000 UTC 1970计的时间（秒）UNIX NanoSenconds 自0000 UTC 1970计剩余时间（十亿分之一秒）输出报文格式012 3bytesrcaddrdstaddrnexthopinput outputdPktsdOctetsfirstLastsrcport dstportPad1prot tos Tcp_flags Pad2Pad3reserved Bytes字段值0-3srcaddr源ip地址4-7dstaddr目的ip地址8-11nexthop下一跳路由器地址12-13input SNMP入口接口ifIndex14-15output SNMP出口接口ifIndex16-19dPkts该流的Packets数20-23dOctets该流的Bytes数24-27first流开始系统时间28-31Last流结束系统时间32-33srcport四层源端口34-35dstport四层目的端口36Pad1未用（0）37prot四层协议（如TCP=6，UDP=17）38tos服务类型39Tcp_flags Cumulative OR of TCP flags 40Pad2未用（0）41-42Pad3未用（0）43reserved保留2.3.2V5头格式备注：红色部分是Version 5较Version 1新添字段。
字段值Version0x0005Count该报文含有的流记录数System Uptime该设备启动的时间（毫秒）UNIX Seconds自0000 UTC 1970计的时间（秒）UNIX NanoSenconds 自0000 UTC 1970计剩余时间（十亿分之一秒）Sequence Number流序号Engine Type流转发引擎，0代表RP，1代表VIP/LCEngine ID VIP或LC插槽号码输出报文格式备注：红色部分是Version 5不同于Version 1的字段。
Version 5新增了4个字段用以标示自治域和掩码位。
012 3bytesrcaddrdstaddrnexthopinput outputdPktsdOctetsfirstLastsrcport dstportPad1Tcp_flags prot tos src_as dst_assrc_mask dst_mask pad2Bytes字段值0-3srcaddr源ip地址4-7dstaddr目的ip地址8-11nexthop下一跳路由器地址12-13input SNMP入口接口ifIndex 14-15output SNMP出口接口ifIndex 16-19dPkts该流的Packets数20-23dOctets该流的Bytes数24-27first流开始系统时间28-31Last流结束系统时间32-33srcport四层源端口34-35dstport四层目的端口36Pad1未用（0）37Tcp_flags Cumulative OR of TCP flags 38prot四层协议（如TCP=6，UDP=17）39tos服务类型40-41src_as源AS号42-43dst_as目的AS号44Src_mask源地址掩码位数45Dst_mask目的地址掩码位数46-47Pad2未用（0）2.3.3V7头格式备注：红色部分是Version 7较Version 1新添字段。
字段值Version0x0007Count该报文含有的流记录数System Uptime该设备启动的时间（毫秒）UNIX Seconds自0000 UTC 1970计的时间（秒）UNIX NanoSenconds 自0000 UTC 1970计剩余时间（十亿分之一秒）Sequence Number流序号输出报文格式备注：红色部分是Version 7不同于Version 5的字段012 3byteSrcaddrDstaddrNexthopinput OutputdPktsdOctetsFirstLastsrcport Dstportflags Tcp_flags prot Tossrc_as dst_assrc_mask dst_maskpad2MLS RPBytes字段值0-3srcaddr源ip地址4-7dstaddr目的ip地址8-11nexthop下一跳路由器地址12-13input SNMP入口接口ifIndex14-15output SNMP出口接口ifIndex16-19dPkts该流的Packets数20-23dOctets该流的Bytes数24-27first流开始系统时间28-31Last流结束系统时间32-33srcport四层源端口34-35dstport四层目的端口36flags flow mask in use37Tcp_flags Cumulative OR of TCP flags38prot四层协议（如TCP=6，UDP=17）39tos服务类型40-41src_as源AS号42-43dst_as目的AS号44-45Src_mask源地址掩码位数46-47Dst_mask目的地址掩码位数48Pad2未用（0）49-50MLS RP IP address of MLS router2.3.4V8注意：支持(3)T，(3)及其后续IOS版本头格式备注：红色部分是Version 8较Version 5新增字段，该字段体现汇聚功能。
字段值Version0x0008Count该报文含有的流记录数System Uptime该设备启动的时间（毫秒）UNIX Seconds自0000 UTC 1970计的时间（秒）UNIX NanoSenconds 自0000 UTC 1970计剩余时间（十亿分之一秒）Sequence Number流序号Engine Type0代表RP，1代表VIP/LCEngine ID VIP或LC插槽号码Aggregation标识汇聚模式需添加具体值Agg_version汇聚版本 = 2汇聚模式Version 8支持汇聚功能，不同的汇聚模式有其相应的报文格式，下文分别叙述11种汇聚模式的、报文格式。
汇聚功能是Version 8提出的新功能，在Version 9中也支持，它将输出的原始流信息报文按照不同的汇聚模式再一次分类，减少报文量，减轻对网络的负担，同时也能从某种角度来总结网络状况。
为了实现汇聚，设备建立名为汇聚缓存的高速缓存，该缓存用不同字段的组合来实现传统的流的再组合。
当流从流缓存中输出时，送入汇聚缓存，进行进一步的组合。
汇聚的好处是可以使得最终输出给采集者的报文量减少，减轻对网络的影响。