基于NetFlow的网络流量采集技术和应用
netflow analyzer原理
netflow analyzer原理NetFlow Analyzer是一种用于网络流量分析的工具，可以帮助网络管理员监控和管理网络流量。
它的原理是通过收集和分析网络设备上的NetFlow数据，提供实时的流量统计和分析报告。
NetFlow是一种由思科开发的网络流量记录和分析技术，它可以在网络设备上捕获流经设备的数据包，并将相关信息记录下来。
这些信息包括源IP地址、目的IP地址、源端口、目的端口、协议类型、数据包数量、数据包大小等。
NetFlow Analyzer通过解析这些信息，可以得到关于网络流量的详细信息，包括流量的来源、目的地、协议、端口等。
NetFlow Analyzer的工作原理可以分为三个主要步骤：数据收集、数据分析和报告生成。
首先，它通过与网络设备进行通信，收集和获取NetFlow数据。
这些数据可以通过网络设备上的NetFlow功能或者通过配置路由器、交换机等设备来获取。
一旦数据被获取到，NetFlow Analyzer会对这些数据进行解析和分析。
在数据分析阶段，NetFlow Analyzer会对收集到的NetFlow数据进行处理和分析。
它会根据设定的规则和算法，对流量数据进行分类和统计。
例如，可以根据源IP地址或目的IP地址对流量进行分类，统计每个IP地址的流量量；也可以根据端口号或协议类型对流量进行分类，统计每个端口或协议的流量量。
通过对这些数据的分析，可以得到网络流量的整体情况和特征。
在报告生成阶段，NetFlow Analyzer会根据分析得到的结果生成报告。
报告可以以图表、表格等形式展示，并提供详细的统计数据和分析结果。
这些报告可以帮助网络管理员了解网络的使用情况，发现异常流量和网络瓶颈，并采取相应的措施进行优化和改进。
NetFlow Analyzer的原理和功能使其成为网络管理和安全监控的重要工具。
通过实时监控网络流量，可以及时发现和解决网络问题，提高网络的性能和可靠性。
网络流量分析NetFlow协议解析
网络流量分析NetFlow协议解析网络流量分析在网络安全和性能监控中起着重要的作用。
而NetFlow协议作为其中一种流量分析的关键工具，在网络管理领域中被广泛应用。
本文将对NetFlow协议进行详细解析，介绍其原理、功能和应用。
一、NetFlow协议简介NetFlow协议是由思科公司于1996年推出的一种网络流量分析技术。
它能够提供流量统计、流量分析和流量监控等功能。
NetFlow协议通过在路由器和交换机上收集、处理和导出流量数据，为网络管理员提供实时的流量信息和网络性能的评估。
二、NetFlow协议的工作原理NetFlow协议的工作原理可以分为三个阶段：数据收集、数据处理和数据导出。
1. 数据收集在网络中的路由器和交换机上，通过配置使其能够将经过设备的流量数据进行收集。
NetFlow支持两种收集方式：Full Flow和Sampled Flow。
Full Flow是指完整地收集每一个流量数据进行处理；Sampled Flow是指以一定的频率采样流量数据进行处理，减少处理开销。
2. 数据处理收集到的流量数据会经过设备内部的处理引擎进行处理。
处理引擎会提取关键信息，如源IP地址、目的IP地址、源端口、目的端口、协议类型等，并基于这些信息生成流记录。
3. 数据导出处理后的流记录会根据配置的规则进行导出。
导出方式有两种：NetFlow v5和NetFlow v9。
NetFlow v5是早期版本，具有广泛的兼容性；NetFlow v9则是最新版本，支持更多的字段，并且具有灵活的配置能力。
三、NetFlow协议的功能NetFlow协议具有以下几个主要功能：1. 流量统计NetFlow可以对流量进行实时统计，包括流量量、带宽利用率、流量峰值等。
这些统计数据可以帮助网络管理员了解网络的负载情况，有助于进行容量规划和性能优化。
2. 流量分析通过对收集到的流量数据进行分析，NetFlow可以帮助管理员发现网络中的异常情况和潜在安全威胁。
基于Netflow技术的互联网流量流向的分析与研究
随着宽带互联 网应用的普及 ，互联 网用户数量在 不 断增加 ，各个领域 的应用也在逐步深入 ，网络规模 持续扩 展， 网络流量 高速 增长。尤其是Ｐ Ｐ ２ 技术产生
以来 ，互 联 网 网络 流 量 激 增 ，对 网 络 的 处理 能力 提 出
网流量分析系统 ，以互联网流 量数据 为分析对象 ，实 现 以下功能：（） １精确判 断流量归属地 ；（） ２精确统计流 量类型；（ 精确区分流量成分；（） ３ ） ４以天为单位，对某
术能对￣／ Ｌ 网络的通信流量进行详细的行为模式分 ＭＰ Ｓ 析和计量，并提供 网络运行的详细统计数据 。
一
天的流量及 以天为周期单位的时间段产 生的流பைடு நூலகம்进
了更高 的要求 。同时 ，要合理、有效地疏导流量 ，必 须对 网络流量进行科学、细致 的分析 ，通过流量分析 可 以有效地总结出 网内、网外 流量比例 ，各 区域用户 产生 的流量大小 ，进而对用户 使用 习惯 、各类应用带 宽消耗情况等进行分析 ，从而可 以对 不同区域用户使 用 习惯 、网内资源建设方 向等进行有效 的指导 。不仅 要依据数据 的 目的地址去疏导流量，还要 明晰流量 的 来源和成分 ，区分流量类型， 以精确地计算成本 ，合 理分配Ｉ 地址数量和流量 占用 带宽，使流量 管理更加 Ｐ
Ｎ ｔｏ ｅ ｗ技术最早 由Ｃｓｏ ｌ ｆ ｉ 公司研发 ，首先被用于网 ｃ 络 设备对数据交换进行加速 ，并可同步实现对 高速转 发的 数据流进行测量和统计。经过多年 的技术演进 ， Ｎ ｔｏ ｅｆ ｗ对流经网络设备 的Ｉ数据流进行测量和统计 的 ｌ Ｐ 功能更加成熟 ，并成为当今互联网领域公认 的最主要
利用NETFLOW技术实现网络流量监测
Ｊａ Ｇ ａ Ｉ ｕ ｎ—ｘｎ ｉ
捆 ０ 鲁
本 文提 出 了利用 Ｎ ｔｌ ｅＦｏ ｗ技 术实现 网络流量检测的可行 方案 ， 讨论 了接 收 Ｎ ｔｌｗ流数据 并对流数据 实 ｅ ｏ Ｆ 现汇聚的具体 实现 以及如何存储流数据并对其进行检 索和检索的优化方案 。最后提 出了对流数 据查询
流记录 的长度是 固定 的， 于检索。 便
定 的源到 目的端 的单 向的一系列数据包 ， 它使用 源和 目的端 点的 Ｉ Ｐ地址和传输层端 口号 、 协议类 型 、 服务类 型以及输 入 接 口等来标 记网络流。 Ｎ ｔｌ ｅＦｏ ｗ的数 据输 出要 求 先在 路 由器和 交换 机 上 定 制
１ 引 言
网络流量监测是 网络 管理 和系统 管 理的一 个重 要组成 部分 ， 网络流量数据为 网络的运 行和维 护提供 了重要 信息 。 这些数据对 网络 的资源分布 、 容量规划 、 务质量分 析 、 服 错误 监测 与隔离、 安全管理都十分重要 。Ｎ ｔｌ ｅＦ ｗ是 Ｃｓｏ公 司的 ｏ ｉ ｃ 专有技术 ，广泛应 用 于 Ｃｓｏ的路 由器 和交 换 机 中。 由于 ｉ ｃ
端 口（４ ５ 、 ３ ３ ）协议类型 （７ …等流数据信Ｎ ｔｌ ｅ ｏ Ｆ ｗ流数据的采集 主要 涉及 两个 方面 ： 数据 的接 流 收和流数据汇 聚。前者 负责把 Ｎ ｔｌ ｅＦｏ ｗ流 数据 Ｕ Ｐ数 据包 Ｄ
接收到缓冲 区； 后者 对流数 据进 行 简单 的预处理 ， 以减少流
数据的数量 ， 提高 系统性能 。 ３ １ 接收 Ｎ ｔｌ ． ｅ ｏ Ｆ ｗ数据 Ｎ ｔｌ ｅ ｏ Ｆ ｗ数据采集程序 可采 用 双线程 的结 构 ： 收数据 接
２ ＮｅＦｏ ｔｌｗ概 述
网络管理中流量采集技术的应用
对于一个有效的网络管理系统来说，管理功能的实现都 或多或少的依赖于网络流量信息的获取。因此网络流量信息 采集可以说是网络管理系统得以实现的核心。无论是流量费 用统计还是用来分析、预测网络运行状况，对于原始数据的 可靠性和完整性的要求都是比较高的。使用一种较为合理的 网络流量采集技术，不仅使所采集的原始数据较为准确、完 整，而且对网络上相关设备的影响较小。目前有 4 种常用的 方法用于网络流量数据的采集分析：
为了同时保证静态数据的完整性和机密性，可以先对保 护对象进行加密处理，然后同样按照上述方式对其完整性进 行保护。为此，保护系统只需要增加相应的加密/解密子系统 即可。
参考文献
[1]张千里,陈光英.《网络安全新技术》.北京：人民邮 电出版社，2003 年
[2]李克洪,王大玲,董晓梅.《实用密码学与计算机数据 安全》.沈阳：东北大学出版社，1997 年
(1)基于侦听网络数据包的包分析模式； (2)基于路由器 MIB 库的 SNMP 代理模式； (3)基于安插网络探针（PROBE）技术的 IP 流量数据捕获 形式； (4)基于网络数据流(NETFLOW)技术的数据流捕获形式。 前两种是比较传统的方法。基于侦听网络数据包的包分析模 式的优点是：容易实现。缺点是：a.工作站设备的浪费；b 增加网络的故障点,c.只能得到有关网络流量大小的信息，但 是无法提供流量中有关应用类型的信息。基于 SNMP 的网络信 息采集系统的优点是：可以有效地解决包监听模式的缺点。 缺点：a.采集的网络流量数据没有经过任何处理，因此对数 据采集数据库的性能要求很高，相应的对机器硬盘空间的要 求也很高；b.对网络带宽造成一定的损耗;c.对路由器的 CPU 和内存资源占用较大；d.由于记录很多，因此选择一个好的 采集间隔就比较困难，而且随着网络使用情况的变化，该间 隔可能会不适用，从而导致数据的丢失。第三种技术出现较 晚，虽然技术先进，但由于其实现依赖于固定厂家的专有设 备，故具有一定的限制性。 下面介绍一种新的网络流量数据采集方法，也就是基于 网络数据流技术的数据流捕获形式。它可以有效地解决传统 采集方式中存在的缺点，并且提高网络使用的效率，减轻路 由器的负载情况，也就是在路由器上配置 NetFlow，通过配 置的 NetFlow 数据输出 UDP 来进行网络信息采集。
基于netflow的网络流采集设计
２０ ０ ８年 第 ２期
福
建
电
脑
２ ５
基 于 ｎ ｔｏ ｅ ｗ的 网络 流 采 集 设 计 ｎ
张梅琼 ．林锦贤
（福 州 大 学 数 学 与 计 算 机 科 学 学 院 福 建 福 州 ３ ０ ０ ） ５０２
【 摘
要】 ：本 文利 用 ｎ ｔｏ ｖ／ ｆ ｅ ｗ ９ｉｉ ｌ ｆ ｐ ｘ对 网络流采集进行设计 ， 介绍并分析 了该 系统的设计模型 与具体 实现 方案 。
【 关键词 】 流量采集 ； ｖ／ ｖ ： ｉ ４ｉ ６融合 网络 ； ｅＦｏ ｐ ｐ Ｎ ｔｌｗ
１ 言 ．引
本 系 统 在 Ｎ ｔｌ ９ｉ ＇ 属性 集 的基 础 上 设 计 并 实 现 了 ｅＦｏ ｖ／ ｆ ｗ ｐｔ ｘ流
随 着 网 络 技 术 的不 断 进 步 以 及 网 络 用 户 的 日益 增 加 ． ｖ 融 合 流 的流 输 出模 型 。该 模 型 包 含 的 具 体 字 段 以及 相 关 字 段 描 ｉ４ ｐ 所 协 议 的 地址 空 间 已经 无 法 满 足 发展 的 要求 。采 用 ｉ ６协议 可 以 述 如 表 １ 示 。 ｐ ｖ 扩 大 地 址 空 间 ， 时为 增 加 ｉ 络 的 安 全 性 和提 高 网 络 服 务 质 同 ｐ网 量 提供 有 力 的手 段 。 因此 ， 长远 来 讲 ， 用 ｉｖ 技 术 来 组 建 互 从 利 ｐ６ 联 网 的承 载 网具 有 很 好 的技 术 前 瞻 性 和 广 阔 的应 用 前 景 。 是 ， 但 完 全 利 用 ｉｖ ｐ ６来 取 代 现 有 的 ｉｖ ｐ４技 术 是 一 个 非 常 困难 和 复 杂 的 问题 这 个 问 题 不仅 影 响 到 网络 层 技 术 ． 实上 由 于 网络 层 协 事 议 发生 变 化 。 会 影 响 到 从 应 用 层 到 链 路 层 的 技 术 变 化 。 因 此 ， 也
基于NetFlow的网络流量采集系统设计
（ ． ｏｅｅｏ ｏ ｐ ｔ ｃ ｎｅａｄ Ｔｃｎｌ ｙＢ ｒｎ ｎｖｒｔ ｏ Ｔｃｎｌ ｙ Ｂ ｉｎ ０ ０ ２ Ｃ ｉ １Ｃ ｌｇ ｌ ｆＣ ｍ ｕ ｒ ｉ ｃ ｎ ｅｈｏｏ ， ｅｉｇＵ ｉ ｓｙｆ ｅ ｏ ｏ ，ｅｉ １０ ２ ，ｈｎ ｅＳｅ ｇ ｅ ｉ ｈ ｇ ｊｇ ａ；
２ Ｌｂａｙｏ Ｎ ａ ｈｎ 疵 ｅ Ｓｉ ｅａ ｅ ｎｌ ｙＢ ｎ ０ ６ １ Ｃ ｉ ） ． ｉ ｒ ｏ ｈＣ ｉ ｒ ｆ ａ ｃ ｎ ｎ Ｔｃ ｏ ｇ ，ｅ ｇ １１０ ，ｈｎ ｆ ｏ ｅ ｃ ｄ ｈ ｏ ａ
ｄ ｓｇ ｎ ｃ ｌ ｃｉ ｇ ｄ ｔ ｆＮｅＦｌｗ． ｅ ｉ ｎ ｏ ｏ ｌ ｔ ａａ ｏ ｔ ｏ ｅ ｎ
Ｋｅ ｒ ｓ： ｔ ｌ ｗ ； ｏ ｃ ｌｅ ｔｏ Ｔ ａ ｃ Ｍ ｏ ｔｒｎｇ； ｙ ｗｏ ｄ ＮｅＦ ｏ Ｆｌｗ ｏｌ ｃｉｎ； ｒ ｆ ｎｉ ｉ ｉ ｏ Ｍｕｌ ｔ ｔｒａ ｉ— ｈ ｅ ｄ
Ｆｕｄ 、ｘ ｅ ｅ 的支持 。国内华为推出的 Ｎ ｔ ｏｎｒ Ｅ ｔ ｍ 等） ｙ ｒ ｅ — Ｓ ｅｍ技术 与 Ｎ ｔｌ ｔａ ｒ ｅ ｏ Ｆ ｗ技术 兼 容 。
２ ２ Ｎ ｔｌ ． ｅ ｏ Ｆ ｗ技术 原理
单 网络管 理协议 ）基 于包 嗅探 和基 于 Ｆｏ 流 ） 、 ｌ ｗ（ 等几
第 ２期
２１ ０ ０年 ４月
微
处
理
机
NetFlow流量采集与存储技术的研究实现
了 多线程 与 双链表 的 Ｎ ｔ ｏ 据 采集机 制 ， 效提 高 了数 据采 集 效率和 可 靠性 。 此外 ， 存储 原 始 Ｎ ｔ ｏ ｅｌ Ｆ ｗ数 有 在 ｅｌ Ｆ ｗ数
据 的基础 上 ， 计 了一 套 Ｎ ｔｌｗ流量 的三级 聚合 和存 储 方案 。基 于此 方 法 可对 纷繁 复 杂 的原 始 流量 的数据处 理进行 研究 。这
里 的高速大流量 网络环 境是 指有 １０—５０ Ｍｂｓ左右 的实 际 ０ ０ ｐ
流 量 和 几 十 万 台 活 动 主 机 的 网 络 。本 文 所 测 试 的 网 络 环 境 是
某部委 的核 心骨干 网， 网络具有 ２０Ｍｂ ｓ 该 ０ ｐ 左右 的实 际流量 ， 且 网络 中的交换设备 绝大多数 都是 Ｃｓｏ 由器 ， 于笔者采 ｉ 路 ｃ 便
有 效整理 ， 前端 静 态、 态流 量 分析提 供合 理 高效 的数 据 支持 。 为 动 关键 词 ：Ｎｔｌ ； ｅ ｏ 流量 采 集 ； Ｆｗ 双链表 ； 流量 聚合 ； 间粒度 时
中 图分 类号 ：Ｔ ３ ３ ０ Ｐ ９．９ 文献 标志 码 ：Ａ 文章编 号 ：１０ —６ ５ ２ ０ ）２ ０ ５ —３ ０ １ ３ ９ （０ ８ ０ ５ ９ ０
维普资讯
第２ ５巷 第 ２期 ２０ ０ ８年 ２月
计 算 机 应 用 研 究
Ａｐ ｌ ａ ｉ ｎ Ｒｅ ｅ ｒ ｈ ｏ ｍｐｕｅ ｓ ｐ ｉ ｔ ｓ ａ ｃ ｆＣｏ ｃ ｏ ｔ ｒ
Ｖｏ ． ５ Ｎｏ ２ １２ ．
Ｆ ｂ ２ ０８ ｅ． ０
Ａｂｓｒ ｃｔ Ａ ｅｗｏ ｋ ｔａｆｃ ｄ ｔ ｏｌ ｃｉ ｎ ａ ｄ ｓｏ ａ ｅ ｓ ｌ ｉｎ ｂ ｓ ｄ ｏ ｔ ｌｗ ｓｐｒ ｓ ｎ ｅ ｔａ ： ｎ ｔ ｒ ｒｆｉ ａａ ｃ ｌｅ ｔｏ ｎ ｔｒ ｇ ｏｕｔ ａ ｅ ｎ Ｎｅ Ｆ ｏ ｗａ ｅ ｅ ｔ ｄ。ｗｈ ｃ ｓｕ ｅ ｏ ｓ ｌ ｅｔ ｅ ｏ ｉ ｈｗａ ｓ ｄ ｔ ｏ ｖ ｈ ｐ ｏ ｅ ｏ ａ ｇ ｒ ｆｃｄａａ ａ ａｙ ｉ ａ ｓ ｄ ｂ ｉ ｈ ｓ ｅ ｅｗｏ ｋ、 Ｂｙ ｕ ｉ ｇｍ ｕ ｔ—ｈ ｅ ｄ ｐｒ ｇａ ｍｉ ｅ ｈ ｉ ｕ ｎ ｏ ｂｌ— ｒ ｂｌｍ ｆｌｒ ｅ ｔａ ｉ ｔ ｎ ｌｓｓｃ ｕ ｅ ｙ ｈ ｇ —ｐｅ ｄ ｎ ｔ ｒ ｆ ｓｎ ｌｉｔｒ ａ ｏ ｒｍ ｎｇｔ ｃ ｎ ｑ ｅ ａ ｄ ｄ ｕ ｅ ｌｓｓｃ ｃ ｅ ｓｒ ｃ ｕ ｅ。ｔ ｅ ｅｆｃｉｎ ｙ ａ ｄ ｄｅ ｅ ｄａ ｉｉｙ ｏ ｔ ｏ ｄ ｔ ｏ ｌｃｉ ｎ ｃ ｕ ｄ ｂｅｅ ａ ｃ ｄ． Ｆｕ ｔ ｅ ｍｏ ｅ，ａ ｔ ｅ ，ｅ ｉｔ ａ ｈ ｔｕ ｔ ｒ ｈ ｆ ｅ ｃ ｎ ｐ ｎ ｂ ｌｔ ｆＮｅＦｌｗ ａ ａｃ ｌｅ ｔｏ ｏ ｌ ｎｈ ｎ ｅ ｉ ｒｈ ｒ ｒ ｈｒ ｅ ｌ， ｖ ｌａ ｇ ｅ ａｉ ｎ ａ ｄ ｓｏａ ｅ ｍ ｅｈ ｄ ｂ ｓ ｎ ｔ ｅ ｏ ｉｉ ａ ｔ ｏ ｄ ｔ ｓｄ ｓｇ ｅ ｅ ｇ ｒ ｇ ｔｏ ｎ ｔ ｒｇ ｔ ｏ ａ ｅｄ ｏ ｈ ｒｇ ｎ ｌＮｅＦｌｗ ａ ａｗａ ｅ ｉｎ ｄ． Ｂｙ ｔ ｉ ｔ ｏ ｈ ｓｍｅ ｈ ｄ，ｔｅ ｏ ｉｉ ａ ｏ ｏ ｌ ｈ ｒｇ ｎ ｌｆ ｗｓｃ ｕｄ ｌ ｂ ｏ ｅ ｎｄ ｓｍ ｐｉ ｅ ｎｏ ｄｅ ｏｏｆ ｒａ ｒ ａ ｏ ａ ｅ ａ ｄ ｅｆｃｅｎ ａ ａｓ ｐ ｏ ｏ ｔｅ ｆｏ ｔｓａｉ ｎ ｎ ｍｉ ｎ ｌｓｓａ ｐｌｃ ｅ ｓ ｒ ｄ ａ ｉ ｌｆ ｄ ｉ ｒ ｒｔ ｆｅ ｅ ｓ ｎ ｂｌ ｎ ｆｉｉ ｔｄ ｔ ｕ ｐ ｒ ｔ ｈ ｒ ｎ ｔｔｃ ａ ｄ ｄｙ ａ ｃ ａ ａ ｙ ｉ ｐ ｉ ａ ｔ ｉ ｔ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第31卷 第23期2009年12月武 汉 理 工 大 学 学 报JOURNA L OF WUHAN UNIVERSIT Y OF TECHN OLOG Y Vol.31 No.23 Dec.2009DOI :10.3963/j.issn.167124431.2009.23.037基于N etFlow 的网络流量采集技术和应用孟晓蓓(武汉大学计算机中心,武汉430072)摘 要: 针对计算机网络状况监控领域的实际需要,提出了基于Net Flow 的流量采集技术。
相比其它的流量采集工具,Net Flow 的流量采集技术具有配置方便,费用低,占用资源小的优点。
分析了Net Flow 交换技术采集网络流量信息的实现原理。
并从计算机网络的网络层和传输层2个方面,讨论了Net Flow 网络流量采集技术在网络信息安全方面的相关应用。
关键词: 流量采集; Net Flow ; 网络攻击中图分类号: TP 393.06文献标识码: A 文章编号:167124431(2009)2320155204N et work Flux Collection T echnique B ase on N etFlow andIts ApplicationM EN G Xiao 2bei(Computer Center ,Wuhan University ,Wuhan 430072,China )Abstract : This paper proposes the network flux collection technique based on net flow according to practical requirements in the field of monitoring the status of computer pared to other flux collection tools ,Net Flow has advantages of con 2venient configuration ,low cost and small occupied resources.This paper analyses the principle of realization of Net Flow ex 2change technique collecting network flux information.Then both from the network layer and transport layer ,the paper discuss 2es some relevant applications of Net Flow network flux collection technique using in network information security areas.K ey w ords : flux collection ; Net Flow ; network attack收稿日期:2009207209.作者简介:孟晓蓓(19572),女,高级实验师.E 2mail :meng1025@随着Internet 和Intranet 的发展,网络用户、接入设备日益增长,对计算机网络的安全运行产生了压力。
因此,计算机网络状况的实时监控的工作,显得十分必要。
计算机网络状况的实时监控的一个重要环节,就是网络上的数据流量进行统计和分析。
由于各种各样的应用对网络带宽的需求越来越高,传统的网络流量统计和数据采集方式开销大、对数据传输延时的影响大,已经不能满足现在的需求,因此,需要一种新的流量统计技术来适应现在的网络环境。
Net Flow 技术正是这样的能适应新环境的流量采集方法。
1 网络流量采集的特点和方法理想的数据采集方式应该具备以下一些特点[1]:1)不影响数据流转发的速度 在整个数据流的采集过程中,不能有明显影响数据流转发速度的状况发生。
如果在数据采集的过程中,数据流转发的速度明显下降,不能真实地反映网络流量状况,这违背数据采集的根本目的。
2)占用资源小 对数据流进行采集的过程中,可能需要在路由器(交换机)中进行流量统计,并且储存所采集数据。
这会给路由器(交换机)带来额外的资源开销。
理想的流量采集方法应该尽可能少占用资源,在采集效果和资源占用之间寻求一个平衡点。
3)完整的数据流监控 一个理想的数据采集方法应该具备完整的数据流监控能力。
在网络发生拥塞的时候,能不能采集到完整的流量信息,是考察数据采集方法的一个重要标准。
4)支持第3层交换 第3层交换技术的特点就是将路由功能和交换功能结合在一起,使得网络在具有第2层交换的高速性能的同时,又可以具有很好的安全性、可扩展性等特性[2]。
理想的数据流量采集方式必须能够支持第3层交换技术。
5)分布式的数据采集 分布式的数据采集有利于实现校园网内部的数据流量监控和管理。
常用的网络流量采集方法有:实时数据采集,路由器流量统计功能,Net Flow 交换技术。
实时数据采集就是在网络设备中使用端口镜像技术等[3],从网络中获取实时的数据流信息。
这种方法的优点是实施最为简单,几乎不会对网络中数据传输的延时造成任何影响。
然而,由于数据采集机要捕获所有的数据流信息并对之加以分析,因此这种方法对数据采集机的处理能力要求很高。
此外,由于这种方式是对整个IP 数据包进行抓取后再进行处理,必然导致数据量过于庞大,对于后续的数据处理工作带来不便,因此这种方式并不适合。
路由器流量统计功能是利用网络设备的流量统计功能,是目前比较常见的一种数据采集方法。
在路由器中启动流量统计功能,使其记录下所有流量的源地址、目标地址、数据包数量和字节数。
另外一台采集数据的机器通过SNMP 协议定期到路由器上去将流量统计信息读取回来,从而获得详细数据。
这种方法的好处是流量信息准确,信息获取方便。
同时,由于使用SNMP 协议进行数据获取,具有很好的通用性和可移植性。
因此这种方法的应用非常广泛。
在路由器上运行流量统计功能,会影响路由器对数据包处理的效率,增加路由器的CPU 和内存负载,不可避免的对网络性能带来一定的影响。
因此,这种方法并不适合在网络和核心层部署,适合在网络的边界处进行流量采集。
Net Flow 交换技术是由Cisco 公司提出的,广泛应用在Cisco 的路由器和交换机产品中[4]。
它提供了高性能的第3层交换技术,并且能够主动将网络流量信息推送到一个Net Flow 数据采集服务器上。
Net Flow 交换技术是传统快速交换技术的一种改进,主要优点是在进行数据交换的同时对数据流信息进行统计,并将统计信息以特定的格式输出。
2 N etFlow 交换技术2.1 N etFlow 交换技术原理Net Flow 交换技术是在Cisco 的路由器、交换机中实现的一种技术。
Net Flow 交换完成的工作超过交换本身的工作,它还进行数据的统计,包括数据流的协议、端口、被转发的数据包数量、字节数等信息,所有这些信息都被保存在Net Flow 缓存里面。
这些数据可以被发送到一个Net 2Flow 数据采集器或者网管工作站进行存储和进一步处理[5]。
因此,可以说Net Flow 是一种交换技术,同时,它更多的是一种网络管理和计费技术。
Net Flow 交换技术主要原理是根据网络数据包传输时,连续相邻的数据包通常是往相同目的地IP 地址传送的特性,配合Cache 快取机制,一个输入的数据包完成了交换处理后,所有的路径信息和数据包的信息被复制到Net Flow Cache 中。
该数据流中的剩余数据包将会被与Net 2Flow 的缓存进行比较然后进行相应的转发,同时对该数据流的相关计数器进行更新,实现数据流信息的统计[6]。
当网络管理者开启路由器或交换机接口的Net Flow 功能时,设备会在接收数据包时分析其数据包的标头部分取得流量资料,并将所接到的数据包流量信息汇整成一笔一笔的Flow 。
Net Flow 交换技术的体系结构见图1。
在Net Flow 数据采集系统中,数据采集器是整个系统的核心部分。
数据采集器接收路由器和交换机发送的Net Flow 数据包,并分析输出数据中的版本信息,根据情况选择不同的数据处理容器。
然后,数据库中的信息通过相关流分析软件完成图形化展示、TOP N 查询以及预警等功能。
651 武 汉 理 工 大 学 学 报 2009年12月2.2 N etFlow 的数据格式Net Flow 技术被应用在多种平台的思科设备中,包括了大部分路由器和3层交换机。
目前比较常用的是Version 5、Version 7、Version 8和Version 9。
在Net Flow Version 5中,加入了对B GP AS 的支持,是目前最实用的版本。
Ver 2sion 7是思科Catalyst 交换机设备支持的一个Net Flow 版本,与路由器中的Net Flow 并不兼容。
Net Flow Version 8在Version 5的基础上,增加了基于路由的计费信息归并等新特性,可以大大降低对数据输出的带宽需求。
而Net FlowVersion 9是一种全新的灵活和可扩展的Net Flow 数据输出格式[7]。
除了具有较低版本的特性之外,还支持IPv6、MPL S 等特性,并且允许用户自行定义数据输出的模板和格式,应用更加灵活、方便。
Net Flow 设备使用UDP 将计费信息输出到数据采集端,以大多数路由器都支持的Version 5为例,数据输出包括数据头和多个Net Flow 记录信息。
Version 5规定,每一个数据报文最多可以携带30个Net Flow 记录。
图2是Version 5的一个Net Flow 记录的数据格式。
3 N etFlow 在网络安全上的相关应用对于网络中出现的异常事件,网络管理者能够从Net Flow 的记录中获得足够的信息,并且Net Flow 不需要对数据包的内容进行分析,网络设备运算的负担也减轻许多,因此Net Flow 很适合用来分析高速运转的网络。
由于Net Flow 的数据来源是网络中的3层数据转发设备,因而3层设备所收集到的Net Flow 信息可以协助掌握整个网络的情况[8]。
通过适当地分析Net Flow 信息,管理者在蠕虫爆发以及其他网络异常行为的初期即可快速分析出网络中存在的问题。
3.1 分析网络层中的N etFlow 信息网络攻击行为一般存在着某些可供辨识的特征,可以通过这些特征来与所获得的Net Flow 数据进行对比,进而找出可能的异常行为。
通过分析Net Flow 数据中目的主机所使用端口号字段,来过滤Net Flow 资料找出相对应的攻击;另外也可以利用不合逻辑的来源或目的IP 地址来找出异常。