中太数据宽带用户行为分析系统技术方案
中太数据宽带用户行为分析系统
技
术
方
案
中太数据通信（深圳）有限公司
2008年03月
目录
概述宽带用户行为分析系统 (2)
第一部分非法接入监控 (5)
1.1 背景资料 (5)
1.2 系统概要 (5)
1.3 非法接入方法 (5)
1.4 简要工作原理 (6)
1.5 系统功能 (7)
1.6 系统特点 (9)
第二部分 VoIP监控 (10)
2.1 背景资料 (10)
2.2 系统概要 (10)
2.3 VoIP的隐蔽性 (10)
2.4 简要工作原理 (11)
2.5 系统功能 (11)
2.6 系统特点 (13)
第三部分 P2P流量监控 (14)
3.1 背景资料 (14)
3.2 系统概要 (14)
3.3 P2P下载分类 (14)
3.4 简要工作原理 (15)
3.5 系统功能 (16)
3.6 系统特点 (18)
第四部分互联网多业务分析 (19)
4.1 背景资料 (19)
4.2 系统概要 (19)
4.3 系统功能 (19)
第五部分 WEB信息推送 (22)
5.1背景资料 (22)
5.2系统概要 (22)
5.3系统功能 (23)
第六部分小带宽互联跟踪 (25)
6.1背景资料 (25)
6.2系统概要 (25)
6.3 系统功能 (25)
第七部分其他业务系统 (28)
8.1 防毒墙系统 (28)
8.2 邮件分析过滤系统 (28)
8.3 网站点击排名系统 (28)
8.4 上网偏好分析系统 (29)
8.5 流向分析系统 (30)
联系方式 (31)
概述宽带用户行为分析系统
伴随着电信行业的激烈竞争，宽带业务的发展成为电信业务增收的重要来源，电信运营商出于运维和市场经营的需要，开始对宽带网用户的行为进行分析与监控。中太数据“宽带用户行为分析系统”用于实时监控宽带网上的所有数据流，具有“非法接入监控”、“VoIP监控”、“P2P流量监控”、“互联网多业务分析”等功能，以及附加的“WEB信息推送”功能。
以上所有软件功能模块，都使用同一套硬件设备，减少了重复投资。随着互联网应用的日益复杂化，将来还可通过叠加新的软件功能模块，满足运维和市场部门的新需求。
中太数据“宽带用户行为分析系统”与骨干网的连接如下图所示：
在省域网与国家骨干网互相连接的10G或2.5G POS接口，采用无源光纤分路器将所有的上行链路分一路信号给“宽带用户行为分析系统”，系统经过实时密集计算，判断出哪些用户正在提供宽带非法接入，哪些网关正在提供VoIP服务，该系统还可以实时监测并抑制全网及指定用户的P2P下载流量，也可分析和统计全网及指定用户的各种网络应用流量。
中太数据“宽带用户行为分析系统”内部的结构如下图所示，通过网络接口转换设备，将骨干网上的10G/2.5G POS分光输入信号，转成1000M的以太网输出，送往预处理服务器进行实时分析，再将分析结果送往统计管理服务器，预处
理服务器还会接受统计管理服务器下达的命令，执行相应的控制动作。网络接口转换设备可选用国内外电信设备制造商生产的高端路由设备，预处理服务器可采用DELL或IBM公司的刀片服务器，由众多的刀片服务器共同完成实时密集计算。
中太数据“宽带用户行为分析”系统，满足如下总体需求：
（A）基本要求
系统发生任何故障，都不影响宽带用户正常上网，不降低现有宽带网的可靠性和可用性；
（B）便于扩展
1、系统所有功能都能使用同一套硬件设备来完成，随着互联网应用的日益复
杂化，将来还可通过叠加新的软件功能模块，满足运维和市场部门的新需
求；
2、系统支持多机负荷分担方式工作，支持性能叠加，并能无缝平滑扩容；
3、系统既支持骨干10G POS和2.5G POS接口，也支持GE以太网接口；（C）便于使用
1、基于浏览器方式进行操作，操作管理员使用方便；
2、采用文件交换的方式，与其他系统进行数据交换；
（D）便于管理
1、系统为省、市两级分权分级处理模式，省中心可以对每个本地网数据操作、
统计和监控分析，地市分公司只可以对本地网范围内的相关数据进行操
作、统计和监控分析；
2、各地市的数据相对独立，对其中一个本地网设置的策略不会影响到另一个
本地网；
3、支持多级管理员并赋予不同的权限，管理员可以修改自己的密码；（E）便于维护
1、系统提供实时监控，包括监控CPU、内存、处理的网络数据、跟踪的帐
号数等；
2、具有多种维护及管理工具，能顺利地进行硬件系统的管理维护；
3、在系统本身软件或硬件出现故障时，能够发出告警；
4、日志管理功能，记录管理员的每一次登录操作；
5、系统自身应具有足够的安全防范功能；
第一部分非法接入监控
1.1 背景资料
数据业务中的宽带业务，是拉动电信业务增长的重要组成部分，由于目前宽带业务的计费主要还是采用计时长而不是计流量的方式，所以，一部分人利用宽带计费的这个缺陷，往往以个人的名义申请宽带而让黑网吧、企业使用，或者几户共用宽带而分摊费用，给电信运营商造成了巨大的经济损失，如果不尽快解决这些非法接入，将会有更多的人效仿而给电信运营商造成更大的损失。
1.2 系统概要
中太数据“非法接入监控”系统部署于电信骨干网旁，采用特有的分析方法，准确定位以个人名义申请宽带，实际却为网吧经营、公司经营或多个家庭共享宽带的情况，分析出宽带帐号与其所携带用户数之间的对应关系，便于电信运营商客户经理说服其到营业厅补办开户手续，并在必要的时候启动个性化拦截技术，阻止宽带非法接入用户对网络的访问。
中太数据“非法接入监控”系统准确性极高，已为相关电信运营商，查获了大量的黑网吧、个人申请企业使用、以及多个家庭共用宽带的情况，为电信增收、进一步提高宽带安装率提供了必要的技术保障。
1.3 非法接入方法
在所有宽带非法接入用户中，以个人名义的身份申请宽带，为黑网吧、企业或其他家庭共用，最普遍采用的方式如下图所示，左图采用ADSL拨号，右图采用LAN连接，包括固定IP或动态分配IP、不认证、Web认证、PPPoE认证等各种情况。
特别需要注意的是，部分中小运营商由于带宽不足，往往“借用”主运营商的专线用户的宽带，进行非法桥接，获得廉价带宽，再采用低价策略与主运营商展开竞争。
1.4 简要工作原理
检测宽带非法接入的常规方法有如下几种：
●标记法
部分有害的监控系统，通过修改用户的IP数据报文，给所有的宽带用户“帖上标记”来进行检测。这种方法由于需要修改所有用户的IP数据，将损伤现有宽带网、大幅降低现有宽带网的可用性。
●SNMP扫描法
部分ADSL Modem有默认管理员口令及密码，并且SNMP的community都采用默认的public或private，可以得到其arp表而确定用户数。这种方法显然是一种“碰运气”、不全面的方法，同时不断地扫描，将损伤现有宽带网。
●判断IP_ID法
对于Windows用户，由于其IP包头中的IP_ID将随着用户发送的IP包的数量增加而逐步增加，如果在某个时刻，发现某个源IP地址，如下图所示，
有两段IP_ID在连续变化，则说明该帐号此时有两个用户在同时使用宽带。
这种方法有一定的功效，但目前市场上已经出现可修改IP包的IP_ID的NAT 设备，专门用于对付运营商的相关监控系统，仅使用这种方法的监控系统，很快将失去作用。
中太数据“非法接入监控”系统，不对外发送任何扫描数据，不修改用户的任何IP报文，而是从网络第三层到第七层对数据进行仔细分析，特别分析了操作系统生产厂商的非公开特性，通过对用户各种特性的多次分析和校正，准确判断出每个帐号下携带的用户数量。在覆盖200多万宽带用户的实际监控中，无论共用NAT、共用Proxy、或分时段共享帐号上网，中太数据“非法接入监控”系统都能准确报告，并为相关电信运营商“挖掘”出大量的宽带新用户。高度准确是中太数据“非法接入监控”与其他友商系统相比较，显示出的最显著特征。
1.5 系统功能
中太数据“非法接入监控”系统，具备以下主要功能：
（A）无害要求
1、系统不主动往宽带网用户发送任何扫描数据；
2、系统不修改正常使用宽带网的用户所发送和该接收到的数据包，不采用
修改用户数据报文的“标记法”（这种方法将降低宽带网的可用性）；（B）检测功能
1、准确检测到多个用户共用一个帐号，利用NAT/Proxy同时上网；
2、准确检测到多个用户共用一个帐号，利用NAT/Proxy分时上网；
3、准确检测到多个用户共用一个帐号，利用可修改IP包IP_ID的设备上网；
4、对用户数的检测，不依赖于操作系统类型，如Windows、Linux及其他
UNIX等；
5、当用户启动防火墙，或者使用BT、flashget、NetAnt等工具下载文件而产
生大量TCP连接时，不会对系统检测的准确性造成影响；
6、系统检测的准确性要求大于95%，误判+漏判率小于5%；
（C）拦截和警告功能
1、系统支持按不同的帐号或IP地址，实施不同的个性化拦截策略；
2、系统可以选择，按时间段进行拦截；
3、系统可以选择，只拦截http或拦截所有TCP；
4、系统可以选择随机拦截TCP或是拦截所有TCP；
5、系统可以选择，按事先定义的各种规则模板进行拦截；
6、支持按事先设置警告的内容，在用户浏览网页时推送出警告页面；（D）统计和报表功能
1、对于宽带帐号用户，按上网帐号提交“帐号—携带用户数”对应表关系报
表；
2、对于固定IP用户，按IP地址提交“IP地址--携带用户数”对应关系报表；
3、对于具有多个固定IP地址的用户，以IP地址集为单位，提交“IP地址集
--携带用户数”对应关系报表；
4、提交非法接入帐号总数及其所携带的用户总数的变化图及比例图；
5、提供非法接入帐号被打击后，挖掘出的新用户帐号与原非法接入帐号之间
对应关系的报表；
6、对于上述统计图表，可以按小时、日、月等不同的时间段提供；
7、对于上述统计，可以曲线图或饼图显示，并可以生成Excel格式报表（E）其他功能
1、支持合法用户功能，确保它们不被拦截；
2、支持批量增加需要拦截或不能拦截的帐号，减少维护量；
3、支持对所监测到的帐号，进行查询、添加、删减功能；
1.6 系统特点
中太数据“非法接入监控”系统，采用密集计算、多机运行负荷分担工作方式，每个预处理单元设备实时处理1000 Mbps的流量，系统的特点如下：
●设计合理
采用被动监听工作方式，不会主动向用户发出任何扫描报文，不会修改
用户的任何正常上网数据，不对现有宽带网造成任何影响；
●高度准确
从网络3层至7层进行综合分析，经过多级校正，准确识别每个帐号“携
带”用户的数量；
●成熟稳定
系统在多个省运营商得到长期应用，并广泛吸取了运营商的建议而增加
了许多功能；
●抵御欺骗
对于使用可修改IP包的IP_ID的NAT设备携带多个用户，中太数据“非
法接入监控”系统仍然能准确检测并进行拦截。
第二部分 VoIP监控
2.1 背景资料
话音收入是电信运营商收入的主要来源，由于宽带网和VoIP技术的发展，不少虚拟运营商特别是一些非法的虚拟运营商，开始分流电信运营商的话音业务，电信运营商出于保护自身的利益，需要从技术上对VoIP进行监控，让市场部门知道话音业务被分流的情况，以便按策略维护话音收益。
2.2 系统概要
中太数据“V oIP监控”系统设置于骨干网旁，实时分析网络上所有数据流，准确识别各类V oIP通话，包括H.323 / SIP / MGCP及其变种的V oIP，区分出PC2PC 会话及PC2Phone会话，得到VoIP网关的IP地址、类型、通话时间及通话时长等详细信息，提交多种统计图表，并按需要切断VoIP通话或增加干扰噪音。
2.3 VoIP的隐蔽性
目前虚拟运营商为防止主流电信运营商封堵其V oIP业务，基本上都不采用标准的V oIP协议，最典型的是在H.323/SIP/MGCP等协议的基础之上进行修改（这样开发量较小，系统的可靠性也较高），例如，修改呼叫建立数据，在标准的V oIP数据包中增加了私有的“数据包头”之后将V oIP包改头换面，同时，也不采用标准的TCP/UDP端口等，极大地增加了对V oIP监控的技术成本。虚拟运营商按需要可将其V oIP网关部署在国内或国外。
2.4 简要工作原理
系统仔细分析每个TCP及UDP流前面的一部分IP包，逐个byte偏移后，尝试用H.323 / SIP / MGCP协议去解码（这是一个很消耗资源的运算），如果这个数据流没有V oIP的特征，系统将放弃对它的跟踪以节省CPU资源，如果这个数据流是V oIP数据，系统将再进一步分析，得到V oIP网关的IP地址、类型、通话时间及通话时长等详细信息，此外系统还可以通过切断V oIP信令连接、发送挂机信号等方法，切断V oIP通话；也可在话音流中插入干扰UDP包来给V oIP 通话增加噪音。
2.5 系统功能
中太数据“V oIP监控”系统，主要具备了以下功能：
（A）检测功能
1、既能检测出在标准端口下，又能检测非标准端口下的H.323 / SIP / MGCP
的通话；
2、能检测出利用“私有隧道”，在任意端口上透传H.323 / SIP / MGCP的通
话；
3、能够检测、拦截“万人迷”、“Net2Phone”等纯私有V oIP应用；
4、能够区分出VOIP的类别，将VOIP分为四类：第一类接驳传统电话网，
包括呼叫固定和移动电话；第二类为企业内部IP-BPX之间的通话；第三类为MSN、QQ等之间的通话；第四类为其他PC2PC通话；
5、能够区分出是来话还是去话，以及区分是国内还是国际通话；
6、能够根据IP区分网关及网守的地区和运营商归属；
（B）干扰、拦截功能
1、按事先确定的比例，对每次V oIP通话增加噪音或不增加噪音；
2、按事先确定的比例，切断V oIP通话；
3、支持对于每个网关，每天按时段干扰其通话；
4、支持对于每个网关，每天按时段切断其通话；
（C）统计和报表功能
1、对于第一、第二类VOIP，提交通话详单报表，通话详单包括网关或网守的
IP地址，主叫帐号或IP地址、被叫电话号码、通话时长、通话时间，来话/去话；
2、对于第一类及第二类VOIP通话，提交每个用户每天使用VOIP时长的报表；
3、提交所有四类V oIP各自的通话时长、呼叫次数报表；
4、对于第一类VOIP通话，提供更详细的报表如下：
●按地域（国内/国外）统计呼叫量和通话时长；
●按呼叫方向（呼入，呼出）统计呼叫量和通话时长；
●按用户帐号或专线用户地址提供通话时长TOP N排行版；
●按V oIP网关/网守地址提供通话时长TOP N排行版；
●统计使用过第一类V oIP用户总数；
5、对每个网关/网守，提交VOIP统计报表；
6、对于上述统计图表，可以按小时、日、月等不同的时间段提供；
7、对于上述统计，可以曲线图或饼图显示，并可以生成Excel格式报表
（D）其他功能
支持白名单功能，不对白名单内的V oIP网关进行干扰；
2.6 系统特点
中太数据“VoIP监控”系统，采用密集计算、多机运行负荷分担工作方式，每个预处理单元设备实时处理1000 Mbps的流量，系统的特点如下：
1.区分出与传统电话网有接驳的V oIP通话、企业内部V oIP通话，PC2PC
和PC2Phone通话，突出真正分流电信运营商话音收入的V oIP业务；
2.通过电话号码来区分是国内电话还是国际电话，而不是简单的按V oIP网
关IP地址的归属地、主叫IP地址及被叫IP地址的归属地来区分国内还
是国际通话。
第三部分 P2P流量监控
3.1 背景资料
当前P2P下载应用不断发展，它在繁荣互联网的同时，消耗了大量的网络带宽，部分地区由于P2P下载的泛滥，影响了浏览网页、收发电子邮件等常规网络应用，引发用户对电信运营商的不满，同时，由于P2P下载泛滥，迫使电信运营商投入巨额资金不断地扩容带宽，目前电信运营商被消耗带宽的增长，已经远超过了用户数及收益的增长速度，如果不对P2P下载进行适当的控制，它将直接影响到电信运营商的服务质量。
3.2 系统概要
中太数据“P2P流量监控”系统设置于骨干网旁，准确跟踪各类P2P下载，包括Bittorent、eDonkey、eMule、Kazza、Gnutella、Xunlei等国内外99%以上的P2P下载应用，实时统计出P2P的流量，当P2P下载消耗的带宽超过电信运营商预设的数值之后，中太数据“P2P流量监控”系统将自动启动其限速机制，确保P2P下载的速率回落到电信运营商所允许的范围，保证浏览网页、收发电子邮件等常规网络应用不受影响。
3.3 P2P下载分类
P2P下载应用种类繁多，中太数据“P2P流量监控”系统准确跟踪了国内外主流的P2P下载应用，包括如下各种协议类型：
1.BitTorrent协议：客户端包括BitTorrent、BitComet、Azureus、Shareaza、
TurboBT、贪婪BT、比特精灵等；
2.eDonkey协议：客户端包括eDonkey、eMule等；
3.GnuTella协议：客户端包括Kazza、BearShare、Gnucleus、Morpheus、
Swapper等；
4.DirectConnect协议：客户端包括DC++等；
5.Xunlei协议：国内流行的P2P下载等；
6.PPStream、PPLive、QQTV等P2P视频流。
3.4 简要工作原理
1.系统跟踪并实时分析每个网络数据流，判断它是否属于Bittorent、eDonkey、
eMule、Kazza、Gnutella、Xunlei等P2P下载应用（由于部分P2P下载及其变种，已经不再象Bittorent那样具有明确的字符串标识，所以纯硬件设备在IP层已经无法识别它，必须依靠复杂的逻辑关联，通过软件来进行识别）。
2.P2P下载所消耗的带宽，超过了电信运营商预设的数值之后，系统将会自动
启动抑制策略，通过合成的IP包来切断一些P2P下载速率较高的数据流，从而实现包括限制速率或限制P2P下载数据流的比例，将P2P下载的带宽，抑制在运营商事先设定的范围之内。
3.5 系统功能
中太数据“P2P流量监控”系统，主要具备了以下功能：
（A）检测功能
1、支持对BitTorrent协议的实时检测及控制，检测出BitTorrent、BitComet、
TurboBT、贪婪BT、比特精灵等P2P下载流量；
2、支持对eDonkey协议的实时检测及控制，检测出eDonkey、eMule等P2P
下载流量；
3、支持对GnuTella协议的实时检测及控制，检测出Kazza、BearShare、
Gnucleus等P2P下载流量；
4、支持对DirectConnect协议的实时检测及控制，检测出DC、DC++等P2P
下载流量；
5、支持对迅雷P2P协议的实时检测及控制，检测出XunLei的P2P下载流量；
6、支持对P2P视频流的实时检测及控制。
（B）P2P抑制功能
1、支持按P2P下载应用消耗的总带宽，设置P2P抑制策略；
2、支持按P2P下载应用消耗带宽与其他应用消耗带宽所占的比例，设置P2P
抑制策略；
3、支持按不同的时间段，设置不同的P2P抑制策略；
4、对P2P下载流量控制的精确度误差要求小于5%；
（C）分类策略
1、支持将指定用户帐号或源IP地址归为一个组，系统支持多个组；
2、对于每个组可实施不同的P2P限制策略；
3、P2P控制策略既能全省统一设置，也可按地市分别设置；
4、支持“白名单”帐号或IP地址，不限制其P2P下载应用；
（D）统计和报表功能
1、提供全省各种P2P下载流量及网络总流量的实时曲线图表；
2、提供每个地市各种P2P下载流量及网络总流量的实时曲线图表；
3、提供每个组各种P2P下载流量及网络总流量的实时曲线图表；
4、对于指定的帐号或IP地址，提供P2P下载流量及网络总流量的实时曲线
图表；
5、对于上述统计图表，可以按小时、日、月等不同的时间段提供；
6、对于上述统计图表，可用曲线图或饼图显示，也可生成Excel格式报表；
7、对于指定的帐号或IP地址，提供P2P下载流量TOP N 排行版；
（E）其他功能
1、可以手工添加和批量导入需要监控的帐号或IP地址；
2、可以手工添加和批量导入帐号或IP地址到某个组；
3.6 系统特点
中太数据“P2P流量监控”系统，采用密集计算、多机运行负荷分担工作方式，每个预处理单元设备实时处理1000 Mbps的流量，系统的特点如下：
1.P2P流量抑制不影响正常上网，用户还可继续使用P2P下载，只是网络
繁忙时P2P下载速度会减慢，用户不易察觉。
2.可在网络繁忙的时候才对P2P下载进行抑制，确保浏览网页、收发EMAIL
等应用不受影响，在网络空闲的时候让P2P极速下载，充分利用网络带
宽。
3.系统投资低廉，不改变现网的结构，不影响原有网络系统的可用性和可
靠性。
第四部分互联网多业务分析
4.1 背景资料
互联网上的流量正在快速增长，除了P2P下载占据相当一部分带宽之外，还有其他什么应用比较受大众欢迎而消耗较多带宽呢？如果电信运营商市场部门能比较准确地知道宽带网上哪些应用比较受欢迎、每个大客户常用的宽带业务，那么就可以比较科学地制订相应的营销策略。
4.2 系统概要
中太数据“互联网多业务分析”系统设置于骨干网旁，实时分析网络上的所有数据流，区分出视频、游戏、EMAIL、HTTP、VOIP、FTP、P2P等多种应用及其流量，从宏观上得到全网、各地市的多种网络应用流量曲线图表，精确分析出大客户的多种网络应用流量。
4.3 系统功能
中太数据“互联网多业务分析”系统，实时分析网络上的所有数据流、生成各种报表曲线，系统具有如下功能：
（A）分析功能
分析骨干网上，所有的网络流量，包括如下：
1、P2P下载所占的流量及比例；
2、P2PStream下载所占的流量及比例；
2、HTTP断点续传所占的流量及比例；
3、FTP应用所占的流量及比例；
4、HTTP浏览网页所占的流量及比例；