基于互联网APP行业的用户行为数据分析与挖掘[第二版]

毕业论文(设计)

题目基于互联网APP行业的用户行为数据分析与挖掘系信息工程系

专业、年级计算机网络12级

学生姓名赵伯韬

指导教师康健职称副教授

论文字数9956

完成日期2015 年 4 月30 日

唐山职业技术学院毕业设计任务书

信息工程系计算机网络专业一班学生姓名：赵伯韬学号：121120101 一、毕业设计（论文）题目：基于互联网APP行业的用户行为数据分析与挖掘

任务进行的日期：2014 年 12 月 10 日起至 2015 年 4 月 30 日

三、任务书的内容：基于互联网APP行业的用户行为数据分析与挖掘

（一）选题的目的和意义：

随着近年来国内互联网APP的强势发展与三网融合的态势进展，互联网APP行业的市场竞争愈发激烈，各运营商基于用户习惯产品的竞争将是服务的竞争。由于互联网APP业务的多样性，国内运营商逐步从“产品独立运营”向以“客户为中心”的融合运营模式转变，新的商业模式和日趋激烈的竞争环境对电信增值业务运营管理提出了新的要求和挑战。

（二）设计内容：

首先探讨了用户行为分析及其方法，深入学习各种数据挖掘的算法与软件的基础上构建用户行为分析与业务匹配模型。然后在对移动互联网的数据分析理解之后进行数据收集，对于获取到的数据，按照ETL （Extraction-Transformation-Loading）对七千万条数据进行清理、整合，构建数据库。通过数据挖掘的相关工具对用户行为分别在热点时间、用户兴趣、匹配业务等角度采用聚类、文本挖掘、关联分析等方法进行知识挖掘，从统计数据中发现现有营销策略的问题，给运营商提供新的思路并为精准营销提供数据支撑。（三）主要参考资料：

[1] 王禹媚，田俊维移动互联网产业发展国际论坛会议纪要2013中国国际工业博览会论坛上海2014年11月10日

[2] 宴宗明基于用户行为分析的移动通信增值业务市场策略研究长沙：2013

[3] 杰斌．数据挖掘与OLAP理论与务实．北京：清华大学出版社，20013

（四）时间进度要求：

2013年12月-2014年3月毕业设计调查

2014年4月—2014年8月毕业设计初步设计

2014年9月—2015年1月毕业设计详细设计

2015年2月—2015年5月准备毕业答辩

指导教师签名： 2015年 5月 16 日

教研室主任签名：年月日

学生签名：年月日

唐山职业技术学院毕业设计开题报告

唐山职业技术学院毕业设计评定意见

摘要

随着近年来国内互联网APP的强势发展，三网融合的进入一个新的阶段。互联网APP行业的市场竞争异常激烈，基于用户习惯的产品竞争将是各运营商的服务竞争。由于互联网APP 业务的多样性，国内运营商的运行方式正逐步从“产品独立运营”向以“客户为中心”的“产品融合运营”转。新的商业模式和日趋激烈的竞争环境对电信增值业务运营管理提出了新的要求和挑战。

本文的主要目的就是通过对用户上网行为数据的分析，深入剖析用户的需求，精确定位用户适配的业务类型，并加以调整和创新。同时也可以把业务推广给客户，从而贯彻“按客户找业务，为业务找客户”的宗旨。

通过深入学习各种数据挖掘的算法，构建用户行为分析与业务匹配模型；然后在对移动互联网的数据分析梳理之后进行数据采集，对于获取到的数据，按照ETL （Extraction-Transformation-Loading）思路，对七千万条数据进行清理、整合，构建数据仓库。通过数据挖掘的相关工具，对用户行为信息分别从热点时间、用户兴趣、匹配业务等角度，采用聚类、文本挖掘、关联分析等方法进行知识挖掘。从统计数据中发现现有营销策略的问题，给运营商提供新的思路并为精准营销提供数据支撑。

本文构建的系统设计思路简洁清晰，结果经实践验证可行有效，为进一步实现更多数据源与更大数据量的用户分析系统的构建打下了良好的基础。

关键词：互联网APP 用户行为分析数据挖掘

目录

引言 (1)

一、用户行为数据分析方法 (1)

（一）用户行为分析 (1)

（二）用户行为分析工具与方法—数据挖掘 (2)

二、互联网ARP数据源分析与数据处理算法 (3)

（一）互联网APP的资料源分析 (3)

（二）数据流量的飞速增长 (3)

（三）数据源的变化 (4)

三、用户分析 (4)

（一）用户上网时间分析 (4)

（二）用户上网兴趣分析 (8)

结论 (12)

参考文献 (13)

致谢 (14)

引言

20世纪70年代以来，互联网这一深入影响全球人类生活的技术得到了急速的发展；进入21世纪，随着移动互联网、物联网概念的深入，互联网的发展进入了新的发展时期。根据摩根士坦利（Morgan Stanley）的报告，全球移动互联网用户已经超越了桌面互联网用户。未来基于“互联网+移动互联网”的泛在物联网成为主流趋势。在摩根斯坦利的报告中估计，全球3G用户普及率已经达到20%，跨过了“高科技的裂谷”，有可能迎来新的发展高峰期用户发展趋势的估计事实上，在2013年1月10日在上海举行的2013中国国际工业博览会论坛中，移动互联产业发展国际论坛会议的资料显示，“2013年6月，全球3G用户达到17.57亿，占全球移动用户的35.3%，3G用户占新增移动用户的42%。发达国家3G用户渗透率已达到60%左右，发展中国家由于起步较晚，3G渗透率一般低于50%。”“我国移动互联网收入规模增速迅猛，03-14年复合增长率达到74%。移动互联网用户的总数逐年攀升，增速远超互联网用户的总体增长率。2013年9月，全国3G用户9500万以上，3G用户渗透率达4.2%，新增3G用户占总体移动新增用户的25.3%。预计1年渗透率有望突破10%。群体传播效应也将逐步显著起来，3G在移动用户中的渗透速度也将明显加快。”

在3G加速渗透的背景下，3G移动业务在移动通信中的收入占比也是逐年提升的，由10年的25.2%到08年的32.7%，10年即已将超越50%，移动互联业务的发展也将是移动业务的发展方向与热点。在这样一个移动互联网与互联网交织更替的时代，产业链中的终端供货商、信息服务提供商们都急需转型，而在当今市场形势下，实施精准营销则是实现战略转型的关键举措。精准营销是为产品、业务、内容等寻找可能会感兴趣的潜在目标用户的方法过程。要尽可能精确地寻找到目标用户，必须对目标用户的行为、兴趣爱好等进行分析，并与需要营销的产品、业务、内容相匹配。因此精确营销与用户行为分析往往紧密的联系在一起。目前，精确营销已广泛应用于互联网、移动通信的各种应用。在这样一个背景下，移动互联网用户行为分析作为新领域则引起各方的广泛关注。

一、用户行为数据分析

（一）用户行为分析

从营销学角度考虑，影响用户行为决策的因素很多。有关用户行为研究的理论模式，比较知名的有EKB（Engel-Kollat-Blackwell）模式、ler模式Howard-Sheth模式、Howard模式等等[4]。影响用户行为决策的因素很多，从内外因素考虑，应包括个人因素、心理因素、

文化因素与社会因素[5]。个人因素是指用户行为受其年龄、职业、经济环境、生活方式、性格与其价值观等方面的影响。心理因素则是用户行为受动机、知觉、归因、学习及信念和态度等心理因素的影响。文化因素是指用户行为受到其所处文化广泛而深远的影响，包括文化与亚文化等方面的影响。社会因素是指用户行为受到用户相关群体、家庭和社会角色与地位的影响。这些营销学上的分析都是从用户本身的情况出发，分析用户行为决策的过程，而我们这里谈及的用户行为分析，却截然相反，是从用户的行为习惯等出发分析用户的习惯、喜好、关注焦点等等，对用户进行全方位的刻画，为营销学提供技术支撑。

（二）用户行为分析工具与方法——数据挖掘

在现代化管理中，运营系统都能详细记录用户行为，系统中很快就能够累积大量的历史数据，当今的实际情况就是数据丰富而信息贫乏，我们要分析用户行为，从我们的目的出发，最强有力的工具就是数据挖掘，即获取用户行为产生的海量数据，并将这些数据转换成有用的信息和知识。在人工智能领域，习惯上又称为数据库中知识发掘KDD，即从数据集中甄别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程知识发现将信息变为知识，从数据的金矿中找到蕴藏的知识金子，将为科技的创新、知识的发现与经济的发展作出贡献。

在上面的表述中“数据”是一组事实F（例如相关数据库中的记录）。“模式”是一种用语言来描述的一个表达式E，用以刻画资料集F的某个子集。一个模式，必须比其对应数据集F的子集E的枚举要简单（用于描述的相关信息要少）。“过程”在知识挖掘中通常是包括多阶段的处理的，包括收集处理数据、搜索相关模式、评价所获模式和反复的修改优化的过程；要求这个过程是“非平凡的”，就是说这一过程需要有一定程度的自动化与智能化（例如仅给出所有数据的均值等统计数据并不能算作是知识发现的过程）。“有效性”是指通过过程发现的模式对于新获取的数据仍能保持一定的可信性。“新颖性”要求发现的模式不应该是旧有的。“潜在有用性”是指发现的模式应当在将来会有实际的应用价值，例如用于决策树系统可用于提高经济收益。“最终可理解性”要求发现的模式可以被目标群体明白，这一特性目前主要体现在简明易懂上。“有效性”、“新颖性”、“潜在有用性”和“最终可理解性”这四种性质可统称之为“兴趣性”。由于知识发现是一门受到来自各种不同领域的研究者关的交叉性学科，因此导致了很多不同的术语名称。除了知识发现之外，主要还有如下若干种称法：“知识抽取”（information extraction）、“探索式数据分析”

（exploratory data analysis）、“信息发现”（in1ormation discovery）、“数据挖掘”（data mining）、“信息收获”（Informationharvesting）、“智能资料分析”（intelligent data analysis）和“数据考古”（data archedogy）等等。数据挖掘与人工智能在Gartner Group 的一次高级技术调查中被列为未来三到五年内将有的五个对工业产生深远影响的关键技术”中的第一位，并将并行处理系统和数据挖掘列为未来5年重点投资十大新兴技术的前两位。根据Gartner 的高性能计算研究表明，“随着数据采集，传输和存储技术的快速发展，大型系统用户将更加需要采取新技术，挖掘其它更广泛的并行处理系统的使用市场价值来创建一个新的业务增长点。

二. 互联网ARP数据源分析与数据处理算法

（一）互联网APP的资料源分析

2013年初，据摩根斯坦利的报告宣称，全球已经开始进入移动互联网的时代。目前，中国有7亿多的手机用户，其中有接近2亿的手机网民，这表明中国移动互联网市场尚存在巨大的市场空间，而随着智能手机的日渐流行和平板电脑等移动终端的出现，移动互联网的潜力和趋势也愈来愈显现了，第五次科技革命”——移动互联网正走进我们的视野中。在这其中，移动互联网应用的推广将会极大地促进移动互联网时代产业链的合作共赢。

（二）数据流量的飞速增长

爱立信（Telefonaktiebolaget LM Ericsson）最新发布的全球网络数据流量测量结果显示，去年全球移动数据流量几乎增长了两倍，比语音流量的增长速度快10倍以上。根据爱立信的统计资料，截至2010年第二季度，全球每月移动数据流量接近22.5万太字节。这也是继2009年12月移动数据流量首次超过移动语音流量后又一次指数级增长。尽管目前移动宽带用户仅占移动用户总量的10%，但其带来的流量却已经占据了整体流量的大部分。市场研究机构eMarketer预计，今年将有1800万手机用户通过手机上网，2013年第一季度时为1000万。该公司在同一份声明中称，“移动互联网使用量年复合增长率将达到15.7%，高于同时期手机用户2.1%的年复合增长率。

（三）数据源的变化

数据业务流量迁移，从根本上来看，是运营商为了提高网络资源的利用率，让用户更容易、更经常地去使用有着更高价值的业务——移动互联网，最终提高运营商的盈利能力和面向未来的可持续发展能力。但流量迁移的背后，实际上是用户的迁移，就是传统互联网用户向移动互联网用户的迁移。而中国的移动互联网正在从传统3G时代的信息浏览转向4G时代，在4G网络建设大规模投建及4G终端大规模推向市场的行业趋势下，中国移动互联网大环境正逐步改善，中国通信网路环境的改善，以及流量资费的下调给人们利用手机上网提供了更好的客观条件，另外手机终端条件的逐渐改善也进一步推动了以手机浏览器为典型代表的移动互联网应用活跃度的提升。

随着各种移动互联终端设备，如智慧手机、平板计算机等的高速发展与越来越多的无线互联应用提供商研发的各种无线互联的应用程序的高速上市，人们对移动互联网的认识也渐渐扩大为电信网，互联网和通信网，娱乐网络融合的一个终极形式。其数据源从简单的通信与wap网络急速扩张，已然涵盖大部分的web数据，对于这种多数据源的分析也是现阶段移动互联用户行为分析亟待解决的一大问题。

三. 用户分析

（一）用户上网时间分析

这一步为统计分析，针对获取的所有信息处理。由前所述方法，首先对本周各天统计资料加以聚类，步骤如下：

1.先把从原资料中统计出来的上网人数、网页点击数、上传流量、下载流量、上网时长这些参量分别标准化。

2.然后分别对个参量对应的数据聚类次，得出表1。其中1-4表示该时段繁忙程度，4为最繁忙，1为最不繁忙。

如果有更多的数据，可以考虑进一步分析每周的哪几天是用户上网行为较为繁忙的，并制定出对应的营销策略。

显然由于按每天的数据分析，得不到忙闲时段的统一分类结果，无法达到较好的效果，我们继续在更大时间范围上进行分析如下。即对整周的统计资料进行聚类分析：

3.将整周的统计资料累加起来，得到每个参量在一周中每个时段的总值，并加以标准化。

从下表可以看出对于一周的各天，各个时段的繁忙程度是不同的。

图1 每日上网的忙闲时（1表示最闲，4表示最忙）

4.问题返回，进行步骤A&B ，就可得到结果如下表。

表2 一周上网的忙闲时（1表示最闲，4表示最忙）

Time

Week 1

2

3

4

5

6

7

8

9

10 11

12

13

2 2 1 1 1 1 2 2

3 3 3 3 3

14

15

16

17

18

19

20

21

22 2 3 3 2 3 2 3 4 3

上表可知，最繁忙时段（即标记为4的时段）只有一个，为21时到22时这一个时段。这个结果已能在很大程度上反映出用户上网时间的习惯。

从表2的结果来看，尽管存在21时这样的特殊忙时段，我们还是可以看出，手机上网不像移动通信那样存在一个极其繁忙的时间段，如20-21时，而更像是用户在PC机上上网那样，几乎整个白天到子时的上网频率都是很高的。根据一星期的手机上网的参量表来看（图12），从上午9时开始，各参量值均较高，但在午餐时间14时至15时和晚餐时间19时到20时的手机上网数据较少，而在20时到次日1时之间又是手机上网的高峰期，特别是21时到22时这一小时，这样的情况和平常用计算机上网的时间非常相近，所以可推测手机上网不再是因为不能计算机上网时的替代品，并随着技术高端的电话逐渐占领市场，手机上网这一服务将越会越抢占网络市场的。除此之外，由图12与图13可看出，手机上网的时间分布和打电话的时间分布有一定的相似性，分别在于手机上网的时间分布较平均，没有出现极端情况，但是打电话的时间分布在凌晨时段则会明显较少。所以与打电话相关的分析和业务对手机上网有一定的指导作用。

图3手机上网各个时段的参量和手机上网各个时段的时长数据统计图由上面的分析，我们选择把时间分为连续的时间段，并定义从0时到9时为闲时，定义9时到24时为忙时，定义20时到21时这段时间为上网热点。由各参量的饼形图可看出（图14），9时到24时的各参量的数值已占该参量总值的75%以上，所以认为定义9时到24时为

忙时是比较合理的。

图4 忙闲时各参量的饼形图（跨度为一星期）

从这样一个结果可以预见，在手机上网的热点时段（21时），也不会出现像打电话忙时

那样的对网络造成重压。

如果移动网络在忙时还有很大量的可用空间，就可以提出类似这样的营销案：适当降低

忙时的上网价格，因为网上冲浪的持续性比打电话高，那么用户就会在忙时更多的上网。同

时由于闲时价格不变，也不会减少用户闲时上网的时长，这样可能会极大提高消费额。

（二）用户上网兴趣分析

过程如下：

1.获取范本库

我们通过网络爬虫、文本分析等方法获取具有代表性和区分性的范本，即包含或与该范本有高度匹配的Url与该模板是同一类型的网页。当然，可能存在有代表性但区分性不高的范本，如image，由于很多网页都会包含图片，所以包含image的url肯定是有图片信息，但是否具有其它属性，如游戏、漫画等就不可知。所以我们按区分性将模板加权，按被辨识出来类别的权重将url加以归类。

图5 信息分类图

按照已有用户上网行为分析的信息分类表（如上图），加以丰富、改造后，给予每个分类模板分类标号后，将该模板加入模板库中。定期，不定期（在有事实热点发生时）的更新、修改范本库。

2.匹配url

将获取的url与模板库中的模板匹配并加以归类。

3.定义用户兴趣点

目的是要反映出大众上网行为习惯的倾向，但由于数据量较大不能全部使用。我们由抽样调查理论计算得出，在准确率95%、误差2%的条件下，仅需3500人左右开能反映出大众（百万级别）的特征。因此。我们从3晚多不同的imsi号码中随机了3000个出来加以统计分析来反映这些公众兴趣特征。根据各url

分类后，我们把点击各类的人坐牢统计。

图6统计量的点击数统计图

按选定规则将上网行为归为29个类型，统计结果显示这3000人在7天中上网次数72万次，人均日上网次数34.3699，而有url记录的有41万，缺失大概3/7，对于这部分缺失，我们选择使用url分类后等比拓展来代替原有缺失。这种方法固然不是最合适的，但是由于对应ip依然很难提供分类信息，因此这种快捷而有效方法还是可行的。

六. 结论

首先看一下这些互联网APP的客户使用分布情况：

图3-5 业务用户价值分布状况图

从分析得到的比例图看来：首先，分布没有像期望的那样呈常规用户占大多数，中间种两端轻的状况，而是两极分化现象比较严重；其次，从价值用户的比率与互联网APP用户的基数（这里是200万）来看，有价值用户数量是超出我们已知数值的，这表明这些业务的发展空间还是很大的。

参考文献

[1] 王禹媚，田俊维移动互联网产业发展国际论坛会议纪要2013中国国际工业博览会论坛上海2014年11月10日

[2] 宴宗明基于用户行为分析的移动通信增值业务市场策略研究长沙：2013

[3] 杰斌．数据挖掘与OLAP理论与务实．北京：清华大学出版社，20013

唐山职业技术学院毕业设计(论文)资格审查、答辩及综合成绩评定表

致谢

毕业设计即将结束之际，回顾两年来的学习研究生活，我觉得无论是自己的是理论知识还是实践能力都有很大的进步。论文的撰写，是对研究生生活学习的一个总结，它把我们学的知识紧密的结合起来并加以润色、打磨。在这几年里，我所获得的每一点收获都是我的老师、同学、朋友和家人们的教诲与鼓励，关爱与帮助的结晶。两年的读书研究生活在这个季节即将划上一个句号，而于我的人生却只是一个逗号，我将面对又一次征程的开始。

论文的完成，与我的导师——康健对我的教导是密不可分的。康健老师知识渊博，治学严谨，思想深邃，视野宽阔，为我创造了良好的精神氛围。康健老师授人以渔，跟随老师的这段时间，受老师影响，潜移默化的接受新观念，树立远大的学术目标，了解治学的基本思路。论文从选题构思到框架搭建，从资料整理到终稿审定，都得到老师精心指导。每一次与老师的讨论都使我受益不少，我的学术思想和认识就是在这种良好的氛围下成长的。在唐山职业技术学院学习的这段时间里，有幸能跟随康健老师学习，他正直善良的人格魅力、严谨求是的治学态度、精益求精的工作作风、以及身体力行的努力精神使我受益颇深。在此，谨向康健老师表示诚挚的敬意和衷心的感谢!

感谢所有在毕业设计中曾经帮助过我的良师益友和同学，以及在设计中被我引用或参考的论著的作者。感谢各位同学在困难时给我的鼓励，顺利时给我的赞美。特别要感谢我的家人，感谢你们给予我潜心向学的坚实后盾。感谢所有曾经关心过我和帮助过我的人们，因为你们，我的人生才变得更加丰富。

祝愿你们永远幸福！