基于用户行为的数据分析与挖掘
基于数据挖掘算法的B站用户行为数据分析 计算机科学和技术专业
基于数据挖掘算法的“B站”用户行为数据分析摘要经过多年的发展，网络视频已经成为互联网上的主要应用之一。
目前，网络视频具有数量大、发布快、影响多、影响力大的特点。
Bilili Barrage Video Network(简称B站)作为当下国内首屈一指的弹幕视频网站。
对全平台的视频调查可知，B站用户创作的视频数量所占比例高达85%。
而对于其中的视频创作者而言，如何在互联网繁杂的数据海洋中，进一步分析和研究热点视频则成为了研究的难题所在。
本文的数据取自2020年8月的B站，其主要涉及有关生活版块的热点视频数据，并选取了大量热点词、评论等数据进行分析和研究，并最终实现了数据的可视化研究，不仅可以了解这段时间网络舆情的总体趋势，掌握用户的心理态度，加强受众的互动反馈，还可以激发用户对于B站文化探索的兴趣。
关键词哔哩哔哩；用户行为分析；热点视频；ABSTRACTAfter years of development, online video has become one of the main applications on the Internet. At present, online videos have the characteristics of large quantity, quick release, large influence and great influence. Bilili Barrage Video Network (abbreviated as Station B) is currently the leading barrage video website in China. According to the video survey on the whole platform, the proportion of videos created by users of station B is as high as 85%. For the video creators among them, how to further analyze and study hot videos in the complex data ocean of the Internet has become a difficult research problem. The data in this article is taken from station B in August 2020, which mainly involves hot video data related to life sections, and selected a large number of hot words, comments and other data for analysis and research, and finally realized the visualization of the data. Understanding the general trend of online public opinion during this period, grasping the psychological attitude of users, and strengthening the interactive feedback of the audience can also stimulate users' interest in cultural exploration at station B.Key words：Bilibilib; User behavior analysis; Hot video;目录第1章绪论 (1)1.1选题背景与意义 (1)1.2研究目的及意义 (2)1.3国内外研究现状 (2)第2章关键技术 (3)1.1爬虫技术 (4)2.2Python (4)第3章模块设计 (4)3.1数据爬取模块 (5)3.2数据的挖掘与分析模块 (5)3.3数据可视化模块 (5)第4章数据挖掘和分析 (6)4.1 样本选取与数据来源 (7)4.1.1数据爬取 (7)4.1.2数据预处理 (11)4.2各功能模块的实现 (12)4.2.1热点视频的数据分析及可视化 (12)4.2.2视频弹幕数据 (26)第5章总结 (31)参考文献 (323)致谢 (325)第1章绪论1.1选题背景与意义国内用户将Bilibili简称为B站，该平台是自AcFun之后，国内的第二家弹幕视频网站。
基于大数据分析与挖掘的社交媒体用户行为分析
基于大数据分析与挖掘的社交媒体用户行为分析社交媒体用户行为分析：揭示用户喜好与行为动向的大数据之道随着社交媒体的飞速发展，互联网已经成为人们获取信息、交流观点以及社交互动的重要渠道。
海量的用户数据积累在社交媒体平台上，这些数据记录了用户的行为、偏好和互动模式，为了更好地理解用户行为并提供个性化的服务，社交媒体平台需要进行基于大数据分析与挖掘的用户行为分析。
一、数据采集与预处理社交媒体平台上的用户行为数据十分庞大且多样化，包括用户的发帖信息、点赞、评论、关注、分享等。
为了进行精准的用户行为分析，首先需要从社交媒体平台获取相关的数据。
通常，平台会提供开放的API接口，可以通过API获取用户行为数据，同时也可以利用网络爬虫技术进行数据采集。
在数据采集阶段，需要进行数据预处理来清洗和规范数据。
这包括去除重复数据、处理缺失值、异常值和噪声数据等。
此外，还需要进行数据格式转换，将原始数据转化为可分析的结构化数据。
二、用户画像构建用户行为数据对于社交媒体平台来说是一把双刃剑，既可为用户提供更好的服务，也可能危害用户隐私。
因此，在进行用户行为分析时需要遵循严格的数据隐私保护政策。
通过分析用户行为数据，可以建立用户画像。
用户画像是以用户行为数据为基础，通过数据挖掘和机器学习算法来构建用户的特征和兴趣偏好模型。
常用的用户画像特征包括性别、年龄、地域、职业、学历等基本信息，以及用户喜好的领域、关注的人物、社交圈子等。
三、用户兴趣分析用户兴趣分析是社交媒体用户行为分析的重要任务之一。
通过分析用户的关注、点赞、评论等行为，可以洞察用户的兴趣，并精准地为他们推送相关内容和广告。
在用户兴趣分析中，可以采用协同过滤算法、关联规则挖掘等技术，通过分析用户行为数据与其他用户的行为数据的关系来推断用户的兴趣偏好。
此外，还可以采用文本挖掘技术，对用户的发帖信息进行情感分析和主题建模，从中挖掘用户的兴趣爱好。
四、社交影响力分析社交影响力是社交媒体用户行为分析的重要指标之一。
用户行为数据的挖掘和应用案例分析
用户行为数据的挖掘和应用案例分析在如今信息爆炸的时代，每个人都会在网络上留下大量的数据。
这些数据不仅能帮助企业了解用户需求，优化产品设计，还能在营销方面发挥重要作用。
本篇文章将探讨用户行为数据的挖掘和应用案例分析。
一、用户行为数据的挖掘1.数据收集要了解用户需求和行为，首先需要收集一定的数据。
数据的收集涵盖了从用户进入网站、点击商品、下单购买等各个环节。
数据的种类包括用户身份信息、上网行为方式、互动行为等。
通过收集这些数据，我们可以分析用户兴趣、行为习惯和购买决策等方面。
2.数据清洗收集到大量的数据后，需要进行筛选和清洗。
数据清洗的主要目的是排除重复数据、无效的数据和异常的数据。
这是为了确保数据的准确性和完整性，并为后续分析提供可靠的数据资源。
3.数据分析通过用户行为数据的挖掘，可以发现用户的个性化需求和趋势。
基于数据分析，我们可以得到用户画像、用户行为路径和用户转化率等信息。
同时，也可以发现效果不好的页面和功能模块，及时优化产品设计。
二、应用案例分析1. 社交媒体的数据挖掘和应用社交媒体平台是目前最受欢迎的数据挖掘应用领域之一。
社交媒体平台收集到的大量数据可以分析用户的兴趣爱好、情感状态和社交关系。
比如Facebook,通过分析消费者的互动行为、点赞和评论等数据，可以为广告主提供有针对性的广告推广。
2. 电子商务平台数据挖掘和应用电子商务平台的数据挖掘主要集中在个性化推荐和营销中。
通过对用户搜索历史、购买记录和点击记录等数据的分析，可以为用户提供更有针对性的商品推荐。
同时，通过对用户购买决策的分析，可以设计更有效的促销和折扣策略，提高销售额。
3. 金融领域数据挖掘和应用金融领域的数据挖掘主要涵盖了反欺诈和风险管理。
银行等金融机构可以通过分析用户的行为方式、支付历史和上网习惯等，预测用户欺诈和违约情况。
同时，可以为用户提供贷款、信用卡等服务，并为风险评估提供重要依据。
三、结论用户行为数据的挖掘和应用已成为互联网企业的一大趋势。
基于机器学习的用户行为轨迹挖掘与分析研究
基于机器学习的用户行为轨迹挖掘与分析研究用户行为轨迹是指在互联网环境中，用户在不同时间点上的操作行为记录。
基于机器学习的用户行为轨迹挖掘与分析研究，通过对用户行为轨迹数据进行挖掘和分析，可以帮助企业了解用户的偏好和需求，提升产品的个性化推荐能力，优化服务和营销策略，从而提高用户的满意度和企业的竞争力。
一、用户行为轨迹数据的搜集与处理用户行为轨迹数据的搜集可以通过多种途径获取，例如网站或移动应用程序的日志文件、用户访问记录等。
搜集到的原始数据通常是非结构化的，需要经过一系列的处理和清洗才能用于后续的挖掘和分析。
1. 数据清洗与预处理数据清洗是指对原始数据进行去噪、去重、缺失值处理等操作，以确保数据的质量和准确性。
同时，需要将非结构化的数据转化为结构化数据，以便后续的特征提取和模型训练。
2. 特征提取与选择特征提取是从用户行为轨迹数据中提取有用信息的过程。
可以通过统计方法、时间序列分析、频繁模式挖掘等技术来提取特征，包括用户的访问时间、访问频率、浏览页面等。
同时，可以使用特征选择算法来选择最相关的特征，减少特征空间的维度，加快模型的训练和预测速度。
二、用户行为轨迹挖掘方法与技术用户行为轨迹挖掘是指通过对用户行为轨迹数据的分析，发现其中的规律、趋势和关联性。
基于机器学习的用户行为轨迹挖掘可以采用以下方法和技术：1. 聚类分析聚类分析是将具有类似特征的用户行为轨迹数据分成不同的簇的过程。
通过聚类分析可以发现用户行为的共性和相似性，从而进行用户群体的划分和个性化推荐。
2. 关联规则挖掘关联规则挖掘是通过发现不同用户行为之间的关联规则，揭示用户行为之间的相互影响。
通过关联规则挖掘可以提取用户的购买模式、喜好等信息，为个性化推荐和精准营销提供支持。
3. 预测模型建立通过建立预测模型，可以基于用户过去的行为轨迹数据预测用户未来的行为趋势。
可以使用时间序列模型、回归模型等方法进行建模，从而提供用户行为预测的依据。
电商平台用户行为数据挖掘与分析
电商平台用户行为数据挖掘与分析一、研究背景近年来，随着互联网技术的发展和普及，电子商务已经成为一种重要的商业模式，其范围涉及到了各个领域。
在中国，电子商务发展非常迅速，而且已经形成了巨大的市场规模。
根据2019年中国互联网发展报告显示，中国电商市场交易额已经超过了30万亿元，其中移动端交易额占据了80%左右。
但是，与此同时，电商平台的竞争也变得越来越激烈。
如何更好地增加用户粘性，提升销售额，已成为所有电商平台都需要解决的一个问题。
因此，对于电商平台来说，了解用户行为，挖掘用户需求，设计更加符合用户需求的产品，是非常有必要的。
二、研究内容2.1 数据采集和预处理在电商平台用户行为数据挖掘和分析过程中，首先需要进行的是数据采集和预处理。
数据采集方面，主要从用户的网站访问、搜索行为、购买行为等入手。
而预处理方面，则需要首先删除掉一些无关的数据，如异常数据、缺失数据等，然后根据实际需要进行数据清洗、转换和集成，以方便后续分析。
2.2 用户行为分析在进行用户行为分析时，需要将电商平台的用户行为数据进行深入挖掘，了解用户的兴趣、需求和行为习惯等信息。
其中，用户的行为习惯是非常重要的，因为对于电商平台来说，了解用户的行为习惯可以帮助平台更好地为用户提供个性化服务，并提升用户的购买体验。
2.3 用户画像构建通过对用户的行为数据进行分析，可以得到用户画像，即反映用户兴趣偏好、购买习惯等特征的集合。
构建用户画像有利于电商平台更好地了解用户，以及根据用户需求开发更加符合用户需求的产品和服务。
2.4 基于用户行为的产品推荐通过对用户画像的构建，可以为每个用户匹配更加符合其兴趣和需求的产品，并进行推荐。
电商平台可以根据用户采取不同的推荐算法，如基于协同过滤的推荐算法、基于内容相似度的推荐算法等。
三、应用前景电商平台用户行为数据挖掘和分析已经成为电商平台提高用户粘性、增加销售额的重要手段之一。
通过对用户行为数据的挖掘和分析，可以更加精准地了解用户需求和行为特征，为用户提供更加符合其需求的产品和服务，提高用户的购物体验和忠诚度，从而促进电商平台的发展。
基于用户行为的手机APP数据分析与挖掘
基于用户行为的手机APP数据分析与挖掘手机APP已经成为人们日常生活的重要组成部分，在用户使用手机APP的过程中产生了丰富的用户行为数据。
这些数据包含了用户的点击、下载、评论等行为，通过对这些数据的分析与挖掘，我们可以深入了解用户的喜好与需求，从而优化APP的设计与功能，提升用户体验和App的价值。
本文将介绍基于用户行为的手机APP数据分析与挖掘的方法和技术。
一、数据收集为了进行用户行为数据分析与挖掘，首先需要收集APP的用户行为数据。
常见的数据收集方法有以下几种：1.日志记录：通过在APP中插入日志代码，记录用户行为信息，如点击事件、页面浏览等。
可通过后台服务器实时接收和存储这些数据。
2.问卷调查：设计合适的问卷，询问用户对APP的使用情况和意见，了解用户的需求和体验。
问卷结果可以进行数据分析和挖掘。
3.用户访谈：通过与用户面对面的交流，了解用户对APP的使用心理和体验，收集用户行为数据，并进行进一步的挖掘和分析。
二、数据预处理在进行数据分析和挖掘之前，需要对收集到的用户行为数据进行预处理。
常见的预处理步骤包括：1.数据清洗：去除重复数据、缺失数据和异常值。
确保数据的准确性和完整性。
2.数据集成：将来自不同数据源的数据进行整合，形成完整的数据集。
3.数据转换：将数据转换成适合分析和挖掘的格式，如将文本数据转换成数值型数据。
4.数据归一化：对数据进行规范化处理，消除不同数据之间的差异性，以便进行统一的分析和挖掘。
三、数据分析数据分析是根据用户行为数据，通过统计和数学方法，发现数据的规律和特征，以及用户的偏好和需求。
常见的数据分析方法包括：1.描述性统计分析：对数据进行统计描述，如平均数、中位数、频次分布等，了解用户行为的基本特征。
2.关联规则挖掘：通过挖掘数据中的关联规则，发现用户之间行为的相关关系。
比如用户A下载了APP1，通常也会下载APP2。
3.聚类分析：将用户按照其行为特征进行分组，寻找共同点，并为不同用户群体设计个性化推荐策略。
基于大数据分析的网站用户行为模式挖掘与优化
基于大数据分析的网站用户行为模式挖掘与优化在互联网时代，网站用户行为模式挖掘与优化已经成为企业建设和经营的重要组成部分。
借助大数据分析的技术手段，企业可以深入了解用户的行为习惯和需求，从而优化网站的设计、内容和运营，提升用户体验，增加用户黏性和转化率。
首先，大数据分析可以帮助企业挖掘用户的行为模式。
通过分析网站的访问日志、点击流数据等大量数据，可以了解用户在网站上的浏览、搜索和交互行为。
例如，可以分析用户的浏览路径和点击热点，了解用户在网站上的活动轨迹和关注点。
同时，还可以通过聚类分析等技术手段，将用户进行分类，挖掘出不同用户群体的行为模式和特点。
通过深入理解用户行为模式，企业可以有针对性地调整网站的布局、内容和功能，提供更符合用户需求的服务。
其次，大数据分析可以帮助企业优化网站的设计与内容。
通过分析用户的搜索关键词和点击偏好，可以了解用户对哪些内容感兴趣，哪些内容能够吸引他们的注意。
企业可以根据这些数据，调整网站的导航结构、页面设计和内容呈现方式，使得用户更容易找到自己感兴趣的内容。
此外，还可以根据用户的偏好推荐相关的产品或服务，提升用户的购买意愿和满意度。
通过不断优化网站的设计与内容，企业可以吸引更多用户的关注，提高网站的访问量和用户留存率。
第三，大数据分析还可以帮助企业优化网站的运营策略。
通过分析用户的行为数据，企业可以找出用户流失和转化的痛点，针对性地制定运营策略。
例如，可以通过分析用户的离开页面和跳出率，找出网站存在的问题和改进的空间。
同时，还可以结合用户的行为数据进行A/B测试，比较不同策略的效果并做出相应调整。
通过不断优化网站的运营策略，企业可以提升用户的满意度和忠诚度，增加网站的转化率和收益。
此外，大数据分析还可以帮助企业预测用户行为，提前做好准备。
通过对历史数据的分析，可以研究用户的消费习惯和行为模式，在特定时段或活动期间预测用户的需求和行为，从而有针对性地制定营销策略和推广方案。
基于数据挖掘的腾讯视频用户行为分析研究
基于数据挖掘的腾讯视频用户行为分析研究腾讯视频近年来在国内视频行业市场中占据重要的份额。
随着用户数量和用户行为数据的增加，腾讯视频与数据挖掘的结合也成为一种趋势。
本文将从数据挖掘的角度对腾讯视频的用户行为进行深度分析。
一、数据收集为了进行数据挖掘分析，我们需要获取用户行为数据。
腾讯视频提供了 API 接口供第三方进行数据获取，其中部分接口需要授权才能访问。
数据获取需要遵循腾讯视频的开发文档规定，且不能泄漏用户隐私数据。
二、数据预处理获得原始数据后，需要对数据进行预处理。
预处理步骤可以简单地分为三个部分：数据清洗、数据重构和数据格式化。
数据清洗是指对原始数据进行筛选和清理。
因为原始数据可能包含重复数据和格式错误的数据，需要将这些数据清洗掉，只留下有效的数据。
数据重构是将清洗后的数据进行结构重组，以便后续的分析。
例如，对于用户观看记录数据，可以整合为每个用户收看单个视频的记录，以便进行更精准的统计分析。
数据格式化是将重构后的数据格式进行处理，以便于后续的分析。
例如，时间格式化、数据类型转换等。
三、用户习惯分析通过用户行为数据的统计分析，可以了解用户在腾讯视频上观看视频的偏好。
例如，用户观看视频的时间分布、用户搜索最多的视频、用户对某个剧集最感兴趣的部分等等。
这些数据对于视频内容推荐和用户吸引都具有重要意义。
四、用户兴趣分析用户兴趣分析是对用户在腾讯视频上观看视频内容的分类和归纳，以查看能够吸引用户的重点。
通过训练机器学习模型，可以进行用户兴趣分类，例如动作、悬疑等类型的分类。
通过用户兴趣分析，可以进行电影、电视剧、综艺节目等内容的个性化推荐，提升用户的观看体验。
五、用户流失分析用户流失分析是指对腾讯视频用户的观看习惯和用户行为数据进行分析，以了解用户疑惑、不满意和不符合其期望的内容。
需要对用户短时间内的访问、评论、收藏、推荐等数据进行分析，查看有哪些环节影响用户的流失率。
通过对用户流失的分析，可以调整和改善腾讯视频的产品，提升用户体验，延长用户在腾讯视频上的停留时间。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
SACC2011
31 北京酷讯科技有限公司
邮件营销的分析结果
北京酷讯科技有限公司
SACC2011
32
数据挖掘
四种任务 聚类分析 预测建模 关联分析 异常检测
SACC2011
33 北京酷讯科技有限公司
聚类分析 (1)
发现紧密相关的观测值组群，使得同组的相似性越大，
不同组的差别越大，以达到较好的聚类效果 根据聚类得到的不同观测值组，做出决策树，为业务 部门提供决策支持
15
从上游系统向数据分析引擎单向推送数据 保证数据分析引擎与上游系统是互相独立的
SACC2011
北京酷讯科技有限公司
数据采集 (4)
常见问题 测量误差
因统计代码异步加载导致某些请求未被统计到 中文字段的乱码 字符串太长，超过了字段限制而被截断
数据收集错误
数据收集遗漏
我们会在数据清洗环节进行解决！
12 北京酷讯科技有限公司
数据采集 (1)
采集哪些数据？ 网页浏览行为（Pageview） 转化效果 用户在页面上的点击行为 页面元数据
SACC2011
13 北京酷讯科技有限公司
数据采集 (2)
如何采集？（以酷讯旅游网为例）
网页浏览行为
• javascript异步采集，get参数携带字段 值。 • 将结构化数据树状存储。
跳出率
平均访问深度
SACC2011
8 北京酷讯科技有限公司
“你要到哪里去？”(1)
网站的终极目标：促使用户形成转化效果
电子商务
支付订单
社会化媒体
一篇原创文章
跳转至来源网站
SACC2011
北京酷讯科技有限公司
搜索引擎
9
“你要到哪里去？”(2)
在转化的过程中，用户会留下各种痕迹
页面访问 路径
6 北京酷讯科技有限公司
“你从哪里来？”(1)
用户的流量来源有多种划分 免费流量，付费流量 不同的来路网站
直接打开网址 SEO/SEM 社会化网站 付费广告
SACC2011
7 北京酷讯科技有限公司
“你从哪里来？”(2)
为什么要关注流量来源？ 流量质量差异（以搜索引擎和自有流量为例进行对比）
页面点击 行为
页面结构 化数据
SACC2011
10 北京酷讯科技有限公司
现在我们回到主题
基于用户行为的数据分析与挖掘的目标 根据用户的访问路径、页面点击、访问内容等信息，发 现共性，找促使网站产生更好转化效果的方法。
SACC2011
11 北京酷讯科技有限公司
工作流程
采集
清洗
统计
分析
挖掘
SACC2011
39
SACC2011
北京酷讯科技有限公司
Q&A
SACC2011
40 北京酷讯科技有限公司
36 北京酷讯科技有限公司
关联分析
用户在预定机票的同时预定了什么？
SACC2011
37 北京酷讯科技有限公司
异常检测
识别其特征显著不同于其他数据的观测值（异常点，
离群点）
40.00% 35.00%
1. 2. 广州当地举办了什么活动？ 广州有无新的特价产品上线？
转 化 率
30.00% 25.00% 20.00% 15.00% 10.00% 8月1日 8月2日 8月3日 8月4日 北京 上海 广州
数据分析
例一： 利用SQL Server Analysis Services 的 OLAP （联机分 析处理）解决方案，分析SEM投放的投入产出比 工作流程 建立事实表和维度表 创建多维数据集 进行ETL操作
SACC2011
24 北京酷讯科技有限公司
事实表和维度表 (1)
房如华 2011.09.10
SACC2011
关于我
房如华，酷讯旅游网 BI部门 联系方式 @房如华bluetent bluetent@
SACC2011
2 北京酷讯科技有限公司
酷讯旅游网的BI团队
老公司的新部门 两个使命： 产品运营工作的“推进器” 让网站变得更“聪明”
SACC2011
25 北京酷讯科技有限公司
事实表和维度表 (2)
事实表
Visits Leads
维度表
ChannelPageType 首次到达某频道的页面类型
CurrentDate 当前时间 EntryDate 此次访问所在Visits开始时间（该visits的第一次访问时间） GlobalPageType 首次到达酷讯的页面类型 Lead Domain 跳往下游网站的主域名 Keyword 搜索关键词
• 转化率 • 跳出率
电话预订量
SACC2011
20 北京酷讯科技有限公司
数据统计 (2)
常用第三方流量统计系统
为什么我们还要做自己的数据统计呢？ 各种个性化的需求
例：无法支持任意维度的统计 例：频道间的内部交叉流量无法识别
SACC2011
21 北京酷讯科技有限公司
数据统计 (3)
消重
格式化 预处理
SACC2011
数据统计 (1)
基于用户行为的数据，要统计哪些？（以酷讯旅游网
为例）
流量来源 用户行为 转化效果
免费流量
• • • • 直接访问 SEO 社会化媒体 EDM
页面点击行为
CPA (Leads)数量 及收入
展示广告收入 付费流量
• SEM • 各种市场推广
访问路径
“你是谁？”
如何识别一个用户？ 按惯例，我们使用浏览器的cookie区分不同的用户 推荐使用Guid算法进行生成用户的唯一ID 如何识别一次访问？ 生成访问的唯一ID，并使用cookie记录 在cookie中记录会话的最后更新时间，超过N（如311
上游数据商的数据库
(蓝色为更新的数据）
商业智能数据库
说服上游数据商调整数据结构，能够形成双赢。
SACC2011
17 北京酷讯科技有限公司
数据清洗 (1)
什么是数据清洗？ ETL = Extract, Transform, Load（提取，转换，加载） 为什么要数据清洗？ 脏
例：性别字段非男非女，IP字段包含字母 “北京海淀酒店”= “北京市海淀区酒店”？ 字段太长被截断，导致内容失去意义
处理结果
SACC2011
29 北京酷讯科技有限公司
数据分析
例二： 分析不同城市用户邮件营销的开信、点击效果 工作流程 数据准备 进行ETL操作
SACC2011
30 北京酷讯科技有限公司
工作列表
数据准备 行政区划数据库 IP至城市对应关系的数据库 ETL 抽取：将开信日志和点击日志导入数据库 转换：将开信日志表和点击日志表中的IP转换成城市 加载：将转换后的城市和对应的email插入email和城市 对应关系表中
SACC2011
北京酷讯科技有限公司
38
回顾
需要明确用户行为的衡量指标体系 用户行为统计 不同来源的流量质量差异明显 采集与清洗 数据存储的格式要利于查询 需要处理好与上游数据商的关系 将足够的资源投入数据清洗工作 分析与挖掘 数据分析的两个例子：SEM投入产出比、邮件营销效果 数据挖掘的四类工作
SACC2011
34 北京酷讯科技有限公司
聚类分析 (2)
一个决策树的例子
20%产生购物行为，人均利润20元
老用户 60% 80%未产生购物行为，人均利润-1元 发放电子代 金券 10%产生购物行为，人均利润30元 新用户 40%
90%未产生购物行为，人均利润-2元
结论：发放电子代金券的人均利润为60%*(20%*20+80%*(SACC2011 1))+40%(10%*30+90%*(-2))=2.4元，值得一做。
页面元数据 点击行为 转化效果
14
• 向DOM节点挂载onclick事件。
• 通过统计中间页强制重定向。
SACC2011
北京酷讯科技有限公司
数据采集 (3)
定义数据的格式 以方便数据清洗和分析为第一要务 根据数据规模、维护难度选择不同的方案 选择数据的存储方式 \t \n分割的文本 关系型数据库 Hadoop 选择合适的数据流向 拉
SACC2011
3 北京酷讯科技有限公司
小调查
有多少公司在使用自行开发的统计系统？ 有多少公司已经开展了数据挖掘算法方面的实践？
SACC2011
4 北京酷讯科技有限公司
用户行为分析是道哲学题：
“你是谁？” “你从哪里来？” “你要到哪里去？”
SACC2011
5 北京酷讯科技有限公司
酷讯旅游网内部统计系统（labrador）简介
SACC2011
22 北京酷讯科技有限公司
数据统计 (4)
重要特性 支持流量的实时查看，最慢为小时级 支持频道间交叉流量的统计 对数据安全的考虑 浏览器安全证书：不可仿冒，不可抵赖 详细的审计日志
SACC2011
23 北京酷讯科技有限公司
35 北京酷讯科技有限公司
预测建模
以自变量函数的方式为目标建立模型 分类：预测离散的目标变量 例：在过去5年内，早上10点比下午4点的流量均高出 20%，可以预测未来一段时间也是这个比例。 回归：预测连续的目标变量 一元线性回归 多元线性回归 非线性回归
SACC2011