用户点击行为模型分析
人机交互测试中的用户行为模型分析(四)
人机交互测试中的用户行为模型分析随着科技的不断进步，人机交互成为了现代社会中不可或缺的一部分。
无论是使用智能手机、平板电脑、智能电视还是其他电子设备，我们都需要与计算机进行交互。
而人机交互测试就是评估用户与设备之间的交互体验以及用户行为模型的一种方法。
本文将从用户行为模型的角度出发，探讨人机交互测试中的用户行为模型分析。
首先，我们需要了解用户行为模型的概念。
用户行为模型是指用户在使用产品或服务时所展现出的一系列行为模式和心理过程。
这种模型可以帮助我们预测用户的需求和期望，优化产品设计，并提供更好的用户体验。
在人机交互测试中，分析用户行为模型是至关重要的。
通过观察用户的行为，我们可以深入了解用户对产品的使用习惯、偏好以及对不同功能的反应。
在用户行为分析的基础上，我们可以有针对性地优化产品设计，提升用户体验。
其次，人机交互测试中的用户行为模型分析需要用到多种方法和工具。
例如，我们可以使用用户访谈、问卷调查和用户观察等方式收集用户的反馈和行为数据。
通过这些数据，我们可以分析出用户的使用习惯、喜好、频率以及他们在使用产品时遇到的问题和困难。
通过这些分析结果，我们可以调整产品的界面设计、功能设置、操作流程等，以提升用户的满意度和使用体验。
此外，还可以使用眨眼追踪技术、心率监测仪等设备来获取用户的生理数据，从而更加准确地分析用户的反应和情感状态。
这种生理数据的分析可以补充传统的问卷调查和观察方法，提供更全面的用户行为模型。
另外，人机交互测试中的用户行为模型分析还可以结合用户分群的概念。
通过将用户根据特定的属性进行分组，比如年龄、性别、教育程度等，我们可以进一步了解不同用户群体在使用产品时的行为模式和需求差异。
这些用户群体的分析结果可以为产品设计和营销策略提供有针对性的参考。
最后，人机交互测试中的用户行为模型分析需要不断迭代和优化。
随着科技的不断发展和用户需求的改变，用户行为模型也会不断演变。
因此，在进行人机交互测试和分析时，我们需要持续收集用户反馈和行为数据，并不断优化产品设计和交互方式，以适应用户行为模型的变化。
社交媒体中的用户行为分析与预测模型
社交媒体中的用户行为分析与预测模型随着互联网的普及和社交媒体的广泛应用，用户行为分析与预测在社交媒体领域变得越来越重要。
社交媒体平台拥有庞大的用户群体和海量的数据，这些数据蕴含了用户在社交媒体平台上的行为模式及趋势，能够为运营商提供有针对性的决策依据，提升用户体验，增加平台活跃度。
本文将重点介绍社交媒体中的用户行为分析与预测模型。
一、社交媒体中的用户行为分析（一）用户行为数据的分类与收集在社交媒体平台上，用户的行为通常可以分为两类：显性行为和隐性行为。
显性行为包括用户的点赞、评论、分享等直接反映出的行为；隐性行为则指用户的浏览、观看、搜索等不太直接可见的行为。
对于这两类行为，社交媒体平台可以通过用户日志、点击数据等手段进行获取和分析。
（二）用户行为分析的方法与模型在社交媒体中，用户行为分析的方法主要包括数据挖掘、机器学习和深度学习等。
数据挖掘技术可以通过对用户行为数据的挖掘，发现用户的行为模式和规律；机器学习技术可以通过构建模型，对用户行为进行预测和分类；深度学习技术则可以通过建立深度神经网络，进行用户行为的识别和推荐。
常用的用户行为分析模型包括协同过滤模型、关联规则模型和预测分析模型等。
协同过滤模型是基于用户行为历史数据进行推荐的方法，它能够根据用户的兴趣和行为相似度，将用户推荐给他们可能感兴趣的内容；关联规则模型则能够通过分析用户行为数据之间的关联关系，发现用户间的相互关联，进而提供个性化推荐服务；预测分析模型则可以通过对用户行为数据的建模和分析，预测用户的未来行为。
二、社交媒体中的用户行为预测模型（一）用户行为预测的意义和应用用户行为预测是指根据已有的用户行为数据，预测用户未来的行为趋势和模式。
通过用户行为预测模型，社交媒体平台可以提前了解用户的兴趣和需求，为用户提供更精准的内容推荐和个性化服务，从而增加用户的黏性和活跃度。
此外，用户行为预测模型还可以用于系统优化、广告投放等方面，提升社交媒体平台的盈利能力和用户体验。
用户行为统计与分析功能
用户行为统计与分析功能用户行为统计与分析功能是一种用于收集、跟踪和分析用户在特定平台或网站上的活动和行为的功能。
它通过记录和分析用户的访问、点击、搜索、购买等行为，为企业和网站提供有关用户行为模式和喜好的信息，以便优化用户体验、改进产品和服务，并进行精准的市场营销。
在用户行为统计与分析功能中，主要包含以下几个方面的内容：1. 数据收集：该功能能够通过技术手段，如JavaScript代码嵌入网页，收集用户行为相关数据。
这些数据可以包括用户访问的页面、停留时间、点击链接、输入搜索关键词、购买商品信息等。
2. 数据存储：用户行为数据需要进行合理的存储和管理，以便后续的统计和分析。
通常，这些数据会被存储在数据库中，并建立相应的数据模型。
3. 数据分析：通过使用适当的数据分析工具和技术，如数据挖掘、机器学习等，对用户行为数据进行分析。
这些分析可以帮助企业了解用户的兴趣偏好、购买习惯、使用习惯等，并提供合适的改进措施。
4. 用户画像和行为模式分析：通过用户行为统计与分析功能，可以构建用户画像和分析用户行为模式。
通过分析用户的行为数据，可以了解用户的年龄、性别、地理位置、购买力等特征，以及用户在特定时间段内的行为模式，例如购买优惠券的用户在某个时间段更活跃。
5. 漏斗分析：漏斗分析是用户行为统计与分析功能的重要应用之一。
它通过分析用户从访问到完成某个转化目标（如注册、购买、下载等）的整个过程中的行为路径和流失情况，找出影响用户转化率的关键环节，从而优化用户转化。
6. AB测试：用户行为统计与分析功能可以支持进行AB测试。
AB测试是一种比较两个或多个版本的页面、内容或功能的效果的方法。
通过随机分配用户到不同的测试组，并对各组用户的行为进行统计和分析，可以确定哪个版本对用户更有吸引力和效果更好。
7. 数据可视化：为了更好地理解和传达用户行为数据的结果，用户行为统计与分析功能通常提供数据可视化的功能。
通过图表、图形等形式，将数据以直观的方式呈现出来，使用户能够更容易地理解和分析数据。
社交网络数据分析中的用户行为预测模型
社交网络数据分析中的用户行为预测模型社交网络的快速发展使得海量的用户行为数据得以收集和分析。
这些用户行为数据蕴含着宝贵的信息，可以帮助我们深入了解用户的兴趣、喜好和行为模式。
通过数据分析，我们可以建立用户行为预测模型，从而预测用户未来的行为，为社交网络平台的运营和决策提供依据。
用户行为预测是指通过分析用户之前的行为特征，预测其未来的行为。
常见的用户行为包括浏览、点赞、评论、分享等。
这些行为的预测可以帮助社交网络平台推荐个性化的内容、优化用户体验、增加用户黏性和活跃度。
下面将介绍一些常用的社交网络数据分析中的用户行为预测模型。
1.协同过滤模型协同过滤是一种通过分析用户行为模式来预测用户未来行为的方法。
该方法假设用户的行为倾向于与与其兴趣相似的其他用户的行为一致。
在社交网络中，用户之间的关联度较高，因此协同过滤模型可以较准确地预测用户的行为。
在协同过滤模型中，首先需要构建用户间的相似度矩阵，衡量用户之间的行为相似性。
可以通过计算用户之间的余弦相似度或欧几里德距离来得到相似度矩阵。
然后，根据与目标用户最相似的一组用户的行为，预测目标用户的未来行为。
2.基于内容的推荐模型基于内容的推荐模型是另一种常用的用户行为预测模型。
该模型通过分析用户对内容的兴趣和喜好，预测用户对未来内容的喜好程度。
在基于内容的推荐模型中，首先需要对内容进行特征提取。
可以通过分析内容的关键词、主题、情感等特征来建立内容的特征向量。
然后，通过分析用户对不同内容的评价和喜好，建立用户的兴趣模型。
利用特征向量和用户兴趣模型，可以计算用户与不同内容之间的相似度，进而预测用户对未来内容的喜好程度。
基于内容的推荐模型可以为用户推荐个性化的内容，提供更好的用户体验。
3.时序模型时序模型是一种通过分析用户的历史行为模式，预测用户未来行为的方法。
该模型采用时间序列的思想，通过分析时间段内的用户行为规律，预测用户在未来时间段内的行为。
在时序模型中，首先需要进行数据的时间切片，将用户的行为数据按照时间维度进行分段。
百度搜索点击模型简介
百度搜索点击模型简介用户的搜索点击模型(Click Model)其实是一个非常大的话题，涉及到用户查询满意度的建模和分析。
百度真实网页权重里有一个satisfyScore(满意度打分)，所以搜索点击行为不仅是提升点击权重，连带提高满意度权重。
在今天的搜索引擎技术中，通过Click Model 衍生出了众多的功能，包括搜索满意度的自动监控、搜索结果的自动调权调序等。
这里提到了搜索点击模型会自动改变排名。
而这些技术的出发点都是User Behavior(用户行为)数据。
在Session 信息(a search session 一次搜索周期信息)里，用户的点击行为往往能提供丰富的信息：百度网页搜索一次完整的搜索周期包含大量信息，有查询词，搜索结果的标签，标题，链接，高度、宽度，模版，排名，数据策略ID，点击校验参数，时间戳，官网认证标识，何种搜索结果，随机样本ID，查询ID，付费名，是否百度首页，是否登录百度账号，搜索形式，搜索框位置，字符编码，输入耗时等几十项信息。
1.在搜索结果从上至下被用户浏览的过程中，当被点击的结果中间出现了跳跃，例如Query1(第1次搜索)对应的自然排序结果是Result1(第1个结果), Result2(第2个结果), Result3(第3个结果)…,但是如果大量用户的点击是Result1, Result3, 则Result2 的相关性可能存在问题；意思是点击第1、3个结果，不但可以提升第1、3个结果的权重，还可以降低第2个结果的权重。
所以对付竞争对手快速点击一个办法是大量点击其他结果。
2.另外一种情况是，如果同一个Query 产生了一次点击后，间隔一段时间后再次出现了对后面结果的点击，则也许说明了之前结果的满足度不够高。
3.一种在搜索结果页降低竞争对手满意度权重的方式，先点击对方的结果，隔段时间再点自己网站的结果。
4.在同一个Session 里，用户发生主动Query 变换(或称为Query Re-write)也往往能说明问题，前面的Query 如果搜索结果质量不高，则很多用户会选择修改查询词，此时前面被点击的Title(搜索结果标题)重要程度往往不如后续的Title，等等各类场景很丰富。
用户行为分析模型
演讲人
2021-08-09
目录
01. 行为事件分析
02. 用户留存分析
03. 漏斗分析
04. 用户分群
05. 用户行为路径分析 06. 点击分析
01
行为事件分析
行为事件分 析
概念 企业追踪或记录的用户行
为或业务过程
事件描述
Who 是参与事件的主体，对于未登陆用户，可以是 Cookie、设 备 ID 等匿名 ID ;对于登录用户，可以使用后台配置的实际用户 ID;
分析点
① 精准评估用户与网站交互背后的深层关系 照事件属性和用户属性进行筛选，查看页面元素点击背后的用户列表，对特定环境下特定用
户群体对特定元素的点击进行精细化分析。 ② 网页内跳转点击分析，抽丝剥茧般完成网页深层次的点击分析
③ 与其他分析模型配合，以全面视角探索数据价值，能够深度感知用户体验，实现科学决策。 改版后，如何评估新版本对用户体验的影响？一处修改，是否影响其他元素的点击……等等。
When 是事件发生的实际时间，应该记录精确到毫秒的事件发生时 间;
Where 即事件发生的地点，可以通过 IP 来解析用户所在省市;也 可以根据 GPS 定位方式获取地理位置信息。
How 即用户从事这个事件的方式。用户使用的设备、浏览器、 APP 版本、渠道来源等等;
What 描述用户所做的这个事件的所有具体内容。比如对于“购买” 类型的事件，则可能需要记录的字段有：商品名称、商品类型、购 买数量、购买金额、付款方式等。
析。
为了衡量网站优 化的效果或营销 推广的效果，以 及了解用户行为 偏好，时常要对 访问路径的转换 数据进行分析。
价值
用户典型路径识别与用户特征分析 通过用户整体行为路径找到不同行为间的关系，挖掘规律并找到瓶颈。
网络广告下的用户行为分析及模型构建
网络广告下的用户行为分析及模型构建随着互联网技术的不断发展与普及，网络广告的越来越重要。
广告主需要了解用户行为，以更好地针对目标群体展示广告。
因此，对于分析网络广告下的用户行为并构建相应的模型显得尤为重要。
一、网络广告下的用户行为分析1.广告点击率点击率指的是广告被点击的次数与广告被展示的次数之比。
点击率越高，说明广告与目标受众的匹配度越高。
广告主可以通过对点击率的监测来评估其广告营销的效果。
2.广告转化率广告转化率指的是广告被点击后用户的进一步行为，如填写表单、购买商品等。
广告主可以通过广告转化率来评估广告对用户购买决策的影响。
3.点击分布点击分布可以帮助广告主确定广告的受众特征。
比如，如果某个广告在某个特定的地理位置点击率较高，则说明该广告在该地区的用户中较受欢迎。
还可以检测广告在不同时间段的点击情况，以便更好地规划广告展示时间和频率。
4.流量来源流量来源指的是用户从哪个渠道进入广告网站，如搜索引擎、社交媒体等。
对于广告主来说，了解流量来源可以帮助其制定更加科学的营销策略和投放方案。
5.广告交互行为广告交互行为指的是广告被展示后用户产生的各种行为，如滑动、放大、查看详情、分享等。
对广告主来说，可以通过监测广告交互行为，了解广告的吸引力和用户对广告的反应，进而优化广告展示效果。
二、网络广告下的用户行为模型1.初步分类通过用户行为的初步分类，可以将用户分为不同的群体，比如搜索型用户和社交型用户等。
广告主可以对不同用户群体展示不同类型的广告。
2.用户兴趣爱好分析通过分析用户在网站上的行为、搜索历史记录和社交媒体信息等，可以了解用户的兴趣和爱好，从而更好地制定广告投放策略，提高广告效果。
3.地理位置分析通过用户IP地址和GPS信息等，可以了解用户的位置信息。
广告主可通过地理位置的分析，制定更加精准的广告投放策略。
4.移动设备分析随着移动设备的普及，越来越多的用户通过手机和平板等移动设备进行上网。
通过移动设备的分析，广告主可以更好地了解用户的移动行为，从而调整广告投放策略。
用户行为数据的分析和利用
用户行为数据的分析和利用组织能获得大量的用户数据，其中包括用户行为数据，这些数据在合理分析和使用后能帮助组织做出更好的业务决策。
然而，并非每个组织都能正确地处理和利用这些数据。
本文将深入探讨用户行为数据的分析和利用，以及如何使分析和使用这些数据更加有效和有用。
一、用户行为数据的定义在用户使用产品或服务的过程中，他们会留下大量的数据。
用户行为数据是指收集并记录用户在应用程序或网站上采取的行动。
其中，包括他们点击的标签、浏览的页面、搜索的内容、访问次数、购买的商品类别、步骤和时间等信息。
所有这些信息可以作为数据最终用于分析和提高用户的转化率。
二、收集用户行为数据的方式为了收集用户的行为数据，许多公司使用一些工具来跟踪用户的行为。
这些工具通常是网站分析工具、第三方服务、应用程序分析等。
虽然这些工具可以捕获用户数据的各种方面，但它们并不是全部信息都能获取。
因此，需要仔细考虑数据源，并写出合适的分析脚本。
此外，为了收集用户行为数据，通常需要在网站或应用中添加特殊的代码片段，以跟踪用户活动。
三、用户行为数据的分析用户行为数据的分析是指通过编程指令和算法，在一个或多个大数据集中分析用户行为。
分析用户行为数据有以下优点：1.了解用户的行为，从而确定网站或应用程序在哪些方面需要改进。
2.追踪用户流和购买行为，以确定哪些产品或服务最适合该用户类别，并在哪些地方必须采取行动。
3.获取更好的用户洞察，以保持竞争优势，并在调整和执行新营销策略的过程中通过有关用户的数据进行分析和反馈调整。
以下是用户行为数据的分析步骤：1.缩小范围：首先，您需要决定想要分析哪些数据。
您可以将其用于分析特定的网站页面、时间段或用户类别。
2.确定指标：一旦您决定了哪些数据需要分析，就需要确定相应的指标。
这些指标应该根据您的目标而确定，例如，浏览量、转化率、新客户销售额等。
3.收集数据：现在需要从可用的数据收集检索到所有有用的行为数据。
4.数据细化：数据收集允许您将数据以特定方式分类，例如按日期、地理位置、客户群体等方式。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据挖掘实验报告基于用户网站点击行为预测...数据挖掘实验报告. (1)一．概要： (3)二．背景和挖掘目标： (3)三．难点分析： (4)四．难点解答： (4)五．数据采集： (5)六．分析方法： (6)七．数据探索： (8)7.1数据无效： (8)7.2数据缺失： (8)八.数据预处理 (9)8.1数据清洗 (9)8.2数据丢弃 (10)8.3数据转换 (10)九．挖掘过程： (11)9.1计算用户爱好 (11)9.2基于协同过滤算法进行预测 (12)十．结果分析： (13)十一.实验总结 (14)11.1数据的采集 (14)11.2在试验过程中遇到的问题 (14)11.3解决方案以及改进 (14)11.4数据挖掘学习体会： (15)一．概要：这次的数据挖掘我们团队做的是基于用户网站点击行为预测，其中遇到的问题有数据量大，机器难以处理，含有时序关系，特征难以描述等，我们运用正负样本比例平衡的方法和时间衰减函数来解决这些问题，运用到的算法有基于协同过滤算法进行预测。
二．背景和挖掘目标：随着互联网和信息技术的快速发展，广告的精准投放一直是各大广告商面临的问题。
点击网络广告的一般有两类人。
第一种是不小心点错的，相信大部分人都是不喜欢广告的，但由于网络的互动性，仍然会有部分人把广告当内容点击，其中网站诱导用户点击占了很大一部分比例。
第二种是真的想看广告内容，这部分人对广告的内容感兴趣，或是符合他们的需求，才会点击网络广告。
认真去研究这两类的行为，进行广告个性化的投放将产生巨大的价值。
基于这个背景，本次课题我们进行了网站点击行为的数据挖掘。
数据来自网络，包含了2015年1月1日-2015年6月22日间广告曝光和点击日志。
目的是预测每个用户在8天内即2015年6月23日-2015年6月30日间是否会在各检测点上发生点击行为。
利用数据挖掘技术可以帮助获得决策所需的多种知识。
在许多情况下，用户并不知道数据存在哪些有价值的信息知识，因此对于一个数据挖掘系统而言，它应该能够同时搜索发现多种模式的知识，以满足用户的期望和实际需要。
此外数据挖掘系统还应能够挖掘出多种层次（抽象水平）的模式知识。
数据挖掘系统还应容许用户指导挖掘搜索有价值的模式知识三．难点分析：1.数据量大，机器难以处理；2.含有时序关系，特征难以描述；3.针对行为预测，评价标准要创新。
四．难点解答：1.如何解压数据，导入数据库？使用XZCAT等命令工具，结合LIUNX管道，直接读取并处理压缩文件，分布式存储平台和分布式计算框架处理大数据。
2.如何对点击行为进行准确描述？One hot encoding扩展提取特征，One-Hot编码，又称为一位有效编码，主要是采用位状态寄存器来对个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。
在实际的机器学习的应用任务中，特征有时候并不总是连续值，有可能是一些分类值，如性别可分为“male”和“female”。
在机器学习任务中，对于这样的特征，通常我们需要对其进行特征数字化。
在分析变量时加上时间要素的角度而形成的。
对于变量的考察，凡能用时间单位来表达的，就必须在分析中加上时间这一维度，才能使变量准确的表达出来。
3.如何在数据分布不平衡时有效地学习？运用探索式下采样算法，把问题转化为N个平衡分布的子问题，依次解决平衡分布的子问题，把单模型的输出作为特征，自动学习模型权重。
把收集到的数据集划分为第一层和第二层中的最终模型，经过分析得到最终结果。
五．数据采集：原始数据总共包含60G的txt文本数据，每条记录包含六列，分别是用户id，监测点id，ip地址，浏览器类型，国家，时间，点击或曝光。
同一网站的不同广告检测点id不同，如新浪网的衣服广告和新浪网的手机广告有不同的加测点id，不同网站相同广告有不同的检测点id，如百度网的手机广告和新浪网相同的手机广告有不同的检测点id。
如图：鉴于数据量巨大，经过探讨我们决定抽取部分数据进行分析。
依据所提供的原始数据，试着分析如下目标：每个用户在8天内即2015年6月23日-2015年6月30日间是否会在各检测点上发生点击行为。
六．分析方法：本课题的目标是进行广告行为预测，数据量越大预测的准确率越高，因为数据量巨大，如果对数据不进行处理就会出现内存空间不足的情况。
因此我们抽取部分数据进行分析。
因为原始数据检测点是乱序的，我们第一步进行检测点分类，将同一个监测点的数据统一进行处理，如图：将数据进行分类后，我们采用基于时间戳的衰减算法进行处理，示意图如下：对于同一个监测点的数据统一处理，对于每一位用户在该监测点上的点击行为进行统计，比较，计算该用户对该检测点的偏好。
如图用户A分别在3月1日、3月5日、3月10日访问了三次。
而用户B只在3月3日访问了一次，这样用户A相对用户B对该网站的偏好更高。
对于另一个用户C也访问了三次，但是这三次相对于用户A的距离2015年6月23日-2015年6月30日期间更近，显然用户C比用户A更有可能在2015年6月23日-2015年6月30日间继续访问该网站，我们认为用户C比用户A对该网站有更高的偏好。
我们将对比各用户的偏好，我们选择偏好最高的那个用户，这里选择用户C。
七．数据探索：在进行数据分析前我们发现我们得到的第一手数据是不可靠的，有的行缺少数据，有的出现重复，有的数据是无效的，所以我们有必要进行数据探索，保证数据的有效性。
7.1数据无效：我们发现有的数据是无效的。
如下图：通过观察，我们发现图中的数据只有一个用户曝光了该站点，我们认为该站点是无效的，将其剔除。
7.2数据缺失：在获取的数据过程中有一些数据缺失了网站id，这些数据是不能用来挖掘的数据，否则会影响到最终挖掘的结果，因此我们把这类数据剔除。
八.数据预处理现实世界数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或者挖掘得到的结果偏差，为了提高数据挖掘的质量产生了数据预处理技术，数据预处理一方面是要提高数据的质量，另外一方面是要让数据更好地适应特定的挖掘技术或工具。
数据预处理主要包括数据清洗，数据集成，数据变换和数据规约等。
这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低了实际挖掘所需要的时间。
常用的数据清理主要分为两类：空缺值的处理和噪声数据处理。
空缺值处理主要是使用最可能的值填充空缺值，比如可以用回归、贝叶斯形式化方法工具或判定树归纳等确定空缺值。
这类方法依靠现有的数据信息来推测空缺值，使空缺值有更大的机会保持与其他属性之间的联系。
同时还可以用一个全局常量替换空缺值、使用属性的平均值填充空缺值或将所有元组按某些属性分类，然后用同一类中属性的平均值填充空缺值。
不过这些方法有局限性，当空缺值很多的情况下，这些方法的使用可能会误导挖掘结果；除了空缺值处理还有噪声数据处理，噪声是一个测量变量中的随机错误或偏差，包括错误的值或偏离期望的孤立点值。
常用分箱、回归、计算机检查和人工检查结合、聚类等方法进行噪音处理。
本次数据挖掘中主要用了数据清洗，数据丢弃，还有时间变换。
8.1数据清洗数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。
因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。
我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。
而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。
不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。
数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。
8.2数据丢弃数据丢弃如下图所示：在获取到的数据中，有一些数据我们是用不到的，因此把这些无关数据丢弃，这样能使后面的挖掘过程更简单，我们只留下用户id，网站id和时间这三种数据。
数据丢弃前数据丢弃后8.3数据转换数据转换，其作用就是将数据转换为易于进行数据挖掘的数据存储形式。
主要是由于数据量的不断增加,原来数据构架的不合理,不能满足各方面的要求.由数据库的更换,数据结构的更换,从而需要数据本身的转换。
在这次数据挖掘中我们把时间做了相应的转换：把UNIX 时间戳（unix 时间戳是从1970年1月1日（UTC/GMT 的午夜）开始所经过的秒数，不考虑闰秒）转换成现在的时间，方便后续的数据统计，并且还利于观看。
如上图最后的那一列时间变换如下：1434686416---------->>2015/6/19 12:0:161434677712---------->>2015/6/19 9:35:121434686526---------->>2015/6/19 12:2:61434677256---------->>2015/6/19 9:27:361433384573---------->>2015/6/4 10:22:531433384578---------->>2015/6/4 10:22:581433384485---------->>2015/6/4 10:21:251433384482---------->>2015/6/4 10:21:221433384525---------->>2015/6/4 10:22:51433384534---------->>2015/6/4 10:22:14九．挖掘过程：先计算用户对新闻主题的偏好，然后根据协同过滤方法分别预测用户可能的偏好。
9.1计算用户爱好由于用户对新闻的偏好与阅读次数之间不是线性关系，而是随着阅读次数的增加，用户兴趣度增长速度逐步变慢。
因此，根据边际效应递减理论使用公式(1)来计算用户对新闻点击率的偏好：i f a i p log = (1)其中，a 为对数的底数。
当a 的取值比较大时，得到的用户偏好的范围比较小，当a 的取值比较小时，得到的用户偏好的范围比较大，本文中需要将用户偏好映射到[0,1]之间的数值，因此，需要选择合适的a 值。
在获取了用户对单个分词的偏好后，可以计算出用户对某个新闻标题的偏好，其计算公式如下：∑==i new i N k k new p p 1 (2)其中，i new N 表示新闻标题中包含的分词的数量。
9.2基于协同过滤算法进行预测（1）选择两个用户共同的分词数量大于分词总量的20%时，才计算用户之间的相似度。