第2章 数据分析
第二章 误差及分析数据的统计处理
第二章误差及分析数据的统计处理§2-1 定量分析中的误差定量分析的任务是准确测定试样中组分的含量。
但是，即使是技术很熟练的分析工作者，用最完善的分析方法和最精密的仪器，对同一样品进行多次测定，其结果也不会完全一样。
这说明客观上存在着难以避免的误差。
因此，我们在进行定量测量时，不仅要得到被测组分的含量，而且还应对分析结果作出评价，判断其准确性（可靠程度），找出产生误差的原因，并采取有效的措施，减少误差。
一、误差的表示：从理论上说，样品中某一组分的含量必有一个客观存在的真实数据，称之为“真值”。
测定值（x）与真实值（T）之差称为误差(绝对误差)。
误差 E = X - T误差的大小反映了测定值与真实值之间的符合程度，也即测定结果的准确度。
测定值> 真实值误差为正测定值< 真实值误差为负分析结果的准确度也常用相对误差表示。
相对误差E r = E / T×100%= (X-T) / T×100%用相对误差表示测定结果的准确度更为确切。
二、误差的分类根据误差的性质与产生原因，可将误差分为：系统误差、随机误差和过失误差三类。
（一）系统误差系统误差也称可定误差、可测误差或恒定误差。
系统误差是由某种固定原因引起的误差。
1、产生的原因（1）方法误差：是由于某一分析方法本身不够完善而造成的。
如滴定分析中所选用的指示剂的变色点与化学计量点不相符；又如分析中干扰离子的影响未消除等，都系统的影响测定结果偏高或偏低。
（2）仪器误差：是由于所用仪器本身不准确而造成的。
如滴定管刻度不准（1ml刻度内只有9个分度值），天平两臂不等长等。
（3）试剂误差：是由于实验时所使用的试剂或蒸馏水不纯造成的。
例如配制标准溶液所用试剂的纯度要求在99.9%；再如：测定水的硬度时，若所用的蒸馏水含Ca2+、Mg2+等离子，将使测定结果系统偏高。
（4）操作误差：是由于操作人员一些主观上的原因而造成的。
比如，某些指示剂的颜色由黄色变到橙色即应停止滴定，而有的人由于视觉原因总是滴到偏红色才停止，从而造成误差。
MATLAB数据分析方法第2章数据描述性分析
MATLAB数据分析⽅法第2章数据描述性分析2.1 基本统计量与数据可视化1.均值、中位数、分位数、三均值均值、中位数：mean(A)、media(A)分位数：prctile(A,P)，P∈[0,100]prctile(A,[25,50,75]) %求A的下、中、上分位数三均值：w=[0.25,0.5,0.75];SM=w*prctile(A,[25,50,75])%例：计算安徽16省市森林资源统计量A=xlsread('senlin.xls','sheet1')M=mean(A); %均值,MD=median(A); %中位数SM=[0.25,0.5,0.25]*prctile(A,[25,50,75]); %三均值[M;MD;SM]2.⽅差、标准误、变异系数⽅差：var(A,flag),flag默认0表⽰修正的⽅差，取1为未修正标准差：std(A,flag),同上变异系数：v=std(A)./abs(mean(A))k阶原点矩、中⼼距：ak=mean(A.^k)bk=mean((A-mean(A)).^k)%中⼼距系统命令bk=moment(A,k)3.极差、四分位极差(上、下分位数之差)R=rangr(A)R1=iqr(A)4.异常点判别（截断点）XJ=parctile(A,[25])-1.5*R1SJ=parctile(A,[75])+1.5*R15.偏度、峰度偏度：sk=skewness(A,flag),默认1，取0为样本数据修正的偏度峰度：ku=kurtosis(A,flg)-3,同上2.1.2 多维样本数据协⽅差：cov(A)相关系数：corr(A)标准化：zscore(A)2.1.3 样本数据可视化1.条形图bar(x)%样本数据x的条形图，横坐标为1：length(x)bar(x,y)%先把x和y⼀⼀对应，然后将x从⼩到⼤排序画图2.直⽅图hist(x,n)%数据x的直⽅图，n为组数，确省时n=10[h,stats]=cdfplot(x)%x的经验分布函数图，stats给出数据最⼤最⼩值、中位数、均值、标准差直⽅图基础上附加正态密度曲线histfit(x)histfit(x,nbins)%nbins指定bar个数，缺省时为x中数据个数的平⽅根3.盒图，五个数值点组成：最⼩值、下四分位数、中位数、上四分位数、最⼤值。
第二章方差分析与相关分析
第二章方差分析与相关分析在统计学中，方差分析和相关分析是两种常用的数据分析方法。
方差分析用于比较两个或多个组之间的差异，而相关分析用于探究变量之间的关系。
本章将详细介绍方差分析和相关分析的概念、原理和应用。
1.方差分析方差分析是一种用于比较不同组之间差异的统计方法。
它基于一种基本假设，即不同组之间的差异是由于随机误差造成的。
方差分析以方差作为度量不同组之间差异的指标，通过计算组内方差和组间方差来评估不同组之间的差异程度。
方差分析通常包括三个步骤：建立假设、计算方差和进行显著性检验。
首先，建立假设，即空假设和备择假设。
空假设认为不同组之间的差异是由于随机误差造成的，而备择假设则认为不同组之间存在显著差异。
接下来，计算组内方差和组间方差，通过比较两者的大小来评估不同组之间的差异程度。
最后，进行显著性检验，判断不同组之间的差异是否显著。
方差分析广泛应用于实验设计和数据分析中。
例如，在医学研究中，可以用方差分析比较不同治疗方法的疗效差异；在市场调研中，可以用方差分析比较不同广告策略的效果差异。
2.相关分析相关分析用于探究两个变量之间的关系。
它通过计算两个变量之间的相关系数来评估它们之间的相关性。
相关系数的取值范围为-1到1，负值表示负相关，正值表示正相关，而0表示无相关。
相关分析通常包括两个步骤：计算相关系数和进行显著性检验。
首先，计算两个变量之间的相关系数。
常用的相关系数包括皮尔逊相关系数和斯皮尔曼相关系数。
皮尔逊相关系数适用于连续变量之间的相关性分析，而斯皮尔曼相关系数适用于有序变量之间的相关性分析。
接下来，进行显著性检验，判断两个变量之间的相关性是否显著。
相关分析广泛应用于各个领域的数据分析中。
例如，在经济学中，可以用相关分析研究两个经济指标之间的相关性；在社会学中，可以用相关分析探究两个社会变量之间的关系。
3.应用案例方差分析和相关分析在实际应用中的案例非常丰富。
以方差分析为例，假设我们研究了三种不同的农药对作物产量的影响。
分析化学：第二章_误差和分析数据处理二
化学分析
第二章 误差和分析数据处理
4
• 对于很小的数字，可用指数形式表示。例如，离 解常数Ka=0.000018，可写成Ka=1.8×10-5；很大的 数字也可采用这种表示方法。例如2500L，若为 三位有效数字，可写成2.50×103L。
• 例如，0.0121×25.64×1.0578=0.328，其中，有 效数字位数最少的0.0121相对误差最大，故计 算结果应修约为三位有效数字。
化学分析
第二章 误差和分析数据处理
11
• 3. 百分数表示 • 高含量组分（>10%），保留四位有效数字； • 中含量组分（1～10%），保留三位有效数字； • 低含量组分（<1%），保留两位有效数字。 • 4. 其他运算 • 乘方或开方，结果的有效数字位数不变，
化学分析
第二章 误差和分析数据处理
19
3.正态分布曲线规律：
• (1) x=μ时，y值最大，体现了测量值的集中趋 势。说明误差为零的测量值出现的概率最大。 大多数测量值集中在算术平均值的附近。
• (2) 曲线以x=μ这一直线为其对称轴，说明绝对 值相等的正、负误差出现的概率相等。
• (3) 当x趋于-∞或+∞时，曲线以x轴为渐近线。 即小误差出现概率大，大误差出现概率小。
化学分析
第二章 误差和分析数据处理
5
• 对pH、pM、lgc、lgK等对数值，其有效数字的
位数仅取决于小数部分数字的位数，整数部分 只说明其真数的方次。如pH=11.02，即[H＋]＝ 9.6×10-12mol/L，其有效数字为两位而非四位。
第二章 误差和分析数据的处理
第二章误差和分析数据的处理第一节误差及其产生的原因定量分析的任务是准确测定试样中各组分的含量，因此必须使分析结果具有一定的准确度。
不准确的分析结果将会导致生产上的损失、资源上的浪费和科学上的错误结论。
在定量分析中，由于受到分析方法、测量仪器、所用试剂和分析人员主观条件等方面的限制，故使测定的结果不可能和真实含量完全一致；即使是分析技术非常熟练的分析人员，用最完善的分析方法、最精密的仪器和最纯的试剂，在同一时间，同样条件下，对同一试样进行多次测定，其结果也不会完全一样。
这说明客观存在着难于避免的误差。
因此，人们在进行定量分析时，不仅要得到被测组分的含量，而且必须对分析结果进行评价，判断分析结果的准确性（可靠程度），检查产生误差的原因，采取减小误差的有效措施，从而不断提高分析结果的准确程度。
分析结果与真实结果之间的差值称为误差。
分析结果大于真实结果，误差为正；分析结果小于真实结果，误差为负。
一、误差的分类根据误差的性质与产生的原因，可将误差区分为系统误差和偶然误差两类。
（一）系统误差系统误差（systematic error）也叫可定误差（determination error），它是由某种确定的原因引起的，一般有固定的方向（正或负）和大小，重复测定可重复出现。
根据系统误差的来源，可区分为方法误差、仪器误差、试剂误差及操作误差等四种。
（1）方法误差：由于分析方法本身的缺陷或不够完善所引起的误差。
例如，在质量分析法中，由于沉淀的溶解或非被测组分的共沉淀；在滴定分析法中，由于滴定反应进行不完全，干扰离子的影响，测定终点和化学计量点不符合等，都会产生这种误差。
（2）仪器误差：由于所用仪器本身不够准确或未经校正所引起的误差。
例如，天平两臂不等长，砝码、滴定管刻度不够准确等，会使测定结果产生误差。
（3）试剂误差：由于试剂不纯和蒸馏水中含有杂质引入的误差。
（4）操作误差：由于操作人员的习惯与偏向而引起的误差。
例如，读取滴定管的读数时偏高或偏低，对某种颜色的变化辨别不够敏锐等所造成的误差。
《数据分析》教案
《数据分析》教案数据分析是当今社会中非常重要的一项技能，它不仅可以匡助人们更好地理解数据，还可以为决策提供重要的支持。
为了更好地教授数据分析知识，制定一份完善的教案是非常必要的。
本文将从教案的制定、内容安排、教学方法、评价方式和课程实践五个方面进行详细介绍。
一、教案的制定1.1 确定教学目标：明确教学目标，包括学生应该掌握的知识、技能和能力。
1.2 设计教学内容：根据教学目标设计教学内容，包括数据分析的基本概念、常用工具和技术等。
1.3 制定教学计划：根据教学内容制定教学计划，包括每节课的内容安排、教学方法和评价方式等。
二、内容安排2.1 数据分析基础知识：介绍数据分析的基本概念、数据类型、数据清洗和数据可视化等。
2.2 数据分析工具和技术：介绍常用的数据分析工具，如Python、R等，以及数据分析常用技术，如统计分析、机器学习等。
2.3 数据分析实践案例：通过实际案例演练，让学生了解数据分析在实际问题中的应用。
三、教学方法3.1 理论教学结合实践：结合理论知识和实际案例，让学生更好地理解数据分析的原理和方法。
3.2 互动教学：采用互动式教学方法，如讨论、小组合作等，激发学生的学习兴趣。
3.3 多媒体辅助教学：利用多媒体技术辅助教学，如PPT、视频等，提高教学效果。
四、评价方式4.1 考试评价：定期进行考试，测试学生对数据分析知识的掌握程度。
4.2 作业评价：布置数据分析作业，评价学生对数据分析工具和技术的掌握情况。
4.3 项目评价：组织数据分析项目，评价学生在实际问题中运用数据分析的能力。
五、课程实践5.1 实践课程设计：设计数据分析实践课程，让学生在实际问题中应用数据分析技术。
5.2 实践案例分析：分析实际数据案例，让学生掌握数据分析方法和技术。
5.3 实践成果展示：组织学生展示实践成果，让学生展示他们在数据分析领域的成就。
综上所述，一份完善的数据分析教案应该包括教案的制定、内容安排、教学方法、评价方式和课程实践五个方面。
第二章+误差和分析数据的+处理
总体标准偏差（）：当测量为无限次测量时，各 测量值对总体平均值的偏离。
公式：
n
(xi ) 2
i 1
n
—总体平均值
只能在总体平均值已知的情况下才使用
• (样本)标准偏差(standard deviation， S)：有限次测
量(n20)的各测量值对平均值的偏离。
（2）若分析结果R是测量值X、Y、Z三个测量值相 乘除的结果，例如：R=XY/Z 则：
R X Y Z
RXY Z
• P12 例3
2.1.3.2 偶然误差的传递
1.极值误差法
考虑在最不利的情况下，各步测量带来的误差的 相互累加，这种误差称为极值误差。 用这种简便的方法可以粗略估计可能出现的最大 偶然误差。 一般情况下，当确定了使用的测量仪器和测定步 骤后，各测量值的最大误差就是已知的。 例如：称量；滴定
滴定管读数的极值误差为： ΔV=|±0.01 mL| + |±0.01 mL |=0.02 mL
故滴定剂体积为： （22.10-0.05）mL± 0.02 mL =（22.05±0.02）mL
2. 标准偏差法 （1）和、差的结果的标准偏差的平方是各测量值
标准偏差的平方之和。
（2）积、商的结果的相对标准偏差的平方是各测 量值相对标准偏差的平方之和。
被测组分含量不同时，对分析结果准确度的要求 就不一样。常量组分的分析一般要求相对误差在 0.2%，微量组分在1%到5%。
2.1.4.2 减小测量误差
根据误差的传递规律，分析过程中每一步的测
量误差都会影响最后的分析结果，所以尽量减 小各步的测量误差。 如何减小？
各测量步骤的准确度应与分析方法的准确度相
第二章 交通调查与数据分析
（1）数据整理
（2）计算统计特征值
地点车速平均值 中位车速 常见车速 极差 样本标准差
通常用于掌握道路交通现状，作为评价道路服务水 平的主要指标，也是衡量道路上车辆运营经济特性 的重要参数。
◦ （1）牌照法 ◦ （2）跟车法 ◦ （3）浮动车法
乘观测车从 A点出发到B点, 经过两个交叉口（C、D） 和三个停靠站（E、F和G） ，单方向行驶5次，用秒表 计时，经过整理得到表所示 调查结果，试计算平均区间 车速。
(3)停车延误，车辆由于某种原因而处于静止状态产生 的延误。 (4)行程时间延误，实际行驶的总时间-完全排除干扰后 以畅行速度通过调查路段的行驶时间。 (5)排队延误，车辆排队通过路段的时间-车辆按自由行 驶车速通过的时间。 (6)匝道延误，匝道实际耗时-引道自由行驶时间之差。 调查：确定产生延误的地点、延误类型和大小，评价道 路上交通流的运行效率，分析找出产生延误的原因。 (7)行程时间指数TTI(Travel Time Index)，高峰时行程 时间/自由流时的行程时间。
站点调查法：在各站点上设若干名调查员，记录各公交车辆在此站 点的上下乘客数。 公交随车调查法：在公交车辆内设若干名调查员，一般一个车门设 一名，记录在各站点上、下车的乘客数。
公交意向调查、出租车运营调查等
某道路全长2.0km，用浮动车法测量交通量和车速 。试验车在路线上往返6次，测量后数据整理结果 如表所示，试计算该路段交通量、平均行程时间、 平均行程车速。
居民出行（trip） 汽车出行 方式出行 目的出行 货运总流动
居民出行调查 交通流特性调查 机动车、自行车及行人调查 公共交通调查 停车调查 其他交通调查
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
交易及服务数据 行业数据
关键字搜索、店铺排名、销售、会员等数据查询
电商中重要的数据
数据 平均收入 UV独立访客数 客户获取成本 利润率 转化率 客单价 重复购买率 运营成本 活跃用户数 活跃客户率 参与指数
解释 网站在一定时间内的收入 平均每天的独立访问人数 获得一个新客户所付出的成本 访问的客户中成功完成购买的人数占比 每一个顾客平均购买商品的交易金额 消费者对该品牌产品或者服务的有重复购买 次数的比例 电子商务企业销售客服和数据运营的成本 在一定时间内活跃的用户数字 活跃用户占整体用户的比例 用户的平均会话次数
电商网站评分数据集 ——请计算C对商品4评分
用户 A B C D E 商品1 3 ？ 5 2 3 商品2 ？ 5 4 4 4 商品3 3 4 2 ？ 5 商品4 5 ？ ？ 3 ？
相似性度量
Slope one 算法
Slope one算法
在本例中，项目2和1之间的平均评分差值为 (2+(-1))/2=0.5. 因此，item1的评分平均比item2高 0.5。同样的，项目3和1之间的平均评分差值为3 。因此，如果我们试图根据Lucy 对项目2的评 分来预测她对项目1的评分的时候，我们可以得 到 2+0.5 = 2.5。同样，如果我们想要根据她对 项目3的评分来预测她对项目1的评分的话，我 们得到 5+3=8. 如果一个用户已经评价了一些项目，可以这样 做出预测：简单地把各个项目的预测通过加权 平均值结合起来。当用户两个项目都评价过的 时候，权值就高。在上面的例子中，项目1和项 目2都评价了的用户数为2,项目1和项目3 都评价 了的用户数为1,因此权重分别为2和1. 我们可以 这样预测Lucy对项目1的评价：
网络中凡事皆有可能
Ebay: 1995年建立 拍卖的第一件物品：坏掉的雷射指示器，成交价是14.83美元 /comm/new_entry/index_2.html 7月14日，两名温哥华妇女用一支鱼形笔换了他的红色曲别针。不 久，西雅图的一名女画家用一个画着笑脸的陶瓷门把换了他的鱼 形笔。7月25日，美国麻省的斯帕克斯用一个野营炉换了把手。9 月24日，一名加拿大人用一台旧发电机换取了野营炉。11月16日， 一个纽约年轻人用一个啤酒广告霓虹灯、一桶啤酒换取了他的旧 发电机。12月1日，麦克唐纳用这些东西换取了蒙特利尔市一名电 台主持人的雪地车。不久，一家雪地车杂志社用一个免费度假安 排交换那辆雪地车；免费度假安排又换来一辆旧货车。随后的物 物交换包括录音合同，在美国凤凰城免费租用一年的双层公寓， 与著名摇滚歌星艾丽斯· 库珀一起喝下午茶，电视演员科尔宾· 伯恩 森在新片中提供的一个演员角色。最后，加拿大仅有1140个居民 的基普岭小镇，决定提供该镇的一套房子来换取麦克唐纳得到的 这个电影新片角色。
网页加载速度到底多少合适
网页加载速度对网站到达率有重大的作用。 >3秒，57%客户放弃 >5秒，74%客户放弃
大数据时代
可以分析更多的数据，有时候甚至可以处理与某个 特别现象相关的所有数据，不再依赖采样； 数据多，不再追求精度； 不再追求因果，而是相关关系。 目前，银行可以根据求职网站的岗位数量，推断失 业率
2
2
R平方
R平方，该方法借鉴多元线性回归的分析算法来判断 和选择对目标变量有重要意义及价值的自变量。 R平方表示模型输入的各自变量在多大程度上可以解 释目标变量的可变性。取值在[0,1]之间。
共线性问题
相关系数的方法 主成分分析方法 根据业务经验 对变量进行聚类
关联分析
电商中的核心数据
访客数
转化率
如何提升访客数 增加网站视觉效果: 店铺装修 商品内容的介绍和包装（图片） 商品的选款、设计合适的价格 提升好评率和客户评价 提升老客户回访率 服务质量 服务策略
客单价
促销和限销 关联销售 活动
数据需要对比分析
注：客户获取成本：以新客户总数量去除获取客户而支付的总费用 重复购买率 1. 所有购买过产品的顾客，以每个人为独立单位统计重复购买产品的次数。比如 10 个 客户购买了产品，有四个产生了重复购买，则重复购买率为 40%。 2. 单位时间内，重复购买的总次数占比。比如 10 个客户购买了产品，中间有四个人做 了第二次购买， 而这四个人中又有两个人做了第三次购买， 这两个人中又有一个人做了第四 次购买，则重复购买率为 70%。 参与指数=月（周）总访问数/月（周）独立访问数
熟悉业务背景 确保抽取的用户所对应的当时业务背景，与现在的业 务需求即将对应的业务背景没有明显的重要改变
数据转换
产生衍生变量 改变变量分布特征的转换 区间型变量的分箱转换 针对分箱变量进行的标准化操作
生成衍生变量
通过原始数据进行适当的数学推导，产生更有商业 意义的新变量 如：年龄、用户在特定商品上消费的产品占其总消 费额的比例、消费次数等等
每个用户会有一个10维的数据点，以0或1表示，1为是，0为否 可以计算任意用户之间的距离 如果不是0与1，展示的信息会更多 用户，性别，居住地，收入，购买次数，本月购买次数，最大购买金 额，平均购买金额
2.3 电子商务中的可获取数据
流量数据ቤተ መጻሕፍቲ ባይዱ
营销数据
会员数据
浏览量、访客数、登录时间、在线时长、登录IP等 营销费用、到达用户数、打开或点击用户数 姓名、出生日期、真实性别、网络性别、地址、手机号、微 博号、登录记录、交易记录等 交易金额、交易数量、交易人数、交易商品、交易场所、交 易时间、服务链服务等数据
于是，对“n”个项目，想要实现 Slope One， 只需要计算并存储“n”对评分间的平均差值和 评价数目即可。
基于项目的协同过滤
根据Pearson相关系数来计算相似度。R u,i 是用户u 对商品i的评分，i和j是商品
第2章 数据分析
大数据与乔布斯癌症治疗
苹果公司的传奇总裁史蒂夫· 乔布斯在与癌症斗争的 过程中采用了不同的方式，成为世界上第一个对自 身所有DNA和肿瘤DNA进行排序的人。这使得史蒂 夫· 乔布斯的医生们能够基于乔布斯的特定基因组成， 按所需效果用药。如果癌症病变导致药物失效，医 生可以及时更换另一种药。乔布斯开玩笑说：“我 要么是第一个通过这种方式战胜癌症的人，要么就 是最后一个因为这种方式死于癌症的人。”虽然他 的愿望都没有实现，但是这种获得所有数据而不仅 是样本的方法还是将他的生命延长了好几年。
主要内容
数据的重要性 电子商务中可获得的数据 数据处理和分析
2.1 从数据分析专家林彪说起
1948年辽沈战役开始之后，在东北野战军前线指挥所里面，每天深夜都要 进行例常的“每日军情汇报”：由值班参谋读出下属各个纵队、师、团用 电台报告的当日战况和缴获情况。 司令员林彪的要求很细，俘虏要分清军官和士兵，缴获的枪支，要统计出 机枪、长枪、短枪；击毁和缴获尚能使用的汽车，也要分出大小和类别。 一天深夜，值班参谋正在读着下面某师上报的其下属部队的战报。说他们 下面的部队碰到了一个不大的遭遇战，歼敌部分、其余逃走。与其它之前 所读的战报 看上去并无明显异样，值班参谋就这样读着读着，林彪突然 叫了一声“停！”他的眼里闪出了光芒，问：“刚才念的在胡家窝棚那个 战斗的缴获，你们听到了吗？” 大家带着睡意的脸上出现了茫然，因为如此战斗每天都有几十起，不都是 差不多一模一样的枯燥数字吗？林彪扫视一周，见无人回答，便接连问了 三句： “为什么那里缴获的短枪与长枪的比例比其它战斗略高”？ “为什么那里缴获和击毁的小车与大车的比例比其它战斗略高”？ “为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高”？ 结论：赶紧追击，发现并打掉了精悍野战司令部，活抓了廖耀湘
数据的抽取要正确反映业务需求
某业务需求是找出因为使用店铺装修工具而带来显 著销售收入提升的用户群体特征 如何寻找这些人？
有些用户除了使用装修工具，还使用了其他方式 如竞价排名等方式 要保证找出的用户不包含使用了竞价排名等主要 的提升流量和销售收入等手段的用户，尽可能使 得这个用户群仅仅因为店面装修工具而带来的销 售收入的提升。 要求
数据不是万能的
2012年美国大选（结果却一边倒）
数据运营过程中存在的问题
领导的决断性 实际性 真实性 数据相关性 数据的稀疏性 数据的时效性
2.2 电子商务中的数据
卖什么产品利润高 卖什么产品销量大 什么时候卖产品最合适 怎么样搭配地卖 卖给谁最合适 什么样的客户会买 什么样的客户买得最多 到哪里去找这样的客户 如何廉价地找到这样的客户 如何留住这些客户 。。。。
如何面对铺面而来的数据
客单价显著上升，但人均成交件数并没有相应幅度的提高，即该店铺销售的商品 的单价变高。查看该店铺的宝贝销售排行并与T1 天对比，发现该店铺在周一时上 新了一款高价单品，带来了大量销售，另外有一款低价商品，也贡献了很高的转 化率
2.4 常见的数据处理技巧
数据的抽取要正确反映业务需求 数据抽样 分析数据的规模有哪些具体的要求 如何处理缺失值和异常值 数据转换 筛选有效的输入变量 共线性问题
协同过滤算法
基础
和你爱好合得来的人喜好的，你也很有可能喜好； 喜好一件器材 A，而另一件器材 B 与这件十分类似， 就很有可能喜好 B；
收集用户的偏好信息
显性数据 隐形数据
点击、搜索、购买
寻找相似的商品或者用户 产生推荐
基于用户的协同过滤
给定用户评分数据矩阵R 计算用户之间的相似度 根据评分数据和相似矩阵计算推荐结果
让数据说话
王永庆（台塑集团创始人）卖米 Target和怀孕指数预测
美国一名男子闯入他家附近的一家美国零售连锁超市Target 店铺（美国第三大零售商塔吉特）进行抗议：“你们竟然给 我17岁的女儿发婴儿尿片和童车的优惠券。”店铺经理立刻 向来者承认错误，但是其实该经理并不知道这一行为是总公 司运行数据挖掘的结果。一个月后，这位父亲来道歉，因为 这时他才知道他的女儿的确怀孕了。Target比这位父亲知道 他女儿怀孕的时间足足早了一个月。 Target能够通过分析女性客户购买记录，“猜出”哪些是孕妇。 他们从Target的数据仓库中挖掘出25项与怀孕高度相关的商 品，制作“怀孕预测”指数。比如他们发现女性会在怀孕四个 月左右，大量购买无香味乳液。几个月后，她们会买一些养 品，比如镁、钙锌。以此为依据推算出预产期后，就抢先一 步将孕妇装、婴儿床等折扣券寄给客户来吸引客户购买。