《大数据探索性分析》教学课件—第4章探索性数据分析方法
第二课 探索性数据分析_图表法
• 散点图—用于模型拟合检验（在后面章节中介 绍）
0.5
ห้องสมุดไป่ตู้
0.8
0
0
-0.5
-0.8
拟合较好的情况
模型中考虑的变量不足情况
补充：统计初步分析应提供信息
• 样本量大小 • 均值 • 中值 • 方差 • 标准差
Thanks !
应用SPSS软件
• 应用SPSS软件可以对观测数据进行描述性分析 • 分析步骤：完全可以借助于菜单实现 • 步骤1：打开要分析的数据（略）
单击OK按钮后，弹出如下对话框，可 以选择要计算的统计量，选择后单击 OK按钮即可。
练习
• 不用在步骤3中，不选择Descriptives，选 择exploring试一试，结果如何? • 数据：立交区合流区车辆速度\流量描述性 分析
应用spss绘制图表功能
• 绘图功能在GRAPH 模块中实现，其步骤和描述 性分析几乎雷同。
• 4）箱形图
• 箱形图数字特征：
– 中位数 – 上四分位数 – 下四分位数 – 离群值
• 图形信息：
– 分布对称性 – 偏度 – 数据离散特性
• 箱形图作法：
– 箱体：作一个长方形，长方形的上、下端分别为上、 下四分位数位置（盒子长度就是四分位间距），中间 横线是样本观测值的中位数。 – 从上、下端边向外各画一条线延长到不是离群值的最 远点（即线的端点为正常值的最大和最小值），把离 群值用“х”在离群值截断点以外标出。
• 箱形图应用：
– 样本总体的分布 – 诊断异常值
• 5）P-P图
• SPSS、SAS和S-plus都提供了P-P和Q-Q散点图 的自动作图方法。这里主要介绍作图原理。
速度数据的正态- P-P散点图
探索性数据分析
探索性数据分析探索性数据分析是利用ArcGIS提供的一系列图形工具和适用于数据的插值方法，确定插值统计数据属性、探测数据分布、全局和局部异常值（过大值或过小值）、寻求全局的变化趋势、研究空间自相关和理解多种数据集之间相关性。
探索性空间数据分析对于深入了解数据，认识研究对象，从而对与其数据相关的问题做出更好的决策。
一数据分析工具1.刷光（Brushing）与链接（Linking）刷光指在ArcMap数据视图或某个ESDA工具中选取对象，被选择的对象高亮度显示。
链接指在ArcMap数据视图或某个ESDA工具中的选取对象操作。
在所有视图中被选取对象均会执行刷光操作。
如在下面章节将要叙述的探索性数据分析过程中，当某些ESDA工具（如直方图、V oronoi图、QQplot图以及趋势分析）中执行刷光时，ArcMap数据视图中相应的样点均会被高亮度显示。
当在半变异/协方差函数云中刷光时，ArcMap数据视图中相应的样点对及每对之间的连线均被高亮度显示。
反之，当样点对在ArcMap数据视图中被选中，在半变异/协方差函数云中相应的点也将高亮度显示。
2.直方图直方图指对采样数据按一定的分级方案（等间隔分级、标准差分级）进行分级，统计采样点落入各个级别中的个数或占总采样数的百分比，并通过条带图或柱状图表现出来。
直方图可以直观地反映采样数据分布特征、总体规律，可以用来检验数据分布和寻找数据离群值。
在ArcGIS中，可以方便的提取采样点数据的直方图，基本步骤为：1）在ArcMap中加载地统计数据点图层。
2）单击Geostatistical Analyst模块的下拉箭头选择Explore Data并单击Histogram。
3）设置相关参数，生成直方图。
A.Bars：直方图条带个数，也就是分级数。
B.Translation：数据变换方式。
None：对原始采样数据的值不作变换，直接生成直方图。
Log：首先对原始数据取对数，再生成直方图。
02-探索性分析PPT
C
M
国
大
学
中
O
O
C
M
国
大
学
中
O
O
C
M
国
大
学
中
O
O
C
M
国
大
学
中
M
学
国
大
中
M
学
国
大
中
M
学
国
大
中
M
学
国
大
中
M
学
国
大
中
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
C
C
C
C
C
C
C
C
最小-最大规范化
中
C
O
M
O
大
学
国
O
O
C
小数定标规范化
M
国
大
学
中
M
学
国
大
中
M
学
国
大
中
M
学
国
大
中
零-均值规范化
中
C
O
M
O
大
学
国
O
O
C
M
国
大
学
中
O
大
大
大
大
学
学
学
学
学
学
学
学
M
M
M
M
M
M
M
M
C
O
《大数据探索性分析》教学课件—第3章大数据的数据预处理
数据预览 输出结果：
可以看到，后面的变量并没有被打印出来，整体的输出结果更加清晰。
数据预览 其余的数据预览操作：
语句 dim(Loan.df) colnames(Loan.df) Loan.df %% tbl_df %% print(n=6)
Loan.df %% tbl_df %% head
功能
summarise(group_by(Loan,grade),
#使用分类变量grade分组
ave.amnt=mean(funded_amnt,na.rm=TRUE), #计算删失数据均值
sd=sd(funded_amnt,na.rm=TRUE),
#计算删失标准差
n=sum(!is.na(funded_amnt)), #计算各组去除缺失值的样本容量
• 通常，将数据变换到[-1,1] 或[0,1]。
• 是一种线性变换，并不改变做变换变量与其余变量 的相关性。
对于数值型变量的变换
• 标准化（Standardization）
(x - x) sx
• 有时也用平均绝对离差。
n
å sM = xi - x n
i=1
• 目的：为了使变量间具有可比性 • 变换后的变量，均值为0，方差为1。
• 选择变量列
– 用指定列参数来选择子数据集，指定方式有：1.列名。2.列序号。能 用符号“:”把列名连接，也可以用符号“-”删除变量列。
Reject.s=select(Reject.temp, Amount.Requested, dti,Risk_Score:State) Reject.s=select(Reject.s,-Zip.Code,-Debt.To.Income.Ratio)
大数据分析方法精选ppt
注：部分研究问题已经明显定量化，部分则需要人工确定 量化标准
步骤6：运用数据分析方法产生结论
内容：套用各种数据方法产出结论
形式：数值、概率值、图表
分析软件和语言
SPSS、SAS、Matlab、smartPLS Python、R等等
分析方法：
常规统计方法：T检验、方差分析、相关分析、回归分析 、因子分析、时间序列分析、结构方程模型等，参考任 意一本统计学教材。
各种全新的配套手段：
存储（云）；处理（并行）； 保护（安全性）；分析（数据挖掘、机器学习）
潜力无限 vs 言过其实？ 创新为主 vs 传承为主？
引言
思考1：“大”数据，到底应该多大？
量级不严格、范围不严格
思考2：新方法，到底有多新？
大多数传承传统方式 新方法解决面窄
思考3：新结论，到底多有价值？
总结
总结
大数据和新方法只是新的资源和工具 挖掘数据价值的还是人
我们还会继续沿derstanding 大胆假设、小心求证 – Insight 实践产出理论、理论指导实践 – Prospect
Thanks
此课件下载可自行编辑修改，此课件供参考！ 部分内容来源于网络，如有侵权请与我联系删除！感谢你的观看！
数据分析的具体流程
步骤1：建立对对象的整体认知
内容：对对象建立主观印象 意义：产生新问题；产生对问题的合理假设 着手点：
观察现状；例子：购物中心的消费习惯转变 观察数据；例子：消费数据分析暗示的消费群体变化 此外，闻者有心：例子：外卖数据暗示房价
步骤2：提出希望探索的宏观问题
内容：提出大目标 形式：“A对B的影响”、“A未来一年的销售额”
探索性空间数据分析
研究生课程探索性空间数据分析杜世宏北京大学遥感与GIS研究所提纲一、地统计基础二、探索性数据分析•地统计（Geostatistics）又称地质统计，是在法国著名统计学家Matheron大量理论研究的基础上逐渐形成的一门新的统计学分支。
它是以区域化变量为基础，借助变异函数，研究既具有随机性又具有结构性，或空间相关性和依赖性的自然现象的一门科学。
凡是与空间数据的结构性和随机性，或空间相关性和依赖性，或空间格局与变异有关的研究，并对这些数据进行最优无偏内插估计，或模拟这些数据的离散性、波动性时，皆可应用地统计学的理论与方法。
•地统计学与经典统计学的共同之处在于：它们都是在大量采样的基础上，通过对样本属性值的频率分布或均值、方差关系及其相应规则的分析，确定其空间分布格局与相关关系。
但地统计学区别于经典统计学的最大特点是：地统计学既考虑到样本值的大小，又重视样本空间位置及样本间的距离，弥补了经典统计学忽略空间方位的缺陷。
•地统计分析理论基础包括前提假设、区域化变量、变异分析和空间估值。
• 1. 前提假设–⑴随机过程。
与经典统计学相同的是，地统计学也是在大量样本的基础上，通过分析样本间的规律，探索其分布规律，并进行预测。
地统计学认为研究区域中的所有样本值都是随机过程的结果，即所有样本值都不是相互独立的，它们是遵循一定的内在规律的。
因此地统计学就是要揭示这种内在规律，并进行预测。
–⑵正态分布。
在统计学分析中，假设大量样本是服从正态分布的，地统计学也不例外。
在获得数据后首先应对数据进行分析，若不符合正态分布的假设，应对数据进行变换，转为符合正态分布的形式，并尽量选取可逆的变换形式。
• 1. 前提假设–（3）平稳性。
对于统计学而言，重复的观点是其理论基础。
统计学认为，从大量重复的观察中可以进行预测和估计，并可以了解估计的变化性和不确定性。
–对于大部分的空间数据而言，平稳性的假设是合理的。
其中包括两种平稳性：•一是均值平稳，即假设均值是不变的并且与位置无关；•另一类是与协方差函数有关的二阶平稳和与半变异函数有关的内蕴平稳。
《大数据探索性分析》教学课件—第4章探索性数据分析方法
• 常用的刷技术有两种，基于角度的刷技术以及基于 结构的刷技术。
刷技术
• 基于角度的刷技术是根据相邻的两坐标轴间线段的 斜率范围来确定需要刷的数据。在两条线段夹角范 围内的数据将被突显，而没有涉及到的数据将不明 显，便于用户具有针对性的分析和研究。
• 折线的抽象基于边缘数据的汇总，在普通平行坐标 中，用一系列折线的平均值来取代这些折线。
• 当折线彼此交叠，数据直观分析比较困难时，用这 种方式可以增强对数据变化趋势的理解，减少折线 带来的混乱影响。
维放缩
• 主要应用在需要对局部数据放大观察的情况下。 • 比如在完成刷的操作后，刷出的数据范围比较小，
• 漫游法是典型的基于动画的多维可视化技术
• 漫游法可以在二维空间平面上投影多维数据，其基 本思想主要是基于在高维数据空间中移动投影平面 的这样一个简单构思，即设计一个时间参数，该参 数类似于 维空间中的2个平面。
• 也就是说，假设我们有 个变量的数据，取出其中的 一个变量作为动画的时间参数，并且根据时间参数 的变化，在二维空间的平面上迅速连续的投影其余 的 个变量。
这个条件。 • 一般的，我们使用中心化观测变量这一技术，即减
去样本均值。 • 混合矩阵在预处理之后保持不变，因此我们可以进
行中心化而不影响混合矩阵的估计。
不相关和白化
• 独立和不相关（uncorrelated）是紧密相关的概念， 因此，可以设想使用估计不相关变量的方法来同样 估计独立成分，这样的典型方法为白化（whitening） 或球化（sphering），通常由主成分分析来进行。 但用这样的方法来估计独立成分通常是不可行的， 一般的，白化是以独立成分分析的预处理技术身份 出现的。
• 这样做的优点是能够减小平行坐标图的复杂程度， 同时还能减低不重要数据对结果的干扰，便于我们 更好地对数据进行分析。
电子社大数据营销实训教学课件第4章 数据探索
继续单击广告的人的百分比。 转化率是指潜在客户转化为活跃客户的百分比。
Copyright ©2022 by Zhixuan Chen. All rights reserved.
实操：利用R语言进行数据探索
每天通话的总数 白天通话的总费用 晚上通话的总分钟数
晚上的电话总数 夜间通话的总费用 夜间通话总分钟数
夜间呼叫的总数 夜间通话的总费用 国际电话总分钟数 国际长途总电话数 国际长途电话的总费用 客户服务的电话数量 客户流失情况。是指客户是否离开公司
Copyright ©2022 by Zhixuan Chen. All rights reserved.
Copyright ©2022 by Zhixuan Chen. All rights reserved.
探索性数据分析的作用
1. 能帮助分析人员从看似混乱无章的原始数据中筛选出可用 的数据；
2. 能在数据清理中发挥重要作用； 3. 这是建立算法和过滤模型的第一步； 4. 能通过数据碰撞发现新假设，以不断地改进和提高算法的
4.3 发现派生特征变量 (示例)
Copyright ©2022 by Zhixuan Chen. All rights reserved.
发现派生特征变量——基于数据集观察的发现
示例
白天通话时长（y）= 350-0.45×傍晚通话时长（x） 通过上述方程，可以在原数据集中增加一个分类型 派生变量——长白天和傍晚通话时长标志 （HighDayEveMins_Flag）
Copyright ©2022 by Zhixuan Chen. All rights reserved.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 当折线彼此交叠，数据直观分析比较困难时，用这 种方式可以增强对数据变化趋势的理解，减少折线 带来的混乱影响。
维放缩
• 主要应用在需要对局部数据放大观察的情况下。 • 比如在完成刷的操作后，刷出的数据范围比较小，
• 美国统计学家Chernoff于20世纪70年代最早提出用 脸谱来表示多变量。
• 按照Chernoff于1973年提出的画法，采用15个指标， 各指标代表的面部特征为：1表示脸的范围；2表示 脸的形状；3代表鼻子的长度；4代表嘴的位置；5 代表笑容曲线；6表示嘴的宽度；7-11分别表示眼睛 的位置、分开程度、角度、形状和宽度；12表示瞳 孔的位置；13-15分别表示眉毛的位置、角度和宽度。
• 漫游法是典型的基于动画的多维可视化技术
鸢尾花数据的平行坐标图
平行坐标法的优缺点
• 优点：表达数据关系非常直观，易于理解，能够使 用户快速、简便地从传统直角坐标系转换到平行坐 标系，而不必使用矢量或其它可视图标。
• 缺点：表达维数决定于屏幕的水平宽度，当维数增 加，引起垂直轴靠近，辨认数据的结构和关系稍显 困难，坐标间的依赖关系很强，垂直平行轴之间的 安排序列性也是影响发现数据之间关系的重要因素， 而且多维结构也是复杂的。
• 根据各变量的取值，按照一定的数学函数关系，我 们就可以确定脸的轮廓、形状和五官的位置、形状。
Chernoff face方法
• Chernoff faces方法适合于在大量相似数据中发现奇 异点，或者根据表情对数据进行聚类。
• 不同的制图者可能会对同一变量选择不同的脸谱部 位，因此对于同样的数据，可能会产生不同的显示 结果。
• 基于结构的刷技术与平行坐标形成结构有很大的关 系。被刷出的数据能够以不同的详细程度显示，数 据范围比较灵活，可以是分层结构中的平均值，也 可以是一段完整的区间范围。通过基于结构的刷技 术能够实现将所选范围内的数据折线以更清晰的程 序显示出来。
维数的控制
• 在平行坐标中，我们通过对数据属性数量进行控制， 控制平行坐标维数，将我们关心的属性显示出来。
• 下图展示了鸢尾花数据在四个变量（花萼长、花萼 宽、花瓣长、花瓣宽）下的分布形态
基于多变量的多维可视化技术
• 该技术是近来空间多维数据可视化技术的基础，它 绝大部分都是采用通过高速图形计算生成的彩色图 形来表示的。
• 这种方法处理的数据量一般比较大，且可以处理复 杂数据类型的多维信息。
Chernoff face方法
第四章 探索性数据分析方法
本章的主要内容
• 第1节 多维数据的可视化技术 • 第2节 投影寻踪 • 第3节 独立成分分析 • 第4节 探索性数据分析案例 • 第5节 探索性数据分析综合应用
第1节 多维数据的可视化技术
基于2变量的多维可视化技术
• 目前采用基于2变量多维可视化技术的方法主要有 散点图矩阵等
这时就可以将该子区域的数据用全局范围来显示， 将局部放大的平行坐标图与全局的平行坐标图结合 起来观察，可以避免对数据的片面理解。
• 当数据量小且分散时，采用维缩小将更加易于集中 观察数据的变化趋势。
交换坐标轴
• 交换坐标轴可以把我们认为属性关系较密切的坐标 轴相邻，更好地呈现属性间的关系。在未知属性间 的关系时，可以试探地调换坐标轴次序，进而发现 不同属性间隐含的关系。
• 平行坐标技术将多维数据点映射成二维平面上的折 线且不损失信息，人们可以从折线的变化规律中发 掘有价值的信息，显得相对简便直观。
• 平行坐标的基本思想是在二维空间中采用等距离的 竖直的 个平行坐标轴表示 维空间， 个变量值对应 到 个平行坐标轴上，再将 个坐标轴上的点用连续 线段连接起来表示一个空间点，这 条线段与 条坐 标轴相交的 个点分别代表了数据点的 维数据。连 接 个坐标轴上点的 条线段的折线可以用 个线性无 关的方程所表示。
• 目前有很多对平行坐标的改进技术，例如层次化的 平行坐标技术。
基于平行坐标数据可视化方法
• 刷技术 • 维数的控制 • 数据抽象 • 维度放缩 • 交换坐标轴 • 上钻下卷
刷技术
• 刷技术能够在平行坐标中将一部分折线突显而使其 他折线不明显，如此能让用户更清晰直观地了解局 部数据变化规律，更好地对关注部分进行集中分析。
• 如果是p维数据，有p个坐标轴。根据排列组合，应 当有p!种排列。然而，实际上有相当多的冗余在这 个排列中，让相关的坐标相邻排列的最小组合实际 上是(p+1)/2。
基于动画的多维可视化技术
• 随着计算机技术的不断发展，传统的动画技术不仅 可以用于简单的结果显示，还能根据已知数据进一 步发现数据中隐藏的或者不可预测的重要信息。
• 平行坐标表示的多维数据集上，我们可以利用刷技 术交互选择数据区间和聚簇。
• 常用的刷技术有两种，基于角度的刷技术以及基于 结构的刷技术。
刷技术
• 基于角度的刷技术是根据相邻的两坐标轴间线段的 斜率范围来确定需要刷的数据。在两条线段夹角范 围内的数据将被突显，而没有涉及到的数据将不明 显，便于用户具有针对性的分析和研究。
• 这样做的优点是能够减小平行坐标图的复杂程度， 同时还能减低不重要数据对结果的干扰，便于我们 更好地对数据进行分析。
• 刷技术突显部分数据但不减少维数，因此，刷常被 看作是行分解，而对维数的控制改变了坐标的数量， 因此被看作是列分解。
数据的抽象
• 平行坐标图本身就是一个抽象图形，它将多维数据 抽象地表示在二维平面上，但是我们还可以对其进 行更高层次的抽象，即数据的平均值显示，数据的 平均值度量数据的中心趋势。
• 散点图矩阵画出多个变量两两间的散点图以考察多 变量关系。
• 如果给定p个变量，则可以通过创建一个包含p行p 列的散点图矩阵，其中的每行每列均唯一定义一个 散点图。
• 利用散点图矩阵，我们可以回答诸如两个变量之间 是否具有成对关系，数据当中是否存在孤立点以及 数据当中是否存在聚类等问题
鸢尾花数据的散点图矩阵