探索性数据分析EDA
探索性数据分析
探索性数据分析简介 探索性数据分析所谓探索性数据分析（ Exploratory Data Analysis ）以下简称EDA，是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进⾏探索通过作图、制表、⽅程拟合、计算特征量等⼿段探索数据的结构和规律的⼀种数据分析⽅法。
⽬录 1. 探索性数据分析的简要介绍 2. 探索性数据分析的必要性和意义 3. 探索分析的内容和考察⽅法1. 探索性数据分析的简要介绍 探索性数据分析的简要介绍探索性数据分析的简要介绍探索性数据分析的简要介绍探索性数据分析（Exploratory Data Analysis, EDA）⾸先由 J.W.Tukey提出的。
Tukey从⽣物学家那⾥学了许多分析数据的⽅法，并引⼊统计学中。
1977年，Tukey出版了他的名著《探索性数据分析》（UNDERSTANDING ROBUST AND EXPLORATORY DATA ANALYSIS），引起了统计学界的关注，成为探索分析的第⼀个正式出版物。
80年代后期，我国⼀些统计学者将这本著作介绍给我国统计学界，对我国统计学理论研究和统计事业的实践起到了积极作⽤。
此后，国内也有不少关于探索性数据分析⽅法的⽂章发表到各种统计刊物。
随着计算机技术的飞跃发展，以及数据的复杂性越来越强，实施探索性数据分析成为数据分析中不可替代的⼀部分，从⽽在统计分析的过程中发挥着越来重要的作⽤。
2. 探索性数据分析的必要性和意义 统计学原理告诉我们，搜集到的数据在建⽴数据⽂件以后，并⾮⽴即投⼊统计分析，因为数据结构、数据中隐含的内在统计规律等尚不清楚，需要对数据进⾏考察和探索。
因此，应⽤数据分析的整个操作步骤⼤体可以划分为两⼤阶段：探索阶段和证实阶段。
探索性数据分析分分离出数据的模式和特点，把他们有⼒地显⽰给分析者。
常常，分析者现对数据做探索性数据分析，⽽后才能有把握地选择结构分量或随机分量的模型；探索性数据分析还可以⽤来揭⽰：数据对于常见模型的意想不到的偏离。
数据挖掘-EDA（ExploratoryDataAnalysis）
数据挖掘-EDA（ExploratoryDataAnalysis）定义 探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、⽅程拟合、计算特征量等⼿段探索数据的结构和规律的⼀种数据分析⽅法。
⼀般有以下⼏个⽬的：弄清楚数据的含义发现数据的结构锁定⼀些重要的特征（通过观察该特征不同值对应的label是不是有区别，同⼀个特征的不同取值label的分布差别越⼤，这个特征越有效）异常值以及离群数据的检测（类别极致不平衡以及⽅差很⼩）结合⾏业背景选择合适的模型常⽤⽅法绘图⽅法 1. 对原始数据绘图 2. 绘制原始数据的⼀些统计学图（箱型图、⼩提琴图、直⽅图等） 3. 多特征对⽐性绘图（查看不同的特征之间的关系）量化⽅法 1. 计算偏度和锋度 2. 区间估计 3. 分类类型绘图⽅法量化⽅法：相关性分析 先定义三类变量: 1. 定类变量: 通过该变量可以进⾏分类，但是该变量没有实际的数值意义（例如性别，城市）。
2. 定序变量: 不仅可以⽤来分类，还按某种规律排序，不同的定序变量可以⽐较⼤⼩，有排序的能⼒，但是之间的差值没有意义（例如消费能⼒，教育程度）。
3. 定距变量: 可以⽐较⼤⼩，差值具有意义。
（常见的连续变量，例如价格、购买数量） 不同类型的⽅法相关性检测的⽅法是不同的：独⽴性分析 利⽤MVtest检验两个变量是否相关。
最后补充⼀点决策树是⼀个⾮参数⽅法。
这意味着它不对数据的空间分布和分类结构做任何假设。
⽽⼀般的多元线性模型假设各个特征之间是不相关的，如果两个特征的相关性过⾼则会有复共线性的影响，会降低多元线性模型的预测精度。
探索性数据分析
探索性数据分析探索性数据分析（Exploratory Data Analysis，简称EDA）是指在进行统计分析之前对原始数据进行了解、探究和可视化的过程。
EDA是研究者对于原始数据的初步感知，帮助研究者更好地理解数据特征，从而进行进一步的分析预测和建模。
EDA主要包含了数据摘要、单变量分析和多变量分析三个部分。
1. 数据摘要数据摘要是指将数据整体概括成一般性描述性统计量的方法，通常采用以下统计量：（1）中心趋势度量：平均值、中位数、众数等；（2）离中趋势度量：方差、标准差、中位数绝对偏差等；（3）分布形态度量：偏度、峰度和频数分布图等。
这些统计量可以帮助我们了解数据的整体特征和分布情况，然后利用图表展现出来，便于直观地理解数据的基本属性和规律。
2. 单变量分析单变量分析是指对单一变量（即数据集中的一个字段）进行统计描述和可视化展示。
通过单变量分析，我们可以得到以下信息：（1）数据类型：对于定量数据可以得到最大值、最小值、平均数等，对于定性数据可以得到类别的名称和频率分布情况。
（2）数据分布：绘制频率分布表格或统计图，如直方图、核密度图等，以此判断数据是否符合正态分布或其他分布规律。
单变量分析能够帮助我们从一个维度出发，探究单个变量的差异性和分布特征，为后续多变量分析创造条件。
3. 多变量分析多变量分析是指在研究对象中同时考虑两个或多个变量，找出它们之间的相互关系和作用。
多变量分析通常采用散点图、折线图、箱形图、气泡图等统计图形展现数据之间的相互影响及相关性，其主要目的是确定各变量之间的关系强弱，进而展示不同因素之间的相互作用，辅助研究者选择不同的预测模型，提高研究的准确性。
总结探索性数据分析不仅可以用于理解基础统计知识，更能发掘先前未被发现的信息，为接下来的深入统计分析和建模提供依据和契机。
EDA旨在通过基本的统计方法、图表展示结合常识判断和领域知识，使数据具有更深入、丰富的信息价值，提高数据处理后的可信度和准确度。
数据探索性分析方法
数据探索性分析方法1.1数据探索性分析概述探索性数据分析（Exploratory Data Analysis，简称EDA），是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。
特别是当我们对这些数据中的信息没有足够的经验，不知道该用何种传统统计方法进行分析时，探索性数据分析就会非常有效。
探索性数据分析在上世纪六十年代被提出，其方法由美国著名统计学家约翰·图基（John Tukey）命名。
EDA的出现主要是在对数据进行初步分析时，往往还无法进行常规的统计分析。
这时候，如果分析者先对数据进行探索性分析，辨析数据的模式与特点，并把它们有序地发掘出来，就能够灵活地选择和调整合适的分析模型，并揭示数据相对于常见模型的种种偏离。
在此基础上再采用以显著性检验和置信区间估计为主的统计分析技术，就可以科学地评估所观察到的模式或效应的具体情况。
所以概括起来说，分析数据可以分为探索和验证两个阶段。
探索阶段强调灵活探求线索和证据，发现数据中隐藏的有价值的信息，而验证阶段则着重评估这些证据，相对精确地研究一些具体情况。
在验证阶段，常用的主要方法是传统的统计学方法，在探索阶段，主要的方法就是EDA。
EDA的特点有三个：一是在分析思路上让数据说话，不强调对数据的整理。
传统统计方法通常是先假定一个模型，例如数据服从某个分布(特别常见的是正态分布)，然后使用适合此模型的方法进行拟合、分析及预测。
但实际上，多数数据(尤其是实验数据)并不能保证满足假定的理论分布。
因此，传统方法的统计结果常常并不令人满意，使用上受到很大的局限。
EDA则可以从原始数据出发，深入探索数据的内在规律，而不是从某种假定出发，套用理论结论，拘泥于模型的假设。
二是EDA分析方法灵活，而不是拘泥于传统的统计方法。
传统的统计方法以概率论为基础，使用有严格理论依据的假设检验、置信区间等处理工具。
EDA的使用流程
EDA的使用流程1. 什么是EDAEDA全称Exploratory Data Analysis，即探索性数据分析。
它是数据科学中非常重要的一步，通过EDA可以帮助我们理解、总结和分析数据集，为后续的建模和预测工作提供依据。
2. EDA的主要步骤EDA的主要步骤包括数据获取、数据预处理、数据探索和数据可视化。
2.1 数据获取数据获取是EDA的第一步，通常情况下我们会从文件、数据库或者API中获取数据。
一种常见的方式是使用Python编程语言，利用pandas库来读取和处理数据。
2.2 数据预处理数据预处理是为了保证数据的质量和准确性，通常包括以下几个方面的处理：- 缺失值处理：对于缺失的数据，可以通过填充、删除或者插值等方式进行处理。
- 异常值处理：对于异常值，可以进行删除或者修正。
- 数据类型转换：将数据转换为适合分析的类型，比如将字符串转换为数值型。
2.3 数据探索数据探索是EDA的核心步骤，通过统计分析和可视化手段对数据进行探索。
主要包括以下几个方面： - 描述性统计分析：通过计算各种统计指标，如均值、中位数、方差等，来了解数据的中心趋势和离散程度。
- 相关性分析：通过计算变量之间的相关系数，来分析变量之间的线性关系。
- 统计分布分析：通过绘制直方图、概率密度图等，来了解数据的分布情况。
- 探索变量间的关系：通过绘制散点图、箱线图等，来分析变量之间的关系。
2.4 数据可视化数据可视化是通过图表方式展现数据的分布、关系和趋势，通过视觉化手段来更直观地理解数据。
常见的数据可视化工具包括matplotlib和seaborn等。
3. EDA的重要性EDA在数据科学中起到了至关重要的作用，具有以下几个重要性： - 发现数据的规律和趋势：EDA可以帮助我们通过数据的可视化和探索来发现数据中的规律和趋势。
- 异常值识别：通过EDA，我们可以识别出数据中的异常值，并进行合理的处理。
- 特征工程：EDA可以帮助我们分析数据中的特征，进而选择出最重要的特征，为后续的机器学习模型建立提供指导。
探索性数据分析的重要性
探索性数据分析的重要性数据分析是一种通过收集、整理、解释和展示数据来获取有关现象、趋势和关系的信息的过程。
在数据分析中，探索性数据分析（Exploratory Data Analysis，简称EDA）是一种重要的方法，它通过可视化和统计技术来揭示数据中的模式、异常和趋势，帮助我们更好地理解数据并做出合理的决策。
一、揭示数据的基本特征探索性数据分析可以帮助我们揭示数据的基本特征，包括数据的分布、中心趋势和离散程度。
通过绘制直方图、箱线图和散点图等可视化工具，我们可以直观地了解数据的分布情况，判断数据是否服从正态分布或其他特定的分布模型。
同时，通过计算均值、中位数、标准差等统计指标，我们可以了解数据的中心趋势和离散程度，进一步分析数据的特点和规律。
二、发现数据的关联关系探索性数据分析可以帮助我们发现数据之间的关联关系。
通过绘制散点图、热力图和相关系数矩阵等可视化工具，我们可以直观地了解不同变量之间的相关性。
这有助于我们发现变量之间的线性或非线性关系，进一步分析变量之间的因果关系或相互影响，为后续的建模和预测提供依据。
三、识别数据的异常值和缺失值探索性数据分析可以帮助我们识别数据中的异常值和缺失值。
异常值是指与其他观测值明显不同的观测值，可能是由于测量误差或数据录入错误导致的。
通过绘制箱线图和散点图等可视化工具，我们可以直观地发现异常值，并进一步分析其原因和影响。
缺失值是指数据中缺少某些观测值的情况，可能是由于数据采集过程中的遗漏或数据处理过程中的错误导致的。
通过计算缺失值的比例和分布情况，我们可以评估数据的完整性，并采取相应的处理方法。
四、支持决策和预测探索性数据分析可以为决策和预测提供支持。
通过对数据的探索和分析，我们可以了解数据的特点和规律，为决策提供依据。
例如，在市场营销中，通过对客户数据的探索性数据分析，我们可以了解不同客户群体的特点和需求，为制定精准的营销策略提供参考。
在金融风控中，通过对历史交易数据的探索性数据分析，我们可以发现不同变量之间的关联关系，为建立风险模型和预测未来风险提供依据。
探索性数据分析简介
重新表达亦称变换（Transformation），一批数据
x1，x2，…，xn的变换是一个函数T，它把每个xi用新值
的先后名次，即为观测值的升秩（Upward rank），即 x(1)的升秩为1，x(2)的升秩为2，x(i)的升秩为i；
类似地，有降秩的概念，在排序基础上，从最大
值到最小值的先后名次即为降秩（Downward rank），
x(i)的降秩为n+1-i，同一个数据有：升秩＋降秩＝n+1
2020/7/19
2020/7/19
试验优化技术
2
▪ 分析方法从实际出发，不以某种理论为依据
传统的统计分析方法是以概率论为理论基础，对各 种参数的估计、检验和预测给出具有一定精度的度量方 法和度量值。EDA则以不完全正式的方法处理数据。在 探索数据内在的数量特征、数量关系和数量变化时，什 么方法可以达到这一目的就采用什么方法，灵活对待， 灵活处理。方法的选择完全服从于数据的特点和研究的 目的，并且更重视数据特征值的稳健耐抗性，而相对放 松对概率理论和精确度的刻意追求。
2020/7/19
试验优化技术
8
三、探索性数据分析的常用术语
1. 批（Batch）或数据批
批即由n个观测值x1，x2，…，xn组成的数据组。在
传统统计中，这个数据组常称为样本，但批只是原始 数据组，没有像对样本那样的任何假设，如数据间独 立、服从正态分布等。
注意：在传统统计中，常用的样本均值、方差等 统计量是不耐抗的，即使只有一个异常数据也会对它 们产生巨大的有害影响。而在EDA中，为了探索性目 的，用基于排序和计数的简单的总括统计量，如中位 数，常常是耐抗的，即一批数据的一小部分不论怎样 变化也只对这个总括统计量有很小的影响。
关于EDA的概述
关于EDA的概述探索性数据分析（Exploratory Data Analysis，EDA）是指对收集到的数据进行初步观察、分析、总结和可视化的过程。
它是数据分析的第一步，通过这一步骤，我们可以对数据有一个整体的认识，发现数据中的模式和趋势，为下一步的建模和预测提供一定的指导。
EDA可以包括以下几个主要步骤：1.数据清理：数据清理是EDA的关键步骤之一，它涉及数据集中的缺失值、异常值、重复值等问题的处理。
缺失值是指数据集中一些变量的部分观测值缺失的情况，异常值是指数据集中与其他观测值相比具有明显差异的观测值，重复值是指数据集中出现多次的相同观测值。
通过清除这些问题数据，可以提高后续分析的准确性和可靠性。
2.描述统计分析：描述统计分析是对数据集的基本统计特征进行总结和描述的过程。
通过计算数据的均值、中位数、标准差、极值等统计指标，可以直观地了解数据的中心趋势、分散程度、数据分布形态等情况。
此外，还可以通过制作直方图、箱线图、散点图等可视化图形来展示数据的分布和关系。
3.变量关系分析：变量关系分析是研究不同变量之间关系的过程。
通过计算变量之间的相关系数、绘制散点图、矩阵图等可视化图形，可以了解变量之间的线性相关性、非线性相关性、正负相关性等情况。
进一步分析不同变量之间的关系，可以帮助我们发现变量之间的潜在模式和规律。
4.探索性可视化：探索性可视化是通过制作各种图表来呈现数据的分布、关系和趋势的过程。
常用的探索性可视化图形包括直方图、箱线图、散点图、折线图、热力图等。
这些图形可以帮助我们更好地理解数据的特征和结构，发现数据中的模式和趋势。
5.假设检验：在数据分析中，我们常常会提出一些假设，然后通过统计方法进行假设检验。
假设检验的目的是判断从样本中得到的统计结果是否支持我们所提出的假设。
在EDA中，可以使用T检验、卡方检验、方差分析等常见的假设检验方法来对数据进行验证。
6.结论总结：完成以上步骤后，我们可以对数据进行总结和结论。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
探索性数据分析EDA
简写eda——刨土dig——
准则：数据中心、离散程度、位置
目的：
1.变量之间到底有没有期待的关系
2.如果有理论假设——看看有没有证据
3.看看缺失值多不多，看看数据收集录入中的问题
4.识别可能需要收集更多数据的领域
∙定义：通过分析数据来总结数据主要特征的方法，然后它用到的分析手段主要包括：
∙制图包括作表然后它用到的分析手段主要包括
∙制图包括作表
∙还包括计算一些数值型的特征值
∙可视化方法
大胆使用！别被假设禁锢，发现新的问题，提出新的假设
ida＝初步的数据分析——与eda不同，eda要忘掉假设，ida带着假设来检验。