数据处理与分析- 第二章
合集下载
Python大数据处理与分析实战指南
Python大数据处理与分析实战指南第一章：引言随着大数据时代来临，数据处理与分析成为了各行业中的热门话题。
Python作为一种简洁而强大的编程语言，被广泛应用于大数据领域。
本指南将带领读者从零开始，掌握Python在大数据处理与分析中的实战技巧。
第二章：Python基础知识回顾在开始实战之前，我们先回顾一些Python的基础知识。
本章将介绍Python的数据类型、函数、条件语句以及循环结构等基本概念，为读者打下坚实的基础。
第三章：Python与数据获取数据获取是大数据处理与分析的第一步。
本章将介绍Python在数据获取方面的常用库和技巧，如网络爬虫、API调用等。
同时，我们还会介绍一些常见的数据获取场景，并给出相应的解决方案。
第四章：数据预处理与清洗在进行数据分析之前，数据预处理与清洗是必不可少的环节。
本章将介绍Python在数据预处理与清洗方面的一些常见技术，如数据去重、缺失值处理、异常值检测等。
此外，我们还会介绍一些常用的数据预处理工具和库。
第五章：数据可视化数据可视化是数据分析中非常重要的一环。
本章将介绍Python 在数据可视化方面的一些常用工具和库，如Matplotlib、Seaborn 等。
我们将学习如何使用这些工具来展示数据、发现数据中的规律，并给出相应的案例分析。
第六章：统计分析与机器学习统计分析与机器学习是数据分析的核心内容之一。
本章将介绍Python在统计分析与机器学习方面的一些常用库和算法，如NumPy、scikit-learn等。
我们将学习如何使用这些工具来进行数据分析、建立模型，并给出相应的实例分析。
第七章：大数据处理工具与技术对于大规模的数据处理与分析，Python需要借助一些大数据处理工具与技术来提高效率。
本章将介绍Python在大数据处理方面的一些常用工具和技术，如Hadoop、Spark等。
我们将学习如何使用这些工具来处理大规模的数据，并给出相应的实战案例。
第八章：实战项目：航班数据分析本章将以航班数据分析为例，展示Python在大数据处理与分析中的实战技巧。
人教版初中七年级上册信息技术：四、简单的数据处理
计算每个家庭 每月孩子开销 的总额
（(3算例3+-44+术如+556运6：）)*算2×加减00.符0+2.B+2或13==+BA-5223函A/+-5BB7232÷数++B2475组+^BA2A223成51、单3+B元。3B、格1B中+4三的C1个数单值元减C格去3中B-25数单0值元相格加中的数值
90
40
160
40
130
零花钱 80 100 70 100 150 80 100 200 50 50 60
二、数据处理 数值计算
（一）公式运算 把下面的数学式子写成Excel表达式并在单元格中 输运入表算符公达式式执行由操一作 个公或式例多子个单元格地址说、明 数据、
1.Excel的公式 2.用公式计算
内括号中的式子优先计算等规则。
二、数据处理 数值计算
3.快速填充公式 计算完成计算所有家庭平均月收入、各项开 销平均数、平均每月开销总额。
4.设置数字格式 计算把各项平均值的小数位数改为1位。
练习
在“周末时间支配情况”表中计算下列问题：
1.计算每位同学时间支配的总额 2.计算每项活动的平均时间
思考并回答
买服饰 200 150
买书 60 50
人际交往 120 150
4000 4800 5500 3700 5000
50
220
30
100
40
180
80
140
70
250
50
160
30
100
20
100
70
120
70
120
6000 3800 4200 4500
（(3算例3+-44+术如+556运6：）)*算2×加减00.符0+2.B+2或13==+BA-5223函A/+-5BB7232÷数++B2475组+^BA2A223成51、单3+B元。3B、格1B中+4三的C1个数单值元减C格去3中B-25数单0值元相格加中的数值
90
40
160
40
130
零花钱 80 100 70 100 150 80 100 200 50 50 60
二、数据处理 数值计算
（一）公式运算 把下面的数学式子写成Excel表达式并在单元格中 输运入表算符公达式式执行由操一作 个公或式例多子个单元格地址说、明 数据、
1.Excel的公式 2.用公式计算
内括号中的式子优先计算等规则。
二、数据处理 数值计算
3.快速填充公式 计算完成计算所有家庭平均月收入、各项开 销平均数、平均每月开销总额。
4.设置数字格式 计算把各项平均值的小数位数改为1位。
练习
在“周末时间支配情况”表中计算下列问题：
1.计算每位同学时间支配的总额 2.计算每项活动的平均时间
思考并回答
买服饰 200 150
买书 60 50
人际交往 120 150
4000 4800 5500 3700 5000
50
220
30
100
40
180
80
140
70
250
50
160
30
100
20
100
70
120
70
120
6000 3800 4200 4500
第二章 误差和分析数据处理
课堂互动 下面是三位学生练习射击后的射击靶 图，请您用精密度或准确度的概念来评 价这三位学生的射击成绩。
二、系统误差和偶然误差
误差(error)：测量值与真实值的差值
根据误差产生的原因及性质，可以将误差分为系统误 差和偶然误差。
1 系统误差 (systematic error) 又称可测误差，由某
§3 有效数字及计算规则
小问题：1与1.0和1.00相等吗? 答:在分析化学中1≠1.0≠1.00 一、有效数字(significant figure) 概念：分析工作中实际上能测量到的数字，除最后一 位为可疑数字，其余的数字都是确定的
如：分析天平称量：1.21 23 (g) 滴定管读数：23.20 (ml)
=0.17
S 0.17 RSD 100 % 100 % 1.1% 15.82 X
用标准偏差比用平均偏差更科学更准确。
例: 两组数据
(1) 0.11, -0.73, 0.24, 0.51, -0.14, 0.00, 0.30, -0.21,
n=8 n=8 d1=0.28 d2=0.28 s1>s2 s1=0.38 s2=0.29 (2) 0.18, 0.26, -0.25, -0.37, 0.32, -0.28, 0.31，-0.27
(1)绝对误差 (δ) : δ= x－μ (2) 相对误差(RE): R E= δ / μ× 100%
注:
注1:两种误差都有正、负值之分。
小问题1：
买猪肉1000斤少0.5斤和买1斤少0.5斤哪个误差大?
小问题2： 用分析天平称量两个样品，一个是0.0021克，另一 个是0.5432克，两个测量值的绝对误差都是0.0001 克，试通过计算相对误差来说明哪种表示法更好。
学习使用STATA进行数据处理与分析
学习使用STATA进行数据处理与分析第一章：STATA的介绍与安装STATA是一款专业的统计分析软件，广泛应用于社会科学、经济学、医学和生物学等领域。
本章将介绍STATA的特点、功能以及安装步骤。
STATA具有强大的数据处理和统计分析能力，可以进行数据清洗、变量管理、描述性统计分析、假设检验、回归分析等操作。
第二章：数据导入与数据清洗数据处理是统计分析的基础，本章将介绍如何使用STATA进行数据导入和数据清洗。
首先，介绍将数据导入到STATA中的几种方式，如直接读取Excel文件、导入CSV文件等。
其次，介绍如何处理缺失值、异常值和重复值，以确保数据的质量。
第三章：变量管理与数据转换本章将介绍如何在STATA中进行变量管理和数据转换。
首先，介绍如何创建新变量、重编码变量、将字符串变量转换为数值变量等操作。
其次，介绍如何进行数据排序、合并数据集、将宽数据转换为长数据等操作，以满足不同的分析需求。
第四章：描述性统计分析描述性统计分析是对数据进行总结和描述的方法，本章将介绍如何使用STATA进行常见的描述性统计分析。
包括计算频数和占比、计算均值和标准差、绘制直方图和箱线图等操作。
此外，还将介绍如何计算变量之间的相关系数和交叉表分析等。
第五章：假设检验假设检验是统计分析中常用的方法之一，用于验证研究假设的有效性。
本章将介绍如何使用STATA进行常见的假设检验。
包括单样本t检验、配对样本t检验、独立样本t检验、方差分析等操作。
同时，还将介绍如何进行非参数检验，如Wilcoxon秩和检验和Kruskal-Wallis检验。
第六章：回归分析回归分析是一种常见的统计分析方法，用于研究变量之间的关系。
本章将介绍如何使用STATA进行回归分析。
包括简单线性回归、多元线性回归、logistic回归等操作。
同时，还将介绍如何进行残差分析和模型诊断，以验证回归模型的有效性和可靠性。
第七章：面板数据分析面板数据分析是一种特殊的数据分析方法，用于研究个体与时间的关系。
第二章实验数据处理与分析结果的可靠性评价
2013-7-13
上页
下页
回主目录
返回上一级
结束
11
第二节
一、评价指标
表示方法：误差
误差越大，准确度越低 绝对误差：测定值与真实值之差。 相对误差：绝对误差占真实值的百分率。
2013-7-13
上页
下页
回主目录
返回上一级
结束
12
第二节
一、评价指标
重点注意
绝对误差相等，相对误差并不一定相同； 绝对误差相同，被测定的量较大时，相对误差较小； 相对误差比绝对误差表示准确度更确切； 绝对误差和相对误差的正值表示分析结果偏高，负值 表示分析结果偏低; 真实值实际上是无法获得，常用
系统误差 随机误差
项目
产生原因 分类 性质 影响
消除或减 校正 小的方法
2013-7-13
固定的因素 方法误差、试剂误差、 仪器误差、、主观误差
不定的因素
重现性、单向性（或周 不恒定性、有统计 期性）、恒定性 规律 准确度 精密度 增加平行测定的数
下页
回主目录
上页
返回上一级
结束
28
第二节
不当
指示剂选择不当 或改进方法
空白试验
试剂误差 纯度不够
2013-7-13
上页
下页
回主目录
返回上一级
结束
22
第二节
二、误差的来源 原因及校正方法
原因 实例 刻度不精准等 校正 校正仪器， 使用校正值 对照试验
名称 Instrument 够
仪器误差 仪器精度不 灵敏度低、器皿
al Errors
结束
33
第二章
第三节 实验数据的处理
第二章_误差和分析数据处理讲解
• （2）积、商结果的相对标准偏差的平方，等于各 测量值的相对标准偏差的平方和。
化学分析
第二章 误差和分析数据处理
30
• 例 设天平称量时的标准偏差S=0.1mg，求称量试
样时的标准偏差Sm。
• 解：试样量是两次称量所得m1与m2的差值，即
•
m=m1-m2 或 m=m2-m1
• 读取称量m1与m2时平衡点的偏差，要反映到m中 去，因此
化学分析
第二章 误差和分析数据处理
7
3. 真值与标准值
• 某一物理量本身具有的客观存在的真实数值，即 为该量的真值。一般来说，真值是未知的，但下 列情况的真值可以认为是已知的。
• （1）理论真值：如某化合物的理论组成等。
• （2）约定真值：由国际计量大会定义的单位（国 际单位）及我国的法定计量单位。如长度、质量、 时间、电流强度、热力学温度、发光强度及物质 的量。元素的原子量也为约定真值。
• ②比例误差（proportional error）：如果系统误差 的绝对值随试样量的增大而成比例的增大，但相 对值保持不变则称为比例误差。例如，试样中存 在的干扰成分引起的误差，误差绝对值随试样量 的增大而成比例的增大，而其相对值保持不变。
化学分析
第二章 误差和分析数据处理
22
• （二）偶然误差（accidental error） • 1. 定义：又称为随机误差。它是由一些无法控制
23
• 系统误差和偶然误差来源不同，处理方法也不 同。但二者经常同时存在，有时很难分清，从 而将认识不到的系统误差归为偶然误差。
• 除了系统误差和偶然误差外，在分析过程中往 往会遇到由于疏忽或差错引起的所谓“过失”， 其实质是一种错误，不能称为误差。这种错误 主要是由于操作者主观上责任心不强，粗枝大 叶或工作差错（如加错试剂、记录错误等）造 成的。
化学分析
第二章 误差和分析数据处理
30
• 例 设天平称量时的标准偏差S=0.1mg，求称量试
样时的标准偏差Sm。
• 解：试样量是两次称量所得m1与m2的差值，即
•
m=m1-m2 或 m=m2-m1
• 读取称量m1与m2时平衡点的偏差，要反映到m中 去，因此
化学分析
第二章 误差和分析数据处理
7
3. 真值与标准值
• 某一物理量本身具有的客观存在的真实数值，即 为该量的真值。一般来说，真值是未知的，但下 列情况的真值可以认为是已知的。
• （1）理论真值：如某化合物的理论组成等。
• （2）约定真值：由国际计量大会定义的单位（国 际单位）及我国的法定计量单位。如长度、质量、 时间、电流强度、热力学温度、发光强度及物质 的量。元素的原子量也为约定真值。
• ②比例误差（proportional error）：如果系统误差 的绝对值随试样量的增大而成比例的增大，但相 对值保持不变则称为比例误差。例如，试样中存 在的干扰成分引起的误差，误差绝对值随试样量 的增大而成比例的增大，而其相对值保持不变。
化学分析
第二章 误差和分析数据处理
22
• （二）偶然误差（accidental error） • 1. 定义：又称为随机误差。它是由一些无法控制
23
• 系统误差和偶然误差来源不同，处理方法也不 同。但二者经常同时存在，有时很难分清，从 而将认识不到的系统误差归为偶然误差。
• 除了系统误差和偶然误差外，在分析过程中往 往会遇到由于疏忽或差错引起的所谓“过失”， 其实质是一种错误，不能称为误差。这种错误 主要是由于操作者主观上责任心不强，粗枝大 叶或工作差错（如加错试剂、记录错误等）造 成的。
第二章 误差及分析数据处理
3. 减免方法：增加平行测定次数
4.产生原因： 偶然因素 随机变化因素（环
境温度、湿度和气压 的微小波动）
三、误差的减免
1. 系统误差的减免 与标准试样的标准结果对照
(1) 对照实验： 与标准方法比较 回收实验 “内检”与“外检”
(2) 空白实验 (3) 校准仪器 (4)定期培训
•分析化学常用试验的方法检查系统误差的存在， 并对测定值加以校正，使之更接近真实值。常有 以下试验方法：
二、数字的修约规则 四舍六入五成双
注意： 1、要修约的数值小于等于4则舍；
2、要修约的数值大于等于6则进到前一位
3、要修约的数值为5时：如5后无数或为 零时,5前为奇数则进到前一位； 5前为偶数则 舍弃；但当5后有非零数字时，无论5前为奇数 还是偶数，都要进到前一位；
4、在对数字进行修约时，只能一次修约到 所需的位数，不能分步修约。
2．平均偏差 ( d )
为各次测定值的偏差的绝对值的平均值
特点：简单；
n
Xi X
d i1 n
缺点：大偏差得不到应有反映。
3.相对平均偏差：为平均偏差与平均值之 比，常用百分率表示：
Rd d 100 % X
4.标准偏差(standard deviation; S)
使用标准偏差是为了突出较大偏差的影
解：X =(15.67+15.69+16.03+15.89)/4=15.82
d = Xi-X =15.67-15.82=-0.15
RE% =-0.15/15.82×100%=-0.95%
n
Xi X
d i1
=(0.15+0.13+0.21+0.07)/4=0.14
4.产生原因： 偶然因素 随机变化因素（环
境温度、湿度和气压 的微小波动）
三、误差的减免
1. 系统误差的减免 与标准试样的标准结果对照
(1) 对照实验： 与标准方法比较 回收实验 “内检”与“外检”
(2) 空白实验 (3) 校准仪器 (4)定期培训
•分析化学常用试验的方法检查系统误差的存在， 并对测定值加以校正，使之更接近真实值。常有 以下试验方法：
二、数字的修约规则 四舍六入五成双
注意： 1、要修约的数值小于等于4则舍；
2、要修约的数值大于等于6则进到前一位
3、要修约的数值为5时：如5后无数或为 零时,5前为奇数则进到前一位； 5前为偶数则 舍弃；但当5后有非零数字时，无论5前为奇数 还是偶数，都要进到前一位；
4、在对数字进行修约时，只能一次修约到 所需的位数，不能分步修约。
2．平均偏差 ( d )
为各次测定值的偏差的绝对值的平均值
特点：简单；
n
Xi X
d i1 n
缺点：大偏差得不到应有反映。
3.相对平均偏差：为平均偏差与平均值之 比，常用百分率表示：
Rd d 100 % X
4.标准偏差(standard deviation; S)
使用标准偏差是为了突出较大偏差的影
解：X =(15.67+15.69+16.03+15.89)/4=15.82
d = Xi-X =15.67-15.82=-0.15
RE% =-0.15/15.82×100%=-0.95%
n
Xi X
d i1
=(0.15+0.13+0.21+0.07)/4=0.14
第二章_误差和分析数据处理 3.
相对偏差(relative deviation dr)：偏差占平均值中的份额。
dr
x x x
100 0 0
平均偏差(mean deviation, d )：将一组测量值之各次测定偏 差的绝对值对测定次数求得的平均值。平均偏差无正负之分。
1 n d xi x n i 1
相对平均偏差 (relative mean deviation, d )：平均偏差占测 r 量平均值的比例。
2. 随机误差（random error）
由测量过程中一系列有关因素的微小随机波动 而引起的、具有相互抵消性的误差，具有统计规 律性，多次测量时正负误差可能相互抵消。 随机误差不可避免，也无法严格控制，仅可尽量 减少(如增加测定次数)。
系统误差的单向性和可重复性决定其只影响准确 度而不影响精密度；随机误差的双向和不确定性 则对准确度和精密度都有影响。
第二章 误差和分析数据处理
(Errors in Quantitative Analysis and Statistical Data Treatment )
2.1 测定误差及其分类 2.2 有效数字及运算规则
2.3 分析数据的统计处理
2.1 测定误差及其分类
2.1.1 准确度和精密度 1. 误差和准确度
2．偏差与精密度
平均值( x , mean)：n 次测量数据的算术平均值。
x1 x2 x3 xn 1 n X xi n n i 1 平均值比单次测量值 x 更客观地代表待测参数。
精密度(precision)：一组测定数值彼此之间的接近程度(即
多次重复测定某一量时所得测量值的离散程度)，常以偏差、
d d r 100% x
标准偏差(standard deviation, s)：偏差平方和之均值的平方根 （特点：将突现大偏差对测定结果的影响）。
dr
x x x
100 0 0
平均偏差(mean deviation, d )：将一组测量值之各次测定偏 差的绝对值对测定次数求得的平均值。平均偏差无正负之分。
1 n d xi x n i 1
相对平均偏差 (relative mean deviation, d )：平均偏差占测 r 量平均值的比例。
2. 随机误差（random error）
由测量过程中一系列有关因素的微小随机波动 而引起的、具有相互抵消性的误差，具有统计规 律性，多次测量时正负误差可能相互抵消。 随机误差不可避免，也无法严格控制，仅可尽量 减少(如增加测定次数)。
系统误差的单向性和可重复性决定其只影响准确 度而不影响精密度；随机误差的双向和不确定性 则对准确度和精密度都有影响。
第二章 误差和分析数据处理
(Errors in Quantitative Analysis and Statistical Data Treatment )
2.1 测定误差及其分类 2.2 有效数字及运算规则
2.3 分析数据的统计处理
2.1 测定误差及其分类
2.1.1 准确度和精密度 1. 误差和准确度
2．偏差与精密度
平均值( x , mean)：n 次测量数据的算术平均值。
x1 x2 x3 xn 1 n X xi n n i 1 平均值比单次测量值 x 更客观地代表待测参数。
精密度(precision)：一组测定数值彼此之间的接近程度(即
多次重复测定某一量时所得测量值的离散程度)，常以偏差、
d d r 100% x
标准偏差(standard deviation, s)：偏差平方和之均值的平方根 （特点：将突现大偏差对测定结果的影响）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
宽，或者是否相对集中在单个点(如均值)附近。
最简单的散布度量是极差，即最大值和最小值之差 假设属性x具有m个值{x
1
range(x)=max(x)-min(x)=x(m)-x(1)
, x2 ,..., xm } ,其极差定义为：
方差是刻画波动大小的一个重要数字。方差 越小则波动越小，样本稳定性越好，下式中 与均值相差不会太大，值越大与均值越远。
中心趋势度量包括均值(mean)、中位数(median)、
位数极差(InterQuartiles Range, IQR)和方差
17
(variance)等。
Company Logo
2.2 数据统计特征
数据中心度量
均值 加权算术均值 中位值 截断均值 众数 中列数
18
Company Logo
2 5 2 5
网页链接 化合物结构
1
网络拓扑结构
11
Company Logo
2.1 数据及数据类型
有序数据：即具有跟时间或空间相关的属性，分序列 数据，时序数据，空间数据
序列数据：个体项的序列集合，如，字母序列，顾客购
物序列，web点击流，基因（DNA检查结果）等，这种序 列可以与时间有关，也可以无关
16
Company Logo
2.2 数据统计特征
数据统计又称为汇总统计，用单个数或数的小集合
来捕获大的数据集的各种属性特征。对于数据预处 理任务，人们希望知道关于数据的中心趋势和离散 程度特征。 众数(mode)和中列数(midrange)
数据离散程度度量包括四分位数(quartiles)、四分
GGTTCCGCCTTCAGCCCCGCGCC CGCAGGGCCCGCCCCGCGCCGTC GAGAAGGGCCCGCCTGGCGGGCG GGGGGAGGCGGGGCCGCCCGAGC CCAACCGAGTCCGACCAGGTGCC CCCTCTGCTCGGCCTAGACCTGA GCTCATTAGGCGGCAGCGGACAG GCCAAGTAGAACACGCGAAGCGC TGGGCTGCCTGCTGCGACCAGGG
数据处理与分析
第二章 数据预处理
计算机技术与应用系
目录
2.1 数据及数据类型 2.2 数据统计特性 2.3 数据预处理 2.4
weka中的数据预处理
2
Company Logo
2.1 数据及数据类型
相关概念
数据
狭义：数字 。 广义：数据对象及其属性的集合，其表现形式可以是数字、符 号、文字、图像或是计算机代码等等。
数 据 集
4
Company Logo
2.1 数据及数据类型
属性类型
属性类型
分类的 (定性的)
标称
描述
例子
操作
其属性值只提供足够的信 颜色、性别、产品 众数、熵、 息以区分对象。这种属性 编号 列联相关。 值没有实际意义。
序数
其属性值提供足够的信息 成绩等级 ( 优、良、 中值、百分 以区分对象的序。 中 、 及 格 、 不 及 位、秩相关、 格 ) ，年级，职称， 符号检验。 学历 其属性值之间的差是有意 日历日期、摄氏温 均值、标准 义的。 度 差 其属性值之间的差和比率 长度、时间和速度 几何平均、 都是有意义的。 调和平均、 百分比变差
通话级别 市话 市话＋国内长途(含国内IP) 市话＋国际长途(含国际IP) 市话＋国际长途(含国际IP) 市话＋国际长途(含国际IP) ︰
通话总费用 16352 27891 63124 53057 80827 ︰
… … … … … … …
N2201100 2518
C1400483 商业客户 9358 N2200489 商业客户 5555 32210261 96 D1400473 7444 ︰ 大客户 大客户 ︰
15.22 16.22
2.7 2.2
1.2 1.1
9
Company Logo
2.1 数据及数据类型
记录数据
文本数据（是数据矩阵的特殊情况）:文档用词向量表示
每个词是向量的一个分量(属性) 每个分量的值是对应词在文档中出现的次数
timeout season
coach
game
score
team
• 众数 (Mode) ：统计学名词，在统计分布上具有明
显集中趋势点的数值，代表数据的一般水平(众数 可以不存在或多于一个)。 • 定义:是一组数据中出现次数最多的数值，叫众数， 有时众数在一组数中有好几个。众数是在一组数据 中,出现次数最多的数据，是一组数据中的原数据， 而不是相应的次数。如： • 一组数据中的众数不止一个，如数据2、3、-1、2、 1、3中，2、3都出现了两次，它们都是这组数据 中的众数。
12
Company Logo
时序数据（也称时态序列）：是记录数据的扩充，是序
列数据的特殊情况，每个记录里包含一个与这个记录相关的时间属性，同一 指标按时间顺序记录的数据项，各个时间段的值具有可比性。比如，商品的 消费季节，顾客的消费周期或偏好等。
项/事件
时序元素
13
Company Logo
2.1 数据及数据类型
15
Company Logo
2.2 数据统计特征
正态分布是许多统计方法的理论基础。检验、方差分析、相关和回归分
析等多种统计方法均要求分析的指标服从正态分布。许多统计方法虽然 不要求分析指标服从正态分布，但相应的统计量在大样本时近似正态分 布，因而大样本时这些统计推断方法也是以正态分布为理论基础的. 正态分布（Normal distribution)是一种概率分布。正态分布是具有两 个参数μ和σ^2的连续型随机变量的分布，第一参数μ是遵从正态分布的 随机变量的均值，第二个参数σ^2是此随机变量的方差，所以正态分布 记作N(μ，σ^2 )。遵从正态分布的随机变量的概率规律为取 μ邻近的值 的概率大 ，而取离μ越远的值的概率越小；σ越小，分布越集中在μ附近， σ越大，分布越分散。
• 截断均值的计算方法： • 1.p=40，则p/2=20,即从两端要除去总数据个数
的20%个数 • 2.总数为6个，6*20%=1.2，即两边各除去1个 数据 • 3.剩下中间的4个数据为： {2,3,4,5} • 4.计算这四个数的均值为（2+3+4+5）/4=3.5
23
Company Logo
方差(variance)定义如下:
m 1 2 2 var iance( x) s x ( x x ) m 1 i 1
26
Company Logo
2.2 数据统计特征
数据离散程度度量还包括四分位数(quartiles)、四分位
8
Company Logo
2.1 数据及数据类型
记录数据
数据矩阵
如果一个数据集簇中的所有数据对象都具有相同的数值 属性集，则数据对象可以看作多维空间中的点，其中每 个维代表描述对象的一个不同属性。 数据集可以用一个m× n的矩阵表示，其中m行，一个对 象一行；n列，一个属性一列。
Projection of x Load 10.23 12.65 Projection of y load 5.27 6.25 Distance Load Thickness
有序数据 空间数据
其重要特点是空间自相关性，即 物理上靠近的对象趋向于在其他 方面的相似，如靠近的地区气温 和降水量等很接近，包含涉及空 间的数据，地理信息系统、医学 影像等。
14
Company Logo
目录
2.1 数据及数据类型 2.2 数据统计特性 2.3 数据预处理 2.4
weka中的数据预处理
24
Company Logo
• 中列数（midrange）：在统计中指的是数据集里
最大值和最小值的算术平均。 • 如以下集合： • 1，3，7，9，0，3，5 • 它的中列数即为（0+9）/2 = 4.5
25
Company Logo
2.2 数据统计特征
数据散布程度度量
极差和方差是值集的散布度量，表明属性值是否散布很
集合中每个值与一个权值相关联。权值反映对应值的 显著性、重要性或出现频率。在这种情况下，使用加
权算术均值(weighted arithmetic mean)：
x
w x
i 1 N
N
i i
w
i 1
i
w1 x1 w2 x2 wN x N w1 w2 wN
20
7
Company Logo
2.1 数据及数据类型
记录数据
事务数据(Transaction
Data)是一种特殊类型的记录数 据，其中每个记录涉及一个项的集合。
事务数据事例
事务ID
T100 T200 …
商品的ID列表
Bread， Milk， Beer Soda， cup， Diaper …
典型的事务数据如超市零售数据，顾客一次购物所购买的 商品的集合就构成一个事务，而购买的商品就是项。这种 类型的数据也称作购物篮数据(Market Basket Data)，因 为记录中的每一项都是一位顾客“购物篮”中购买的商品。
属性
(也称为特征、维或字段)，是指一个对象的某方面性质或特性。 一个对象通过若干属性来刻画。
数据集
数据对象的集合(同特征或同属性)
3
Company Logo
2.1 数据及数据类型
案例：包含电信客户信息的样本数据集
属性 对象
客户编号
客户类别 大客户
行业大类 采矿业和一般制造 业 批发和零售业 批发和零售业 科学教育和文化卫 生 房地产和建筑业 ︰