数据的标准化
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数据的标准化
1 什么是数据标准化(Normalization)
将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。
2 有哪些常用方法呢?
方法一:规范化方法
这种方法有个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。
•也叫离差标准化,是对原始数据的线性变换,使结果映射到[0,1]区间。
方法二:正规化方法
•这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x’。
•z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
•spss默认的标准化方法就是z-score标准化。
•用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。
步骤如下:
1.求出各变量(指标)的算术平均值(数学期望)xi 和标准差si ;
2.进行标准化处理:
zij=(xij -xi )/si
其中:zij 为标准化后的变量值;xij 为实际变量值。
3.将逆指标前的正负号对调。
标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。
方法三:归一化方法
数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。以下是两种常用的归一化方法:
方法四:log 函数转换
通过以10为底的log 函数转换的方法同样可以实现归一下,具体方法如下:
(max )
log /)log 1010*x x (= 看了下网上很多介绍都是x *=log 10(x),其实是有问题的,这个结果并非一定落到[0,1]区间
上,应该还要除以log 10(max),max 为样本数据最大值,并且所有的数据都要大于等于1。 方法五:atan 函数转换
用反正切函数也可以实现数据的归一化:
π
/2*)tan(*x a x = 使用这个方法需要注意的是如果想映射的区间为[0,1],则数据都应该大于等于0,小于0的数
据将被映射到[-1,0]区间上。