离群点分析PPT

数据行为不一致的离群点，往往预示着欺诈行为，因此成为执 法者所关注的。此外，在销售中确定极高和极低收入的客户的 销售行为，或者在医疗分析中发现对各种医疗处置的不寻常的 反应。
1.4 离群点检测遇到的困难
第一， 在时间序列样本中发现离群点一般比较困难，因为这 些离群点可能会隐藏在趋势、季节性或者其他变化中； 第二， 对于维度为非数值型的样本，在检测过程中需要多加 考虑，比如对维度进行预处理等； 第三， 针对多维数据，离群点的异常特征可能是多维度的组 合，而不是单一维度就能体现的。
（2）嵌套—循环算法
嵌套一循环算法和基于索引的算法有相同的计算复杂度，但是 它避免了索引结构的构建，它把内存的缓冲空间分为两半，把 数据集合分为若干个逻辑块。通过精心选择逻辑块装入每个缓 冲区域的顺序，能够提高效率。
（3）基于单元的算法 基于单元的算法中，数据空间被划为边长等于 dmin /( 2 k)的单 元。每个单元有两个层围绕着它。第一层的厚度是一个单元， 而第二层的厚度是 [2 k 1。] 该算法逐个单元地对离群点计数， 而不是逐个对象地进行计数。
分布的离群点。
例1 假如我们设儿童上学的具体年龄总体服从正态分布，所 给的数据集是某地区随机选取的开始上学的20名儿童的年龄具 体的年龄特征如下:
年龄={6,7,6,8,9,10,8,11,7,9,12,7,11,8,13,7,8,14,9,12}
那么.相应的统计参数是:
均值=9.1; 标准差=2.3
2.3 基于密度的离群点检测
基于密度的离群点检测能够检测出基于距离的异常算法所不能 识别的一类异常数据——局部离群点。 2.3.1 局部离群点 局部离群点，是指一个对象相对于它的局部邻域，特别是关于 邻域密度，它是远离的。
图1是二维数据集，图中包含两个簇C1 ， C2和两个离群点o1 , o2，其中C2稠密，C1 稀疏。 o2是全局离群点，根据上述定义 及挖掘算法，o2离群点易于挖掘，但o1却 难以挖掘，如果为了挖掘出o1，而调整参 数dmin，假如使dmin小于C2与O1之间的 最小距离，那么C1中的大多数数据点都 将被标识为离群点。此时， o1是一个局 部离群点。
2.1.1 不和谐检验
不和谐检验需要检查两个假设：工作假设和备择假设。 工作假设H，假设n个对象的整个数据集来自一个初始的分布 模型F，即：
不和谐检验就是检查对象 关于分布F是否显著地大（或小）。 如果某样本点的某个统计量相对于数据分布的是显著性概率充 分小，那么我们则认为该样本点是不和谐的，工作假设被拒绝 ，此时备用假设被采用，它声明该样本点来自于另一个分布模 型。如果某个样本点不符合工作假设，那么我们认为它是离群 点。如果它符合某个备择假设，那么它就是符合这一备择假设
离群点分析
1 离群点的简数介据处理方法 一
目
2 离群点的检测方法
2.1 基于统计分布的离群点检测
录
2.2 基于距离的离群点的检测
2.3 基于密度的离群点的检测 2.4 基于偏差的离群点的检测
第1节 离群点的简介
1.1 离群点的含义
在数据库中包含着少数的数据对象，它们与数据的一般行为或 特征不一致，这些数据对象叫做离群点。
2.2.2 基于距离的离群点的算法 （1）基于索引的算法 搜索每个对象o在半径dmin范围内的近邻。设M是一个离群点 的 dmin邻域内的最大对象数目。如果对象 o的 M+l 个近邻被 发现，则对象 o就不是离群点。这个算法在最坏情况下的复杂 度为 O(k*n *n ) ， k 为维数， n 为数据集合中对象的数目。 当 k 增加时，基于值为：
阈值=均值±2×标准差
则在[4.5 ,13.7]区间以外的数据都是潜在的离群点，
将最大值取整为13。所以年龄为14的孩子可能是个例外。而且 由均值可知，此地的孩子普遍上学较晚.教育部门以后可据此 作一些政策上的改进。
2.1.2 基于统计分布的离群点检测的优缺点
优点 建立在非常标准的统计学原理之上，当数据和检验的类型十分 充分时，检验十分有效。
第2节 离群点的检测方法
2.1 基于统计分布的离群点检测
基于统计分布的检测方法是为数据集构建一个概率统计模型（ 例如正态、泊松、二项式分布等，其中的参数由数据求得）， 然后根据模型采用不和谐检验识别离群点。不和谐校验过程中 需要样本空间数据集的参数知识（例如假设的数据分布），分 布的参数知识（例如期望和方差）以及期望的离群点数目。
1.2 离群点的来源
一、测量或执行误差所导致的。比如：某人的年龄-999岁，这 就是明显由误操作所导致的离群点； 二、 数据本身的可变性或弹性所致，比如：一个公司中CEO 的工资肯定是明显高于其他普通员工的工资，于是CEO变成为 了由于数据本身可变性所导致的离群点。
1.3 离群点检测的原因
一个人的噪声也许是其他的信号”。换句话说，这些离群点本 身也可能是用户感兴趣的，比如在欺诈检测领域，那些与正常
缺点 第一， 绝大多数检验是针对单个属性的，不适合多维度空间 ，这也是一个主要的缺点； 第二， 需要预先知道样本空间中数据集的分布特征，而这部 分知识很可能是在检测前无法获得的，就不能确保所有的离群 点被发现。
2.2 基于距离的离群点检测
2.2.1 基于距离的离群点含义 基于距离的离群点检测，也叫基于近邻的离群点检测。此时离 群点就是远离大部分对象的点，即与数据集中的大多数对象的 距离都大于某个阈值的点。即： 如果数据集合D中，对象至少有pct部分与对象o的距离大于 dmin，则称对象o是以pct和dmin为参数的基于距离的离群点。 即DB（pct，dmin）离群点。
与DB (p, d)离群点一样，DS离群点使用同样的距离公式，如绝 对距离或欧式距离，但不根据pct和dmin来判定孤立点，而是 先计算数据对象两两之间的距离，再计算每个对象与其他对象 的距离之和。
设M为用户期望的孤立点个数，则距离之和最大的前M个对象 即为要挖掘的孤立点，这样可消除用户设置参数pct和dmin的 需要。
2.2.3 基于距离的离群点检测的优缺点
基于距离的方法与基于统计的方法相比，不需要用户拥有任何 领域知识，与序列异常相比，在概念上更加直观。
三种类型的基于距离的离群检测算法中，都要求用户设置参数 pct和dmin，寻找这些参数的合适设置可能涉及多次的试凑，
2. 2.4 基于距离和(DS)检测算法: