基于邻域粗糙隶属函数的离群点检测
基于近邻稳定性的离群点检测算法
Data Base Technique •数据库技术Electronic Technology & Software Engineering 电子技术与软件工程• 145【关键词】离群点 邻域 质心 不稳定因子离群点是指那些明显偏离其它数据、不满足数据的一般模式或行为，与存在的其它数据不一致的数据。
物理学中质心与稳定性间存在联系，离质心越近的点，稳定性越强，反之稳定性越弱。
Jihyun Ha 等人受这一性质的启发提出了使用不稳定因子的健壮离群点检测算法（INS 算法）。
该算法容易将处于稀疏区域与稠密区域的交界处的正常点误判为离群点。
为解决该问题本文提出了基于近邻稳定性的离群点检测算法（NSINS 算法）。
1 基于近邻稳定性的离群点检测算法1.1 算法思想本文提出了基于近邻稳定性的离群点检测算法。
该算法的主要思想是：数据集中任意一点p 的k 个最近邻组成p 的k 个邻域，其中第i 个邻域包含了p 和距离p 最近的前i 个点。
每个邻域计算两个质心。
一个质心与p 相关，即邻域中包括点p 时的质心；另一个质心与p 无关，即邻域中不包括点p 时的质心。
最后会得到两类质心，每类都有k 个。
比较这两类质心的位置变化，最终确定p 的不稳定程度。
定义与p 无关的质心考虑到了近邻的稳定性对p 不稳定因子的影响。
1.2 相关定义定义1 邻域（neighborhood ）。
点p 的邻域表示距离点p 最近的k 个点的集合，用ϭk (p)表示，即：（1）其中d(p,q)表示p ，q 之间的距离，p k 是基于近邻稳定性的离群点检测算法文/黄馨玉1 陈晓东2p 的第k 个最近邻。
当P 点计入ϭk (p)中时，ϭk (p)的基数是k+1；当p 点不计入ϭk (p)中时，ϭk (p)的基数是k 。
定义2 相关邻域质心(related centre of mass)。
点p 的相关邻域质心表示p 的邻域包括点p 时的质心，用rm k (p)表示：（2）其中X q =(x q1,...,x qd )是点q 在d 维空间中的坐标。
CHAPTER12-离群点检测
法实现
不考虑估算当前子集关于其补集的相异度, 该算法从集 合中选择了一个子集合的序列来分析
对每个子集合, 它确定其与序列中前一个子集合的相异 度差异
为了减轻输入顺序对结果的任何可能的影响, 以上的处 理过程可以被重复若干次, 每一次采用子集合的一个不 同的随机顺序
在所有的迭代中有最大平滑因子值的子集合成为异常集
3
离群点分析
应用:
信用卡欺诈检测
网络流量异常监测
顾客分割： 确定极低或极高收入的客户的消费行为 医疗分析：发现对多种治疗方式的不寻常的反应
离群点的类型
全局离群点：数据对象显著的偏离数据集中的其余对象
情景离群点：如果数据对象在给定特定情景下，显著的 偏离其它对象
集体离群点：数据对象的某个子集显著偏离整个数据集
4
离群点分析
采用数据可视化方法来进行离群点探测如何？
不适用于包含周期性曲线的数据
对于探测有很多分类属性的数据 , 或高维数据中的离 群点效率很低 统计学方法 基于距离的方法 基于偏差的方法 基于密度的方法
5
方法
基于统计学的离群点检测
对给定的数据集合假设了一个分布或概率模型(例如, 正态 分布), 然后根据模型采用不一致性检验(discordancy test)来 确定离群点
14
第12章 离群点检测
费高雷 通信与信息工程学院
2015年春季
第12章：离群点检测
离群点分析 基于统计学的方法 基于距离的方法
基于偏离的方法
2
离群点分析
基于离群点检测和分类的软测量方法
山 东 化 工 收稿日期：２０１８－０３－２０作者简介：王春鹏（１９８８—），男，助理工程师，２０１４年毕业于中国石油大学（华东）控制科学与工程专业，现就职于中海油石化工程有限责任公司自控室，从事石油化工自控设计工作。
基于离群点检测和分类的软测量方法王春鹏（中海油石化工程有限公司，山东济南 ２５０００１）摘要：由于测量仪表自身的故障和传感器容易受化工环境的影响会使测量的数据偏离原来的范围，导致离群点的产生，而离群点对软测量模型的预测精度产生很大的影响，因此需要排除离群点。
然而由于原料的更换或者过程的切换也会导致所测数据偏移，这些检测数据容易被误判为离群点。
针对这一问题本文引入了基于支持向量数据描述（ＳＶＤＤ）的离群点检测方法和提出了基于贝叶斯理论的离群点分类方法，并以航空煤油干点为研究对象进行仿真研究。
关键词：离群点；支持向量数据描述；贝叶斯理论；软测量中图分类号：ＴＥ９６７ 文献标识码：Ａ 文章编号：１００８－０２１Ｘ（２０１８）０９－００８４－０３ＳｏｆｔＳｅｎｓｏｒＲｅｓｅａｒｃｈＢａｓｅｄｏｎＯｕｔｌｉｅｒＤｅｔｅｃｔｉｏｎａｎｄＣｌａｓｓｉｆｉｃａｔｉｏｎＷａｎｇＣｈｕｎｐｅｎｇ（ＣＮＯＯＣＳｈａｎｄｏｎｇＣｈｅｍｉｃａｌＥｎｇｉｎｅｅｒｉｎｇＣｏ．，Ｌｔｄ．，Ｊｉｎａｎ ２５０００１，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ａｓｆａｒａｓｗｅｋｎｏｗ，ｉｔｉｓｎｅｃｅｓｓａｒｙｔｏｅｌｉｍｉｎａｔｅｓｏｍｅｕｓｅｌｅｓｓｏｕｔｌｉｅｒｓ，ｂｅｃａｕｓｅｔｈｅｏｕｔｌｉｅｒｓｒｅｓｕｌｔｅｄｆｒｏｍｔｈｅｉｎｓｔｒｕｍｅｎｔ＇ｓｆａｉｌｕｒｅａｎｄｓｅｎｓｏｒｓａｆｆｅｃｔｅｄｂｙｔｈｅｃｈｅｍｉｃａｌｅｎｖｉｒｏｎｍｅｎｔｗｉｌｌｈａｖｅａｎｉｍｐａｃｔｏｎｔｈｅｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙ．Ｈｏｗｅｖｅｒ，ｔｈｅｐｒｏｂｌｅｍｉｓｔｈａｔｔｈｅｒｅｐｌａｃｅｍｅｎｔｏｆｒａｗｍａｔｅｒｉａｌｓｏｒｔｈｅｃｈａｎｇｅｏｆｐｒｏｃｅｓｓｍａｙｌｅａｄｔｏｔｈｅｄａｔａｍｉｇｒａｔｉｏｎ，ａｎｄｗｅｏｆｔｅｎｃｏｎｓｉｄｅｒｔｈｅｄａｔａｍｉｓｔａｋｅｎｌｙａｓｏｕｔｌｉｅｒｓｗｈｉｃｈｍａｙｂｅｅｌｉｍｉｎａｔｅｄ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｓｔｈｅｍｅｔｈｏｄｏｆｏｕｔｌｉｅｒｄｅｔｅｃｔｉｏｎｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｄａｔａｄｅｓｃｒｉｐｔｉｏｎ（ＳＶＤＤ）ａｎｄｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｏｕｔｌｉｅｒｓｔｈａｔｂａｓｅｄｏｎｔｈｅＢａｙｅｓｉａｎｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｉｎｃｉｐｌｅｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ，ｗｉｔｈｔｈｅｄｒｙｐｏｉｎｔｏｆａｖｉａｔｉｏｎｋｅｒｏｓｅｎｅｏｉｌａｓｏｂｊｅｃｔｓｉｎｔｈｅｓｉｍｕｌａｔｉｏｎｓｔｕｄｙ．Ｋｅｙｗｏｒｄｓ：ｏｕｔｌｉｅｒ；ＳＶＤＤ；Ｂａｙｅｓｉａｎ；ｓｏｆｔｓｅｎｓｏｒ１ 在线离群点检测方法１．１ 支持向量数据描述（ＳＶＤＤ）算法理论Ｔａｘ等人提出的支持向量数据描述（ＳＶＤＤ）是解决单值分类问题的有效方法，ＳＶＤＤ是一种基于支持向量机学习的算法；通过一个非线性映射函数，把数据从输入空间映射到一个高维空间，寻找支持向量在特征空间中，构造包围与最小半径和超球体的最佳点［１］。
第9章 离群点检测
图9-5 基于聚类的离群点检测二维数据集
9.2离群点检测
基与聚类的离群点检测挖掘方法如下：
26
9.2离群点检测
基与聚类的离群点检测挖掘方法如下： 表9-1 离群因子表 X 1 1 1 2 2 2 6 2 3 5 5 Y 2 3 1 1 2 3 8 4 2 7 2 OF1 2.2 2.3 2.9 2.6 1.7 1.9 5.9 2.5 2.2 4.8 3.4
9.2离群点检测
21
‒ 结论 • LOF算法计算的离群度不在一个通常便于理解的范围[0,1]，而是一 个大于1的数，并且没有固定的范围。而且数据集通常数量比较大， 内部结构复杂，LOF极有可能因为取到的近邻点属于不同数据密度 的聚类簇，使得计算数据点的近邻平均数据密度产生偏差，而得出 与实际差别较大甚至相反的结果。 ‒ 优点 • 通过基于密度的局部离群点检测就能在样本空间数据分布不均匀的 情况下也可以准确发现离群点。
1 2 2 1
18
图9.2 基于密度的局部离群点检测的必要性
9.2离群点检测
19
图9.2中，p1相当于C2的密度来说是一个局部离群点，这就形成了基于密度 的局部离群点检测的基础。此时，评估的是一个对象是离群点的程度，这种“离 群”程度就是作为对象的局部离群点因子（LOF），然后计算 。
reach _ distk ( x, xi ) max{distk ( xi ), dist ( x, xi )}
工作假设H为，假设n个对象的整个数据集来自一个初始的分布模型F，即： H: oi∈F，其中i=1，2，…，n 不和谐检验就是检查对象oi关于分布F是否显著地大（或小）。
9.2离群点检测 基于正态分布的一元离群点检测 • 正态分布曲线特点：N（μ，σ2） • 变量值落在（μ-σ，μ+σ）区间的概率是68.27% • 变量值落在（μ-2σ，μ+2σ）区间的概率是95.44% • 变量值落在（μ-3σ，μ+3σ）区间的概率是99.73%
基于深度的离群点检测方法
基于深度的离群点检测方法引言：随着大数据时代的到来，数据的规模和复杂性不断增加。
在这些海量数据中，可能存在一些与其他数据明显不同的离群点，它们可能是异常事件、故障、欺诈行为等。
因此，离群点检测成为了数据挖掘和异常检测领域的一个重要任务。
传统的离群点检测方法往往依赖于统计学或距离度量，但随着深度学习的兴起，基于深度的离群点检测方法也得到了广泛关注。
深度学习在离群点检测中的应用：深度学习是一种强大的机器学习技术，能够从数据中学习到更高层次的抽象特征表示。
在离群点检测中，深度学习可以通过学习数据的分布模式来识别离群点。
它不仅可以捕捉到数据的局部特征，还能够学习到数据的全局特征，从而提高离群点检测的准确性。
基于深度的离群点检测方法：基于深度的离群点检测方法主要包括自编码器、生成对抗网络和变分自编码器等。
1. 自编码器（Autoencoder）：自编码器是一种无监督学习方法，通过将输入数据压缩成低维编码再进行解码重建，从而学习到数据的潜在表示。
在离群点检测中，自编码器可以通过对正常数据进行重构来判断新样本是否为离群点。
如果重构误差大于某个阈值，则将其判定为离群点。
2. 生成对抗网络（Generative Adversarial Network，GAN）：生成对抗网络由生成器和判别器组成，通过对抗学习的方式来生成和判别样本。
在离群点检测中，生成器可以学习到正常数据的分布，而判别器则可以判断新样本是否为离群点。
如果生成器无法生成与正常数据相似的样本，判别器就会将其判定为离群点。
3. 变分自编码器（Variational Autoencoder，VAE）：变分自编码器是一种生成模型，通过学习潜在变量的分布来生成新样本。
在离群点检测中，变分自编码器可以通过计算样本的重构误差和潜在变量的分布来判断其是否为离群点。
如果重构误差大且潜在变量的分布与正常数据不一致，则将其判定为离群点。
优势与挑战：基于深度的离群点检测方法相比传统方法具有以下优势：1. 可以学习到更高层次的抽象特征表示，从而提高离群点检测的准确性；2. 不需要依赖于先验知识或特定的距离度量，适用于多种类型的数据；3. 可以处理高维数据和非线性数据。
挖掘建模之离群点检测
第5章 挖掘建模之离群点检测
2020-10-15
目录
1
分类与预测
2
聚类分析
3
关联规则
4
时序模式
5
离群点检测
6
小结
2
离群点检测
l 就餐饮企业而言，经常会碰到这样的问题： • 如何根据客户的消费记录检测是否为异常刷卡消费？ • 如何检测是否有异常订单？
l 这一类异点检测方法
x
1
x 2
e 2 2 x R
2
10
离群点检测——基于模型的离群点检测方法
11
离群点检测——基于模型的离群点检测方法
（2） 混合模型的离群点检测 l 混合是一种特殊的统计模型，它使用若干统计分布对数据建模。每一个
分布对应一个簇，而每个分布的参数提供对应簇的描述，通常用中心和 发散描述。 l 混合模型将数据看作从不同的概率分布得到的观测值的集合。概率分布 可以是任何分布，但是通常是多元正态的，因为这种类型的分布不难理 解，容易从数学上进行处理，并且已经证明在许多情况下都能产生好的 结果。这种类型的分布可以对椭圆簇建模。
基于密度 基于聚类
考虑数据集可能存在不同密度区域 这一事实，从基于密度的观点分析 ，离群点是在低密度区域中的对象 。一个对象的离群点得分是该对象 周围密度的逆。
给出了对象是离群点的定量度量，并 且即使数据具有不同的区域也能够很 好的处理；大数据集不适用；参数选 择是困难的。
一种是利用聚类检测离群点的方法 是丢弃远离其他簇的小簇；另一种 更系统的方法，首先聚类所有对象 ，然后评估对象属于簇的程度（离 群点得分）。
基于聚类技术来发现离群点可能是高 度有效的；聚类算法产生的簇的质量 对该算法产生的离群点的质量影响非 常大。
基于离群点检测(LOF)的K-means算法
基于离群点检测(LOF)的K-means算法杨红;李丹宁;王雅洁【摘要】通过对传统K均值聚类(K-means)算法各种改进算法的学习与研究,针对离群点导致聚类结果效果不理想的问题,提出将离群点检测算法(LOF)与传统K-means算法相结合,首先利用离群点检测算法对数据集进行预处理并将离群点按一定比例筛选,然后用K-means算法对数据集进行分类,将未经LOF处理的分类结果与预处理后的结果进行对比.由实验仿真结果可知,提出的算法与传统K-means算法相比较,分类效果具有更大的类间距离和更小的类内距离,聚类结果更好.【期刊名称】《通信技术》【年(卷),期】2019(052)008【总页数】5页(P1884-1888)【关键词】LOF;K-means算法;类内距离;类间距离【作者】杨红;李丹宁;王雅洁【作者单位】贵州大学大数据与信息工程学院,贵州贵阳550025;贵州大学大数据与信息工程学院,贵州贵阳550025;贵州省食品安全检测应用工程技术研究中心有限公司,贵州贵阳550022【正文语种】中文【中图分类】TP301.60 引言伴随着大数据时代的发展，各种数据信息呈现出爆炸式的增长，计算机软硬件的不断升级，让各种数据层出不穷，为了更好的利用数据中隐藏的信息，数据挖掘技术顺应时代的发展出现在了学者与研究人员的视野。
进而聚类分析也再次出现在了潮流的前沿，在图像处理、模式识别、病毒入侵检测等等习以为常的地方总是能够出现蕨类分析的身影。
应用广泛、理论基础扎实、方便实用等优点，使得聚类分析几十年来一直是研究者们的心头所爱。
以划分为目的的算法更是频频出现在各种场合，为人们解决了无数问题。
而K-means作为其中最具有代表性的算法，被列入了“十大经典算法”，其产生的价值自然不必都说。
虽说K-means 算法易于实现，速度理想，然而人无完人，金无足赤，该算法也理所当然的存在些许不尽如人意的地方：（1）初始聚类中心是随机产生，进而直接导致聚类结果也存在随机性，准确性低；（2）聚类个数K值不好确定，K值的选取直接决定了聚类结果的准确度；（3）数据集中离群点的存在也会影响聚类结果，如若将离群点选为初始中心点，不仅仅会降低速度，增加时间复杂度，甚至可能会出现错误[1-2]。
基于K最近邻距离的离群点挖掘实验
数据挖掘技术学生姓名：学号：专业：计算机科学与技术班级：一、实验名称：基于K最近邻距离的离群点挖掘实验二、实验目的1、掌握基于K最近邻距离的离群点的数据挖掘算法2、通过查找数据中的离群点对数据进行异常分析三、实验数据Clementine数据质量的探究主要包括数据缺失问题、数据离群点和极端值两大方面。
离群点是指数据中，远离数值的一般水平的极端大值和极端小值，也称之为歧异值，有时也称其为野值，其对后续的数据处理有很大的影响；本文研究的目的是拟建立适当的数学模型，评判出一组数据中的离群点，并对出现的离群点进行处理。
本示例将离群点模型应用于开河数据提取，其中的目标字段为开河日期天数。
变量字Clementine段包括0221-0302三湖河口平均流量（X1），0109-0126平均流量（X2），0221-0302平均流量（X3），二月下旬平均水位（X4），最高气温转正日到0302累计最高正气温（X5），0221-0302气温和（X6）（为绝对温度），二月下旬平均气温（X7）（为绝对温度）最高气温转正天数（X8）（连续为正日期距离2月1日的天数，考虑到可能出现负数，因此+30），最大冰厚（X9）。
此示例使用名为 Stream1.str 的流，该流引用名为开河数据.xls 的数据文件。
这些文件可以任何 Clementine Client 程序打开。
此目录可通过 Windows “开始”菜单的 Clementine 程序组进行访问。
四、实验原理基于邻近度的离群点检测是指一个对象是异常的，如果它远离大部分点。
这种方法比统计学方法更一般、更容易使用，因为确定数据集的有意义的邻近性度量比确定它的统计分布更容易。
一个对象的离群点得分由到它的k-最近邻的距离给定。
离群点得分对k的取值高度敏感。
如果k太小（例如1），则少量的邻近离群点可能导致较低的离群点得分；如果K太大，则点数少于k的簇中所有的对象可能都成了离群点。
为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。