基于近邻稳定性的离群点检测算法
实现离群点检测的机器学习算法
实现离群点检测的机器学习算法离群点检测（Outlier detection）是机器学习中的一项重要任务，旨在识别数据集中与其他数据点不太相似或异常的数据点。
离群点也被称为异常值，它们与正常的数据点存在明显的偏离或异常行为。
离群点检测的目标是从大量的数据中准确地识别这些异常值，以便进一步分析和采取相应的措施。
实现离群点检测的机器学习算法有多种，下面将介绍一些常用的方法：1. 统计学方法：这些方法利用统计学原理来识别离群点。
其中一个常用的方法是基于数据的标准差或均值的阈值判断。
如果数据点的值偏离均值或标准差超过一定的阈值，则将其标记为离群点。
这种方法简单易用，但对于复杂的数据分布可能不够准确。
2. 基于距离的方法：这些方法通过计算数据点与最近邻数据点之间的距离来判断是否为离群点。
其中一种常见的方法是K近邻算法，它通过计算每个数据点与其K个最近邻数据点的距离，并将距离较远的点标记为离群点。
还有一种方法是基于密度的离群点检测算法，如LOF（局部离群因子）算法，它衡量数据点周围的局部密度与其邻近数据点的局部密度之比，从而识别离群点。
3. 基于聚类的方法：这些方法将数据点分为不同的聚类，并将边界上的数据点标记为离群点。
其中一个常用的算法是DBSCAN（基于密度的聚类应用噪声）算法，它通过将数据点组织成高密度区域和低密度区域来判断离群点。
也有一些其他的聚类算法可用于离群点检测，如基于谱聚类、层次聚类等。
4. 基于深度学习的方法：近年来，深度学习在离群点检测中的应用日益增多。
深度学习模型可以自动从数据中学习特征，并且对非线性和高维数据具有较好的处理能力。
一些常用的深度学习模型，如自编码器（Autoencoder）和变分自编码器（Variational Autoencoder），可以用于离群点检测。
这些模型可以通过重构误差或潜在空间的分布来判断数据点的异常性。
总结而言，离群点检测是机器学习中的一项重要任务，可以通过多种算法实现。
离群点判断算法
离群点判断算法
离群点判断算法主要用于检测数据集中与大多数观测值显著不同的异常值。
简要介绍如下：
1. 四分位数法则：基于箱线图原理，若数据点小于下四分位数(Q1)减去1.5倍四分位距(IQR)，或大于上四分位数(Q3)加上1.5倍IQR，则视为离群点。
2. Z-score方法：计算每个数据点与其均值的偏差（即标准分数），若绝对值超过预定阈值（如3），则视为离群点。
3. DBSCAN聚类算法：通过密度连接度识别核心对象和边界对象，不满足邻域密度要求的数据点被视为离群点。
4. LOF(Local Outlier Factor)：比较数据点与周围邻居的局部密度，LOF值过高表示该点可能为离群点。
5. Isolation Forest：利用随机森林构建隔离树，孤立于树结构顶层的数据点更可能是离群点。
这些算法可应用于数据分析、故障检测等多个领域，有助于发现潜在问题或异常现象。
离群点算法
离群点算法全文共四篇示例，供读者参考第一篇示例：离群点（Outlier）是指数据集中与其他数据点明显不同的数据点。
离群点算法是指一系列用来检测和识别离群点的技术和方法。
在数据分析和机器学习中，离群点算法可以有效地识别异常数据点，帮助我们更准确地进行数据分析和建模。
离群点算法主要分为基于统计学的方法、基于聚类的方法和基于密度的方法等多种类型。
每种类型的算法都有其独特的优缺点和适用范围。
在实际应用中，我们可以根据具体的数据集和需求选择合适的算法进行离群点检测。
一种常用的离群点算法是基于统计学的方法，其中最常见的是Z 分数（Z-score）方法。
Z分数是一种标准化的统计量，表示数据点与平均值的偏离程度。
通过计算数据点的Z分数，我们可以判断数据点是否为离群点。
一般来说，Z分数绝对值大于3的数据点可以被认为是离群点。
除了Z分数方法外，还有一些其他基于统计学的离群点算法，如Tukey的箱线图（Boxplot）、Grubbs检验等。
这些方法都可以有效地检测离群点，但在实际应用中需要根据具体情况选择最合适的方法。
另一种常用的离群点算法是基于聚类的方法，其中LOF（Local Outlier Factor）算法是一种常见的基于聚类的离群点算法。
LOF算法通过计算数据点周围邻近点的密度来判断数据点是否为离群点。
密度较低的数据点很可能是离群点。
通过计算LOF值，我们可以对数据点进行离群点判断。
基于密度的离群点算法也是一种常用的方法，其中DBSCAN （Density-Based Spatial Clustering of Applications with Noise）算法是一种典型的基于密度的离群点算法。
DBSCAN算法通过将数据点分为核心点、边界点和噪声点来判断数据点是否为离群点。
在DBSCAN算法中，噪声点通常被认为是离群点。
离群点算法在数据分析和机器学习中扮演着重要的角色。
通过识别和处理离群点，我们可以得到更准确的数据分析结果，提高模型的准确性和稳定性。
L O F 离 群 点 检 测 算 法
数据挖掘（五）离群点检测5 异常检测方法异常对象被称作离群点。
异常检测也称偏差检测和例外挖掘。
异常检测的方法：（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。
（2）基于邻近度的技术：通常可以在对象之间定义邻近性度量，异常对象是那些远离其他对象的对象。
（3）基于密度的技术：仅当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。
（1）统计方法。
统计学方法是基于模型的方法，即为数据创建一个模型，并且根据对象拟合模型的情况来评估它们。
大部分用于离群点检测的统计学方法都是构建一个概率分布模型，并考虑对象有多大可能符合该模型。
离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。
这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。
异常检测的混合模型方法：对于异常检测，数据用两个分布的混合模型建模，一个分布为普通数据，而另一个为离群点。
聚类和异常检测目标都是估计分布的参数，以最大化数据的总似然（概率）。
聚类时，使用EM算法估计每个概率分布的参数。
然而，这里提供的异常检测技术使用一种更简单的方法。
初始时将所有对象放入普通对象集，而异常对象集为空。
然后，用一个迭代过程将对象从普通集转移到异常集，只要该转移能提高数据的总似然（其实等价于把在正常对象的分布下具有低概率的对象分类为离群点）。
（假设异常对象属于均匀分布）。
异常对象由这样一些对象组成，这些对象在均匀分布下比在正常分布下具有显著较高的概率。
优缺点：（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。
（2）基于邻近度的离群点检测。
一个对象是异常的，如果它远离大部分点。
matlab lof离群点检测算法
matlab lof离群点检测算法离群点检测是数据挖掘和统计学中的一项重要任务，它旨在识别数据集中异常或独特的数据点。
离群点通常表示数据集中潜在的异常模式、错误或欺诈行为。
在许多领域，如金融、医疗、图像处理和自然语言处理，离群点检测都有广泛的应用。
本文将介绍一种基于Matlab的LOF（Local Outlier Factor）离群点检测算法。
一、LOF算法原理LOF算法是一种基于密度的离群点检测方法。
它通过计算每个数据点对本地密度估计的影响来评估其离群程度。
算法的核心思想是，如果一个数据点与邻近数据点的分布不一致，那么它更可能是离群点。
LOF算法通过计算每个数据点对邻近数据点的局部影响，并使用这些影响来评估每个数据点的离群程度。
二、Matlab实现步骤1. 导入数据：首先，将需要检测离群点的数据导入Matlab中。
数据可以来自各种格式，如CSV文件、Excel文件或直接从其他应用程序导入。
2. 创建LOF对象：在Matlab中，可以使用fit方法创建一个LOF对象。
该对象将用于计算每个数据点的离群程度。
3. 拟合模型：使用LOF对象，可以对数据进行多次拟合，以获取每个数据点的离群程度估计。
4. 检测离群点：使用detect方法，可以检测出数据集中离群程度最高的数据点。
这些点可以被视为潜在的异常模式、错误或欺诈行为。
5. 结果可视化：可以使用Matlab的绘图功能，将检测到的离群点可视化，以便更好地理解它们的分布和性质。
三、应用示例假设我们有一组股票价格数据，我们希望检测出价格波动异常的数据点作为潜在的离群点。
首先，我们将数据导入Matlab中，并使用LOF算法创建LOF对象。
然后，我们拟合模型并检测出离群点。
最后，我们将结果可视化，以便更好地理解这些离群点的性质和分布。
四、结论LOF离群点检测算法是一种有效的离群点检测方法，它能够识别出数据集中异常或独特的数据点。
通过在Matlab环境中实现LOF算法，我们可以方便地进行离群点检测，并获得准确的离群程度估计。
基于距离的离群点检测算法
基于距离的离群点检测算法08计算机二班侯宇铭张国勇易小倩一、概述：这个算法是一个基于距离的异常点检测算法，算法以欧式距离为衡量标准，整个算法分三个部分。
第四部分的改进是用了类似密度检测的思想，比较了之前步骤选出的怀疑离群点的三近邻，经过C++语言的实现，效果还不错。
但是程序稍有漏洞，因此没有在这里体现。
但是第四阶段算法的思想已经附在算法描述后面。
本文档附上测试的数据集的arff格式，excel格式，以及txt供程序使用的格式。
三种格式的数据都是一样的。
数据分布如下：附上算法涉及的变量名称对应表：二、算法描述：（这里以数据集为两个相对集中的数据簇和若干离群点为例进行说明）第一部分：找出两个质心Step1: 遍历数据，将数据存入数组dot中该数据设为二维数据，有x,y两个属性。
Step2:设定遍历时的第一个和第二个数据为初始质心。
设定两个变量longest_distance分别记录两个初始簇的最长的距离，设置dotcore1变量记录第一个簇的质心，dotcore2变量记录第二个簇的质心。
Step3:循环：当一个新的点p进入程序时，首先比较点p分别到点dotcore1的距离和到dotcore2的距离，选择距离较小的质心（这里假设选择了dotcore1），记该距离为distancep。
比较distancep和第一个簇（因为选择了dotcore1）的longest_distance。
若distancep<longest_distance，开始下一次循环。
若distancep>longest_distance，则使点p成为新的质心coredot1。
这样循环下去，就可以找到两个簇的最终质心。
算法流程图：进入阶段2图.1 阶段1第二部分：将所有的点归簇，并筛选一部分点Step4: 开始第二次点的扫描：当一个新的点p进入程序时，首先比较点p分别到点dotcore1的距离和到dotcore2的距离，选择距离较小的质心。
基于近邻传播的离群点检测算法
收稿日期：２０２０ ０８ ２５；修回日期：２０２０ １０ １０ 基金项目：国家自然科学基金资助项目（６１８６２０６０，６１４６２０７９，６１５６２０８６，６１５６２０７８） 作者简介：张倩倩（１９９６ ），女，河南周口人，硕士研究生，主要研究方向为数据挖掘（２４８１５７４３５２＠ｑｑ．ｃｏｍ）；于炯（１９６４ ），男，北京人，教授，博导，博士，主要研究方向为网络安全、网格计算、分布式计算；李梓杨（１９９３ ），男，新疆乌鲁木齐人，博士研究生，主要研究方向为云计算、分布式计算；蒲勇霖（１９９１ ），男，山东淄博人，博士研究生，主要研究方向为流式计算、绿色计算．基于近邻传播的离群点检测算法张倩倩１，于 炯１，２，李梓杨２，蒲勇霖２（１．新疆大学软件学院，乌鲁木齐８３００９１；２．新疆大学信息科学与工程学院，乌鲁木齐８３００４６）摘 要：离群点是与其他正常点属性不同的一类对象，其检测技术在各行业上均有维护数据纯度、保障业内安全等重要应用，现有算法大多是基于距离、密度等传统方法判断检测离群点。
本算法给每个对象分配一个“孤立度”，即该点相对其邻点的孤立程度，通过排序进行判定，比传统算法效率更高。
在ＡＰ（ａｆｆｉｎｉｔｙｐｒｏｐａｇａｔｉｏｎ）聚类算法的基础上进行改进与优化，提出能检测异常数据点的算法ＡＰＯ（ｏｕｔｌｉｅｒｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎａｆｆｉｎｉｔｙｐｒｏｐａｇａｔｉｏｎ）。
通过加入孤立度模块并计算处理样本点的孤立信息，并引入放大因子，使其与正常点之间的差异更明显，通过增大算法对离群点的敏感性，提高算法的准确性。
分别在模拟数据集和真实数据集上进行对比实验，结果表明：该算法与ＡＰ算法相比，对离群点的敏感性更加强烈，且本算法检测离群点的同时也能聚类，是其他检测算法所不具备的。
关键词：离群点检测；聚类算法；数据挖掘；近邻传播中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１００１ ３６９５（２０２１）０６ ０１１ １６６２ ０６ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０２０．０８．０２２６ＯｕｔｌｉｅｒｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎａｆｆｉｎｉｔｙｐｒｏｐａｇａｔｉｏｎＺｈａｎｇＱｉａｎｑｉａｎ１，ＹｕＪｉｏｎｇ１，２，ＬｉＺｉｙａｎｇ２，ＰｕＹｏｎｇｌｉｎ２（１．ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅ，ＸｉｎｊｉａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｕｒｕｍｑｉ８３００９１，Ｃｈｉｎａ；２．ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＸｉｎｊｉａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｕｒｕｍｑｉ８３００４６，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｏｕｔｌｉｅｒｓａｒｅａｃｌａｓｓｏｆｏｂｊｅｃｔｓｗｉｔｈｄｉｆｆｅｒｅｎｔｐｒｏｐｅｒｔｉｅｓｆｒｏｍｏｔｈｅｒｎｏｒｍａｌｐｏｉｎｔｓ，ｗｈｏｓｅｄｅｔｅｃｔｉｏｎｔｅｃｈｎｏｌｏｇｙｉｎｖａｒｉｏｕｓｉｎｄｕｓｔｒｉｅｓｈａｓａｗｉｄｅａｐｐｌｉｃａｔｉｏｎｔｏｍａｉｎｔａｉｎｔｈｅｐｕｒｉｔｙｏｆｄａｔａａｎｄｅｎｓｕｒｅｔｈｅｓａｆｅｔｙｏｆｔｈｅｉｎｄｕｓｔｒｙ．Ｍｏｓｔｏｆｔｈｅｅｘｉｓｔｉｎｇａｌｇｏｒｉｔｈｍｓａｒｅｂａｓｅｄｏｎｄｉｓｔａｎｃｅ，ｄｅｎｓｉｔｙ，ａｎｄｏｔｈｅｒｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｓｔｏｄｅｔｅｃｔｏｕｔｌｉｅｒｓ．Ｔｈｉｓｐａｐｅｒａｓｓｉｇｎｅｄｅａｃｈｏｂｊｅｃｔａｎ“ｉｓｏｌａｔｉｏｎｄｅｇｒｅｅ”，ｔｈｅｄｅｇｒｅｅｏｆｉｓｏｌａｔｉｏｎｏｆｔｈｅｐｏｉｎｔｒｅｌａｔｉｖｅｔｏａｄｊａｃｅｎｔｐｏｉｎｔｓ，ｗｈｉｃｈｃｏｕｌｄｉｄｅｎｔｉｆｙｏｕｔｌｉｅｒｓｂｙｓｏｒｔｉｎｇ，ｔｈａｔｗａｓｍｏｒｅｅｆｆｉｃｉｅｎｔ．ＩｔｐｒｏｐｏｓｅｄｔｈｅｄｅｔｅｃｔｉｏｎｔｅｃｈｎｏｌｏｇｙＡＰＯｂｙｉｍｐｒｏｖｉｎｇａｎｄｏｐｔｉｍｉｚｉｎｇｔｈｅＡＰｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍ．Ｉｔｉｎｔｒｏｄｕｃｅｄｔｈｅｏｕｔｌｉｅｒｍｏｄｕｌｅａｎｄｐｒｏｃｅｓｓｅｄｔｈｅｉｓｏｌａｔｅｄｉｎｆｏｒｍａｔｉｏｎｏｆｐｏｉｎｔｓ．Ｉｎａｄｄｉｔｉｏｎ，ｉｔａｄｄｅｄｔｈｅａｍｐｌｉｆｉｃａｔｉｏｎｆａｃｔｏｒｔｏｍａｋｅｔｈｅｄｉｆｆｅｒｅｎｃｅｂｅｔｗｅｅｎｔｈｅｏｕｔｌｉｅｒｓａｎｄｔｈｅｎｏｒｍａｌｐｏｉｎｔｓｍｏｒｅｏｂｖｉｏｕｓ．Ｂｙｉｎｃｒｅａｓｉｎｇｔｈｅｓｅｎｓｉｔｉｖｉｔｙｏｆｔｈｅａｌｇｏｒｉｔｈｍｔｏｏｕｔｌｉｅｒｓ，ｉｔｉｍｐｒｏｖｅｄｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅａｌｇｏｒｉｔｈｍ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｕｓｅｄｓｉｍｕｌａｔｅｄｄａｔａｓｅｔｒｅａｌｄａｔａｓｅｔｓ，ｗｈｏ’ｓｔｈｅｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅａｌｇｏｒｉｔｈｍｗａｓｍｏｒｅｓｅｎｓｉｔｉｖｅａｎｄｉｔｄｅｔｅｃｔｅｄｏｕｔｌｉｅｒｓｍｏｒｅａｃｃｕｒａｔｅｌｙｔｈａｎＡＰａｌｇｏｒｉｔｈｍ．Ｉｎａｄｄｉｔｉｏｎ，ｔｈｉｓａｌｇｏ ｒｉｔｈｍｃａｎｃｌｕｓｔｅｒｏｕｔｌｉｅｒｓｗｈｉｌｅｄｅｔｅｃｔｉｎｇｏｕｔｌｉｅｒｓ，ｗｈｉｃｈｉｓｎｏｔａｖａｉｌａｂｌｅｉｎｏｔｈｅｒｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｓ．Ｋｅｙｗｏｒｄｓ：ｏｕｔｌｉｅｒｄｅｔｅｃｔｉｏｎ；ｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍ；ｄａｔａｍｉｎｉｎｇ；ａｆｆｉｎｉｔｙｐｒｏｐａｇａｔｉｏｎ 聚类算法［１］在计算机、银行金融、电子商务［２～４］等众多领域中都得到了广泛的应用。
一种改进的基于反k近邻的流数据离群点检测算法
２０１６年第 ８期
呼妮 等 ：一种 改进 的基 于反 ｋ近邻的流数据 离群点检测 算法
３３
象 的离群因子，虽然算法效果较好 ，但是对于受到影响 的对象需要多次扫描数据进行更新 ，因此计算量较大。
Ａｎ Ｉｍ ｐｒｏｖｅｄ Ｓｔｒｅａｍ Ｄａｔａ Ｏｕｔｌｉｅｒ Ｍ ｉｎｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ Ｒｅｖｅｒｓｅ ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｓ
ＨＵ Ｎｉ，Ｗ ＡＮＧ Ｙｏｎｇ
（Ｓｃｈｏｏｌ ｏｆ Ｎａｔｕｒａｌ ａｎｄ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ，Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ ７１０１ １４，Ｃｈｉｎａ）
流 数 据 的离 群 点检 测 已经受 到 越 来越 多 的关 注 和 研 究 ，数 据 流 的 挖 掘 模 型 有 一 层 的 Ｊ、２ 层 的 、分布式的等Ｈ ”Ｊ。在数据流的离群点检测算 法——基于近邻 的检测算法 ＳＯＭＲＮＮ¨ 中，根据反 ｋ邻 域 内点数 的 多少来 判 断离群 的程 度 大小 ，点 对 象 的离群 度越 大 ，则 反 ｋ近 邻个 数越 少。但 是文 献 ［１４］中同时采用 ｋ邻域与反 ｋ邻域 ２个概念 ，需要 同 时对 它们进 行更 新 ，计 算 量较 大 ，而且 文 中反 ｋ近 邻 数的定义具有一定的漏洞 ，因此算法具有一定的局 限 性。文献 ［１５］所介绍的检测算法 ＤＳＯＫＰ，把数据流 进行分块 ，再分别进行离群点挖掘 ，该算法运行速度较 快 ，但是 对于数 据 流 的概 念漂 移 特点 缺 乏一 定 的适 应 性 。文献 ［１６—１７］基 于密度 的局部离群点检测算法 ，提 出 了增量 挖掘算 法 。在 有 新 的数据 到 来 时 ，更 新数 据 对
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Data Base Technique •
数据库技术
Electronic Technology & Software Engineering 电子技术与软件工程• 145
【关键词】离群点 邻域 质心 不稳定因子
离群点是指那些明显偏离其它数据、不满足数据的一般模式或行为，与存在的其它数据不一致的数据。
物理学中质心与稳定性间存在联系，离质心越近的点，稳定性越强，反之稳定性越弱。
Jihyun Ha 等人受这一性质的启发提出了使用不稳定因子的健壮离群点检测算法（INS 算法）。
该算法容易将处于稀疏区域与稠密区域的交界处的正常点误判为离群点。
为解决该问题本文提出了基于近邻稳定性的离群点检测算法（NSINS 算法）。
1 基于近邻稳定性的离群点检测算法
1.1 算法思想
本文提出了基于近邻稳定性的离群点检测算法。
该算法的主要思想是：数据集中任意一点p 的k 个最近邻组成p 的k 个邻域，其中第i 个邻域包含了p 和距离p 最近的前i 个点。
每个邻域计算两个质心。
一个质心与p 相关，即邻域中包括点p 时的质心；另一个质心与p 无关，即邻域中不包括点p 时的质心。
最后会得到两类质心，每类都有k 个。
比较这两类质心的位置变化，最终确定p 的不稳定程度。
定义与p 无关的质心考虑到了近邻的稳定性对p 不稳定因子的影响。
1.2 相关定义
定义1 邻域（neighborhood ）。
点p 的邻域表示距离点p 最近的k 个点的集合，用ϭk (p)表示，即：
（1）
其中d(p,q)表示p ，q 之间的距离，p k 是
基于近邻稳定性的离群点检测算法
文/黄馨玉1 陈晓东2
p 的第k 个最近邻。
当P 点计入ϭk (p)中时，
ϭk (p)的基数是k+1；当p 点不计入ϭk (p)中时，
ϭk (p)的基数是k 。
定义2 相关邻域质心(related centre of mass)。
点p 的相关邻域质心表示p 的邻域包括点p 时的质心，用rm k (p)表示：
（2）
其中X q =(x q1,...,x qd )是点q 在d 维空间中
的坐标。
定义3 无关邻域质心(unrelated centre of mass)。
点p 的无关邻域质心表示p 的邻域不含p 时的质心，用urm k (p)表示：
（3）
其中点q 代表第k 个邻域中除p 以外的任意一点，X q =(x 1,…,x d )是点q 在d 维空间中的坐标
定义4 相关质心距离(distance of related center mass )。
相关质心距离表示两个相邻的相关质心之间的距离。
用rm_d i (p)
表示：（4）
定义5 无关质心距离（distance of unrelated center mass ）。
无关质心距离表示两个相邻的无关质心之间的距离。
用urm_d i (p)
表示：
（5）
定义6 不稳定因子（instability factor ）不稳定因子定义为相关质心距离之和与无关质心距离之和的比，用INSF 表示：
（6）INSF(P)值为1,说明p 与邻域内各点均匀分布；值大于1，说明p 的加入使得邻域质心的变化加剧，从而说明p 的不稳性较强；值小
于1,说明p 的加入使得邻域质心的变化减缓，从而说明p 的稳定性较强。
比值越大，p 离群
可能性越高。
2 实例分析
数据集采用INS 算法中的葡萄酒质量数据集。
该数据集包括1599个红葡萄酒样本数据和4898个白葡萄酒样本数据。
品质差的葡萄酒和品质高的葡萄酒数据量很少，是离群点检测的目标。
红葡萄酒数据集中K 取值50时，INS 准确率88.9%，NSINS 准确率94.4%；K 取值100时，INS 准确率88.9%，NSINS 准确率100%。
白葡萄酒数据集中K 取值50时，INS 准确率65%，NSINS 准确率85%；K 取值100时，INS 准确率70%，NSINS 准确率80%。
3 结束语
本文提出的算法改进了使用不稳定因子的健壮离群点检测算法，考虑到了近邻的稳定性对被检测点的影响，该算法综合两类质心的变化情况来决定不稳定因子大小。
在数据集分布不规则的情况下优势明显。
参考文献
[1]Xia Huo-Song. Data warehouse and
data mining technolo [M]. Beijing: Science Press, 2004: 229-231.
[2]Jihyun Ha, Seulgi Seok, Jong-Seok
Lee.Robust outlier detection using the instability factor[J]. Knowledge-Based Systems. 2014(63):15–23.
作者简介
黄馨玉（1990-），女，天津市人。
硕士研究生。
研究方向为数据挖掘。
陈晓东（1986-），男，天津市人。
大学本科学历。
从事工作软件开发。
作者单位
1.天津市农业资源与环境研究所 天津市 300380
2.渤海银行 天津市 300171。